JP6511247B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6511247B2 JP6511247B2 JP2014221811A JP2014221811A JP6511247B2 JP 6511247 B2 JP6511247 B2 JP 6511247B2 JP 2014221811 A JP2014221811 A JP 2014221811A JP 2014221811 A JP2014221811 A JP 2014221811A JP 6511247 B2 JP6511247 B2 JP 6511247B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- input
- unit
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 433
- 238000003672 processing method Methods 0.000 title claims 2
- 238000000034 method Methods 0.000 claims description 221
- 230000008569 process Effects 0.000 claims description 162
- 238000003384 imaging method Methods 0.000 claims description 101
- 238000012937 correction Methods 0.000 claims description 94
- 239000002131 composite material Substances 0.000 claims description 91
- 238000001514 detection method Methods 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 54
- 238000003860 storage Methods 0.000 claims description 52
- 238000000926 separation method Methods 0.000 claims description 35
- 238000012790 confirmation Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 230000008929 regeneration Effects 0.000 claims 2
- 238000011069 regeneration method Methods 0.000 claims 2
- 230000003993 interaction Effects 0.000 claims 1
- 230000001172 regenerating effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 70
- 230000006870 function Effects 0.000 description 49
- 238000003702 image correction Methods 0.000 description 33
- 239000011159 matrix material Substances 0.000 description 33
- 241000283973 Oryctolagus cuniculus Species 0.000 description 28
- 238000003708 edge detection Methods 0.000 description 27
- 230000009467 reduction Effects 0.000 description 23
- 239000013598 vector Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 238000012935 Averaging Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000010079 rubber tapping Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001055 chewing effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Exposure Control For Cameras (AREA)
- Image Analysis (AREA)
Description
複数の入力画像(撮像部50によって撮像された複数の撮影画像)から所定の特徴(特徴量、特徴点)を検出する(図4、図15のステップA11、図19のステップJ7)特徴検出手段(図1の処理部10:例えばエッジ検出部107)と、
前記特徴検出手段の検出結果に基づいてデプスマップを生成する(図4のステップA17、図15のステップF17、図19のステップJ27)デプスマップ生成手段(図1の処理部10;デプスマップ生成部113)と、
を備えた画像処理装置である。
複数の入力画像(撮像部50によって撮像された複数の撮影画像)から所定の特徴(特徴量、特徴点)を検出すること(図4、図15のステップA11、図19のステップJ7)と、
前記特徴の検出結果に基づいてデプスマップを生成すること(図4のステップA17、図15のステップF17、図19のステップJ27)と、
を含む画像処理方法を構成してもよい。
コンピュータ(図1のスマートフォン1、画像処理装置、他の情報処理装置)に、
複数の入力画像(撮像部50によって撮像された複数の撮影画像)から所定の特徴(特徴量、特徴点)を検出する特徴検出ステップ(図4、図15のステップA11、図19のステップJ7)と、
前記特徴検出ステップの検出結果に基づいてデプスマップを生成するデプスマップ生成ステップ(図4のステップA17、図15のステップF17、図19のステップJ27)と、
を実行させるためのプログラム(図1の画像処理プログラム81)を構成してもよい。
第1の発明の画像処理装置であって、
前記特徴検出手段は、前記複数の入力画像から所定の特徴量(エッジ強度、DoG(Difference of Gaussian)値、背景度合等)を検出する特徴量検出手段(図1の処理部10)を有し、
前記特徴量検出手段により検出された特徴量を用いて、対象画素(画像中の全ての画素、一部の画素)について、前記複数の入力画像のうちの何れの入力画像で合焦しているかを示す情報である深度を推定する(図4、図15のステップA15)深度推定手段(図1の深度推定部111)を更に備え、
前記デプスマップ生成手段は、前記深度推定手段の推定結果に基づいて前記デプスマップを生成する(図4のステップA17、図15のステップF17)、
画像処理装置を構成してもよい。
前記特徴量検出手段は、前記複数の入力画像から特徴としてエッジを検出するエッジ検出手段(図1のエッジ検出部107)を有し、
前記深度推定手段は、前記エッジ検出手段により検出されたエッジの強度を前記特徴量として用いて、前記対象画素について前記深度を推定する、
画像処理装置を構成してもよい。
第2の発明の画像処理装置であって、
前記深度推定手段は、前記特徴量検出手段により検出された前記複数の入力画像それぞれの特徴量を用いて、前記対象画素について、当該対象画素の特徴量に応じて定まる第1種パラメーター値(コスト値)と、当該対象画素について合焦しているとする第1の入力画像と当該対象画素の近傍画素について合焦しているとする第2の入力画像とが異なる場合のペナルティとして定められる第2種パラメーター値(ペナルティ値)とを用いた所定の適切解演算処理(エネルギー関数の値を最大化又は最小化するスコア値演算処理:図7のステップC1〜C7)を行って、前記対象画素について合焦している入力画像を判定する、
画像処理装置を構成してもよい。
前記適切解演算処理において、前記対象画素について、前記第1種パラメーター値から前記第2種パラメーター値を減算することで所定のスコア値を演算し、
前記深度推定手段は、前記対象画素について、前記スコア値が所定の高値条件を満たす入力画像を合焦している入力画像と判定する(図7のステップC5)、
画像処理装置を構成してもよい。
前記適切解演算処理において、前記対象画素について、前記第1種パラメーター値に前記第2種パラメーター値を加算することで所定のスコア値を演算し、
前記深度推定手段は、前記対象画素について、前記スコア値が所定の低値条件を満たす入力画像を合焦している入力画像と判定する、
画像処理装置を構成してもよい。
前記適切解演算処理において、前記第1の入力画像が合焦しているとした場合の深度と前記第2の入力画像が合焦しているとした場合の深度との差が大きいほど、前記第2種パラメーター値をより大きな値として(図3のペナルティ値テーブル89;P1<P2)、前記スコア値を演算する、
画像処理装置を構成してもよい。
前記適切解演算処理において、前記複数の入力画像のうちの2つの入力画像の組み合わせに応じて個別に定められる前記第2種パラメーター値を用いて、前記スコア値を演算する、
画像処理装置を構成してもよい。
前記適切解値演算処理において、前記入力画像を構成するラインについて、当該ライン上の画素について前記スコア値(式(2)、式(3)のエネルギー関数の値)を演算し(図7のステップC3)、
前記深度推定手段は、前記入力画像を構成するライン上の画素について、前記スコア値に基づいて合焦している入力画像を判定する(図7のステップC5)、
画像処理装置を構成してもよい。
第3の発明の画像処理装置であって、
前記複数の入力画像から被写体ぶれ領域を検出する被写体ぶれ領域検出手段(図1の処理部10)を更に備え、
前記適切解演算処理において、前記被写体ぶれ領域検出手段により検出された被写体ぶれ領域について、前記第1種パラメーター値及び前記第2種パラメーター値の少なくとも一方を前記被写体ぶれ領域以外の領域で用いるパラメーター値とは異なる値として演算を行う、
画像処理装置を構成してもよい。
前記複数の入力画像に対してコントラスト補正(図4、図15のステップA9)を行うコントラスト補正手段(図1のコントラスト補正部105)を更に備え、
前記特徴量検出手段は、前記コントラスト補正手段により補正された前記複数の入力画像から前記特徴量を検出する(図4、図15のステップA11)、
画像処理装置を構成してもよい。
第2〜第4の何れかの発明の画像処理装置であって、
前記複数の入力画像の焦点が適切に分離されているかを判定する(図6の焦点分離判定処理)焦点分離判定手段(図1の焦点分離判定部109)を更に備え、
前記深度推定手段は、前記焦点分離判定手段の判定結果が肯定判定となった入力画像を用いて、前記対象画素について前記深度を推定する(図6のステップB7)、
画像処理装置を構成してもよい。
前記焦点分離判定手段は、前記特徴量検出手段により特徴量が検出された前記複数の入力画像それぞれに対応する画像について、異なる画像間の相関値を算出(図6のステップB1)する相関演算手段(図1の処理部10)を有し、前記相関演算手段により算出された相関値が所定の低閾値条件を満たす画像に対応する入力画像を、焦点が適切に分離されている入力画像と判定する(図6のステップB5)、
画像処理装置を構成してもよい。
前記焦点分離判定手段は、前記特徴量検出手段により特徴量が検出された前記複数の入力画像それぞれに対応する画像について、特徴の数又は割合が所定の高閾値条件を満たす(図6のステップB3)入力画像を、焦点が適切に分離されている入力画像と判定する(図6のステップB5)、
画像処理装置を構成してもよい。
第2〜第5の何れかの発明の画像処理装置であって、
前記特徴量検出手段は、前記複数の入力画像又は前記複数の入力画像を縮小した縮小入力画像(図1の入力画像縮小部101)から前記特徴量を検出し(図4のステップA11)、
前記デプスマップ生成手段は、前記深度推定手段の推定結果に基づいて、縮小されたデプスマップを生成する(図4のステップA17)、
画像処理装置を構成してもよい。
第6の発明の画像処理装置であって、
前記縮小されたデプスマップを復元する(図4のステップA19)復元手段(図1のデプスマップ復元部115)と、
前記復元手段により復元されたデプスマップを、所定の修正用画像(入力画像)を用いて修正したデプスマップを生成する(図4のステップA21)修正手段(図1のデプスマップ修正部117)と、
を更に備えた、
画像処理装置を構成してもよい。
第1の発明の画像処理装置であって、
前記特徴検出手段は、視差が発生する複数の視点で撮像された撮影画像(視差方式で撮像された撮影画像)を前記複数の入力画像として、前記入力画像から特徴点を検出する(図19のステップJ7)特徴点検出手段(図1の処理部10)を有し、
前記特徴点検出手段によって検出された特徴点に基づいて、前記複数の撮影画像それぞれの視点の相対的な位置関係(カメラ行列:回転行列、並進移動ベクトル)を推定する(図19のステップJ23)視点位置関係推定手段(図1の処理部10)と、
所定の推定演算(バンドル調整)を行って、前記複数の入力画像を構成する画素の3次元の位置を推定する(図19のステップJ25)画素位置推定手段(図1の処理部10)と、
を更に備え、
前記デプスマップ生成手段は、前記視点位置関係推定手段の推定結果と前記画素位置推定手段の推定結果とに基づいて、前記デプスマップを生成する(図19のステップJ27)、
画像処理装置を構成してもよい。
第8の発明の画像処理装置であって、
前記視点位置関係推定手段は、
前記特徴点検出手段によって検出された特徴点を追跡する(図19のステップJ11)特徴点追跡手段(図1の処理部10)と、
前記特徴点追跡手段の追跡結果に基づいて、前記複数の入力画像の中から基点となる入力画像である基点入力画像(ベースフレーム)を抽出する(図19のステップJ13)基点入力画像抽出手段(図1の処理部10)と、
を有し、前記基点入力画像抽出手段によって抽出された基点入力画像について前記特徴点検出手段によって検出された特徴点に基づいて、前記複数の撮影画像それぞれの視点の相対的な位置関係を推定する、
画像処理装置を構成してもよい。
第8又は第9の発明の画像処理装置であって、
表示手段(図1の表示部30)と、
前記複数の撮影画像に視差を生じさせるための自装置の移動方法(移動方向、移動量)を前記ユーザーにガイドするためのガイド表示(図22のガイド矢印、ガイド図形)を前記表示手段に表示させる制御を行う表示制御手段(図1の表示制御部127)と、
を更に備えた、
画像処理装置を構成してもよい。
自装置の移動諸量(移動距離、移動方向)を検出する移動諸量検出手段(図1の慣性センサ75(加速度センサ、ジャイロセンサ)、処理部10、慣性計測ユニットIMU、GPSユニット、慣性航法装置INS)を更に備え、
前記表示制御手段は、前記移動諸量検出手段の検出結果に基づいて、前記ガイド表示の表示(図22のガイド矢印の表示位置やガイド図形の表示位置)を変化させる、
画像処理装置を構成してもよい。
第1〜第11の何れかの発明の画像処理装置であって、
前記デプスマップと前記複数の入力画像とを用いて全焦点画像を生成する(図4、図19のステップA23)全焦点画像生成手段(図1の全焦点画像生成部119)を更に備えた、
画像処理装置を構成してもよい。
前記デプスマップ生成手段により生成されたデプスマップと前記複数の入力画像とを用いて全焦点画像を生成する(図15のステップF19)全焦点画像生成手段(図1の全焦点画像生成部119)と、
前記デプスマップ生成手段により生成されたデプスマップを所定の縮小方法を用いて縮小する(図15のステップF21)デプスマップ縮小手段(図1のデプスマップ縮小部121)と、
前記縮小されたデプスマップである縮小デプスマップを前記複数の入力画像及び前記全焦点画像の少なくとも一方と対応付けて記憶する記憶手段(図1の記憶部80、画像データセット83)と、
を更に備えた、
画像処理装置を構成してもよい。
前記記憶手段に記憶された縮小デプスマップを所定の復元方法を用いて復元(図15のステップA47)するデプスマップ復元手段(図1のデプスマップ復元部115)と、
前記復元されたデプスマップである復元デプスマップを所定の修正用画像を用いて修正(図15のステップA49)する修正手段(図1のデプスマップ修正部117)と、
を更に備えた、
画像処理装置を構成してもよい。
前記修正用画像は、前記記憶手段に対応付けて記憶された全焦点画像又は前記複数の入力画像のうちの少なくとも何れかの入力画像であり、
前記修正手段は、前記復元デプスマップのうちの修正対象画素について、当該修正対象画素の近傍画素のデプスマップの画素値に、当該修正対象画素の修正用画像の画素値と当該近傍画素の修正用画像の画素値とが近い値であるほど高い重み付けをし、さらに、当該修正対象画素と当該近傍画素との距離が近いほど高い重み付けをした加重平均化処理(式(3)による加重平均化処理)を行って、当該修正対象画素の復元デプスマップの画素値を修正する、
画像処理装置を構成してもよい。
第1〜第12の何れかの発明の画像処理装置であって、
表示手段(図1の表示部30)と、
ユーザー操作を受け付ける入力手段(図1の入力部20)と、
前記入力手段に対するユーザー操作に応じて、前記デプスマップに基づいて、特定深度に相当する入力画像中の画素の画素値を、前記特定深度以外の深度に相当する入力画像に適用した合成画像を生成する合成画像生成手段(図1の強調画像生成部123)と、
を更に備え、
前記表示手段は、前記合成画像生成手段によって生成された合成画像を表示する、
画像処理装置を構成してもよい。
第12の発明の画像処理装置であって、
表示手段(図1の表示部30)と、
ユーザー操作を受け付ける入力手段(図1の入力部20)と、
前記全焦点画像に対して暈し処理を行う暈し処理手段(図1の処理部10)を有し、前記入力手段に対するユーザー操作に応じて、前記デプスマップに基づいて、特定深度に相当する入力画像中の画素の画素値を前記暈し処理の結果の画像に合成した合成画像を生成する合成画像生成手段(図1の強調画像生成部123)と、
を更に備え、
前記表示手段は、前記合成画像生成手段により生成された合成画像を表示する、
画像処理装置を構成してもよい。
前記合成画像生成手段は、ユーザー操作により指定された画像上の領域が前記暈し処理が行われた領域であるか否かを判定し、その判定結果が肯定判定である場合に、当該領域の暈し度合を前記所定の暈し度合とは異なる暈し度合に変更して、前記合成画像に対して再度暈し処理を行う、
画像処理装置を構成してもよい。
第14の発明の画像処理装置であって、
前記入力手段に対するユーザー操作(アイコン操作、タップ操作)に応じて、合焦対象とする領域である合焦対象領域を前記ユーザーが指定するための指定用図形(図25の楕円形の図形や円形、矩形の図形)を前記表示手段に表示させる表示制御手段(図1の表示制御部127)を更に備え、
前記合成画像生成手段は、前記デプスマップに基づいて、前記入力画像のうち前記指定用図形に含まれる画素の深度を前記特定深度として、前記合成画像を生成する、
画像処理装置を構成してもよい。
第15の発明の画像処理装置であって。
前記入力手段は、前記表示手段と一体的に構成されたタッチパネルを有し、
前記表示制御手段は、前記指定用図形を前記表示手段に表示させた後、(1)前記指定用図形に対するピンチ操作(ピンチアウト操作/ピンチイン操作)、(2)前記指定用図形に対する複数回のタップ操作(ダブルタップ操作)、(3)前記指定用図形に対してタップ操作を継続した継続時間(長押し操作がされた場合の長押し時間)、のうちの何れかに応じて、前記表示させた指定用図形の形状を変更する(指定用図形を拡大する/縮小する)、
画像処理装置を構成してもよい。
第13又は第14の発明の画像処理装置であって、
前記入力手段は、前記表示手段と一体的に構成されたタッチパネル(図1のタッチパネル21)を有し、
前記合成画像生成手段は、前記タッチパネルに対する操作に基づいて決定した深度を前記特定深度として、前記合成画像を生成する、
画像処理装置を構成してもよい。
第17の発明の画像処理装置であって、
前記表示手段は、撮像対象を確認可能な確認画面(撮像素子からの出力信号に基づく画像がリアルタイムに表示される画面)を表示し、
前記確認画面における前記タッチパネルに対するタップ操作に応じて、合焦対象とする確認画面上の位置である合焦対象位置を記憶する記憶手段(図1の記憶部80)と、
前記記憶手段に合焦対象位置が記憶された後、所定の撮像条件の成立に応じて撮像を行う撮像手段(図1の撮像部50)と、
を更に備え、
前記特徴検出手段は、前記撮像手段によって撮像された複数の撮影画像を前記複数の入力画像として前記特徴を検出し、
前記合成画像生成手段は、前記記憶手段に記憶された合焦対象位置に対応する深度を前記特定深度として、前記合成画像を生成する、
画像処理装置を構成してもよい。
前記撮像手段は、前記記憶手段に合焦対象位置が記憶された後、(1)前記入力手段に対する所定の撮像操作を検知したこと、(2)一定時間以上の継続したタップ操作を検知したこと、(3)複数回のタップ操作を検知したこと、のいずれかを前記撮像条件の成立として撮像を行う、
画像処理装置を構成してもよい。
第17の発明の画像処理装置であって、
前記表示手段は、所定の表示用画像(入力画像)を表示し、
前記表示用画像が表示された表示画面における前記タッチパネルに対するピンチ操作に応じて、合焦対象とする領域である合焦対象領域を設定する合焦対象領域設定手段(図1の処理部10)と、
前記合焦対象領域設定手段によって設定された合焦対象領域以外の領域に対して所定の暈し度合で暈し処理を行う暈し処理手段(図1の処理部10)と、
を更に備え、
前記暈し処理手段は、前記合焦対象領域設定手段によって設定された合焦対象領域に対するピンチ操作(ピンチアウト操作/ピンチイン操作)に応じて、前記暈し度合を変更する(暈し度合を高くする/低くする)暈し度合変更手段(図1の処理部10)を有する、
画像処理装置を構成してもよい。
第19の発明の画像処理装置であって、
前記暈し度合変更手段は、前記合焦対象領域に対するピンチアウト操作に応じて前記暈し度合を段階的に高くし、前記合焦対象領域に対するピンチイン操作に応じて前記暈し度合を段階的に低くする、
画像処理装置を構成してもよい。
第1〜第12の何れかの発明の画像処理装置であって、
前記複数の入力画像は、異なる焦点距離で撮像された複数の撮影画像であり、
表示手段(図1の表示部30)と、
ユーザー操作を受け付ける入力手段(図1の入力部20)と、
前記表示手段の所定位置に、焦点距離範囲をユーザーが指定するための焦点距離範囲指定用画像(図27の焦点距離スライダーS1)を表示させる制御を行う表示制御手段(図1の表示制御部127)と、
前記デプスマップに基づいて、前記焦点距離範囲指定用画像に対するユーザー操作によって指定された焦点距離範囲に対応する深度の画素を合焦とし、それ以外の画素を非合焦とした合成画像を生成する合成画像生成手段(図1の強調画像生成部123)と、
を更に備え、
前記表示手段は、前記合成画像生成手段によって生成された合成画像を表示する、
画像処理装置を構成してもよい。
第1〜第12の何れかの発明の画像処理装置であって、
前記複数の入力画像は、異なる焦点距離で撮像された複数の撮影画像であり、
表示手段(図1の表示部30)と、
ユーザー操作を受け付ける入力手段(図1の入力部20)と、
前記複数の入力画像に基づく複数の参照用画像(複数の入力画像、複数の入力画像に対してそれぞれ特徴を検出した特徴検出画像、複数の入力画像に対してそれぞれコントラスト補正を施したコントラスト補正画像、複数の入力画像と対応する特徴検出画像とを乗算した積画像)を前記表示手段に順次に表示させる制御を行う表示制御手段(図1の表示制御部127)と、
前記デプスマップに基づいて、前記順次に表示される参照用画像のうち、ユーザーによって指定された参照用画像に対応する入力画像の焦点距離に対応する深度の画素を合焦とし、それ以外の画素を非合焦とした合成画像を生成する合成画像生成手段(図1の強調画像生成部123)と、
を更に備え、
前記表示手段は、前記合成画像生成手段によって生成された合成画像を表示する、
画像処理装置を構成してもよい。
第22の発明の画像処理装置であって、
前記複数の入力画像それぞれについて、当該入力画像と前記特徴検出手段によって特徴が検出された特徴検出画像(エッジ画像)とを乗算した積画像(入力画像とエッジ画像とを画素単位で乗算することで得られる画像)を生成する積画像生成手段(図1の処理部10)を更に備え、
前記表示制御手段は、前記積画像生成手段によって生成された積画像を前記参照用画像として、前記表示手段に順次に表示させる制御を行う、
画像処理装置を構成してもよい。
第17の発明の画像処理装置であって、
前記合成画像生成手段は、前記タッチパネルに対するドラッグ操作に基づいて、前記特定深度を動的に変更して前記合成画像を動的に生成し、
前記表示手段は、前記合成画像生成手段により動的に生成される合成画像を前記ドラッグ操作に合わせて表示する、
画像処理装置を構成してもよい。
第2〜第7の何れかの発明の画像処理装置であって、
ユーザー操作を受け付ける入力手段(図1の入力部20)を更に備え、
前記深度推定手段は、前記ユーザー操作により指定された指定領域に含まれる画素について前記深度を再推定する深度再推定手段(図1の処理部10)を有し、
前記デプスマップ生成手段は、前記深度再推定手段による深度の再推定の結果に基づいてデプスマップを再生成するデプスマップ再生成手段(図1の処理部10)を有する、
画像処理装置を構成してもよい。
第25の発明の画像処理装置であって、
前記深度再推定手段は、前記指定領域に含まれる画素について、前記第1種パラメーター値及び前記第2種パラメーター値の少なくとも一方を、前記深度推定手段が当初の深度推定で用いたパラメーター値とは異なる値に変更して前記適切解演算処理を行って、前記深度を再推定する、
画像処理装置を構成してもよい。
前記全焦点画像における所定の画素(例えば、タッチパネル上でユーザーがタップした領域の画素や、エッジ強度が所定値以上又は所定値未満の領域の画素)を特定する画素特定手段をさらに備え、
前記合成画像生成手段は、前記全焦点画像のうち前記画素特定手段により特定された画素について暈し度合を前記所定の暈し度合よりも小さくするか、又は、前記全焦点画像のうち前記画素特定手段により特定された画素以外の画素について暈し度合を前記所定の暈し度合よりも大きくして前記暈し処理を行う、
画像処理装置を構成してもよい。
前記表示手段の所定位置に、前記特定深度をユーザーに指定させるための深度指定用操作窓(例えば、図17の深度指定用操作窓W1、または図27の焦点距離スライダーS1)を表示させる制御を行う表示制御手段を更に備え、
前記表示手段に表示された深度指定用操作窓において、前記入力手段を用いてユーザーによる前記特定深度の指定が可能である、
画像処理装置を構成してもよい。
前記入力手段は、前記表示手段と一体的に構成されたタッチパネル(図1のタッチパネル21)を有し、
前記ユーザーは、前記タッチパネルに対するタップ操作により前記特定深度を指定する、
画像処理装置を構成してもよい。
前記ユーザー操作はタップ操作であり、
前記合成画像生成手段は、前記タップ操作によりタップされた画像上の領域を前記指定領域として(図8のステップD1)、当該指定領域に基づいて前記特定深度を選択する(例えば、図8のステップD5)、
画像処理装置を構成してもよい。
前記合焦点画像、前記複数の入力画像の中から選択した入力画像、前記合成画像及び前記デプスマップのうちの何れかの画像を表示用画像として前記表示手段に表示させる制御を行う表示制御手段を更に備え、
前記表示用画像は、前記ユーザーが前記入力手段を用いて前記特定深度を指定するよう参照可能である、
画像処理装置を構成してもよい。
前記合成画像生成手段は、(1)前記指定領域の中心位置に最も近い画素に対応する深度、(2)前記指定領域に含まれる画素のうち前記デプスマップにおいて最も深度が深い又は浅い画素に対応する深度、(3)前記指定領域に含まれる画素の画素値の平均値に画素値が最も近い画素に対応する深度、(4)前記指定領域のうちデプスマップ上において最も対応する深度の画素が占める面積が大きい深度、のうちの何れかを前記特定深度として選択する、
画像処理装置を構成してもよい。
前記特徴量検出手段は、前記複数の入力画像の特徴としてエッジを検出するエッジ検出手段(図1のエッジ検出部107)を有し、
前記入力手段は、前記表示手段と一体的に構成されたタッチパネル(図1のタッチパネル21)を有し、
前記ユーザー操作はドラッグ操作であり、
前記ドラッグ操作に応じて一の深度を選択(図9のステップE5)する深度選択手段(図1の処理部10)と、
前記ユーザーによるドラッグ操作の方向と、前記深度選択手段により選択された深度の入力画像中の前記ドラッグ操作により指定された指定領域に含まれるエッジの方向との類似度を算出(図9のステップE6)する類似度算出手段(図1の処理部10)を更に備え、
前記深度再推定手段は、前記指定領域に含まれる画素について、前記第1種パラメーター値及び前記第2種パラメーター値の少なくとも一方を、前記深度推定手段が当初の深度推定で用いたパラメーター値とは異なる値に変更して前記スコア値演算処理を行って、前記深度を再推定する、
画像処理装置を構成してもよい。
ペナルティ値テーブル89には、種別891と、第1のペナルティ値893と、第2のペナルティ値895とが対応付けて定められている。
2−1−1.処理の流れ
図4及び図5は、処理部10が記憶部80に記憶されている画像処理プログラム81に従って実行する画像処理の流れを示すフローチャートである。この画像処理は、スマートフォン1のカメラ機能がユーザーにより選択された場合に実行を開始する処理である。
ユーザーによる撮影がスマートフォン1を固定した状態等の安定した状態での撮影ではなく、撮影者が手で持った状態で行われた場合、入力画像間で位置ズレが発生する可能性が高い。位置ズレがあると、合焦・非合焦として出力する画素の位置がズレてしまい、その結果、間違った深さ情報を含むデプスマップを生成してしまうおそれがある。そこで、縮小入力画像の位置合わせを行う。位置合わせ処理には、種々の手法を適用可能であるが、例えばオプティカルフローを用いた公知の位置合わせ手法を適用することができる。この手法には、ブロックマッチング法や勾配法といった手法が含まれる。
まず、焦点分離判定部109は、エッジ画像間の相関値を算出する(ステップB1)。相関値は、2つのエッジ画像を構成する全ての画素について、全ての画素同士の畳み込み演算を行う相関演算を行うことで算出することができる。そして、焦点分離判定部109は、各エッジ画像について、エッジ強度が所定の閾値強度を超える画素数を算出する(ステップB3)。
深度推定部111は、縮小入力画像を構成する各ラインについてループAの処理を行う(ステップC1〜C9)。ループAの処理では、深度推定部111は、当該ラインに含まれる画素についてエネルギー関数に基づく適切解演算処理を実行する(ステップC3)。
本願発明者の知見によれば、エッジ画像から求められるエッジの強さ(エッジ強度)は、その焦点距離における合焦度合いと相関がある。そして、複数の入力画像中、その画素においてエッジが最も強い入力画像が、その画素における最も合焦した入力画像といえると考えられる。この論理から、エッジ情報に基づいて、各画素におけるデプス適切解を導出し、その集合であるデプスマップを生成する。エッジ画像からデプスマップを生成するにあたっては、例えば次式(1)に示すエネルギー関数を用いる。
なお、複数の入力画像の中から選択した2以上の入力画像を合成した合成画像を修正用画像として用いることとしてもよい。
強調画像生成部123は、ユーザー操作に従って指定領域を判定する(ステップD1)。具体的には、タッチパネル21のうちのタップされた領域を認識し、タップされた領域を指定領域と判定する。その後、強調画像生成部123は、指定領域の中から代表画素を選択する(ステップD3)。
強調画像修正部125は、タッチパネル21を介してユーザーによりドラッグされた領域を指定領域とする(ステップE1)。そして、強調画像修正部125は、指定領域の中から代表画素を選択する(ステップE3)。代表画素は、図8の強調画像生成処理のステップD3で代表画素を選択する際と同様の手法で選択することができる。
次に、上記の処理について、実際に画像を用いて実験を行った結果を示す。
図10は、同一シーンについて、焦点距離を変えて撮像された2枚の画像を示す。
図10(1)は、近景であるウサギの人形部分に焦点を合わせて撮像された入力画像であり、図10(2)は、背景である木々部分に焦点を合わせて撮像された入力画像である。
第1実施例によれば、スマートフォン1において、エッジ検出部107は、複数の入力画像から特徴としてエッジを検出し、検出されたエッジの強度を特徴量として検出する。そして、深度推定部111は、エッジ検出手段107により検出されたエッジの強度を用いて、対象画素について、複数の入力画像のうちの何れの入力画像で合焦しているかを示す情報である深度を推定する。そして、デプスマップ生成部113は、深度推定部111の推定結果に基づいてデプスマップを生成する。
第1実施例は、焦点距離を変えて撮像された複数の入力画像を縮小し、その縮小した入力画像に対して深度推定処理を行って縮小デプスマップを生成した。第2実施例は、複数の入力画像を縮小せずにそのままの大きさとし、この複数の入力画像に対して第1実施例と同様の画像処理を行って、デプスマップを生成する実施例である。
第3実施例は、上記の第1実施例及び第2実施例で説明した手法とは異なる手法でデプスマップを生成する実施例である。本実施例では、視差が生ずるようにカメラの位置を変化させて異なる視点で撮像された複数の撮影画像を用いてデプスマップを生成する。この視差が生ずるようにカメラの位置を変化させて異なる視点で画像を撮像する方式を「視差方式」と称して説明する。
図19は、第3実施例において、処理部10が、図4及び図5の画像処理に代えて実行する第3の画像処理のうち、図4に相当する部分を抜き出したフローチャートである。なお、画像処理と同一のステップについては同一の符号を付して、再度の説明を省略する。
この基準入力画像は、テーブルに被写体とする箱を置いて、この箱をカメラで正面視点から撮像した撮影画像であり、画像中に示される多数の矩形のマーカが、特徴点検出処理を行うことで検出された特徴点を示している。これを見ると、基準入力画像中から多数の特徴点が検出されていることがわかる。
この入力画像は、図20(1)と同様に、テーブルに置かれた被写体を左視点から撮像した撮影画像である。この入力画像に対して特徴点の追跡を行った結果が図20(3)である。図20(3)において、各線の始点と終点が各画像における特徴点の位置を示し、線の色は各特徴点の移動方向を示し、線の長さは各特徴点の移動量を示す。この図を見ると、異なる視点で撮像した撮影画像について対応する各特徴点が移動している様子が分かる。
図21(1)は、正面視点から特徴点群を見た場合のサンプル画像を、図21(2)は、上視点から特徴点群を見た場合のサンプル画像を、図21(3)は、左視点から特徴点群を見た場合のサンプル画像をそれぞれ示している。これらのサンプル画像を見ると、特徴点の3次元座標が正しく推定され、その特徴点群がそれぞれの視点に応じて異なる分布を示していることがわかる。
図31には、基点入力画像Aと基点入力画像Bとの組合せについて、それぞれの基点入力画像を撮像した際のカメラの位置をカメラ位置A及びカメラ位置Bとして、それぞれ黒丸で示している。また、1つの画素を対象画素とし、対象画素位置を基点入力画像Aに投影した位置を投影画素位置Aとし、対象画素位置を基点入力画像Bに投影した位置を投影画素位置Bとして、それぞれ白丸で示している。
上記のデプスマップの生成方法では、視差を得るために、ユーザーがカメラを移動させて複数の視点から画像を撮像させることが必要となる。このとき、単にカメラを移動させることをユーザーに示唆するのみでは、どのようにカメラを動かせばよいかユーザーが分からない場合が多く、不便であるという問題がある。例えば、カメラを一箇所で回転させるだけだと、視差が発生せず、距離情報を得ることができないため、このような操作をしないようにユーザーに促すことが必要となる。そこで、次のような処理を行うようにしてもよい。
図22には、画像処理装置を備えた電子機器の一例であるスマートフォン1の表示画面を示している。外枠で囲まれる領域全体がスマートフォン1の表示画面を表しており、表示画面の中央部に、前述した確認画面が表示されている。
4−1.ユーザー操作によるデフォルト合焦位置の設定
上記の実施例では、全焦点画像が生成された後に、強調画像生成モードにおいて実行される強調画像生成処理において、ユーザーが全焦点画像の中から強調させる領域を指定し、その指定領域に含まれる画素が合焦とされた強調画像を生成することとして説明した。しかし、この方法では、ユーザーが所望の画像を生成するために、撮像部50による撮像後にユーザーがその都度、強調させたい領域を指定することが必要となり、不便であるという問題がある。
上記の処理において、デフォルト合焦位置を設定する際に、確認画面において、被写体として写し出されている人物やその人物の顔を検出し、検出した人物や顔をデフォルトの合焦位置として、上記と同様の処理を行って、強調画像を生成するようにしてもよい。また、画像の撮像後に入力画像を表示する入力画像表示画面において、被写体として写し出されている人物やその人物の顔を検出し、検出した人物や顔をデフォルトの合焦位置として、上記と同様の処理を行って、強調画像を生成するようにしてもよい。
5−1.図形による領域の指定
上記の実施例では、目的の被写体にピントを合わせようとした場合に、その目的の被写体と同程度の奥行き距離に異なる被写体が存在すると、当該被写体に対してもピントの合った画像が生成されてしまう。従って、目的の被写体と同程度の奥行き距離にユーザーが意図しない被写体の写り込みが発生した場合、目的の被写体だけにピントを合わせ、意図せずに写り込んだ被写体について暈し処理によって暈すということができなくなるという問題がある。
図25には、入力画像として、中央部に目的の被写体であるマグカップが表示された画像を示している。この入力画像には、画像の右境界部に、ユーザーが意図しない被写体である紙コップの一部が写し出されている。ユーザーは、目的の被写体であるマグカップの画像部分を強調させ、意図しない被写体である紙コップの画像部分を暈すために、領域指定用図形を操作してマグカップの画像部分を指定する。
また、上記のように強調したい領域以外の領域に対して暈し処理を施す場合において、対象とする領域を暈す度合がユーザー操作によって調整可能としてもよい。具体的には、例えば、表示画面に対するピンチ操作に応じて、暈し処理における暈し度合を変更して、暈し処理を施すようにしてもよい。
図26には、ミニカーやぬいぐるみを含む複数の被写体が写し出された全焦点画像を示している。この画像において、ミニカーを目的の被写体とし、それ以外の被写体や背景を暈す場合を考える。この場合、図26(1)に示すように、ユーザーがミニカーの画像領域をタップし、2本の指でピンチアウト操作を行うと、処理部10は、2本の指の間隔(2本の指が接触している2点の座標間隔)の広がりに応じて、暈し度合を段階的に高くして、ミニカーの画像部分以外の画像領域に対する暈し処理を行う。その結果、図26(2)に示すように、ミニカーの画像領域が明瞭に表示され、それ以外の画像領域が暈された画像が生成される。
任意の焦点距離範囲について合焦として画像を自由に生成可能とするために、出力画像の生成時又は出力画像の生成後の編集画面において、焦点距離範囲をユーザーが指定するための焦点距離スライダーを出力画像又は出力画像の外側に表示させて、ユーザーが任意の焦点距離範囲を指定可能としてもよい。なお、本実施例において、焦点距離と深度とは一対一に対応している。
図27には、ウサギの人形が中心部に前景として、木々や建物が背景として表示された出力画像の一例を示している。また、出力画像の左下部には、横方向のバーで表される焦点距離スライダーS1が表示されている。焦点距離スライダーS1は、左側にいくほど焦点距離が近く(near)、右側にいくほど焦点距離が遠い(far)ことを意味している。
図28(1)に示すように、ユーザーが前景であるウサギの人形の胴体部分をタップすると、タップ位置に対応する画素が判定され、同じ焦点距離にある画素がフラッシュ表示される。説明の簡明化のため、ウサギの人形を構成する画素の焦点距離が全て同じであるとすると、図28(1)に示すように、ウサギの人形を構成する画素が区別表示の対象とされ、ウサギの人形の画像部分がフラッシュ表示される。
上記の実施例において、撮像部50によって撮像が行われた後、強調画像生成処理において強調画像が生成されるまでには一定の時間を要する。その間、ユーザーをただ待たせるのは非効率であるため、強調画像生成処理において、どの画像部分を合焦/非合焦とするかをユーザーに指定させる処理を挟んでもよい。
なお、入力画像とエッジ画像との積画像は明度が低くなる場合があるため、生成した積画像に対して明度を上げる処理を行うようにすると好適である。
第8実施例は、入力画像に白飛びが発生している場合を想定し、白飛び領域に対して効果を発揮する暈し処理(以下、「白飛び効果暈し処理」という。)に関する実施例である。白飛びを含む領域においては、光の強さに応じて膨張するように暈しを施すことが好ましい。しかし、単純な畳み込み演算(空間的な加重平均)を行うフィルタを用いて、白飛び領域を含む入力画像に対する暈し処理を行った場合、現実の世界と乖離した不自然な暈し結果の画像が得られてしまう。
最初に、処理部10は、処理対象とする画像である処理対象画像を入力する(ステップL1)。そして、処理部10は、入力した処理対象画像から白飛び領域を検出する白飛び領域検出処理を行う(ステップL3)。
本発明を適用可能な実施例は、上記の実施例に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは勿論である。以下、変形例について説明するが、上記の実施例と同一の構成については同一の符号を付して、再度の説明を省略する。
上記の実施形態では、画像処理装置をスマートフォンとした場合の実施形態について説明したが、画像処理装置として適用可能な電子機器はスマートフォンに限られるわけではない。例えば、カメラやデジタルカメラ、タブレット端末、PDA等の電子機器を画像処理装置として適用してもよいことは勿論である。撮像部を備えた電子機器であれば、種々の電子機器に本発明の画像処理装置を適用することが可能である。
上記の実施形態では、焦点距離を変えて撮像された深度の異なる複数の入力画像から特徴としてエッジを検出し、そのエッジ強度を特徴量として用いて深度を推定する場合を例に挙げて説明したが、これに限られるわけではない。
上記の実施形態では、適切解演算処理として、式(1)のエネルギー関数を用いてスコア値を算出し、スコア値が最大となった入力画像を合焦している入力画像と判定することとして説明したが、式(1)の代わりに次式(12)のエネルギー関数を用いてスコア値を算出し、スコア値が最小となった入力画像を合焦している入力画像と判定することとしてもよい。
上記の実施形態では、デプスマップに基づいて生成した全焦点画像を表示用画像として表示部30に表示させることとして説明したが、必ずしも全焦点画像を表示部30に表示させなければならないわけではない。
何れにせよ、ユーザーは、表示部30に表示された上記の表示用画像を閲覧しながら、操作部20を操作して、画像中の修正したい部分を選択することになる。
表示制御部127が、表示部30に所定の表示用画像を表示させるように制御し、その表示画面の所定位置に、深度をユーザーに選択させるための深度選択用操作窓を表示させる制御を行うこととしてもよい。この場合、ユーザーは、入力部20を介して深度選択用操作窓から深度を選択する。
上記の実施形態で説明した強調画像生成処理において、ユーザー操作が検知された場合に、ユーザーにより指定された画像上の領域が暈し処理が行われた領域であるか否かを判定し、その判定結果が肯定判定である場合に、当該領域の暈し度合を所定の暈し度合とは異なる暈し度合にして強調画像に対して再度暈し処理を行うようにしてもよい。
上記の実施形態では、ユーザーが強調画像の生成や強調画像の修正を行う際の操作を、タッチパネル21に対するタップ操作やドラッグ操作として説明したが、必ずしもタッチパネル21に対するユーザー操作に従って強調画像の生成や強調画像の修正を行わなければならないわけではない。
上記の実施形態では、全焦点画像に基づいて強調画像を生成することとして説明した。具体的には、全焦点画像に対して暈し処理を施した画像に、強調したい部分の深度の入力画像の画素値を合成することで強調画像を生成した。しかし、全焦点画像を生成せずに、入力画像のみを用いて強調画像を生成することも可能である。
ユーザーがタップ操作やドラッグ操作を行った場合に強調画像を生成するのではなく、他の何らかのアクションをトリガーとして、強調画像を生成するようにしてもよい。具体的には、例えば、表示部30に強調画像生成の指示を行わせるためのボタンを表示させ、タッチパネル21を介してこのボタンが押下されたことを検知した場合に、強調画像を生成するようにしてもよい。また、操作ボタンを具備する画像処理装置であれば、この操作ボタンの押下を検知して、強調画像を生成するようにしてもよい。
ユーザーがタッチパネル21に対するピンチ操作を行った場合に、そのピンチ操作に従って表示画像の拡大・縮小や回転を行うこととしてもよい。具体的には、ユーザーが二本の指でタッチパネル21をタップし、そのタップした二点間の距離を大きくする/小さくする操作がなされたことを検知した場合に、例えばそのタップされた二点間の中心座標に対応するデプスマップ上の画素を特定し、その特定した画素を基準として表示画像の全体を拡大/縮小することとしてもよい。また、ユーザーにより二点間を結ぶ直線の角度を変化させるように指をねじる操作がなされたことを検知した場合に、例えばそのタップされた二点間の中心座標に対応するデプスマップ上の画素を特定し、その特定した画素を基準として表示画像の全体を回転させることとしてもよい。
上記の実施形態では、図9の強調画像修正処理において、ドラッグ方向とエッジ方向とのコサイン類似度に基づいてペナルティ値を変更し、指定領域内の画素についてスコア値演算処理を実行して、深度を再推定した。つまり、指定領域内の画素について第2種パラメーター値を変更してスコア値演算処理を実行した。しかし、これに代えて、指定領域内の画素についてコスト値を変更して、スコア値演算処理を実行してもよい。つまり、指定領域内の画素について第1種パラメーター値を変更してスコア値演算処理を実行することとしてもよい。
ペナルティ値として設定可能な値は、第1のペナルティ値と第2のペナルティ値との2つに限られるわけではない。例えば、図16のペナルティ値テーブル89に示すように、第1のペナルティ値893及び第2のペナルティ値895に加えて、第3のペナルティ値897を設定することとしてもよい。具体的には、対象画素と近傍画素とで、合焦しているとする入力画像を画像番号833bで「3以上」変化させる場合のペナルティ値として、第3のペナルティ値897を定めておくこととしてもよい。図16のペナルティ値テーブル895では、種別891の「通常時」に、第3のペナルティ値897として「P3」が定められている。但し、「P1<P2<P3」である。
入力画像中の被写体ぶれの領域(以下、「被写体ぶれ領域」という。)を検出し、当該被写体ぶれ領域では推定される深度(合焦しているとして選択される入力画像)が変更されにくくするように、コスト値及びペナルティ値の少なくとも一方を変更するようにしてもよい。被写体ぶれとは、撮像時に被写体が動き、その動きの早さがカメラのシャッタースピードよりも早いことで、画像中の被写体がぶれてしまうことをいう。被写体ぶれ領域の検出は、従来公知の手法を用いて実現することができる。
上記の実施例では、画像処理に係る各種のプログラムやデータが、画像処理装置の記憶部80に記憶されており、処理部10がこれらのプログラムを読み出して実行することで、上記の各実施例における画像処理を実現することとして説明した。この場合、記憶部80は、ROMやフラッシュROM、ハードディスク、RAMといった内部記憶装置の他に、メモリカードやコンパクトフラッシュ(登録商標)カード、メモリスティック、USBメモリ、CD−RW(光学ディスク)、MO(光磁気ディスク)といった記録媒体(記録メディア、外部記憶装置)を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。
画像処理装置には、メモリカード7を挿入するためのカードスロット710が設けられており、カードスロット710に挿入されたメモリカード7に記憶された情報を読み取る又はメモリカード7に情報を書き込むためのカードリーダライタ(R/W)720が設けられている。カードリーダライタ720は、処理部10の制御に従って、記憶部80に記録されたプログラムやデータをメモリカード7に書き込む動作を行う。メモリカード7に記録されたプログラムやデータは、画像処理装置以外の情報処理装置(例えばパソコン)で読み取ることで、当該情報処理装置において、上記の実施例における画像処理を実現することが可能である。
7 メモリカード
10 処理部
20 入力部
21 タッチパネル
30 表示部
40 通信部
50 撮像部
55 携帯電話用アンテナ
60 携帯電話用無線通信回路部
70 時計部
75 慣性センサ
80 記憶部
Claims (19)
- 表示手段と、
所定の合焦状態を指定するユーザー操作を受け付ける入力手段と、
複数の入力画像のコントラストを補正するコントラスト補正手段と、
前記コントラスト補正手段によって補正された前記複数の入力画像から所定の特徴を検出する特徴検出手段と、
前記特徴検出手段の検出結果に基づいてデプスマップを生成するデプスマップ生成手段と、
前記入力手段に対する前記ユーザー操作に応じて、前記デプスマップに基づいて、特定深度に相当する入力画像中の画素の画素値を、前記特定深度以外の深度に相当する入力画像に合成した合成画像を生成する合成画像生成手段と、
を備え、
前記特徴検出手段は、所定の特徴量を検出する特徴量検出手段を有し、
前記特徴量検出手段によって検出された特徴量を用いて、対象画素について、前記複数の入力画像のうちの何れの入力画像で合焦しているかを示す情報である深度を推定する深度推定手段を更に備え、
前記デプスマップ生成手段は、前記深度推定手段の推定結果に基づいて前記デプスマップを生成し、
前記表示手段は、前記合成画像生成手段によって生成された合成画像を表示する、
画像処理装置。 - 前記深度推定手段は、前記特徴量検出手段により検出された前記複数の入力画像それぞれの特徴量を用いて、前記対象画素について、当該対象画素の特徴量に応じて定まる第1種パラメーター値と、当該対象画素について合焦しているとする第1の入力画像と当該対象画素の近傍画素について合焦しているとする第2の入力画像とが異なる場合のペナルティとして定められる第2種パラメーター値とを用いた所定の適切解演算処理を行って、前記対象画素について合焦している入力画像を判定する、
請求項1に記載の画像処理装置。 - 前記複数の入力画像から被写体ぶれ領域を検出する被写体ぶれ領域検出手段を更に備え、
前記適切解演算処理では、前記被写体ぶれ領域検出手段により検出された被写体ぶれ領域について、前記第1種パラメーター値及び前記第2種パラメーター値の少なくとも一方を前記被写体ぶれ領域以外の領域で用いるパラメーター値とは異なる値として演算を行う、
請求項2に記載の画像処理装置。 - 前記複数の入力画像の焦点が適切に分離されているかを判定する焦点分離判定手段を更に備え、
前記深度推定手段は、前記焦点分離判定手段の判定結果が肯定判定となった入力画像を用いて、前記対象画素について前記深度を推定する、
請求項1〜3の何れか一項に記載の画像処理装置。 - 前記特徴量検出手段は、前記複数の入力画像又は前記複数の入力画像を縮小した縮小入力画像から前記特徴量を検出し、
前記デプスマップ生成手段は、前記深度推定手段の推定結果に基づいて、縮小されたデプスマップを生成し、
前記縮小されたデプスマップを所定の復元方法を用いて復元する復元手段と、
前記復元手段により復元されたデプスマップを、所定の修正用画像を用いて修正したデプスマップを生成する修正手段と、
を更に備えた、
請求項1〜4の何れか一項に記載の画像処理装置。 - 前記特徴検出手段は、視差が発生する複数の視点で撮像された撮影画像を前記複数の入力画像として特徴点を検出する特徴点検出手段を有し、
前記特徴点検出手段によって検出された特徴点に基づいて、前記複数の入力画像それぞれの視点の相対的な位置関係を推定する視点位置関係推定手段と、
所定の推定演算を行って、前記複数の入力画像を構成する画素の3次元の位置を推定する画素位置推定手段と、
を更に備え、
前記デプスマップ生成手段は、前記視点位置関係推定手段の推定結果と前記画素位置推定手段の推定結果とに基づいて、前記デプスマップを生成する、
請求項1に記載の画像処理装置。 - 前記視点位置関係推定手段は、
前記特徴点検出手段によって検出された特徴点を追跡する特徴点追跡手段と、
前記特徴点追跡手段の追跡結果に基づいて、前記複数の入力画像の中から基点となる入力画像である基点入力画像を抽出する基点入力画像抽出手段と、
を有し、前記基点入力画像抽出手段によって抽出された基点入力画像について前記特徴点検出手段によって検出された特徴点に基づいて、前記複数の撮影画像それぞれの視点の相対的な位置関係を推定する、
請求項6に記載の画像処理装置。 - 前記複数の撮影画像に視差を生じさせるための自装置の移動方法をユーザーにガイドするためのガイド表示を前記表示手段に表示させる制御を行う表示制御手段と、
自装置の移動諸量を検出する移動諸量検出手段と、
を更に備え、
前記表示制御手段は、前記移動諸量検出手段の検出結果に基づいて、前記ガイド表示の表示を変化させる、
請求項6又は7に記載の画像処理装置。 - 前記デプスマップと前記複数の入力画像とを用いて全焦点画像を生成する全焦点画像生成手段を更に備え、
前記合成画像生成手段は、前記全焦点画像に対して暈し処理を行い、前記入力手段に対する前記ユーザー操作に応じて、前記デプスマップに基づいて、前記特定深度に相当する入力画像中の画素の画素値を前記暈し処理の結果の画像に合成した合成画像を生成する、
請求項1〜8の何れか一項に記載の画像処理装置。 - 前記入力手段に対するユーザー操作に応じて、合焦対象とする領域である合焦対象領域をユーザーが指定するための指定用図形を前記表示手段に表示させる表示制御手段を更に備え、
前記合成画像生成手段は、前記デプスマップに基づいて、前記入力画像のうち前記指定用図形に含まれる画素の深度を前記特定深度として、前記合成画像を生成する、
請求項9に記載の画像処理装置。 - 前記入力手段は、前記表示手段と一体的に構成されたタッチパネルを有し、
前記表示手段は、撮像対象を確認可能な確認画面を表示し、
前記確認画面における前記タッチパネルに対するタップ操作に応じて、合焦対象とする確認画面上の位置である合焦対象位置を記憶する記憶手段と、
前記記憶手段に合焦対象位置が記憶された後、所定の撮像条件の成立に応じて撮像を行う撮像手段と、
を更に備え、
前記特徴検出手段は、前記撮像手段によって撮像された複数の撮影画像を前記複数の入力画像として前記特徴を検出し、
前記合成画像生成手段は、前記記憶手段に記憶された合焦対象位置に対応する深度を前記特定深度として、前記合成画像を生成する、
請求項1〜9の何れか一項に記載の画像処理装置。 - 前記入力手段は、前記表示手段と一体的に構成されたタッチパネルを有し、
前記表示手段は、所定の表示用画像を表示し、
前記表示用画像が表示された表示画面における前記タッチパネルに対するピンチ操作に応じて、合焦対象とする領域である合焦対象領域を設定する合焦対象領域設定手段と、
前記合焦対象領域設定手段によって設定された合焦対象領域以外の領域に対して所定の暈し度合で暈し処理を行う暈し処理手段と、
を更に備え、
前記暈し処理手段は、前記合焦対象領域設定手段によって設定された合焦対象領域に対するピンチ操作に応じて、前記暈し度合を変更する暈し度合変更手段を有する、
請求項1〜9の何れか一項に記載の画像処理装置。 - 前記複数の入力画像は、異なる焦点距離で撮像された複数の撮影画像であり、
前記表示手段の所定位置に、焦点距離範囲をユーザーが指定するための焦点距離範囲指定用画像を表示させる制御を行う表示制御手段を更に備え、
前記合成画像生成手段は、前記デプスマップに基づいて、前記焦点距離範囲指定用画像に対するユーザー操作によって指定された焦点距離範囲に対応する深度の画素を合焦とし、それ以外の画素を非合焦とした合成画像を生成する、
請求項1〜12の何れか一項に記載の画像処理装置。 - 前記複数の入力画像は、異なる焦点距離で撮像された複数の撮影画像であり、
前記複数の入力画像に基づく複数の参照用画像を前記表示手段に順次に表示させる制御を行う表示制御手段を更に備え、
前記合成画像生成手段は、前記デプスマップに基づいて、前記参照用画像のうち、ユーザーによって指定された参照用画像に対応する入力画像の焦点距離に対応する深度の画素を合焦とし、それ以外の画素を非合焦とした合成画像を生成する、
請求項1〜12の何れか一項に記載の画像処理装置。 - 前記入力手段は、前記表示手段と一体的に構成されたタッチパネルを有し、
前記合成画像生成手段は、前記タッチパネルに対するドラッグ操作に基づいて、前記特定深度を動的に変更して前記合成画像を動的に生成し、
前記表示手段は、前記合成画像生成手段により動的に生成される合成画像を前記ドラッグ操作に合わせて表示する、
請求項1〜14の何れか一項に記載の画像処理装置。 - 前記深度推定手段は、ユーザーによって指定された指定領域に含まれる画素について前記深度を再推定する深度再推定手段を有し、
前記デプスマップ生成手段は、前記深度再推定手段による深度の再推定の結果に基づいてデプスマップを再生成するデプスマップ再生成手段を有する、
請求項1〜15の何れか一項に記載の画像処理装置。 - 前記深度推定手段は、ユーザーによって指定された指定領域に含まれる画素について前記深度を再推定する深度再推定手段を有し、
前記デプスマップ生成手段は、前記深度再推定手段による深度の再推定の結果に基づいてデプスマップを再生成するデプスマップ再生成手段を有し、
前記深度再推定手段は、前記指定領域に含まれる画素について、前記第1種パラメーター値及び前記第2種パラメーター値の少なくとも一方を、前記深度推定手段が当初の深度推定で用いたパラメーター値とは異なる値に変更して前記適切解演算処理を行って、前記深度を再推定する、
請求項2又は3に記載の画像処理装置。 - 所定の合焦状態を指定するユーザー操作を受け付けることと、
複数の入力画像のコントラストを補正することと、
前記補正された前記複数の入力画像から所定の特徴を検出することと、
前記特徴の検出結果に基づいてデプスマップを生成することと、
前記受け付けた前記ユーザー操作に応じて、前記デプスマップに基づいて、特定深度に相当する入力画像中の画素の画素値を、前記特定深度以外の深度に相当する入力画像に合成した合成画像を生成することと、
を含み、
前記検出することは、所定の特徴量を検出することを含み、
前記検出された特徴量を用いて、対象画素について、前記複数の入力画像のうちの何れの入力画像で合焦しているかを示す情報である深度を推定することを更に含み、
前記デプスマップを生成することは、前記深度の推定結果に基づいて前記デプスマップを生成することを含み、
前記生成された合成画像を表示することを更に含む、
画像処理方法。 - コンピュータに、
所定の合焦状態を指定するユーザー操作を受け付ける受付ステップと、
複数の入力画像のコントラストを補正するコントラスト補正ステップと、
前記コントラスト補正ステップで補正された前記複数の入力画像から所定の特徴を検出する特徴検出ステップと、
前記特徴の検出結果に基づいてデプスマップを生成するデプスマップ生成ステップと、
前記受け付けた前記ユーザー操作に応じて、前記デプスマップに基づいて、特定深度に相当する入力画像中の画素の画素値を、前記特定深度以外の深度に相当する入力画像に合成した合成画像を生成する合成画像生成ステップと、
を実行させ、
前記特徴検出ステップは、所定の特徴量を検出する特徴量検出ステップを含み、
前記特徴量検出ステップで検出された特徴量を用いて、対象画素について、前記複数の入力画像のうちの何れの入力画像で合焦しているかを示す情報である深度を推定する深度推定ステップを更に実行させ、
前記デプスマップ生成ステップは、前記深度の推定結果に基づいて前記デプスマップを生成するステップを含み、
前記合成画像生成ステップで生成された合成画像を表示する表示ステップを更に実行させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014221811A JP6511247B2 (ja) | 2013-10-30 | 2014-10-30 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013226045 | 2013-10-30 | ||
JP2013226045 | 2013-10-30 | ||
JP2014221811A JP6511247B2 (ja) | 2013-10-30 | 2014-10-30 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015111822A JP2015111822A (ja) | 2015-06-18 |
JP6511247B2 true JP6511247B2 (ja) | 2019-05-15 |
Family
ID=52994878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014221811A Active JP6511247B2 (ja) | 2013-10-30 | 2014-10-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US9508173B2 (ja) |
JP (1) | JP6511247B2 (ja) |
KR (1) | KR101709380B1 (ja) |
CN (2) | CN104660900B (ja) |
TW (1) | TWI554936B (ja) |
Families Citing this family (121)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9734582B2 (en) * | 2013-02-21 | 2017-08-15 | Lg Electronics Inc. | Remote pointing method |
JP6179224B2 (ja) * | 2013-07-02 | 2017-08-16 | 富士通株式会社 | 画像処理フィルタの作成装置及びその方法 |
US9734551B1 (en) * | 2013-12-01 | 2017-08-15 | Google Inc. | Providing depth-of-field renderings |
US9594893B2 (en) * | 2014-01-15 | 2017-03-14 | Lenovo (Singapore) Pte. Ltd. | Multi-touch local device authentication |
KR102326275B1 (ko) * | 2014-02-25 | 2021-11-16 | 삼성전자주식회사 | 이미지 표시 방법 및 장치 |
KR102271853B1 (ko) * | 2014-03-21 | 2021-07-01 | 삼성전자주식회사 | 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체 |
JP6399437B2 (ja) * | 2014-06-04 | 2018-10-03 | パナソニックIpマネジメント株式会社 | 制御装置及びそれを用いた作業管理システム |
CN104038699B (zh) * | 2014-06-27 | 2016-04-06 | 努比亚技术有限公司 | 对焦状态的提示方法和拍摄装置 |
CN110769149B (zh) | 2015-04-23 | 2021-05-11 | 苹果公司 | 用于处理来自多相机的内容的方法、电子设备和存储介质 |
BR112017026903A2 (pt) * | 2015-06-16 | 2019-05-07 | Koninklijke Philips N.V. | aparelho para gerar um mapa de profundidade, método para gerar um mapa de profundidade e produto de programa de computador |
WO2016203282A1 (en) | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
JP6614824B2 (ja) * | 2015-06-26 | 2019-12-04 | キヤノン株式会社 | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム |
US20180225831A1 (en) * | 2015-08-07 | 2018-08-09 | Nec Corporation | Image processing device, image restoring device, and image processing method |
US10237473B2 (en) * | 2015-09-04 | 2019-03-19 | Apple Inc. | Depth map calculation in a stereo camera system |
US20170091905A1 (en) * | 2015-09-24 | 2017-03-30 | Dell Products L.P. | Information Handling System Defocus Tracking Video |
US10249061B2 (en) | 2015-11-11 | 2019-04-02 | Adobe Inc. | Integration of content creation and sharing |
US10389804B2 (en) | 2015-11-11 | 2019-08-20 | Adobe Inc. | Integration of content creation and sharing |
US10198590B2 (en) * | 2015-11-11 | 2019-02-05 | Adobe Inc. | Content sharing collections and navigation |
US10783431B2 (en) | 2015-11-11 | 2020-09-22 | Adobe Inc. | Image search using emotions |
CN106997582A (zh) * | 2016-01-22 | 2017-08-01 | 北京三星通信技术研究有限公司 | 飞行时间三维传感器的运动模糊消除方法和设备 |
US10516875B2 (en) * | 2016-01-22 | 2019-12-24 | Samsung Electronics Co., Ltd. | Method and apparatus for obtaining depth image by using time-of-flight sensor |
KR102510821B1 (ko) * | 2016-02-05 | 2023-03-16 | 삼성전자주식회사 | 영상 처리 방법, 장치 및 기록 매체 |
JP6482130B2 (ja) * | 2016-02-25 | 2019-03-13 | Kddi株式会社 | 幾何検証装置、プログラム及び方法 |
JP6765057B2 (ja) * | 2016-03-18 | 2020-10-07 | パナソニックIpマネジメント株式会社 | 画像生成装置、画像生成方法およびプログラム |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
JP6684168B2 (ja) * | 2016-06-28 | 2020-04-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US10574947B2 (en) * | 2016-07-15 | 2020-02-25 | Qualcomm Incorporated | Object reconstruction in disparity maps using displaced shadow outlines |
US10096097B2 (en) * | 2016-08-01 | 2018-10-09 | The United States Of America As Represented By The Secretary Of The Navy | Content-aware bidirectional image edge highlighting |
JP6641485B2 (ja) * | 2016-08-09 | 2020-02-05 | シャープ株式会社 | 位置指定装置および位置指定方法 |
EP3500822A4 (en) * | 2016-08-18 | 2019-08-28 | SZ DJI Technology Co., Ltd. | SYSTEMS AND METHODS FOR ADVANCED STEREOSCOPIC PRESENTATION |
TWI604417B (zh) * | 2016-08-31 | 2017-11-01 | 國立交通大學 | 估算對極幾何模型的方法及其系統 |
KR102561099B1 (ko) * | 2016-09-23 | 2023-07-28 | 삼성전자주식회사 | ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법 |
CN106570821A (zh) * | 2016-10-29 | 2017-04-19 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
JP7014175B2 (ja) * | 2016-11-08 | 2022-02-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
KR101871937B1 (ko) * | 2016-11-15 | 2018-07-02 | 주식회사 스트로크플레이 | 고속 영상 카메라를 이용한 비행물체의 비행데이터 측정 장치 및 방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 |
JP6948787B2 (ja) * | 2016-12-09 | 2021-10-13 | キヤノン株式会社 | 情報処理装置、方法およびプログラム |
WO2018112764A1 (zh) * | 2016-12-20 | 2018-06-28 | 广东欧珀移动通信有限公司 | 图像处理方法与装置、控制方法与装置、成像与电子装置 |
US10389936B2 (en) * | 2017-03-03 | 2019-08-20 | Danylo Kozub | Focus stacking of captured images |
JP6911435B2 (ja) * | 2017-03-23 | 2021-07-28 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、表示システム、及びプログラム |
KR102309297B1 (ko) * | 2017-03-31 | 2021-10-06 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
CN107170001A (zh) * | 2017-04-25 | 2017-09-15 | 北京海致网聚信息技术有限公司 | 用于对图像进行配准的方法和装置 |
CN107368184B (zh) | 2017-05-12 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 一种虚拟现实场景中的密码输入方法和装置 |
WO2018214067A1 (en) | 2017-05-24 | 2018-11-29 | SZ DJI Technology Co., Ltd. | Methods and systems for processing an image |
CN107038681B (zh) * | 2017-05-31 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像虚化方法、装置、计算机可读存储介质和计算机设备 |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
KR102434574B1 (ko) | 2017-08-14 | 2022-08-22 | 삼성전자주식회사 | 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법 |
WO2019058487A1 (ja) | 2017-09-21 | 2019-03-28 | オリンパス株式会社 | 3次元復元画像処理装置、3次元復元画像処理方法及び3次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
US10372298B2 (en) | 2017-09-29 | 2019-08-06 | Apple Inc. | User interface for multi-user communication session |
JP6590899B2 (ja) * | 2017-12-07 | 2019-10-16 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
CN108227919B (zh) * | 2017-12-22 | 2021-07-09 | 潍坊歌尔电子有限公司 | 用户手指位置信息的确定方法及装置、投影仪、投影*** |
US10733706B2 (en) | 2018-01-07 | 2020-08-04 | Htc Corporation | Mobile device, and image processing method for mobile device |
CN115052139B (zh) | 2018-01-19 | 2023-09-08 | 交互数字Vc控股公司 | 一种用于显示视频的方法和显示设备 |
JP6749510B2 (ja) | 2018-01-29 | 2020-09-02 | Eizo株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US11386527B2 (en) | 2018-01-30 | 2022-07-12 | Sony Corporation | Image processor and imaging processing method |
CN108279287B (zh) * | 2018-02-01 | 2020-12-18 | 嘉兴市丰成五金材料股份有限公司 | 基于通信技术的烟雾快速散发*** |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
CN111788544A (zh) * | 2018-02-19 | 2020-10-16 | 株式会社村上开明堂 | 操作检测装置和操作检测方法 |
CN108550182B (zh) * | 2018-03-15 | 2022-10-18 | 维沃移动通信有限公司 | 一种三维建模方法和终端 |
WO2019183211A1 (en) | 2018-03-23 | 2019-09-26 | Pcms Holdings, Inc. | Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr) |
US11700432B2 (en) * | 2018-04-11 | 2023-07-11 | Nokia Technologies Oy | Method and apparatus for signaling and storing grouping types in an image container file |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK180130B1 (da) | 2018-05-07 | 2020-06-02 | Apple Inc. | Multi-participant live communication user interface |
WO2020010018A1 (en) | 2018-07-05 | 2020-01-09 | Pcms Holdings, Inc. | Method and system for near-eye focal plane overlays for 3d perception of content on 2d displays |
JP7262940B2 (ja) * | 2018-07-30 | 2023-04-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
DE102018213052A1 (de) * | 2018-08-03 | 2020-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln einer Erklärungskarte |
CN109246354B (zh) * | 2018-09-07 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US10783649B2 (en) * | 2018-09-17 | 2020-09-22 | Adobe Inc. | Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) * | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
KR102562361B1 (ko) * | 2018-10-05 | 2023-08-02 | 엘지이노텍 주식회사 | 깊이 정보를 획득하는 방법 및 카메라 모듈 |
CN109151329A (zh) * | 2018-11-22 | 2019-01-04 | Oppo广东移动通信有限公司 | 拍照方法、装置、终端及计算机可读存储介质 |
CN110008802B (zh) | 2018-12-04 | 2023-08-29 | 创新先进技术有限公司 | 从多个脸部中选择目标脸部及脸部识别比对方法、装置 |
TWI678546B (zh) * | 2018-12-12 | 2019-12-01 | 緯創資通股份有限公司 | 距離偵測方法、距離偵測系統與電腦程式產品 |
US10917516B1 (en) * | 2018-12-18 | 2021-02-09 | United Services Automobile Association (Usaa) | Data access system for representatives |
CN109767466B (zh) * | 2019-01-10 | 2021-07-13 | 深圳看到科技有限公司 | 画面渲染方法、装置、终端及对应的存储介质 |
US11405547B2 (en) * | 2019-02-01 | 2022-08-02 | Electronics And Telecommunications Research Institute | Method and apparatus for generating all-in-focus image using multi-focus image |
US10554890B1 (en) | 2019-02-18 | 2020-02-04 | Samsung Electronics Co., Ltd. | Apparatus and method for generating low-light images with improved bokeh using mobile electronic device |
KR102597518B1 (ko) * | 2019-02-20 | 2023-11-03 | 삼성전자주식회사 | 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법 |
CN113474809A (zh) * | 2019-02-26 | 2021-10-01 | 株式会社索思未来 | 信息处理装置以及信息处理方法 |
CN109902695B (zh) * | 2019-03-01 | 2022-12-20 | 辽宁工程技术大学 | 一种面向像对直线特征匹配的线特征矫正与提纯方法 |
WO2020200396A1 (en) * | 2019-03-29 | 2020-10-08 | Nokia Technologies Oy | Apparatus for doppler shift compensation, corresponding method and computer program |
KR102647336B1 (ko) * | 2019-04-01 | 2024-03-14 | 구글 엘엘씨 | 동적 깊이 이미지를 캡처 및 편집하는 기술 |
CN113710986A (zh) * | 2019-04-10 | 2021-11-26 | 索尼集团公司 | 图像处理装置和图像处理方法 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN111901476B (zh) * | 2019-05-06 | 2022-06-10 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
US11062436B2 (en) | 2019-05-10 | 2021-07-13 | Samsung Electronics Co., Ltd. | Techniques for combining image frames captured using different exposure settings into blended images |
CN110567437B (zh) * | 2019-06-28 | 2021-05-18 | 武汉理工大学 | 港口起重机械摄影测量方法 |
CN110324532B (zh) * | 2019-07-05 | 2021-06-18 | Oppo广东移动通信有限公司 | 一种图像虚化方法、装置、存储介质及电子设备 |
CN112446946B (zh) * | 2019-08-28 | 2024-07-09 | 深圳市光鉴科技有限公司 | 基于稀疏深度与边界的深度重建方法、***、设备及介质 |
CN112446251A (zh) * | 2019-08-30 | 2021-03-05 | 深圳云天励飞技术有限公司 | 图像处理方法及相关装置 |
CN110796649B (zh) * | 2019-10-29 | 2022-08-30 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、电子设备和存储介质 |
CN111140103A (zh) * | 2019-12-28 | 2020-05-12 | 王体 | 办公柜锁孔封闭平台 |
KR102470250B1 (ko) * | 2020-03-26 | 2022-11-24 | 박재현 | 광학적 부분 차단을 이용한 다이내믹 영상 생성방법 |
TWI804850B (zh) * | 2020-04-16 | 2023-06-11 | 鈺立微電子股份有限公司 | 多深度資訊之融合方法與融合系統 |
US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
CN111724381B (zh) * | 2020-06-24 | 2022-11-01 | 武汉互创联合科技有限公司 | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 |
US20220005226A1 (en) * | 2020-07-05 | 2022-01-06 | Asensus Surgical Us, Inc. | Camera calibration using measured motion |
RU2745010C1 (ru) * | 2020-08-25 | 2021-03-18 | Самсунг Электроникс Ко., Лтд. | Способы реконструкции карты глубины и электронное вычислительное устройство для их реализации |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US20220104887A1 (en) * | 2020-10-06 | 2022-04-07 | Asensus Surgical Us, Inc. | Surgical record creation using computer recognition of surgical events |
US11671697B2 (en) | 2021-01-31 | 2023-06-06 | Apple Inc. | User interfaces for wide angle video conference |
CN113076685A (zh) * | 2021-03-04 | 2021-07-06 | 华为技术有限公司 | 图像重建模型的训练方法、图像重建方法及其装置 |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
US20220368548A1 (en) | 2021-05-15 | 2022-11-17 | Apple Inc. | Shared-content session user interfaces |
JP7113327B1 (ja) * | 2021-07-12 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US11812135B2 (en) | 2021-09-24 | 2023-11-07 | Apple Inc. | Wide angle video conference |
CN115063789B (zh) * | 2022-05-24 | 2023-08-04 | 中国科学院自动化研究所 | 基于关键点匹配的3d目标检测方法及装置 |
US20240031540A1 (en) * | 2022-07-21 | 2024-01-25 | Apple Inc. | Foveated down sampling of image data |
CN115409845B (zh) * | 2022-11-03 | 2023-02-03 | 成都新西旺自动化科技有限公司 | 一种异形高精度均衡对位方法及*** |
US20240169494A1 (en) * | 2022-11-21 | 2024-05-23 | Varjo Technologies Oy | Extended depth-of-field correction using reconstructed depth map |
CN116679080A (zh) * | 2023-05-30 | 2023-09-01 | 广州伏羲智能科技有限公司 | 一种河流表面流速确定方法、装置及电子设备 |
CN116740158B (zh) * | 2023-08-14 | 2023-12-05 | 小米汽车科技有限公司 | 图像深度确定方法、装置和存储介质 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4692878A (en) * | 1985-03-29 | 1987-09-08 | Ampower Technologies, Inc. | Three-dimensional spatial image system |
JP2001183133A (ja) * | 1999-12-22 | 2001-07-06 | Sony Corp | 3次元形状計測装置および方法、並びに記録媒体 |
JP3624859B2 (ja) | 2001-06-19 | 2005-03-02 | カシオ計算機株式会社 | 撮像装置、ソフトフォーカス画像撮影方法 |
JP4230128B2 (ja) | 2001-06-20 | 2009-02-25 | 富士フイルム株式会社 | 撮像装置およびその制御方法 |
CN100573231C (zh) * | 2004-09-08 | 2009-12-23 | 日本电信电话株式会社 | 三维显示方法、装置 |
JP2006146455A (ja) * | 2004-11-18 | 2006-06-08 | Konica Minolta Photo Imaging Inc | 電子機器、指標付画像の表示方法 |
KR100649523B1 (ko) | 2005-06-30 | 2006-11-27 | 삼성에스디아이 주식회사 | 입체 영상 표시 장치 |
KR101228304B1 (ko) | 2006-06-16 | 2013-01-30 | 삼성전자주식회사 | 깊이 정보 맵 구성 장치 및 방법, 깊이 정보 맵을 이용한이미지 디스플레이 장치 및 방법 |
JP2008039491A (ja) * | 2006-08-02 | 2008-02-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
US8213711B2 (en) * | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
US8497920B2 (en) | 2008-06-11 | 2013-07-30 | Nokia Corporation | Method, apparatus, and computer program product for presenting burst images |
WO2010065344A1 (en) * | 2008-11-25 | 2010-06-10 | Refocus Imaging, Inc. | System of and method for video refocusing |
KR101506926B1 (ko) * | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | 깊이 추정 장치 및 방법, 및 3d 영상 변환 장치 및 방법 |
EP2380358B1 (en) | 2008-12-19 | 2017-08-30 | Koninklijke Philips N.V. | Creation of depth maps from images |
JP2010166247A (ja) * | 2009-01-14 | 2010-07-29 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2011010194A (ja) * | 2009-06-29 | 2011-01-13 | Nikon Corp | ボカシ画像形成装置及びそれを備えたカメラ |
JP5375401B2 (ja) * | 2009-07-22 | 2013-12-25 | カシオ計算機株式会社 | 画像処理装置及び方法 |
CN101930606A (zh) * | 2010-05-14 | 2010-12-29 | 深圳市海量精密仪器设备有限公司 | 一种图像边缘检测的景深扩展方法 |
WO2011158515A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 距離推定装置、距離推定方法、集積回路、コンピュータプログラム |
US8773570B2 (en) * | 2010-06-17 | 2014-07-08 | Panasonic Corporation | Image processing apparatus and image processing method |
JP5682203B2 (ja) * | 2010-09-29 | 2015-03-11 | オムロンヘルスケア株式会社 | 安全看護システム、および、安全看護システムの制御方法 |
JP5873430B2 (ja) * | 2010-11-24 | 2016-03-01 | パナソニック株式会社 | 撮像装置、撮像方法、プログラムおよび集積回路 |
KR101733131B1 (ko) * | 2010-12-14 | 2017-05-10 | 한국전자통신연구원 | 3차원 제스처 처리 방법 및 장치 |
JP6011862B2 (ja) * | 2011-01-27 | 2016-10-19 | パナソニックIpマネジメント株式会社 | 3次元画像撮影装置及び3次元画像撮影方法 |
JP5818514B2 (ja) * | 2011-05-27 | 2015-11-18 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
JP5907368B2 (ja) * | 2011-07-12 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5720488B2 (ja) | 2011-08-16 | 2015-05-20 | リコーイメージング株式会社 | 撮像装置および距離情報取得方法 |
JP2014210670A (ja) * | 2011-09-01 | 2014-11-13 | 旭硝子株式会社 | 強化ガラスパネルの製造方法 |
US9129414B2 (en) | 2011-10-14 | 2015-09-08 | Morpho, Inc. | Image compositing apparatus, image compositing method, image compositing program, and recording medium |
US20130176458A1 (en) | 2012-01-11 | 2013-07-11 | Edwin Van Dalen | Flexible Burst Image Capture System |
CN104603796A (zh) * | 2012-04-26 | 2015-05-06 | 纽约市哥伦比亚大学理事会 | 在图像中交互式调焦的***、方法和媒体 |
TWI489326B (zh) * | 2012-06-05 | 2015-06-21 | Wistron Corp | 操作區的決定方法與系統 |
US9632574B2 (en) * | 2012-10-31 | 2017-04-25 | Sony Corporation | Device and method for authenticating a user |
US8760500B1 (en) * | 2013-10-23 | 2014-06-24 | Google Inc. | Depth map generation |
-
2014
- 2014-10-29 CN CN201410592165.2A patent/CN104660900B/zh active Active
- 2014-10-29 CN CN201810092382.3A patent/CN108107571B/zh active Active
- 2014-10-29 US US14/526,524 patent/US9508173B2/en active Active
- 2014-10-30 KR KR1020140149293A patent/KR101709380B1/ko active IP Right Grant
- 2014-10-30 TW TW103137522A patent/TWI554936B/zh active
- 2014-10-30 JP JP2014221811A patent/JP6511247B2/ja active Active
-
2016
- 2016-10-23 US US15/331,910 patent/US10127639B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN104660900B (zh) | 2018-03-02 |
CN104660900A (zh) | 2015-05-27 |
TWI554936B (zh) | 2016-10-21 |
KR20150050486A (ko) | 2015-05-08 |
KR101709380B1 (ko) | 2017-02-22 |
US10127639B2 (en) | 2018-11-13 |
US9508173B2 (en) | 2016-11-29 |
US20150116353A1 (en) | 2015-04-30 |
CN108107571B (zh) | 2021-06-01 |
US20170039686A1 (en) | 2017-02-09 |
JP2015111822A (ja) | 2015-06-18 |
CN108107571A (zh) | 2018-06-01 |
TW201516829A (zh) | 2015-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6511247B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP3457683B1 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
CN105323425B (zh) | 融合图像***中的场景运动校正 | |
CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
WO2016155377A1 (zh) | 图片展示方法和装置 | |
US9516214B2 (en) | Information processing device and information processing method | |
US20110280475A1 (en) | Apparatus and method for generating bokeh effect in out-focusing photography | |
KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
US20160050372A1 (en) | Systems and methods for depth enhanced and content aware video stabilization | |
JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
CN110324532A (zh) | 一种图像虚化方法、装置、存储介质及电子设备 | |
CN110505398B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
US20220358619A1 (en) | Automatic dolly zoom image processing device | |
CN114071010A (zh) | 一种拍摄方法及设备 | |
JP6068896B2 (ja) | 画像処理装置およびプログラム | |
JP5820716B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 | |
JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN111223192B (zh) | 一种图像处理方法及其应用方法、装置及设备 | |
CN111083345B (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
Lee | Novel video stabilization for real-time optical character recognition applications | |
CN108109158B (zh) | 基于自适应阈值分割的视频穿越处理方法及装置 | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 | |
JP6150419B2 (ja) | カメラおよびプログラム | |
JP6344903B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6511247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |