KR102138483B1 - 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체 - Google Patents
화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체 Download PDFInfo
- Publication number
- KR102138483B1 KR102138483B1 KR1020197007911A KR20197007911A KR102138483B1 KR 102138483 B1 KR102138483 B1 KR 102138483B1 KR 1020197007911 A KR1020197007911 A KR 1020197007911A KR 20197007911 A KR20197007911 A KR 20197007911A KR 102138483 B1 KR102138483 B1 KR 102138483B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- synthesizing
- timing
- same subject
- Prior art date
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 46
- 238000003786 synthesis reaction Methods 0.000 title claims description 37
- 238000001308 synthesis method Methods 0.000 title 1
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 67
- 239000002131 composite material Substances 0.000 claims description 21
- 238000002156 mixing Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 38
- 230000001678 irradiating effect Effects 0.000 description 8
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 7
- 229910052802 copper Inorganic materials 0.000 description 7
- 239000010949 copper Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003863 fast low-angle shot imaging Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H04N5/23229—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H04N5/23267—
-
- H04N5/2354—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
장치는, 제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 제1 노출 조건에서 촬상된 제3 화상을 포함하는 복수의 화상을 취득하는 취득부와, 제1 화상과 제3 화상의 화소값을 비교하여 동피사체 영역을 검출하는 영역 검출부와, 복수의 화상으로부터 선택된 대상 화상과 제2 화상을 합성하여 합성 화상을 생성하는 합성부를 구비하고, 합성부는, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 동피사체 흔들림 제거 처리 후에 대상 화상과 제2 화상을 합성한다.
Description
본 개시는, 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체에 관한 것이다.
특허문헌 1은 합성 화상에 있어서의 동피사체의 흔들림을 보정하는 장치를 개시한다. 이 장치는, 기준 화상과 비교 화상 사이의 움직임 데이터를 산출한다. 다음으로, 이 장치는, 기준 화상과 비교 화상의 화소값의 차분을, 움직임 데이터에 의해 대응지어지는 블록마다 산출한다. 다음으로, 이 장치는, 화소값의 차분에 기초하여 기준 화상에 대한 비교 화상의 중첩 비율을 블록마다 산출한다. 다음으로, 이 장치는, 움직임 데이터 및 중첩 비율을 사용하여 비교 화상을 기준 화상에 중첩하여 합성 화상을 생성한다. 이와 같이, 특허문헌 1에 기재된 장치는, 합성하는 2매의 화상의 노출이 동일하다는 전제에서, 화소값의 차분을 산출하고 있다.
특허문헌 2는, 하이 다이내믹 레인지(High Dynamic Range) 합성 화상에 있어서의 동피사체의 흔들림을 보정하는 장치를 개시한다. 이 장치는, 제1 화상과 제2 화상의 노출을 맞추기 전에, 제1 화상과 제2 화상의 차분에 기초하여 각 화소에 있어서의 동피사체 우도를 산출한다. 다음으로, 이 장치는, 동피사체 우도에 기초하여 제1 화상과 제2 화상의 노출을 맞추는 노출 변환 함수를 추정한다. 다음으로, 이 장치는, 제1 화상 및 제2 화상의 차분에 기초하여 각 화소에 있어서의 동피사체 우도를 산출하고, 해당 동피사체 우도 및 노출 변환 함수를 사용하여 제1 화상 및 제2 화상을 합성한다. 구체적으로는, 제1 화상 및 제2 화상의 화소값 전체를 노출이 일치하도록 보정한 후에, 제1 화상 및 제2 화상의 합성비를 조정한다. 이와 같이, 특허문헌 2에 기재된 장치는, 합성하는 2매의 화상의 노출이 상이하기 때문에, 화상 전체를 동일 파라미터로 보정하여 양자의 노출을 맞춘 후에, 화소값의 차분을 산출하고 있다.
그런데, 플래시광을 피사체에 조사하여 플래시 촬상을 행한 경우, 플래시광이 닿은 영역이 부분적으로 밝아진다. 즉, 플래시 촬상에 의한 화상은, 동일 화상 내라도 노출이 상이한 영역을 포함한다. 이와 같은 노출이 상이한 영역을 포함하는 화상과 통상 촬상에 의한 화상을 합성하는 경우, 특허문헌 1에 기재된 장치는 물론, 특허문헌 2에 기재된 장치라도, 양자의 화상간의 화소값의 차분이, 노출의 차이에 의해 발생한 것인지, 동피사체의 이동에 의해 발생한 것인지를 구별할 수 없다.
본 기술분야에서는, 노출이 상이한 영역을 포함하는 화상과 통상 촬상에 의한 화상을 합성하는 경우라도 동피사체 흔들림을 억제할 수 있는 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체가 요망되고 있다.
본 개시의 일 측면은, 화상 합성 장치를 제공한다. 화상 합성 장치는, 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성한다. 화상 합성 장치는, 취득부, 영역 검출부 및 합성부를 구비한다. 취득부는, 제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 제1 노출 조건에서 촬상된 제3 화상을 포함하는 복수의 화상을 취득한다. 영역 검출부는, 제1 화상과 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출한다. 합성부는, 복수의 화상으로부터 선택된 대상 화상과 제2 화상을 합성하여 합성 화상을 생성한다. 합성부는, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 동피사체 흔들림 제거 처리 후에 대상 화상과 제2 화상을 합성한다.
이 화상 합성 장치에서는, 일련의 복수의 화상 중 동일한 노출 조건(예를 들어 제1 노출 조건)에서 촬상된 2매의 화상을 사용하여 동피사체 영역이 결정된다. 화상 전체의 노출이 상이하거나, 혹은 화상 전체에 있어서 부분적으로 노출이 상이한 영역이 존재하였다고 해도, 동일한 노출 조건에서 촬상된 화상끼리이면, 노출이 상이한 영역이 마찬가지로 나타난다. 이 때문에, 이 장치는, 동피사체 영역을 고정밀도로 결정할 수 있다. 그리고, 이 장치에서는, 결정된 동피사체 영역이, 동피사체 영역을 결정할 때에 사용한 화상을 촬상한 노출 조건과는 상이한 노출 조건(예를 들어 제2 노출 조건)에서 촬상된 화상을 합성할 때에 사용된다. 동피사체 영역을 고정밀도로 결정할 수 있기 때문에, 결과로서 이 장치는, 노출이 상이한 영역을 포함하는 화상과 통상 촬상에 의한 화상을 합성하는 경우라도 동피사체 흔들림을 억제할 수 있다.
일 실시 형태에 있어서, 제1 화상 및 제3 화상은 플래시광을 조사하지 않고 촬영된 화상이며, 제2 화상은 플래시광을 조사하여 촬영된 화상이어도 된다. 이 경우, 제1 화상 및 제3 화상은, 제2 화상과 상이한 노출이 된다. 이와 같은 경우라도, 이 장치는 동피사체 흔들림을 억제할 수 있다. 또한, 제1 노출 조건 및 제2 노출 조건 중 어느 한쪽을, 플래시광을 조사하여 촬상하는 조건으로서 채용하는 경우, 플래시광을 조사하여 촬상하는 조건으로서 제2 노출 조건을 채용하는 쪽이, 플래시를 단시간에 연속 발광하는 것이 곤란한 촬상 장치에도 적용할 수 있다.
일 실시 형태에 있어서, 제2 타이밍은 제1 타이밍 후이며, 제3 타이밍은 제2 타이밍 후여도 된다. 이 경우, 제1 화상, 제2 화상 및 제3 화상의 순으로 촬상된다. 즉, 제2 화상의 촬상 타이밍의 전후의 화상을 사용하여 동피사체 영역이 검출된다. 이 때문에, 이 장치는, 제2 화상에 있어서의 동피사체 영역의 위치 정밀도를 높일 수 있다.
일 실시 형태에 있어서, 동피사체 흔들림 제거 처리는, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값으로 덮어쓰기하는 처리여도 된다. 이와 같이 구성함으로써, 이 장치는, 동피사체 흔들림을 억제할 수 있다.
일 실시 형태에 있어서, 동피사체 흔들림 제거 처리는, 대상 화상의 동피사체 영역에 대응하는 화소의 휘도값 및 제2 화상의 동피사체 영역에 대응하는 화소의 휘도값을 비교하여, 높은 쪽의 휘도값으로 낮은 쪽의 휘도값을 덮어쓰기하는 처리여도 된다. 이와 같이 구성함으로써, 배경에 찍힌 동피사체에 의해 발생하는 동피사체 흔들림을 억제할 수 있다.
일 실시 형태에 있어서, 동피사체 흔들림 제거 처리는, 소정의 정도로 바림된 합성 마스크를 사용하여 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상의 동피사체 영역에 대응하는 화소를 합성하는 처리를 포함해도 된다. 이와 같이 구성함으로써, 이 장치는, 합성 마스크의 경계가 부자연스러워지는 것을 억제할 수 있다.
일 실시 형태에 있어서, 합성부는, 동피사체 흔들림 제거 처리 후에 있어서, 대상 화상 및 제2 화상의 휘도값의 차분에 따라서 결정되는 혼합비를 사용하여, 대상 화상 및 제2 화상을 합성해도 된다. 이와 같이 구성함으로써, 이 장치는, 대상 화상과 제2 화상의 휘도차를 반영시켜 합성할 수 있다. 예를 들어 야간에 인물을 플래시 촬상한 경우에, 이 장치는, 플래시광에 의해 밝게 보이는 인물과, 플래시광을 이용하지 않음으로써 밝게 보이는 배경을 합성할 수 있다.
일 실시 형태에 있어서, 대상 화상은, 제1 화상 또는 제3 화상이어도 된다. 이와 같이 구성함으로써, 이 장치는, 동피사체 영역을 검출한 화상 그 자체를 합성의 대상으로 할 수 있으므로, 동피사체 영역의 위치 정밀도를 높일 수 있다.
본 개시의 타측면은, 화상 합성 방법을 제공한다. 화상 합성 방법은, 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하는 방법이다. 이 방법은, 취득 스텝, 영역 검출 스텝 및 합성 스텝을 구비한다. 취득 스텝에서는, 제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 제1 노출 조건에서 촬상된 제3 화상을 포함하는 복수의 화상을 취득한다. 영역 검출 스텝에서는, 제1 화상과 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출한다. 합성 스텝에서는, 복수의 화상으로부터 선택된 대상 화상과 제2 화상을 합성하여 합성 화상을 생성한다. 합성 스텝은, 대상 화상 및 제2 화상의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 동피사체 흔들림 제거 처리 후에 대상 화상과 제2 화상을 합성하는 스텝을 포함한다.
본 개시의 타측면은, 화상 합성 프로그램을 제공한다. 화상 합성 프로그램은, 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하도록 컴퓨터를 동작시킨다. 화상 합성 프로그램은, 컴퓨터를, 취득부, 영역 검출부 및 합성부로서 기능시킨다. 취득부는, 제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 제1 노출 조건에서 촬상된 제3 화상을 포함하는 복수의 화상을 취득한다. 영역 검출부는, 제1 화상과 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출한다. 합성부는, 복수의 화상으로부터 선택된 대상 화상과 제2 화상을 합성하여 합성 화상을 생성한다. 합성부는, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 동피사체 흔들림 제거 처리 후에 대상 화상과 제2 화상을 합성한다.
본 개시의 타측면은, 기억 매체를 제공한다. 기억 매체는, 화상 합성 프로그램을 기억한 비일시적인 컴퓨터 판독 가능한 기억 매체이다. 화상 합성 프로그램은, 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하도록 컴퓨터를 동작시킨다. 화상 합성 프로그램은, 컴퓨터를, 취득부, 영역 검출부 및 합성부로서 기능시킨다. 취득부는, 제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 제1 노출 조건에서 촬상된 제3 화상을 포함하는 복수의 화상을 취득한다. 영역 검출부는, 제1 화상과 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출한다. 합성부는, 복수의 화상으로부터 선택된 대상 화상과 제2 화상을 합성하여 합성 화상을 생성한다. 합성부는, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 동피사체 흔들림 제거 처리 후에 대상 화상과 제2 화상을 합성한다.
상술한 화상 합성 방법, 화상 합성 프로그램 및 기억 매체는, 상술한 화상 합성 장치와 동일한 효과를 발휘한다.
본 개시의 다양한 측면 및 실시 형태에 따르면, 노출이 상이한 영역을 포함하는 화상과 통상 촬상에 의한 화상을 합성하는 경우라도 동피사체 흔들림을 억제할 수 있는 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체가 제공된다.
도 1은 실시 형태에 관한 화상 합성 장치를 탑재한 휴대 단말기의 기능 블록도이다.
도 2는 실시 형태에 관한 화상 합성 장치를 탑재한 휴대 단말기의 하드웨어 구성도이다.
도 3은 일련의 복수의 화상의 일례이다.
도 4는 동피사체 영역 및 합성 마스크의 일례이다.
도 5는 합성 시의 혼합비의 일례이다.
도 6은 동피사체 흔들림을 보정한 화상 및 동피사체 흔들림을 보정하지 않은 화상의 일례이다.
도 7은 실시 형태에 관한 합성 화상 장치의 합성 처리의 흐름도이다.
도 2는 실시 형태에 관한 화상 합성 장치를 탑재한 휴대 단말기의 하드웨어 구성도이다.
도 3은 일련의 복수의 화상의 일례이다.
도 4는 동피사체 영역 및 합성 마스크의 일례이다.
도 5는 합성 시의 혼합비의 일례이다.
도 6은 동피사체 흔들림을 보정한 화상 및 동피사체 흔들림을 보정하지 않은 화상의 일례이다.
도 7은 실시 형태에 관한 합성 화상 장치의 합성 처리의 흐름도이다.
이하, 첨부 도면을 참조하여 실시 형태에 대하여 설명한다. 또한, 각 도면에 있어서 동일하거나 또는 상당 부분에는 동일한 부호를 붙이고, 중복되는 설명을 생략한다.
본 실시 형태에 관한 화상 합성 장치(1)는, 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하는 장치이다. 보다 구체적인 일례로서, 본 실시 형태에 관한 화상 합성 장치(1)는, 야간이라도 인물과 배경의 양쪽을 밝게 찍기 위해, 플래시 촬영한 화상과 통상 촬영한 화상을 합성하는 장치이다.
화상 합성 장치(1)는, 예를 들어 휴대 전화, 디지털 카메라, PDA(Personal Digital Assistant) 등, 리소스에 제한이 있는 모바일 단말기에 탑재된다. 그러나, 화상 합성 장치(1)는, 모바일 단말기에 탑재되는 경우에 한정되지 않고, 예를 들어 통상의 컴퓨터 시스템에 탑재되어도 된다. 또한, 화상 합성 장치(1)는, 촬상 장치에 내장되는 소위 온 칩 ISP(Image Signal Processor)여도 된다. 이하에서는, 일례로서, 휴대 단말기에 탑재되는 화상 합성 장치(1)를 설명한다.
도 1은 화상 합성 장치(1)를 탑재한 휴대 단말기(2)의 기능 블록도이다. 휴대 단말기(2)는, 예를 들어 유저에 의해 휴대되는 이동 단말기이며, 도 2에 도시된 하드웨어 구성을 갖는다. 도 2에 도시된 바와 같이, 휴대 단말기(2)는, 물리적으로는, CPU(Central Processing Unit)(100), RAM(Random Access Memory)(101) 및 ROM(Read Only Memory)(102) 등의 주기억 장치, 카메라 또는 키보드 등의 입력 디바이스(103), 디스플레이, 발광 장치 등의 출력 디바이스(104), 하드 디스크 등의 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성된다. 후술하는 휴대 단말기(2) 및 화상 합성 장치(1)의 각 기능은, CPU(100), RAM(101), ROM(102) 등의 하드웨어 상에 소정의 소프트웨어를 읽어들이게 함으로써, CPU(100)의 제어 하에서 입력 디바이스(103) 및 출력 디바이스(104)를 동작시킴과 함께, 주기억 장치 또는 보조 기억 장치(105)에 있어서의 데이터의 판독 및 기입을 행함으로써 실현된다. 또한, 상기의 설명은 휴대 단말기(2)의 하드웨어 구성으로서 설명하였지만, 화상 합성 장치(1)가 CPU(100), RAM(101) 및 ROM(102) 등의 주기억 장치, 입력 디바이스(103), 출력 디바이스(104), 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성되어도 된다. 또한, 휴대 단말기(2)는 통신 모듈 등을 구비해도 된다.
도 1로 되돌아가서, 휴대 단말기(2)는 기능적으로는, 촬상부(20), 기억부(21), 플래시부(22), 표시부(23) 및 화상 합성 장치(1)를 구비한다.
촬상부(20)는 촬상함으로써 화상을 생성한다. 촬상부(20)는, CPU(100)가 RAM(101) 또는 ROM(102) 내의 프로그램을 실행하고, 해당 프로그램에 따라서 카메라 등의 입력 디바이스(103) 또는 출력 디바이스(104)를 제어함으로써 실현된다.
기억부(21)는 화상 또는 카메라에 관한 정보를 기억한다. 기억부(21)는 주기억 장치 또는 보조 기억 장치(105)에 대응한다. 플래시부(22)는 플래시광을 촬상 방향을 향하여 조사한다. 플래시부(22)는 발광 장치 등의 출력 디바이스(104)에 대응한다.
촬상부(20)는 입력 디바이스(103) 또는 출력 디바이스(104)를 동작시켜, 촬상함으로써 화상을 생성한다. 촬상부(20)는 일례로서, 기억부(21)에 저장된 촬상 조건을 참조하여, 화상을 생성한다. 촬상 조건은, 입력 디바이스(103) 또는 출력 디바이스(104)의 동작 조건이다. 보다 구체적으로는, 촬상 조건은, 카메라의 조리개 설정, 셔터 스피드 설정, 플래시부(22)의 발광 설정, 연사 촬영 등의 카메라 설정 정보이다. 촬상 조건은, 유저 조작 등에 의해 설정된 조건이어도 되고, 초기 설정으로서 미리 기억부(21)에 기억되어 있어도 된다. 촬상 조건은, 노출 조건을 포함해도 된다. 노출 조건이란, 화상의 노출에 영향을 주는 카메라 설정값이며, 구체적인 일례로서는, EV값, 카메라의 조리개 설정, 셔터 스피드 설정, 플래시부(22)의 발광 설정 등이다.
촬상부(20)는, 촬상 조건에 기초하여 플래시부(22)의 플래시광을 이용하여 촬상하는 경우, 화상의 노출을 조정한다. 촬상부(20)는, 플래시광을 이용하여 얻어진 화상이 소위 화이트아웃 영역을 포함하지 않도록, 화상의 노출을 조정한다. 보다 구체적인 일례로서, 촬상부(20)는 촬영에 따라서 카메라의 EV값을 변경한다. 촬상부(20)는 임의의 방법을 이용하여 카메라의 EV값을 변경한다. 예를 들어, 촬상부(20)는, 예비 발광에 의한 측광을 행하여 카메라의 EV값을 설정해도 되고, 카메라의 EV값을 미리 설정된 값으로 해도 된다.
촬상부(20)는, 복수의 화상 또는 동화상을 촬상한다. 복수의 화상은, 동일 피사체가 촬상된 일련의 복수의 화상이다. 일련이란, 시계열로 연속하고 있는 것을 말한다. 복수의 화상은, 적어도 3매의 화상이다. 복수의 화상은, 제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 제1 노출 조건에서 촬상된 제3 화상을 포함한다.
제1 타이밍, 제2 타이밍 및 제3 타이밍은 동일한 타이밍이 아니라, 각각 상이한 타이밍이 된다. 일례로서, 제2 타이밍은 제1 타이밍 후이며, 제3 타이밍은 제2 타이밍 후이다. 이 경우, 제1 화상, 제2 화상 및 제3 화상은, 이 순서로 촬상된 화상이 된다. 또한, 제1 화상과 제3 화상은 동일한 노출 조건에서 촬상된 화상이기 때문에, 제1 화상과 제3 화상은 동일한 노출이 된다. 제2 화상은, 제1 화상 및 제2 화상과는 상이한 노출 조건에서 촬상된 화상이기 때문에, 제2 화상만 상이한 노출이 된다. 일례로서, 제1 화상 및 제3 화상은, 플래시광을 조사하지 않고 촬영된 화상(통상 촬영 화상의 일례)이며, 제2 화상은 플래시광을 조사하여 촬영된 화상(플래시 촬영 화상의 일례)이다. 촬상부(20)는 촬상된 화상을 기억부(21)에 기억한다.
도 3은 일련의 복수의 화상의 일례이다. 도 3에 있어서, (A)는 제1 화상 G1, (B)는 제2 화상 G2, (C)는 제3 화상 G3이다. 제1 화상 G1, 제2 화상 G2 및 제3 화상 G3의 순으로, 동일한 피사체인 인물(40)을 촬상한 화상이다. 인물(40)의 배경에는, 움직임이 있는 차량(41)과 정지하고 있는 외등(42)이 찍혀 있다. 제1 화상 G1 및 제3 화상 G3은, 야간에 있어서의 통상 촬영 화상이다. 이 때문에, 인물(40)보다도 배경에 찍힌 차량(41)의 헤드라이트나 외등(42)쪽이 밝게 찍혀 있다. 한편, 제2 화상은, 야간에 있어서의 플래시 촬영 화상이다. 이 때문에, 인물(40)쪽이 배경보다도 밝게 찍혀 있고, 반대로 배경의 차량(41) 및 외등(42)이 어둡게 찍혀 있다.
표시부(23)는 유저 조작 등에 따라서 화상을 표시한다. 표시부(23)는, 기억부(21)에 기억된 촬상 화상을 표시해도 되고, 메뉴 화면 등을 표시하여 촬영 조건에 관한 유저 조작을 접수해도 된다. 표시부(23)는, 예를 들어 디스플레이 등의 출력 디바이스(104)에 대응한다.
화상 합성 장치(1)는, 취득부(10), 영역 검출부(11) 및 합성부(12)를 갖는다. 취득부(10)는, 기억부(21)를 참조하여, 동일 피사체가 촬상된 일련의 복수의 화상을 취득한다. 취득부(10)는 적어도 3매의 화상을 취득한다. 복수의 화상은, 동일한 촬상 조건(예를 들어 동일한 노출 조건)이 되는 적어도 2매의 화상(예를 들어 제1 화상, 제3 화상)과, 2매의 화상과는 촬상 조건(예를 들어 노출 조건)이 상이한 적어도 1매의 화상(예를 들어 제2 화상)이 포함된다. 도 3의 예에서는, 통상 촬영 화상인 제1 화상 G1, 플래시 촬영 화상인 제2 화상 G2, 및, 통상 촬영 화상인 제3 화상 G3이 취득된다.
복수의 화상에 제1 화상 G1, 제2 화상 G2 및 제3 화상 G3이 포함된다는 조건에 대해서는, 이들 화상에 관련지어진 촬상 조건에 기초하여 판정된다. 이 조건은, 취득부(10)에 의해 판정되어도 되고, 영역 검출부(11)에 의해 판정되어도 된다.
영역 검출부(11)는, 취득부(10)에 의해 취득된 제1 화상 G1과 제3 화상 G3의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출한다. 이 동피사체 영역의 검출은, 제1 화상 G1의 각 화소와 제3 화상 G3의 각 화소의 차분을 해상도마다 산출하고, 해상도마다 얻어진 차분을 가중치 부여함으로써 각 화소의 동피사체 영역을 산출하는 것으로 해도 된다. 이와 같이 함으로써, 영역 검출부(11)는, 동피사체 영역의 검출 처리에 요하는 시간을 단축할 수 있음과 함께, 동피사체 영역에 구멍이 뚫린 형상의 얼룩이 발생하는 것, 및, 찌그러진 합성 화상을 생성하는 것을 회피할 수 있다.
영역 검출부(11)가 비교에 사용하는 화소값이란, 화상을 구성하는 화소에 대응지어진 값이며, 예를 들어 휘도값 또는 에지 정보 등이다. 화소값의 비교란, 예를 들어 화소값의 차분을 산출하는 것이다. 카메라 위치가 고정되어 있지 않은 경우에는, 영역 검출부(11)는, 제1 화상 G1과 제3 화상 G3의 위치 정렬을 행한 후에, 화소값의 비교를 행한다. 제1 화상 G1과 제3 화상 G3의 위치 정렬은, 예를 들어 제1 화상 G1과 제3 화상 G3의 화소값의 차분을 산출하고, 차분에 의해 파악되는 움직임 벡터를 사용하여 행해진다.
제1 화상 G1이 촬상된 제1 타이밍으로부터 제3 화상 G3이 촬상된 제3 타이밍까지의 동안에 있어서 피사체가 이동한 경우, 제1 화상 G1에 있어서의 피사체 위치는, 제3 화상 G3에 있어서의 피사체 위치와 상이하다. 이 때문에, 영역 검출부(11)는, 제1 화상 G1과 제3 화상 G3의 화소값을 비교함으로써, 동피사체 영역을 검출할 수 있다.
도 4는 동피사체 영역의 일례이다. (A) 및 (B)에 도시된 바와 같이, 제1 화상 G1과 제3 화상 G3을 비교하면, 제1 화상 G1에 있어서 차량(41)에 기인한 동피사체 영역 R1, 제3 화상 G3에 있어서 차량(41)에 기인한 동피사체 영역 R2를 검출할 수 있다. 동피사체 영역 R1 및 동피사체 영역 R2는, 화소값의 차분이 소정값 이상이 되는 화소 영역에 대하여, 어느 정도의 마진을 포함시켜 설정되어도 된다. 또한, 제1 화상 G1 또는 제3 화상 G3에 있어서, 화상 전체의 영역에 대하여 동피사체 영역이 차지하는 영역이 소정값(예를 들어 30％) 이상인 경우에는, 합성 처리를 행해도 바람직한 합성 화상을 얻을 수 없을 우려가 있다. 이 경우, 합성 처리를 행하지 않아도 되고, 또는, 합성 처리를 행해서는 안된다는 취지를 유저에게 통지하는 등의 처리를 행해도 된다.
합성부(12)는 플래시 촬영 화상과 통상 촬영 화상인 대상 화상을 합성한다. 합성 대상의 플래시 촬영 화상으로서는 제2 화상 G2가 선택된다. 합성 대상의 통상 촬영 화상으로서는, 제1 화상 G1 또는 제3 화상 G3이 선택된다. 또한, 4매 이상의 연사에 의해, 통상 촬영 화상의 제4 화상 G4가 취득되어 있는 경우에는, 제4 화상 G4를 대상 화상으로서 선택해도 된다. 즉, 합성부(12)는, 동일 피사체가 촬상된 일련의 복수의 화상이며, 통상 촬영 화상인 화상 중에서 임의의 1매를 대상 화상으로서 선택할 수 있다. 또한, 동피사체 영역의 검출에 사용한 화상을 대상 화상으로 선택함으로써, 동피사체 영역의 정밀도가 향상되기 때문에, 동피사체 흔들림의 제거를 보다 완강하게 행할 수 있다.
합성부(12)는, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상 G2의 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 동피사체 흔들림 제거 처리 후에 대상 화상과 제2 화상 G2를 합성한다. 동피사체 흔들림 제거 처리의 일례로서, 합성부(12)는 합성 마스크를 생성한다. 이 합성 마스크는, 영역 검출부(11)에 의해 검출된 동피사체 영역으로 구성된다. 도 4의 (C)는 (A) 및 (B)의 동피사체 영역 R1, 동피사체 영역 R2를 마스크하는 합성 마스크의 일례이다. 합성부(12)는, 합성 마스크를 사용하여, 대상 화상의 동피사체 영역에 대응하는 화소 및 제2 화상 G2의 동피사체 영역에 대응하는 화소를 합성한다. 합성부(12)는, 이 합성 마스크에 의해 지정되는 제2 화상 G2 및 대상 화상의 화소값에 대하여, 한쪽의 화소값을 다른 쪽의 화소값으로 덮어쓰기한다. 이에 의해, 동피사체 흔들림의 제거가 완료된다. 이후의 설명의 간이화를 위해, 덮어쓰기된 측의 화상을 제2 화상 G2로 한다.
동피사체 흔들림을 제거한 후, 합성부(12)는, 덮어쓰기된 제2 화상 G2와 대상 화상의 각 화소를 사용하여, 양쪽 화상의 휘도값의 차분에 따라서 결정되는 혼합비에 기초하여 블렌드한다. 구체적으로는, 합성부(12)는, 도 5의 그래프로 나타낸 바와 같은 혼합비로 혼합을 행한다. 도 5의 그래프는, 횡축이 플래시 촬영 화상인 제2 화상 G2의 휘도값과 통상 촬영 화상인 대상 화상의 휘도값의 차분이며, 종축이 플래시 촬영 화상인 제2 화상 G2의 가중치이다.
여기서, 동피사체 영역과 비동피사체 영역의 경계 부분에 있어서, 합성 시에 위화감을 발생시키지 않기 위해, 합성 마스크를 소정의 정도로 바림해도 된다. 이 경우, 상술한 동피사체 흔들림의 제거 처리에 있어서, 합성 마스크의 경계 부분에 대해서는, 바림된 마스크값(정도)에 따른 블렌딩이 덮어쓰기 대신에 실시되게 된다. 즉, 동피사체 영역에 대응하는 화소에 대하여, 대상 화상과 제2 화상 G2의 혼합비가 마스크값에 따라서 결정된다.
또한, 합성부(12)는, 덮어쓰기 대상이 되는 화상을, 당해 2화상의 비교 결과에 기초하여 동적으로 결정하는 것으로 해도 된다. 이 경우, 모든 동피사체 영역에 대한 덮어쓰기 대상이 되는 화상을 동일하게 해도 되고, 동피사체 영역마다 개별로 결정해도 된다. 후자의 경우에 있어서는, 예를 들어 각 동피사체 영역에 대하여, 제2 화상 G2와 대상 화상 중, 어둡다고 판정된 화상을 덮어쓰기 대상이 되는 화상으로 결정한다. 그 판정 시에는 예를 들어, 그 마스크 내에 있는 각 화소의 휘도값의 합계를 비교하고, 그 합계값이 낮은 쪽을 덮어쓰기 대상 화상으로 하는 등의 방법을 들 수 있지만, 그 방법은 특별히 한정되지 않는다. 따라서, 동피사체 영역이 복수 있는 경우에는, 제2 화상 G2와 대상 화상의 양쪽이 덮어쓰기 수정될 가능성이 있다.
도 6은 동피사체 흔들림을 보정한 화상, 및 동피사체 흔들림을 보정하지 않은 화상의 일례이다. 도 6의 (A)는 도 4의 (C)에 도시된 합성 마스크를 사용하여 보정한 예이다. 동피사체 영역 R1 및 동피사체 영역 R2에 대응하는 영역은, 영역 단위로 제1 화상 G1이 선택되어 있다. 이 때문에, 합성 화상 GR1은, 동피사체 흔들림의 발생이 회피되어 있다. 한편, 도 6의 (B)는 피사체 흔들림을 보정하지 않은 예이다. 도 6의 (A)에 도시한 차량(41)은, 제1 화상 G1 및 제2 화상 G2의 합성이 되어 있다. 이와 같이, 합성 화상 GR2에는, 피사체 흔들림이 발생하였다. 합성부(12)는 합성 화상을 기억부(21)에 기억한다.
다음으로, 화상 합성 장치(1)에 의한 화상 합성 방법에 대하여 설명한다. 도 7은 화상 합성 장치(1)의 합성 처리의 흐름도이다. 도 7에 도시된 흐름도는, 화상 처리를 요구하는 유저 조작을 접수한 타이밍에 실행된다.
화상 합성 장치(1)의 취득부(10)는, 화상 취득 처리(S10 : 취득 스텝)로서, 기억부(21)를 참조하여, 동일 피사체가 촬상된 일련의 복수의 화상을 취득한다. 다음으로, 화상 합성 장치(1)의 영역 검출부(11)는, 위치 정렬 처리(S12)로서, 일련의 복수의 화상에 대하여 위치 정렬을 행한다. 위치 정렬의 방법은 특별히 한정되지 않고, 예를 들어, 미국 특허 제7847823호에 개시되어 있는 방법이나, 간단히 블록 매칭 등의 종래의 방법을 적용 가능하며, 그 방법은 특별히 한정되지 않는다. 다음으로, 영역 검출부(11)는, 검출 처리(S14 : 영역 검출 스텝)로서, 소정값 이상의 차분이 되는 화소 위치에 기초하여 동피사체 영역을 검출한다. 다음으로, 화상 합성 장치(1)의 합성부(12)는, 합성 처리(S16 : 합성 스텝)로서, 동피사체 흔들림을 제거함과 함께, 합성을 행한다. 합성부(12)는, 출력 처리(S18)로서, 합성 화상을 출력한다.
다음으로, 휴대 단말기(2)(컴퓨터)를 화상 합성 장치(1)로서 기능시키기 위한 화상 합성 프로그램에 대하여 설명한다.
화상 합성 프로그램은, 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비하고 있다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은, 화상을 취득하도록 휴대 단말기(2)를 동작시킨다. 연산 처리 모듈은, 취득 모듈, 영역 검출 모듈 및 합성 모듈을 갖는다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시킴으로써 실현되는 기능은, 상술한 화상 합성 장치(1)의 취득부(10), 영역 검출부(11) 및 합성부(12)의 기능과 각각 마찬가지이다. 화상 합성 프로그램은, 예를 들어 ROM 등의 비일시적인 컴퓨터 판독 가능한 기억 매체 또는 반도체 메모리에 의해 제공된다.
이상, 본 실시 형태에 관한 화상 합성 장치(1)에서는, 일련의 복수의 화상 중 동일한 노출 조건(제1 노출 조건)에서 촬상된 2매의 화상을 사용하여 동피사체 영역이 결정되고, 결정된 동피사체 영역이, 동피사체 영역을 결정할 때에 사용한 화상을 촬상한 노출 조건과는 상이한 노출 조건(제2 노출 조건)에서 촬상된 화상을 합성할 때에 사용된다.
상이한 노출 조건에서 촬상된 화상끼리에서 화소값이 비교되면, 노출 조건의 차이에 의해 화소값이 화상간에서 상이한 것인지, 동피사체가 존재하기 때문에 화소값이 화상간에서 상이한 것인지, 판단할 수 없다. 예를 들어, 플래시 촬영 화상과 통상 촬영 화상을 비교하려고 해도, 노출 조건의 차이에 의해, 화상 전체에 차분이 있는 영역이 출현해 버릴 우려가 있다. 또한, 플래시 촬영 화상은, 플래시광이 조사된 부분이 밝아지기 때문에, 플래시 촬영 화상 내라도 노출이 상이한 영역이 존재하게 된다.
이에 반해, 본 실시 형태에 관한 화상 합성 장치(1)에서는, 일련의 복수의 화상 중 동일한 노출 조건에서 촬상된 화상끼리를 사용함으로써 동피사체 영역을 고정밀도로 결정할 수 있다. 즉, 화상 전체에 있어서 부분적으로 노출이 상이한 영역이 존재하였다고 해도, 동일한 노출 조건에서 촬상된 화상끼리이면, 노출이 상이한 영역이 마찬가지로 나타나기 때문에, 동피사체 영역을 고정밀도로 결정할 수 있다. 동피사체 영역을 고정밀도로 결정할 수 있기 때문에, 결과로서 이 장치는, 노출이 상이한 영역을 포함하는 화상과 통상 촬상에 의한 화상을 합성하는 경우라도 동피사체 흔들림을 억제할 수 있다.
또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 제2 화상 G2의 촬상 타이밍의 전후의 화상을 사용하여 동피사체 영역을 검출함으로써, 제2 화상 G2에 있어서의 동피사체 영역의 위치 정밀도를 높일 수 있다.
또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 동피사체 흔들림 제거 처리로서, 높은 쪽의 휘도값으로 낮은 쪽의 휘도값을 덮어쓰기 처리함으로써, 배경에 찍힌 동피사체에 의해 발생하는 동피사체 흔들림을 억제할 수 있다. 또한, 낮은 쪽의 휘도값으로 덮어쓰기하는 것으로 해도 된다. 단, 본 실시 형태에서는 후단의 합성 처리 S16에 있어서 참조 화상의 휘도값과 제2 화상의 휘도값이 높은 쪽을 우선적으로 합성하는 것에 대응하여, 동피사체 흔들림 제거 처리에 있어서도 높은 쪽의 휘도값으로 덮어쓰기 처리하는 것이 바람직하다.
또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 동피사체 영역을 검출한 화상 그 자체를 합성의 대상으로 함으로써, 동피사체 영역의 위치 정밀도를 높일 수 있다.
또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 적어도 1회의 플래시광의 조사만이어도 되어, 플래시를 단시간에 연속 발광하는 것이 곤란한 촬상 장치에도 적용할 수 있다. 또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 합성 마스크를 사용함으로써, 동피사체 영역에 대응하는 화소를 효율적으로 선택하여, 합성할 수 있다. 또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 동피사체 흔들림 제거 처리로서, 한쪽의 화소값을 다른 쪽의 화소값으로 덮어쓰기하는 처리를 함으로써, 동피사체 흔들림을 억제할 수 있다. 또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 소정의 정도로 바림된 합성 마스크를 사용하여 동피사체 흔들림 제거 처리를 행하기 때문에, 합성 마스크의 경계가 부자연스러워지는 것을 억제할 수 있다. 또한, 본 실시 형태에 관한 화상 합성 장치(1)는, 대상 화상과 제2 화상의 휘도차를 반영시켜 합성할 수 있다.
또한, 상술한 실시 형태는 본 개시에 관한 화상 합성 장치의 일례를 나타내는 것이다. 본 개시에 관한 화상 합성 장치는, 실시 형태에 관한 화상 합성 장치(1)에 한정되는 것은 아니고, 각 청구항에 기재된 요지를 변경하지 않는 범위에서, 실시 형태에 관한 화상 합성 장치를 변형하거나, 또는 다른 것에 적용한 것이어도 된다.
예를 들어, 제2 노출 조건에는, 플래시광 대신에, 스폿 광원 등으로부터 조사되는 다른 광을 포함하는 것으로 해도 된다. 또한, 제1 노출 조건은 플래시광을 조사하여 촬상하는 조건이며, 제2 노출 조건은 플래시광을 조사하지 않고 촬상하는 조건인 것으로 해도 된다.
또한, 상술한 실시 형태에서는, 플래시 촬영 화상과 통상 촬영 화상의 합성을 설명하였지만, 합성 처리는 어떤 처리여도 된다. 예를 들어, 상이한 노광 조건에서 촬영된 복수의 화상 합성에 의한, 하이 다이내믹 레인지 화상의 합성 처리여도 된다.
또한, 상술한 실시 형태에서는, 제1 노출 조건에서 2매의 화상을 촬상하는 것으로 하고 있지만, 완전히 동일한 노출에서 2매의 화상을 촬상하는 것이 곤란한 경우가 있다. 그와 같은 경우에는, 위치 정렬 처리(S12) 후에 한쪽의 화상을 다른 쪽의 화상에 맞추도록 휘도 보정 또는 색감 보정을 행하고, 그 후의 처리를 행하는 것으로 해도 된다.
1 : 화상 합성 장치
10 : 취득부
11 : 영역 검출부
12 : 합성부
10 : 취득부
11 : 영역 검출부
12 : 합성부
Claims (11)
- 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하는 화상 합성 장치로서,
제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 상기 제1 노출 조건에서 촬상된 제3 화상을 포함하는 상기 복수의 화상을 취득하는 취득부와,
상기 제1 화상과 상기 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출하는 영역 검출부와,
상기 복수의 화상으로부터 선택된 대상 화상과 상기 제2 화상을 합성하여 상기 합성 화상을 생성하는 합성부를 구비하고,
상기 합성부는, 상기 대상 화상의 상기 동피사체 영역에 대응하는 화소 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 상기 동피사체 흔들림 제거 처리 후에 상기 대상 화상과 상기 제2 화상을 합성하는 화상 합성 장치. - 제1항에 있어서,
상기 제1 화상 및 상기 제3 화상은 플래시광을 조사하지 않고 촬영된 화상이며, 상기 제2 화상은 플래시광을 조사하여 촬영된 화상인 화상 합성 장치. - 제1항 또는 제2항에 있어서,
상기 제2 타이밍은 상기 제1 타이밍 후이며, 상기 제3 타이밍은 상기 제2 타이밍 후인 화상 합성 장치. - 제1항 또는 제2항에 있어서,
상기 동피사체 흔들림 제거 처리는, 상기 대상 화상의 상기 동피사체 영역에 대응하는 화소 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값으로 덮어쓰기하는 처리인 화상 합성 장치. - 제4항에 있어서,
상기 동피사체 흔들림 제거 처리는, 상기 대상 화상의 상기 동피사체 영역에 대응하는 화소의 휘도값 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소의 휘도값을 비교하여, 높은 쪽의 휘도값으로 낮은 쪽의 휘도값을 덮어쓰기하는 처리인 화상 합성 장치. - 제4항에 있어서,
상기 동피사체 흔들림 제거 처리는, 소정의 정도로 바림된 합성 마스크를 사용하여 상기 대상 화상의 상기 동피사체 영역에 대응하는 화소 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소를 합성하는 처리를 포함하는 화상 합성 장치. - 제1항 또는 제2항에 있어서,
상기 합성부는, 상기 동피사체 흔들림 제거 처리 후에 있어서, 상기 대상 화상 및 상기 제2 화상의 휘도값의 차분에 따라서 결정되는 혼합비를 사용하여, 상기 대상 화상 및 상기 제2 화상을 합성하는 화상 합성 장치. - 제1항 또는 제2항에 있어서,
상기 대상 화상은, 상기 제1 화상 또는 상기 제3 화상인 화상 합성 장치. - 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하는 화상 합성 방법으로서,
제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 상기 제1 노출 조건에서 촬상된 제3 화상을 포함하는 상기 복수의 화상을 취득하는 취득 스텝과,
상기 제1 화상과 상기 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출하는 영역 검출 스텝과,
상기 복수의 화상으로부터 선택된 대상 화상과 상기 제2 화상을 합성하여 상기 합성 화상을 생성하는 합성 스텝을 구비하고,
상기 합성 스텝은, 상기 대상 화상 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 상기 동피사체 흔들림 제거 처리 후에 상기 대상 화상과 상기 제2 화상을 합성하는 스텝을 포함하는 화상 합성 방법. - 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하도록 컴퓨터를 동작시키는, 컴퓨터 판독 가능한 기억 매체에 기록된 화상 합성 프로그램으로서,
상기 화상 합성 프로그램은, 상기 컴퓨터를,
제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 상기 제1 노출 조건에서 촬상된 제3 화상을 포함하는 상기 복수의 화상을 취득하는 취득부,
상기 제1 화상과 상기 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출하는 영역 검출부, 및,
상기 복수의 화상으로부터 선택된 대상 화상과 상기 제2 화상을 합성하여 상기 합성 화상을 생성하는 합성부로서 동작시키고,
상기 합성부는, 상기 대상 화상의 상기 동피사체 영역에 대응하는 화소 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 상기 동피사체 흔들림 제거 처리 후에 상기 대상 화상과 상기 제2 화상을 합성하는, 컴퓨터 판독 가능한 기억 매체에 기록된 화상 합성 프로그램. - 동일 피사체가 촬상된 일련의 복수의 화상 중 적어도 2매의 화상을 합성하여 합성 화상을 생성하도록 컴퓨터를 동작시키는 화상 합성 프로그램을 기억한 비일시적인 컴퓨터 판독 가능한 기억 매체로서,
상기 화상 합성 프로그램은, 상기 컴퓨터를,
제1 타이밍에 있어서 제1 노출 조건에서 촬상된 제1 화상, 제2 타이밍에 있어서 제2 노출 조건에서 촬상된 제2 화상, 및, 제3 타이밍에 있어서 상기 제1 노출 조건에서 촬상된 제3 화상을 포함하는 상기 복수의 화상을 취득하는 취득부,
상기 제1 화상과 상기 제3 화상의 화소값을 비교하여, 동피사체가 묘화된 영역인 동피사체 영역을 검출하는 영역 검출부, 및,
상기 복수의 화상으로부터 선택된 대상 화상과 상기 제2 화상을 합성하여 상기 합성 화상을 생성하는 합성부로서 동작시키고,
상기 합성부는, 상기 대상 화상의 상기 동피사체 영역에 대응하는 화소 및 상기 제2 화상의 상기 동피사체 영역에 대응하는 화소에 대하여, 한쪽의 화소값을 다른 쪽의 화소값에 근접하게 하는 동피사체 흔들림 제거 처리를 행하고, 상기 동피사체 흔들림 제거 처리 후에 상기 대상 화상과 상기 제2 화상을 합성하는 기억 매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/039338 WO2019087299A1 (ja) | 2017-10-31 | 2017-10-31 | 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190057292A KR20190057292A (ko) | 2019-05-28 |
| KR102138483B1 true KR102138483B1 (ko) | 2020-07-27 |
Family
ID=66332526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197007911A KR102138483B1 (ko) | 2017-10-31 | 2017-10-31 | 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11272124B2 (ko) |
| KR (1) | KR102138483B1 (ko) |
| CN (1) | CN109997350B (ko) |
| WO (1) | WO2019087299A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230022444A1 (en) * | 2021-07-26 | 2023-01-26 | Samsung Electronics Co., Ltd. | Electronic device generating image and method for operating the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012235377A (ja) * | 2011-05-06 | 2012-11-29 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| JP2014068278A (ja) * | 2012-09-27 | 2014-04-17 | Canon Inc | 撮影装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004236006A (ja) | 2003-01-30 | 2004-08-19 | Fuji Photo Film Co Ltd | デジタルカメラ |
| JP3838243B2 (ja) * | 2003-09-04 | 2006-10-25 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
| KR101036787B1 (ko) | 2005-01-14 | 2011-05-25 | 가부시키가이샤 모르포 | 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치 |
| JP4480760B2 (ja) | 2007-12-29 | 2010-06-16 | 株式会社モルフォ | 画像データ処理方法および画像処理装置 |
| JP5300590B2 (ja) | 2009-05-21 | 2013-09-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
| JP4905513B2 (ja) | 2009-07-14 | 2012-03-28 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
| JP5392336B2 (ja) | 2011-10-13 | 2014-01-22 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
| WO2013054446A1 (ja) * | 2011-10-14 | 2013-04-18 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
| JP5240349B2 (ja) | 2011-11-14 | 2013-07-17 | カシオ計算機株式会社 | 画像合成装置、及びプログラム |
| JP6046966B2 (ja) | 2012-04-19 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
| JP2014039222A (ja) | 2012-08-20 | 2014-02-27 | Canon Inc | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
| JP5610245B2 (ja) | 2013-08-27 | 2014-10-22 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
| JP2017034536A (ja) | 2015-08-04 | 2017-02-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10827140B2 (en) * | 2016-10-17 | 2020-11-03 | Huawei Technologies Co., Ltd. | Photographing method for terminal and terminal |
-
2017
- 2017-10-31 CN CN201780059369.1A patent/CN109997350B/zh active Active
- 2017-10-31 WO PCT/JP2017/039338 patent/WO2019087299A1/ja active Application Filing
- 2017-10-31 US US16/338,615 patent/US11272124B2/en active Active
- 2017-10-31 KR KR1020197007911A patent/KR102138483B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012235377A (ja) * | 2011-05-06 | 2012-11-29 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
| JP2014068278A (ja) * | 2012-09-27 | 2014-04-17 | Canon Inc | 撮影装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190057292A (ko) | 2019-05-28 |
| US20210377457A1 (en) | 2021-12-02 |
| CN109997350B (zh) | 2021-01-15 |
| US11272124B2 (en) | 2022-03-08 |
| WO2019087299A1 (ja) | 2019-05-09 |
| CN109997350A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7852374B2 (en) | Image-pickup and associated methodology of dividing an exposure-time period into a plurality of exposures | |
| CN115037884A (zh) | 用于成像的统一包围曝光方法 | |
| KR20150026268A (ko) | 이미지 안정화 방법 그 전자 장치 | |
| US7486884B2 (en) | Imaging device and imaging method | |
| CN106060412A (zh) | 拍照处理方法和装置 | |
| US10972676B2 (en) | Image processing method and electronic device capable of optimizing hdr image by using depth information | |
| JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
| US20190108625A1 (en) | Image processing apparatus, image processing method, and recording medium | |
| CN110958361B (zh) | 能够进行hdr合成的摄像设备及其控制方法和存储介质 | |
| US8941763B2 (en) | Image capture device, method for generating composite image, and storage medium | |
| JP6227935B2 (ja) | 画像処理装置および画像処理方法 | |
| US9357130B2 (en) | Dynamic bracketing operations for image stabilization | |
| JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| KR102138483B1 (ko) | 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체 | |
| JP6823942B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体 | |
| US11190704B2 (en) | Imaging apparatus and control method for performing live view display of a tracked object | |
| JP2020129753A (ja) | 撮像装置および撮像方法 | |
| JP2011135409A (ja) | 画像処理装置及び方法、並びにプログラム | |
| JP6080579B2 (ja) | 撮像装置およびその制御方法 | |
| KR20110067700A (ko) | 이미지 획득 방법 및 디지털 카메라 시스템 | |
| JP5125478B2 (ja) | 撮像装置及び画像効果付与プログラム | |
| JP2016213717A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| US10848682B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2013153283A (ja) | 画像処理装置、撮像装置、及び、画像処理方法 | |
| JP6254842B2 (ja) | 撮像装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |