CN109997350B - 图像合成装置、图像合成方法以及存储介质 - Google Patents

图像合成装置、图像合成方法以及存储介质 Download PDF

Info

Publication number
CN109997350B
CN109997350B CN201780059369.1A CN201780059369A CN109997350B CN 109997350 B CN109997350 B CN 109997350B CN 201780059369 A CN201780059369 A CN 201780059369A CN 109997350 B CN109997350 B CN 109997350B
Authority
CN
China
Prior art keywords
image
region
moving object
images
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780059369.1A
Other languages
English (en)
Other versions
CN109997350A (zh
Inventor
小林理弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of CN109997350A publication Critical patent/CN109997350A/zh
Application granted granted Critical
Publication of CN109997350B publication Critical patent/CN109997350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供图像合成装置、图像合成方法、图像合成程序以及存储介质。图像合成装置具有：取得部，其取得包含在第1定时以第1曝光条件拍摄的第1图像、在第2定时以第2曝光条件拍摄的第2图像和在第3定时以第1曝光条件拍摄的第3图像在内的多个图像；区域检测部，其对第1图像与第3图像的像素值进行比较，检测运动被摄体区域；以及图像合成部，其对从多个图像选择的对象图像与第2图像进行合成，生成合成图像，合成部针对对象图像的与运动被摄体区域对应的像素和第2图像的与运动被摄体区域对应的像素进行使一个像素值接近另一个像素值的运动被摄体抖动去除处理，在运动被摄体抖动去除处理之后对对象图像与第2图像进行合成。

Description

图像合成装置、图像合成方法以及存储介质
技术领域
本发明涉及图像合成装置、图像合成方法以及存储介质。
背景技术
专利文献1公开对合成图像中的运动被摄体的抖动进行校正的装置。该装置计算基准图像与比较图像之间的运动数据。接着，该装置按照根据运动数据而关联起来的每个块计算基准图像与比较图像的像素值的差分。接着，该装置根据像素值的差分，按照每个块计算比较图像相对于基准图像的重合比率。接着，该装置使用运动数据和重合比率，将比较图像与基准图像重合而生成合成图像。这样，专利文献1所记载的装置以要合成的2张图像的曝光相同为前提，计算出像素值的差分。
专利文献2公开对高动态范围(High Dynamic Range)合成图像中的运动被摄体的抖动进行校正的装置。该装置在使第1图像和第2图像的曝光匹配之前，根据第1图像与第2图像的差分计算各像素处的运动被摄体似然度。接着，该装置根据运动被摄体似然度估计曝光转换函数，该曝光转换函数使第1图像和第2图像的曝光匹配。接着，该装置根据第1图像和第2图像的差分计算各像素处的运动被摄体似然度，使用该运动被摄体似然度和曝光转换函数对第1图像和第2图像进行合成。具体而言，在对第1图像和第2图像的像素值全体进行校正以使得曝光一致之后，调整第1图像和第2图像的合成比。这样，在专利文献2所记载的装置中，要合成的2张图像的曝光不同，因此，在以相同参数校正图像全体使两者的曝光匹配之后，计算出像素值的差分。
现有技术文献
专利文献
专利文献1：美国专利申请公开第20090185721号说明书
专利文献2：美国专利申请公开第20140212065号说明书
发明内容
发明要解决的问题
但是，在对被摄体照射闪光进行了闪光摄像的情况下，闪光照射的区域局部地变亮。即，利用闪光拍摄的图像即使是同一个图像内，也包含曝光不同的区域。在对包含这样的曝光不同的区域的图像与基于通常拍摄的图像进行合成的情况下，不用说在专利文献1所记载的装置中，即使在专利文献2所记载的装置中，也无法区分两者的图像之间的像素值的差分是由于曝光的不同而产生的差分、还是由于运动被摄体的移动而产生的差分。
在本技术领域中，期望即使在对包含曝光不同的区域的图像与基于通常拍摄的图像进行合成的情况下，也能够抑制运动被摄体抖动的图像合成装置、图像合成方法、图像合成程序和存储介质。
用于解决问题的手段
本公开的一个侧面提供图像合成装置。图像合成装置对拍摄同一被摄体的一系列的多个图像中的至少2张图像进行合成，生成合成图像。图像合成装置具有取得部、区域检测部和合成部。取得部取得包含在第1定时以第1曝光条件拍摄的第1图像、在第2定时以第2曝光条件拍摄的第2图像和在第3定时以第1曝光条件拍摄的第3图像在内的多个图像。区域检测部对第1图像与第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域。合成部对从多个图像选择的对象图像与第2图像进行合成，生成合成图像。合成部进行运动被摄体抖动去除处理，在运动被摄体抖动去除处理之后，对对象图像与第2图像进行合成，运动被摄体抖动去除处理是针对对象图像的与运动被摄体区域对应的像素和第2图像的与运动被摄体区域对应的像素，使一方的像素值接近另一方的像素值的处理。
在该图像合成装置中，使用一系列的多个图像中的、按照相同的曝光条件(例如第1曝光条件)拍摄的2张图像来决定运动被摄体区域。即使图像整体的曝光不同、或者在整个图像中存在曝光局部地不同的区域，如果是在相同的曝光条件下拍摄的图像彼此，则曝光不同的区域也同样地表现。因此，该装置能够高精度地决定运动被摄体区域。而且，在该装置中，所决定的运动被摄体区域可以在对曝光条件(例如第2曝光条件)下拍摄的图像进行合成时使用，该按照曝光条件(例如第2曝光条件)与拍摄在决定运动被摄体区域时使用的图像的曝光条件不同。能够高精度地决定运动被摄体区域，因此，其结果，该装置即使在对包含曝光不同的区域的图像与基于通常拍摄的图像进行合成的情况下，也能够抑制运动被摄体抖动。
在一个实施方式中，也可以是，第1图像和第3图像是不照射闪光而拍摄的图像，第2图像是照射闪光而拍摄的图像。在该情况下，第1图像和第3图像成为与第2图像不同的曝光。即使在这样的情况下，该装置也能够抑制运动被摄体抖动。此外，在作为照射闪光来进行拍摄的条件而采用第1曝光条件和第2曝光条件中的任意一方的情况下，采用第2曝光条件作为照射闪光来进行拍摄的条件的方式也能够应用于难以使闪光灯在短时间内连续发光的摄像装置。
在一个实施方式中，也可以是，第2定时在第1定时之后，第3定时在第2定时之后。在该情况下，按照第1图像、第2图像和第3图像的顺序拍摄。即，使用第2图像的拍摄定时前后的图像来检测运动被摄体区域。因此，该装置能够提高第2图像中的运动被摄体区域的位置精度。
在一个实施方式中，也可以是，运动被摄体抖动去除处理是针对对象图像的与运动被摄体区域对应的像素和第2图像的与运动被摄体区域对应的像素，用另一方的像素值覆盖一方的像素值的处理。通过以这样的方式构成，该装置能够抑制运动被摄体抖动。
在一个实施方式中，也可以是，运动被摄体抖动去除处理是对对象图像的与运动被摄体区域对应的像素的亮度值和第2图像的与运动被摄体区域对应的像素的亮度值进行比较，并用高的一方的亮度值覆盖低的一方的亮度值的处理。通过以这样的方式构成，能够抑制由于被拍入到背景中的运动被摄体而产生的运动被摄体抖动。
在一个实施方式中，也可以是，运动被摄体抖动去除处理包含使用以规定的程度模糊化后的合成掩膜(mask)对对象图像的与运动被摄体区域对应的像素和第2图像的与运动被摄体区域对应的像素进行合成的处理。通过以这样的方式构成，该装置能够抑制合成掩膜的边界变得不自然。
在一个实施方式中，也可以是，合成部在运动被摄体抖动去除处理之后，使用根据对象图像和第2图像的亮度值的差分而决定的混合比，对对象图像和第2图像进行合成。通过以这样的方式构成，该装置能够反映对象图像与第2图像的亮度差来进行合成。例如，在夜间对人物进行了闪光摄像的情况下，该装置能够对通过闪光看起来明亮的人物和不利用闪光便看起来明亮的背景进行合成。
在一个实施方式中，也可以是，对象图像为第1图像或第3图像。通过以这样的方式构成，该装置能够将检测出运动被摄体区域的图像本身作为合成的对象，所以，能够提高运动被摄体区域的位置精度。
本公开的其他侧面提供图像合成方法。图像合成方法是一种对拍摄了同一被摄体的一系列的多个图像中的至少2张图像进行合成的方法。该方法具有取得步骤、区域检测步骤和合成步骤。在取得步骤中，取得包含在第1定时以第1曝光条件拍摄的第1图像、在第2定时以第2曝光条件拍摄的第2图像和在第3定时以第1曝光条件拍摄的第3图像在内的多个图像。在区域检测步骤中，对第1图像与第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域。在合成步骤中，对从多个图像选择的对象图像与第2图像进行合成，生成合成图像。合成步骤包含如下步骤：对对象图像和第2图像的与运动被摄体区域对应的像素进行使一方的像素值接近另一方的像素值的运动被摄体抖动去除处理，在运动被摄体抖动去除处理之后，对对象图像与第2图像进行合成。
本公开的其他侧面提供图像合成程序。使计算机动作以对拍摄了同一被摄体的一系列的多个图像中的至少2张图像进行合成而生成合成图像。图像合成程序使计算机作为取得部、区域检测部和合成部发挥功能。取得部取得包含在第1定时以第1曝光条件拍摄的第1图像、在第2定时以第2曝光条件拍摄的第2图像和在第3定时以第1曝光条件拍摄的第3图像在内的多个图像。区域检测部对第1图像与第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域。合成部对从多个图像中选择的对象图像与第2图像进行合成，生成合成图像。合成部进行运动被摄体抖动去除处理，在运动被摄体抖动去除处理之后，对对象图像与第2图像进行合成，运动被摄体抖动去除处理是针对对象图像的与运动被摄体区域对应的像素和第2图像的与运动被摄体区域对应的像素，使一方的像素值接近另一方的像素值的处理。
本公开的其他侧面提供存储介质。存储介质为存储有图像合成程序的非易失性的计算机可读取的存储介质。图像合成程序使计算机动作以对拍摄了同一被摄体的一系列的多个图像中的至少2张图像进行合成而生成合成图像。图像合成程序使计算机作为取得部、区域检测部和合成部发挥功能。取得部取得包含在第1定时以第1曝光条件拍摄的第1图像、在第2定时以第2曝光条件拍摄的第2图像和在第3定时以第1曝光条件拍摄的第3图像在内的多个图像。区域检测部对第1图像与第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域。合成部对从多个图像中选择的对象图像与第2图像进行合成，生成合成图像。合成部进行运动被摄体抖动去除处理，在运动被摄体抖动去除处理之后，对对象图像与第2图像进行合成，运动被摄体抖动去除处理是针对对象图像的与运动被摄体区域对应的像素和第2图像的与运动被摄体区域对应的像素，使一方的像素值接近另一方的像素值的处理。
上述的图像合成方法、图像合成程序和存储介质发挥与上述的图像合成装置相同的效果。
发明效果
根据本公开的各种侧面和实施方式，提供即使在对包含曝光不同的区域的图像和基于通常拍摄的图像进行合成的情况下也能够抑制运动被摄体抖动的图像合成装置、图像合成方法、图像合成程序和存储介质。
附图说明
图1是搭载有实施方式的图像合成装置的便携终端的功能框图。
图2是搭载有实施方式的图像合成装置的便携终端的硬件结构图。
图3是一系列的多个图像的一例。
图4是运动被摄体区域和合成掩膜的一例。
图5是合成时的混合比的一例。
图6是校正了运动被摄体抖动后的图像和不校正运动被摄体抖动的图像的一例。
图7是实施方式的合成图像装置的合成处理的流程图。
具体实施方式
以下，参照附图对实施方式进行说明。另外，在各图中，对相同或相当部分标注相同的标号，并省略重复说明。
本实施方式的图像合成装置1是对拍摄了同一被摄体的一系列的多个图像中的至少2张图像进行合成并生成合成图像的装置。作为更具体的一例，本实施方式的图像合成装置1是为了即使在夜间也能明亮地拍摄人物和背景双方，而对闪光拍摄出的图像与通常拍摄出的图像进行合成的装置。
图像合成装置1搭载到例如移动电话、数字照相机、PDA(Personal DigitalAssistant：个人数字助理)等资源存在限制的移动终端。但是，图像合成装置1不限定于搭载到移动终端，例如也可以搭载到通常的计算机***。此外，图像合成装置1可以是组装到摄像装置的所谓片上ISP(Image Signal Processor：图像信号处理器)。以下，作为一例，说明搭载到便携终端的图像合成装置1。
图1是搭载有图像合成装置1的便携终端2的功能框图。便携终端2是例如由用户携带的移动终端，具有图2所示的硬件结构。如图2所示，便携终端2在物理上构成为包含以下部分等的通常的计算机***：CPU(Central Processing Unit：中央处理器)100、RAM(Random Access Memory：随机存取存储器)101以及ROM(Read Only Memory：只读存储器)102等主存储装置、照相机或键盘等输入设备103、显示器、发光装置等输出设备104、硬盘等辅助存储装置105等。通过在CPU 100、RAM 101、ROM 102等硬件上读入规定的软件，根据CPU100的控制使输入设备103和输出设备104动作，并且进行主存储装置或辅助存储装置105中的数据的读出和写入，由此实现后述的便携终端2和图像合成装置1的各功能。另外，上述说明中说明为便携终端2的硬件结构，但是图像合成装置1也可以构成为包含CPU 100、RAM101、ROM102等主存储装置、输入设备103、输出设备104、辅助存储装置105等的通常的计算机***。此外，便携终端2也可以具有通信模块等。
返回图1，便携终端2在功能上具有拍摄部20、存储部21、闪光灯部22、显示部23和图像合成装置1。
拍摄部20通过拍摄生成图像。拍摄部20通过由CPU 100执行RAM 101或ROM102内的程序并依照该程序控制照相机等输入设备103或输出设备104来实现。
存储部21存储图像或与照相机有关的信息。存储部21对应于主存储装置或辅助存储装置105。闪光灯部22朝向拍摄方向照射闪光。闪光灯部22对应于发光装置等输出设备104。
拍摄部20使输入设备103或输出设备104进行动作，通过拍摄生成图像。作为一例，拍摄部20参照存储部21中所存储的拍摄条件，生成图像。拍摄条件是输入设备103或输出设备104的动作条件。更具体而言，拍摄条件为照相机的光圈设定、快门速度设定、闪光灯部22的发光设定、连拍摄影等照相机设定信息。拍摄条件可以为通过用户操作等而设定的条件，也可以作为初始设定预先存储到存储部21中。拍摄条件可以包含曝光条件。曝光条件为对图像的曝光产生影响的照相机设定值，作为具体一例，有EV值、照相机的光圈设定、快门速度设定、闪光灯部22的发光设定等。
拍摄部20在根据拍摄条件利用闪光灯部22的闪光来拍摄的情况下，调整图像的曝光。拍摄部20将图像的曝光调整成利用闪光而获得的图像不包含所谓的曝光过度区域。作为更具体的一例，拍摄部20与拍摄对应地变更照相机的EV值。拍摄部20利用任意的方法来变更照相机的EV值。例如，拍摄部20可以进行基于预发光的测光来设定照相机的EV值，也可以将照相机的EV值设为预先设定的值。
拍摄部20拍摄多个图像或运动图像。多个图像为拍摄了同一被摄体的一系列的多个图像。一系列是指按照时间序列连续。多个图像为至少3张图像。多个图像包含在第1定时以第1曝光条件拍摄的第1图像、在第2定时以第2曝光条件拍摄的第2图像和在第3定时以第1曝光条件拍摄的第3图像。
第1定时、第2定时和第3定时分别为不同的定时，而不为同一定时。作为一例，第2定时为第1定时之后，第3定时为第2定时之后。在该情况下，第1图像、第2图像和第3图像为依照该顺序拍摄的图像。此外，第1图像和第3图像为按照相同的曝光条件拍摄的图像，因此，第1图像和第3图像为相同的曝光。第2图像为按照与第1图像和第2图像不同的曝光条件拍摄的图像，因此，仅第2图像成为不同的曝光。作为一例，第1图像和第3图像为不照射闪光而拍摄的图像(通常摄影图像的一例)，第2图像为照射闪光而拍摄出的图像(闪光摄影图像的一例)。拍摄部20将拍摄的图像存储到存储部21中。
图3为一系列的多个图像的一例。在图3中，(A)为第1图像G1，(B)为第2图像G2，(C)为第3图像G3。按照第1图像G1、第2图像G2和第3图像G3的顺序，为拍摄作为同一被摄体的人物40所得的图像。人物40的背景中显现有运动的车辆41和静止中的外灯42。第1图像G1和第3图像G3为夜间的通常摄影图像。因此，背景中拍摄到的车辆41的头灯、外灯42比人物40拍摄得更亮。另一方面，第2图像为夜间的闪光摄影图像。因此，人物40比背景拍摄得更亮，相反，背景的车辆41和外灯42被拍摄得较暗。
显示部23与用户操作等对应地显示图像。显示部23可以显示在存储部21中所存储的拍摄图像，也可以显示菜单画面等并受理与摄影条件有关的用户操作。显示部23对应于例如显示器等输出设备104。
图像合成装置1具有取得部10、区域检测部11和合成部12。取得部10参照存储部21，取得拍摄了同一被摄体的一系列的多个图像。取得部10取得至少3张图像。多个图像包含作为相同的拍摄条件(例如相同的曝光条件)的至少2张图像(例如第1图像、第3图像)、和拍摄条件(例如曝光条件)与2张图像不同的至少1张图像(例如第2图像)。在图3的例子中，取得作为通常摄影图像的第1图像G1、作为闪光摄影图像的第2图像G2和作为通常摄影图像的第3图像G3。
针对如多个图像中包含第1图像G1、第2图像G2和第3图像G3的条件，根据与这些图像相关联的拍摄条件来判定。该条件可以由取得部10判定，也可以由区域检测部11判定。
区域检测部11对由取得部10取得的第1图像G1与第3图像G3的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域。该运动被摄体区域的检测可以通过按照每个分辨率计算第1图像G1的各像素与第3图像G3的各像素的差分，对按照每个分辨率而获得的差分进行加权，计算各像素的运动被摄体区域。由此，区域检测部11能够缩短运动被摄体区域的检测处理所需的时间，并且能够避免运动被摄体区域产生开孔状的不均匀和生成不规则的合成图像。
区域检测部11用于比较的像素值是与构成图像的像素对应的值，例如为亮度值或边缘信息等。像素值的比较例如是指计算像素值的差分。在照相机位置未固定的情况下，区域检测部11在进行第1图像G1与第3图像G3的位置对准之后，进行像素值的比较。例如计算第1图像G1与第3图像G3的像素值的差分，并使用根据差分而掌握的运动矢量来进行第1图像G1与第3图像G3的位置对准。
在从拍摄了第1图像G1的第1定时到拍摄了第3图像G3的第3定时的期间内被摄体发生了移动的情况下，第1图像G1中的被摄***置与第3图像G3中的被摄***置不同。因此，区域检测部11通过对第1图像G1与第3图像G3的像素值进行比较，能够检测运动被摄体区域。
图4是运动被摄体区域的一例。如(A)和(B)所示，如果对第1图像G1与第3图像G3进行比较，则能够检测出在第1图像G1中由于车辆41引起的运动被摄体区域R1、和在第3图像G3中由于车辆41引起的运动被摄体区域R2。可以使像素值的差分为规定值以上的像素区域包含某种程度的富余量来设定运动被摄体区域R1和运动被摄体区域R2。另外，在第1图像G1或第3图像G3中，运动被摄体区域占据的区域相对于图像整体的区域为规定值(例如30％)以上的情况下，即使进行合成处理，也有可能无法获得优选的合成图像。在该情况下，可以不进行合成处理，或者也可以进行将不应该进行合成处理的消息通知给用户等的处理。
合成部12对闪光摄影图像与作为通常摄影图像的对象图像进行合成。作为合成对象的闪光摄影图像，选择第2图像G2。作为合成对象的通常摄影图像，选择第1图像G1或第3图像G3。另外，在通过4张以上的连拍取得了通常摄影图像的第4图像G4的情况下，可以选择第4图像G4作为对象图像。即，合成部12能够从拍摄了同一被摄体的一系列的多个图像中的、作为通常摄影图像的图像中选择任意一张作为对象图像。另外，通过将用于检测运动被摄体区域的图像选择为对象图像，运动被摄体区域的精度提高，因此，能够更加可靠地进行运动被摄体抖动的去除。
合成部12对对象图像的与运动被摄体区域对应的像素和第2图像G2的与运动被摄体区域对应的像素进行使一方像素值接近另一方像素值的运动被摄体抖动去除处理，在运动被摄体抖动去除处理之后对对象图像与第2图像G2进行合成。作为运动被摄体抖动去除处理的一例，合成部12生成合成掩膜。该合成掩膜由通过区域检测部11检测出的运动被摄体区域构成。图4的(C)是对(A)和(B)的运动被摄体区域R1、运动被摄体区域R2进行掩膜的合成掩膜的一例。合成部12使用合成掩膜，将对象图像的与运动被摄体区域对应的像素和第2图像G2的与运动被摄体区域对应的像素进行合成。合成部12针对由该合成掩膜指定的第2图像G2和对象图像的像素值，用一方像素值覆盖另一方像素值。由此，运动被摄体抖动的去除完成。为了简化之后的说明，设被覆盖侧的图像为第2图像G2。
在去除运动被摄体抖动之后，合成部12使用被覆盖的第2图像G2和对象图像的各像素，根据与两个图像的亮度值的差分对应地决定的混合比进行混合。具体而言，合成部12以如图5的图表中所示的混合比进行混合。在图5的图表中，横轴是作为闪光摄影图像的第2图像G2的亮度值与作为通常摄影图像的对象图像的亮度值的差分，纵轴是作为闪光摄影图像的第2图像G2的权重。
这里，可以在运动被摄体区域与非运动被摄体区域的边界部分处，使合成掩膜以规定的程度模糊化，以便在合成时不会产生违和感。在该情况下，在上述的运动被摄体抖动的去除处理中，针对合成掩膜的边界部分，替代覆盖，而实施与进行了模糊化的掩膜值(程度)对应的混合。即，针对与运动被摄体区域对应的像素，根据掩膜值而决定对象图像与第2图像G2的混合比。
并且，合成部12可以根据该二图像的比较结果动态地决定作为覆盖对象的图像。在该情况下，可以使针对全部运动被摄体区域的作为覆盖对象的图像相同，也可以按照每个运动被摄体区域单独地决定。在后者的情况下，例如，针对各运动被摄体区域，将第2图像G2和对象图像中的被判定为较暗的图像决定为作为覆盖对象的图像。在该判定时，例如，可举出对位于该掩膜内的各像素的亮度值的合计进行比较并使该合计值较低的一方成为覆盖对象图像这样的方法，但其方法没有特别限定。因此，在存在多个运动被摄体区域的情况下，第2图像G2和对象图像双方有可能被覆盖修正。
图6是校正了运动被摄体抖动的图像和未校正运动被摄体抖动的图像的一例。图6的(A)是使用图4的(C)所示的合成掩膜进行校正后的例子。与运动被摄体区域R1和运动被摄体区域R2对应的区域以区域为单位选择了第1图像G1。因此，避免了合成图像GR1产生运动被摄体抖动。另一方面，图6的(B)是未校正被摄体抖动的例子。图6的(A)所示的车辆41为第1图像G1和第2图像G2的合成。这样，合成图像GR2中产生了被摄体抖动。合成部12将合成图像存储到存储部21中。
接着，说明图像合成装置1的图像合成方法。图7是图像合成装置1的合成处理的流程图。在受理了请求图像处理的用户操作的定时执行图7所示的流程图。
作为图像取得处理(S10：取得步骤)，图像合成装置1的取得部10参照存储部21取得拍摄了同一被摄体的一系列的多个图像。接着，作为位置对准处理(S12)，图像合成装置1的区域检测部11针对一系列的多个图像进行位置对准。位置对准的方法没有特别限定，例如，可以应用美国专利第7847823号所公开的方法、或仅仅块匹配法等现有的方法，其方法没有特别限定。接着，作为检测处理(S14：区域检测步骤)，区域检测部11根据作为规定值以上的差分的像素位置检测运动被摄体区域。接着，作为合成处理(S16：合成步骤)，图像合成装置1的合成部12去除运动被摄体抖动，并且进行合成。作为输出处理(S18)，合成部12输出合成图像。
接着，说明用于使便携终端2(计算机)作为图像合成装置1发挥功能的图像合成程序。
图像合成程序具有主模块、输入模块以及运算处理模块。主模块是统一控制图像处理的部分。输入模块使便携终端2动作以取得图像。运算处理模块具有取得模块、区域检测模块和合成模块。通过执行主模块、输入模块和运算处理模块而实现的功能分别与上述的图像合成装置1的取得部10、区域检测部11和合成部12的功能相同。图像合成程序例如由ROM等非易失性的计算机可读取的存储介质或半导体存储器来提供。
以上，在本实施方式的图像合成装置1中，使用一系列的多个图像中的、按照相同的曝光条件(第1曝光条件)拍摄的2张图像来决定运动被摄体区域，所决定的运动被摄体区域在合成按照曝光条件(第2曝光条件)拍摄的图像时使用，该曝光条件(第2曝光条件)与拍摄在决定运动被摄体区域时使用的图像的曝光条件不同。
如果在按照不同的曝光条件拍摄的图像彼此间对像素值进行比较，则无法判断是由于曝光条件的不同而使像素值在图像之间不同、还是由于存在运动被摄体而使像素值在图像之间不同。例如，即使欲对闪光摄影图像与通常摄影图像进行比较，由于曝光条件的不同，也有可能在图像全体中出现存在差分的区域。此外，在闪光摄影图像中，被照射了闪光的部分变得明亮，因此即使在闪光摄影图像内部，也存在曝光不同的区域。
与此相对，在本实施方式的图像合成装置中，通过使用一系列的多个图像中的、按照相同的曝光条件拍摄的图像彼此，能够高精度地决定运动被摄体区域。即，由于即使在整个图像中存在曝光局部地不同的区域，如果采用按照相同的曝光条件拍摄的图像彼此，则曝光不同的区域也同样地表现，所以，能够高精度地决定运动被摄体区域。能够高精度地决定运动被摄体区域，因此，其结果，该装置即使在对包含曝光不同的区域的图像与基于通常拍摄的图像进行合成的情况下，也能够抑制运动被摄体抖动。
此外，本实施方式的图像合成装置1通过使用第2图像G2的拍摄定时前后的图像来检测运动被摄体区域，能够提高第2图像G2中的运动被摄体区域的位置精度。
此外，作为运动被摄体抖动去除处理，本实施方式的图像合成装置1通过用高的一方的亮度值对低的一方的亮度值进行覆盖处理，能够抑制由于拍入到背景中的运动被摄体而产生的运动被摄体抖动。另外，也可以用低的一方的亮度值来进行覆盖。但是，在本实施方式中，在后段的合成处理S16中，对应于优先地对参照图像的亮度值与第2图像的亮度值中高的一方进行合成，在运动被摄体抖动去除处理中，也优选用高的一方的亮度值进行覆盖处理。
此外，本实施方式的图像合成装置1通过设检测出运动被摄体区域的图像本身为合成的对象，能够提高运动被摄体区域的位置精度。
此外，本实施方式的图像合成装置1还能够应用于可以仅照射至少1次闪光但难以在短时间内使闪光灯连续发光的摄像装置。此外，本实施方式的图像合成装置1通过使用合成掩膜，能够高效地选择并合成与运动被摄体区域对应的像素。此外，作为运动被摄体抖动去除处理，本实施方式的图像合成装置1通过进行用另一方的像素值覆盖一方的像素值的处理，能够抑制运动被摄体抖动。此外，本实施方式的图像合成装置1使用以规定的程度模糊化后的合成掩膜进行运动被摄体抖动去除处理，能够抑制合成掩膜的边界变得不自然。此外，本实施方式的图像合成装置1能够反映对象图像与第2图像的亮度差来进行合成。
另外，上述实施方式示出本公开的图像合成装置的一例。本公开的图像合成装置不限于实施方式的图像合成装置1，可以在不变更各权利要求所记载的主旨的范围内，对实施方式的图像合成装置进行变形、或应用到其他装置。
例如，第2曝光条件也可以替代闪光，而包含从点光源等照射的其他光。此外，第1曝光条件也可以是照射闪光来拍摄的条件，第2曝光条件是不照射闪光来进行拍摄的条件。
此外，在上述的实施方式中，说明了闪光摄影图像与通常摄影图像的合成，但合成处理也可以为任何处理。例如，也可以是基于在不同的曝光条件下拍摄的多个图像的合成的、高动态范围图像的合成处理。
此外，在上述的实施方式中，按照第1曝光条件拍摄2张图像，但是，有时难以按照完全相同的曝光拍摄2张图像。在这样的情况下，可以在位置对准处理(S12)之后以使一方图像与另一方图像对准的方式进行亮度校正或色调校正，进行之后的处理。
标号说明
1：图像合成装置；10：取得部；11：区域检测部；12：合成部。

Claims (10)

1.一种图像合成装置，其对拍摄同一被摄体而得到的一系列的多个图像中的至少2张图像进行合成，生成合成图像，该图像合成装置具有：
取得部，其取得包含在第1定时以第1曝光条件拍摄到的第1图像、在第2定时以第2曝光条件拍摄到的第2图像和在第3定时以所述第1曝光条件拍摄到的第3图像在内的所述多个图像；
区域检测部，其对所述第1图像与所述第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域；以及
合成部，其对从所述多个图像中选择出的对象图像与所述第2图像进行合成，生成所述合成图像，
所述合成部进行运动被摄体抖动去除处理，在所述运动被摄体抖动去除处理之后，对所述对象图像与所述第2图像进行合成，所述运动被摄体抖动去除处理是针对所述对象图像的与所述运动被摄体区域对应的像素和所述第2图像的与所述运动被摄体区域对应的像素，使一方的像素值接近另一方的像素值的处理。
2.根据权利要求1所述的图像合成装置，其中，
所述第1图像和所述第3图像是不照射闪光而拍摄到的图像，所述第2图像是照射闪光而拍摄到的图像。
3.根据权利要求1或2所述的图像合成装置，其中，
所述第2定时在所述第1定时之后，所述第3定时在所述第2定时之后。
4.根据权利要求1或2所述的图像合成装置，其中，
所述运动被摄体抖动去除处理是针对所述对象图像的与所述运动被摄体区域对应的像素和所述第2图像的与所述运动被摄体区域对应的像素，用另一方的像素值覆盖一方的像素值的处理。
5.根据权利要求4所述的图像合成装置，其中，
所述运动被摄体抖动去除处理是对所述对象图像的与所述运动被摄体区域对应的像素的亮度值和所述第2图像的与所述运动被摄体区域对应的像素的亮度值进行比较，并用高的一方的亮度值覆盖低的一方的亮度值的处理。
6.根据权利要求4所述的图像合成装置，其中，
所述运动被摄体抖动去除处理包含使用以规定的程度模糊化后的合成掩膜对所述对象图像的与所述运动被摄体区域对应的像素和所述第2图像的与所述运动被摄体区域对应的像素进行合成的处理。
7.根据权利要求1或2所述的图像合成装置，其中，
所述合成部在所述运动被摄体抖动去除处理之后，使用根据所述对象图像和所述第2图像的亮度值的差分而决定的混合比，对所述对象图像和所述第2图像进行合成。
8.根据权利要求1或2所述的图像合成装置，其中，
所述对象图像是所述第1图像或所述第3图像。
9.一种图像合成方法，对拍摄同一被摄体而得到的一系列的多个图像中的至少2张图像进行合成，生成合成图像，该图像合成方法包含以下步骤：
取得步骤，取得包含在第1定时以第1曝光条件拍摄到的第1图像、在第2定时以第2曝光条件拍摄到的第2图像和在第3定时以所述第1曝光条件拍摄到的第3图像在内的所述多个图像；
区域检测步骤，对所述第1图像与所述第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域；以及
合成步骤，对从所述多个图像中选择出的对象图像与所述第2图像进行合成，生成所述合成图像，
所述合成步骤包含如下步骤：对所述对象图像和所述第2图像的与所述运动被摄体区域对应的像素进行使一方的像素值接近另一方的像素值的运动被摄体抖动去除处理，在所述运动被摄体抖动去除处理之后，对所述对象图像与所述第2图像进行合成。
10.一种非易失性的计算机可读取的存储介质，其存储有图像合成程序，该图像合成程序使计算机进行动作以对拍摄同一被摄体而得到的一系列的多个图像中的至少2张图像进行合成而生成合成图像，
所述图像合成程序使所述计算机作为以下各部进行动作：
取得部，其取得包含在第1定时以第1曝光条件拍摄到的第1图像、在第2定时以第2曝光条件拍摄到的第2图像和在第3定时以所述第1曝光条件拍摄到的第3图像在内的所述多个图像；
区域检测部，其对所述第1图像与所述第3图像的像素值进行比较，检测作为描绘了运动被摄体的区域的运动被摄体区域；以及
合成部，其对从所述多个图像中选择出的对象图像与所述第2图像进行合成，生成所述合成图像，
所述合成部进行运动被摄体抖动去除处理，在所述运动被摄体抖动去除处理之后，对所述对象图像与所述第2图像进行合成，所述运动被摄体抖动去除处理是针对所述对象图像的与所述运动被摄体区域对应的像素和所述第2图像的与所述运动被摄体区域对应的像素，使一方的像素值接近另一方的像素值的处理。
CN201780059369.1A 2017-10-31 2017-10-31 图像合成装置、图像合成方法以及存储介质 Active CN109997350B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/039338 WO2019087299A1 (ja) 2017-10-31 2017-10-31 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
CN109997350A CN109997350A (zh) 2019-07-09
CN109997350B true CN109997350B (zh) 2021-01-15

Family

ID=66332526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059369.1A Active CN109997350B (zh) 2017-10-31 2017-10-31 图像合成装置、图像合成方法以及存储介质

Country Status (4)

Country Link
US (1) US11272124B2 (zh)
KR (1) KR102138483B1 (zh)
CN (1) CN109997350B (zh)
WO (1) WO2019087299A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
US20230022444A1 (en) * 2021-07-26 2023-01-26 Samsung Electronics Co., Ltd. Electronic device generating image and method for operating the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236006A (ja) * 2003-01-30 2004-08-19 Fuji Photo Film Co Ltd デジタルカメラ
CN1846447A (zh) * 2003-09-04 2006-10-11 索尼株式会社 图像处理方法、图像处理装置和计算机程序
CN101895682A (zh) * 2009-05-21 2010-11-24 佳能株式会社 图像处理装置及图像处理方法
CN103108122A (zh) * 2011-11-14 2013-05-15 卡西欧计算机株式会社 图像合成装置和图像记录方法
CN103168462A (zh) * 2011-10-14 2013-06-19 株式会社摩如富 图像合成装置、图像合成方法、图像合成程序及记录介质
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
JP2017034536A (ja) * 2015-08-04 2017-02-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1843294B1 (en) 2005-01-14 2010-09-15 Morpho Inc. Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device
JP4480760B2 (ja) 2007-12-29 2010-06-16 株式会社モルフォ 画像データ処理方法および画像処理装置
JP4905513B2 (ja) 2009-07-14 2012-03-28 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP5743696B2 (ja) 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5392336B2 (ja) 2011-10-13 2014-01-22 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
JP2014039222A (ja) 2012-08-20 2014-02-27 Canon Inc 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2014068278A (ja) 2012-09-27 2014-04-17 Canon Inc 撮影装置
JP5610245B2 (ja) 2013-08-27 2014-10-22 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
CN108605099B (zh) * 2016-10-17 2020-10-09 华为技术有限公司 用于终端拍照的方法及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236006A (ja) * 2003-01-30 2004-08-19 Fuji Photo Film Co Ltd デジタルカメラ
CN1846447A (zh) * 2003-09-04 2006-10-11 索尼株式会社 图像处理方法、图像处理装置和计算机程序
CN101895682A (zh) * 2009-05-21 2010-11-24 佳能株式会社 图像处理装置及图像处理方法
CN103168462A (zh) * 2011-10-14 2013-06-19 株式会社摩如富 图像合成装置、图像合成方法、图像合成程序及记录介质
CN103108122A (zh) * 2011-11-14 2013-05-15 卡西欧计算机株式会社 图像合成装置和图像记录方法
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
JP2017034536A (ja) * 2015-08-04 2017-02-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
KR20190057292A (ko) 2019-05-28
CN109997350A (zh) 2019-07-09
US20210377457A1 (en) 2021-12-02
KR102138483B1 (ko) 2020-07-27
WO2019087299A1 (ja) 2019-05-09
US11272124B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
JP6911202B2 (ja) 撮像制御方法および撮像装置
US7852374B2 (en) Image-pickup and associated methodology of dividing an exposure-time period into a plurality of exposures
KR101032165B1 (ko) 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체
CN109862282B (zh) 人物图像处理方法和装置
JP6423625B2 (ja) 画像処理装置および画像処理方法
US7486884B2 (en) Imaging device and imaging method
JP2005210485A (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP5804856B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008005081A (ja) 認証装置
CN109997350B (zh) 图像合成装置、图像合成方法以及存储介质
CN110958361B (zh) 能够进行hdr合成的摄像设备及其控制方法和存储介质
JP6823942B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体
JP2015041984A (ja) 画像処理装置および画像処理方法
JP5246590B2 (ja) 撮像装置、画像生成方法及びプログラム
JP2017038165A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP7148428B2 (ja) 撮像装置および撮像方法
US20170251136A1 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium
JPWO2017169287A1 (ja) ホワイトバランス調整装置及びその作動方法並びに作動プログラム
JP2014098859A (ja) 撮像装置および撮像方法
KR20110067700A (ko) 이미지 획득 방법 및 디지털 카메라 시스템
JP6423669B2 (ja) 撮像装置及びその制御方法
JP5125478B2 (ja) 撮像装置及び画像効果付与プログラム
JP6663246B2 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP2020101624A (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
JP6254842B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant