CN108111746A - 一种实现全景拍摄的方法和装置 - Google Patents
一种实现全景拍摄的方法和装置 Download PDFInfo
- Publication number
- CN108111746A CN108111746A CN201611055085.9A CN201611055085A CN108111746A CN 108111746 A CN108111746 A CN 108111746A CN 201611055085 A CN201611055085 A CN 201611055085A CN 108111746 A CN108111746 A CN 108111746A
- Authority
- CN
- China
- Prior art keywords
- pictures
- removal
- behind
- distortion part
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004891 communication Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
一种实现全景拍摄的方法和装置，包括：在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；去除每一张图片中的畸变部分；判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。通过本发明实施例的方案，先去除图片中的畸变部分后再进行拼接得到全景图片，从而提高了全景图片的质量。
Description
技术领域
本文涉及但不限于终端技术，尤指一种实现全景拍摄的方法和装置。
背景技术
全景拍摄是指将所有拍摄的多张图片拼成一张全景图片，它的基本拍摄原理是将相邻两张图片进行配准处理得到最佳匹配点，根据最佳匹配点将相邻两张图片进行拼接，从而得到全景图片。但是由于拍摄的每一张图片都存在畸变，使得相邻两张图片的拼接处存在错缝，从而使得全景图片质量较低。
发明内容
为了解决上述问题，本发明实施例提出了一种实现全景拍摄的方法和装置，能够提高全景图片的质量。
为了达到上述目的，本发明实施例提出了一种实现全景拍摄的装置，包括：
获取模块，用于在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；
第一处理模块，用于去除每一张图片中的畸变部分；
第二处理模块，用于判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。
可选的，所述第一处理模块具体用于：
每获得一张图片后，去除获得的图片的畸变部分。
可选的，所述第二处理模块具体用于：
去除第一张图片的畸变部分和第二张图片的畸变部分后，判断出去除畸变部分后的第一张图片和去除畸变部分后的第二张图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
去除第i张图片的畸变部分后，判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片存在重叠部分，将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，判断出去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片存在重叠部分，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
可选的，所述第二处理模块具体用于：
判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
本发明实施例还提出了一种实现全景拍摄的方法，包括：
在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；
去除每一张图片中的畸变部分；
判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。
可选的，所述去除每一张图片中的畸变部分包括：每获得一张图片后，去除获得的图片的畸变部分。
可选的，所述判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片包括：
去除第一张图片的畸变部分和第二张图片的畸变部分后，判断出去除畸变部分后的第一张图片和去除畸变后的第二张图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
去除第i张图片的畸变部分后，判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片存在重叠部分，将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，判断出去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片存在重叠部分，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
可选的，所述将去除畸变部分后的N张图片进行拼接得到全景图片包括：
将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
与相关技术相比，本发明实施例包括：在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；去除每一张图片中的畸变部分；判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。通过本发明实施例的方案，先去除图片中的畸变部分后再进行拼接得到全景图片，从而提高了全景图片的质量。
可选的，在每获得一张图片后，去除获得的图片的畸变部分，从而节省了处理时间。
可选的，在去除第二张图片的畸变部分后，就开始进行拼接，从而节省了处理时间。
附图说明
下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。
图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信***示意图；
图3为本发明第一实施例实现全景拍摄的方法的流程图；
图4为本发明第一实施例全景拍摄的示意图；
图5为本发明第一实施例获得的图片的示意图；
图6为本发明第一实施例拼接图片的示意图；
图7为本发明第二实施例实现全景拍摄的装置的结构组成示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的各种方式可以相互组合。
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例一可选的移动终端的硬件结构示意。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信***或网络之间的无线电通信。例如，无线通信单元可以包括移动通信模块112。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信***以及基于卫星的通信***来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信***。
这样的通信***可以使用不同的空中接口和/或物理层。例如，由通信***使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信***(UMTS)(特别地，长期演进(LTE))、全球移动通信***(GSM)等等。作为非限制性示例，下面的描述涉及CDMA通信***，但是这样的教导同样适用于其它类型的***。
参考图2，CDMA无线通信***可以包括多个移动终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC280被构造为与公共电话交换网络(PSTN)290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的***可以包括多个BSC2750。
每个BS270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子***(BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个BSC275和至少一个BS270。基站也可以被称为"蜂窝站"。或者，特定BS270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(BT)295将广播信号发送给在***内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中，示出了几个全球定位***(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信***的一个典型操作，BS270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280，其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号发送到移动终端100。
基于上述移动终端硬件结构以及通信***，提出本发明方法各个实施例。
如图3所示，本发明第一实施例提出一种实现全景拍摄的方法，包括：
步骤300、在全景拍摄模式下获取N张图片。
本步骤中，N为大于或等于2的整数。
本步骤中，当检测到用户选择全景拍摄模式的操作，并接收到开始拍摄指令时，以预设时间间隔定时获取图片。
图4为全景拍摄的示意图。如图4所示，用户选择全景拍摄模式，并点击拍摄按钮后，终端便开始获取图片，用户可以随时点击拍摄按钮来结束全景拍摄。拍摄过程中，当用户手持终端并持续移动时，显示屏上的箭头会随着移动，移动的过程中终端持续获取图片。
预设时间可以根据经验设置，最终获得的全景图片的质量受到预设时间和拍摄过程中镜头的移动速度的影响，由于拍摄过程中镜头的移动速度不可控制，因此，预设时间越短，相邻两张图片重叠的部分越多，从而最终获得的全景图片质量越高。
步骤301、去除每一张图片中的畸变部分。
本步骤中，图5为获得的图片的示意图。如图5所示，获得的照片包括畸变部分和非畸变部分，图片中的畸变部分包括图片的左边缘部分和右边缘部分。
本步骤中，可以在获得N张图片后，即用户点击拍摄按钮结束全景拍摄后去除每一张图片中的畸变部分。
也可以在每获得一张图片后，去除获得的图片的畸变部分，从而节省了处理时间。
步骤302、判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。
可选的，判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片包括：
去除第一张图片的畸变部分和第二张图片的畸变部分后，判断出去除畸变部分后的第一张图片和去除畸变部分后的第二张图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；去除第i张图片的畸变部分后，判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片存在重叠部分，将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；根据第(i－1)最佳匹配点将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；继续执行去除第(i+1)张图片的畸变部分后，判断出去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片存在重叠部分，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
或者，将去除畸变部分后的N张图片进行拼接得到全景图片包括：
将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；根据第(i－1)最佳匹配点将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；继续执行去除第(i+1)张图片的畸变部分后，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
上述方法中，得到的第(N－1)张拼接图片即为全景图片。
上述方法中，判断两张图片是否存在重叠部分时，可以将两张图片进行配准处理，如果能找到最佳匹配点，说明存在重叠部分，如果不能找到最佳匹配点，说明不存在重叠部分。
也就是说，可以在去除所有图片的畸变部分后，再开始进行拼接；也可以在去除第二张图片的畸变部分后，就开始进行拼接，从而节省了处理时间。
上述方法中，图6为拼接图片的示意图。如图6所示，每一张拼接图片包括三个部分，分别为：拼接的其中一张图片的非重叠部分1、拼接的另一张图片的非重叠部分2、以及重叠部分3。
其中，重叠部分3可以是其中一张图片的重叠部分、或另一张图片的重叠部分、或其中一张图片的重叠部分和另一张图片的重叠部分的平均值。
例如，在根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片时，先根据第一最佳匹配点确定去除畸变部分后的第一张图片和去除畸变部分后的第二张图片的重叠部分，将去除畸变部分后的第一张图片的非重叠部分、去除畸变部分后的第二张图片的非重叠部分、以及去除畸变部分后的第一张图片的重叠部分拼接在一起得到第一张拼接图片；或者，将去除畸变部分后的第一张图片的非重叠部分、去除畸变部分后的第二张图片的非重叠部分、以及去除畸变部分后的第二张图片的重叠部分拼接在一起得到第一张拼接图片；或者，将去除畸变部分后的第一张图片的非重叠部分、去除畸变部分后的第二张图片的非重叠部分、以及去除畸变部分后的第一张图片的重叠部分和去除畸变部分后的第二张图片的重叠部分的平均值拼接在一起得到第一张拼接图片。
根据第(i－1)最佳匹配点将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片的过程，与根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片的过程类似，这里不再赘述。
通过本发明实施例的方案，先去除图片中的畸变部分后再进行拼接得到全景图片，从而提高了全景图片的质量。
可选的，该方法还包括：
获得每一张拼接图片后，显示获得的拼接图片，这样，用户可以在全景拍摄过程中预览全景拍摄效果，但拍摄效果不佳时，立即结束全景拍摄并重新进行拍摄，从而获得高质量的全景图片，提高了用户的体验度。
可选的，该方法还包括：
当判断出去除畸变部分后的第一张图片和去除畸变部分后的第二张图片不存在重叠部分，或将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理的过程中得不到第一最佳匹配点时，提示用户全景拍摄失败；或者，直接将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；或者，将获得的第一张图片和第二张图片进行拼接得到第一张拼接图片。
可选的，该方法还包括：
当判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片不存在重叠部分，或将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理的过程中得不到第(i－1)最佳匹配点时，提示用户全景拍摄失败；或者，直接将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－2)张拼接图片；或者，将第i张图片和第(i－2)张拼接图片进行拼接得到第(i－2)张拼接图片。
参见图7，本发明第二实施例还提出了一种实现全景拍摄的装置，包括：
获取模块，用于在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；
第一处理模块，用于去除每一张图片中的畸变部分；
第二处理模块，用于判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。
其中，获取模块可以通过图1的照相机121和控制器180实现，第一处理模块和第二处理模块可以设置在图1的控制器180中。
可选的，当获取模块检测到用户选择全景拍摄模式的操作，并接收到开始拍摄指令时，以预设时间间隔定时获取图片。
图4为全景拍摄的示意图。如图4所示，用户选择全景拍摄模式，并点击拍摄按钮后，终端便开始获取图片，用户可以随时点击拍摄按钮来结束全景拍摄。拍摄过程中，当用户手持终端并持续移动时，显示屏上的箭头会随着移动，移动的过程中终端持续获取图片。
预设时间可以根据经验设置，最终获得的全景图片的质量受到预设时间和拍摄过程中镜头的移动速度的影响，由于拍摄过程中镜头的移动速度不可控制，因此，预设时间越短，相邻两张图片重叠的部分越多，从而最终获得的全景图片质量越高。
可选的，第一处理模块具体用于：
每获得一张图片后，去除获得的图片的畸变部分。
可选的，第一处理模块可以在获得N张图片后，即用户点击拍摄按钮结束全景拍摄后去除每一张图片中的畸变部分。
也可以在每获得一张图片后，去除获得的图片的畸变部分，从而节省了处理时间。
可选的，第二处理模块具体用于：
去除第一张图片的畸变部分和第二张图片的畸变部分后，判断出去除畸变部分后的第一张图片和去除畸变部分后的第二张图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
去除第i张图片的畸变部分后，判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片存在重叠部分，将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据第(i－1)最佳匹配点将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，判断出去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片存在重叠部分，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
可选的，第二处理模块具体用于：
判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据第(i－1)最佳匹配点将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N-1)张拼接图片。
也就是说，第二处理模块可以在去除所有图片的畸变部分后，再开始进行拼接；也可以在去除第二张图片的畸变部分后，就开始进行拼接，从而节省了处理时间。
上述方法中，图6为拼接图片的示意图。如图6所示，每一张拼接图片包括三个部分，分别为：拼接的其中一张图片的非重叠部分1、拼接的另一张图片的非重叠部分2、以及重叠部分3。
其中，重叠部分3可以是其中一张图片的重叠部分、或另一张图片的重叠部分、或其中一张图片的重叠部分和另一张图片的重叠部分的平均值。
例如，在根据第一最佳匹配点将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片时，先根据第一最佳匹配点确定去除畸变部分后的第一张图片和去除畸变部分后的第二张图片的重叠部分，将去除畸变部分后的第一张图片的非重叠部分、去除畸变部分后的第二张图片的非重叠部分、以及去除畸变部分后的第一张图片的重叠部分拼接在一起得到第一张拼接图片；或者，将去除畸变部分后的第一张图片的非重叠部分、去除畸变部分后的第二张图片的非重叠部分、以及去除畸变部分后的第二张图片的重叠部分拼接在一起得到第一张拼接图片；或者，将去除畸变部分后的第一张图片的非重叠部分、去除畸变部分后的第二张图片的非重叠部分、以及去除畸变部分后的第一张图片的重叠部分和去除畸变部分后的第二张图片的重叠部分的平均值拼接在一起得到第一张拼接图片。
可选的，图片中的畸变部分包括图片的左边缘部分和右边缘部分。
可选的，还包括：
显示模块，用于显示获得的拼接图片。
其中，显示模块可以通过图1的显示单元151和控制器180实现。
可选的，第二处理模块还用于：
当判断出去除畸变部分后的第一张图片和去除畸变部分后的第二张图片不存在重叠部分，或将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理的过程中得不到第一最佳匹配点时，提示用户全景拍摄失败；或者，直接将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；或者，将获得的第一张图片和第二张图片进行拼接得到第一张拼接图片。
可选的，第二处理模块还用于：
当判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片不存在重叠部分，或将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理的过程中得不到第(i－1)最佳匹配点时，提示用户全景拍摄失败；或者，直接将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行拼接得到第(i－2)张拼接图片；或者，将第i张图片和第(i－2)张拼接图片进行拼接得到第(i－2)张拼接图片。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种实现全景拍摄的装置，其特征在于，包括：
获取模块，用于在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；
第一处理模块，用于去除每一张图片中的畸变部分；
第二处理模块，用于判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。
2.根据权利要求1所述的装置，其特征在于，所述第一处理模块具体用于：
每获得一张图片后，去除获得的图片的畸变部分。
3.根据权利要求1所述的装置，其特征在于，所述第二处理模块具体用于：
去除第一张图片的畸变部分和第二张图片的畸变部分后，判断出去除畸变部分后的第一张图片和去除畸变部分后的第二张图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
去除第i张图片的畸变部分后，判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片存在重叠部分，将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，判断出去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片存在重叠部分，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
4.根据权利要求1所述的装置，其特征在于，所述第二处理模块具体用于：
判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
5.一种实现全景拍摄的方法，其特征在于，包括：
在全景拍摄模式下获取N张图片；其中，N为大于或等于2的整数；
去除每一张图片中的畸变部分；
判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片。
6.根据权利要求5所述的方法，其特征在于，所述去除每一张图片中的畸变部分包括：每获得一张图片后，去除获得的图片的畸变部分。
7.根据权利要求5所述的方法，其特征在于，所述判断出任意相邻两张去除畸变部分后的图片存在重叠部分，将去除畸变部分后的N张图片进行拼接得到全景图片包括：
去除第一张图片的畸变部分和第二张图片的畸变部分后，判断出去除畸变部分后的第一张图片和去除畸变后的第二张图片存在重叠部分，将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
去除第i张图片的畸变部分后，判断出去除畸变部分后的第i张图片和第(i－2)张拼接图片存在重叠部分，将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，判断出去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片存在重叠部分，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
8.根据权利要求5所述的方法，其特征在于，所述将去除畸变部分后的N张图片进行拼接得到全景图片包括：
将去除畸变部分后的第一张图片和去除畸变部分后的第二张图片进行配准处理得到第一最佳匹配点；
根据所述第一最佳匹配点将所述去除畸变部分后的第一张图片和所述去除畸变部分后的第二张图片进行拼接得到第一张拼接图片；
将去除畸变部分后的第i张图片和第(i－2)张拼接图片进行配准处理得到第(i－1)最佳匹配点；其中，i为大于或等于3，且小于或等于N的整数；
根据所述第(i－1)最佳匹配点将所述去除畸变部分后的第i张图片和所述第(i－2)张拼接图片进行拼接得到第(i－1)张拼接图片；
继续执行去除第(i+1)张图片的畸变部分后，将去除畸变部分后的第(i+1)张图片和第(i－1)张拼接图片进行配准处理得到第i最佳匹配点的步骤，直到获得第(N－1)张拼接图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611055085.9A CN108111746A (zh) | 2016-11-25 | 2016-11-25 | 一种实现全景拍摄的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611055085.9A CN108111746A (zh) | 2016-11-25 | 2016-11-25 | 一种实现全景拍摄的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108111746A true CN108111746A (zh) | 2018-06-01 |
Family
ID=62204315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611055085.9A Pending CN108111746A (zh) | 2016-11-25 | 2016-11-25 | 一种实现全景拍摄的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108111746A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101276465A (zh) * | 2008-04-17 | 2008-10-01 | 上海交通大学 | 广角图像自动拼接方法 |
| US20140240451A1 (en) * | 2013-02-22 | 2014-08-28 | Hitachi, Ltd. | Plural camera images capturing and processing apparatus, and composite imaging method |
| CN104376531A (zh) * | 2014-12-11 | 2015-02-25 | 重庆地质仪器厂 | 一种图像拼接方法与*** |
| CN104639832A (zh) * | 2015-01-23 | 2015-05-20 | 广东欧珀移动通信有限公司 | 一种全景拍照方法及终端 |
| CN104732476A (zh) * | 2015-03-23 | 2015-06-24 | 中国民航大学 | 一种基于光学无损检测的微结构低重叠度三维拼接方法 |
| CN105376471A (zh) * | 2015-12-21 | 2016-03-02 | 景好 | 一种基于移动平台的全景拍摄***及方法 |
-
2016
- 2016-11-25 CN CN201611055085.9A patent/CN108111746A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101276465A (zh) * | 2008-04-17 | 2008-10-01 | 上海交通大学 | 广角图像自动拼接方法 |
| US20140240451A1 (en) * | 2013-02-22 | 2014-08-28 | Hitachi, Ltd. | Plural camera images capturing and processing apparatus, and composite imaging method |
| CN104376531A (zh) * | 2014-12-11 | 2015-02-25 | 重庆地质仪器厂 | 一种图像拼接方法与*** |
| CN104639832A (zh) * | 2015-01-23 | 2015-05-20 | 广东欧珀移动通信有限公司 | 一种全景拍照方法及终端 |
| CN104732476A (zh) * | 2015-03-23 | 2015-06-24 | 中国民航大学 | 一种基于光学无损检测的微结构低重叠度三维拼接方法 |
| CN105376471A (zh) * | 2015-12-21 | 2016-03-02 | 景好 | 一种基于移动平台的全景拍摄***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8780258B2 (en) | Mobile terminal and method for generating an out-of-focus image | |
| CN106485689B (zh) | 一种图片处理方法和装置 | |
| CN104735255B (zh) | 分屏显示方法和*** | |
| CN106534674A (zh) | 一种显示对焦区域的方法和移动终端 | |
| CN104898959B (zh) | 一种调整虚拟按钮位置的方法和装置 | |
| CN105472241B (zh) | 图像拼接方法及移动终端 | |
| CN105227837A (zh) | 一种图像合成方法和装置 | |
| CN105488756B (zh) | 图片合成方法及装置 | |
| CN105100642B (zh) | 图像处理方法和装置 | |
| CN106155694A (zh) | 一种应用与分身应用的显示方法和装置 | |
| CN106534552B (zh) | 移动终端及其拍照方法 | |
| CN107071263A (zh) | 一种图像处理方法及终端 | |
| CN106850941A (zh) | 照片拍摄方法及装置 | |
| CN106911881A (zh) | 一种基于双摄像头的动态照片拍摄装置、方法和终端 | |
| CN106506965A (zh) | 一种拍摄方法及终端 | |
| CN108989674A (zh) | 一种浏览视频方法、终端及计算机可读存储介质 | |
| CN106973226A (zh) | 一种拍摄方法及终端 | |
| CN106651773A (zh) | 图片处理方法及装置 | |
| CN106791449B (zh) | 照片拍摄方法及装置 | |
| CN106303259A (zh) | 一种实现拍照的方法和装置 | |
| CN106657619A (zh) | 一种截图方法及装置 | |
| CN106657620A (zh) | 一种照片合成方法、装置及移动终端 | |
| CN106200924A (zh) | 一种终端及其对虚拟现实视频进行控制的方法 | |
| CN106303291B (zh) | 一种图片处理方法及终端 | |
| CN105430379A (zh) | 一种获取图像传感器平整度的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180601 |