CN1933575A - 一种照相手持设备的录像方法 - Google Patents

一种照相手持设备的录像方法 Download PDF

Info

Publication number
CN1933575A
CN1933575A CN 200610062912 CN200610062912A CN1933575A CN 1933575 A CN1933575 A CN 1933575A CN 200610062912 CN200610062912 CN 200610062912 CN 200610062912 A CN200610062912 A CN 200610062912A CN 1933575 A CN1933575 A CN 1933575A
Authority
CN
China
Prior art keywords
audio
data
buffering area
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200610062912
Other languages
English (en)
Other versions
CN1933575B (zh
Inventor
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konka Group Co Ltd
Original Assignee
Konka Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konka Group Co Ltd filed Critical Konka Group Co Ltd
Priority to CN2006100629127A priority Critical patent/CN1933575B/zh
Publication of CN1933575A publication Critical patent/CN1933575A/zh
Application granted granted Critical
Publication of CN1933575B publication Critical patent/CN1933575B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种照相手持设备的录像方法,该方法包括以下步骤:进行音视频录制之前在***RAM存储器中一次性申请2个大小相同的音视频数据缓冲区,在进行音视频录制的时候,将音视频数据放入第一音视频数据缓冲区中,当该缓冲区存满时,将第一音视频数据缓冲区同第二音视频数据缓冲区交换标志,交换标志后的第一音视频数据缓冲区继续存入录制的音视频数据,交换标志后的第二音视频数据缓冲区的数据写入flash存储器,形成***RAM存储器中音视频数据缓冲区的循环使用。本发明与现有技术相比,提高了flash操作的效率,录像时间可以不受RAM大小的限制,直到flash的存储空间用完为止,实现无限时的录像功能。

Description

一种照相手持设备的录像方法
[技术领域]
本发明涉及一种录像方法,尤其涉及一种带照相功能的手持设备的无限时录像方法。
[背景技术]
带照相功能的手持设备有可拍照的手机和PDA等,其照相的原理基本相同。这些带照相功能手持设备的处理能力一般较弱,所以整体硬件方案大多为:手持设备主芯片+前端影像处理芯片(Backend IC)+图像传感器(Sensor)。其中Backend IC完成Sensor数据的采集和Jpeg压缩。为了使手持设备不仅具有照相功能而且可以实现录像,出现了使用Motion Jpeg格式来实现录像的技术。使用Motion Jpeg录像的缺点是,无法同步记录音频文件。一般Motion Jpeg的录像直接由backend IC内部硬件控制,Backend IC中的RAM只能用来暂存所有的Motion Jpeg数据,手持设备端并不能控制该RAM,该RAM也不能循环利用,导致了录像时间受backend IC内部RAM大小限制,所以无法实现无限时录像。且Backend IC只包含视频处理单元,并不包含音频处理单元,这又导致了音频和视频无法进行同步。
[发明内容]
本发明要解决的技术问题是提供一种照相手持设备在不增加Mpeg4压缩芯片的前提下,实现无限时录像的方法。
本发明进一步要解决的技术问题是提供一种照相手持设备在不增加Mpeg4压缩芯片的前提下,实现影音同步录像的方法。
为了解决上述技术问题,本发明采用的技术方案是,一种照相手持设备的录像方法,照相手持设备包括手持设备主芯片、前端影像处理芯片、图像传感器、flash存储器和***RAM存储器,所述的录像方法包括以下步骤:
101.进行音视频录制之前在***RAM存储器中一次性申请2个大小相同的音视频数据缓冲区,第一音视频数据缓冲区用来暂存音视频录制数据,第二音视频数据缓冲区用来向flash存储器写入音视频录制数据;
102.在进行音视频录制的时候,将音视频数据放入第一音视频数据缓冲区中,当该缓冲区存满时,将第一音视频数据缓冲区同第二音视频数据缓冲区交换标志,交换标志后的第一音视频数据缓冲区继续存入录制的音视频数据,交换标志后的第二音视频数据缓冲区的数据写入flash存储器,形成***RAM存储器中音视频数据缓冲区的循环使用。
以上所述的一种照相手持设备的录像方法,最好还包括以下步骤:201.进行音视频录制之前在flash存储器中建立2个文件,一个是AVI音视频数据文件,另一个是AVI数据索引文件;
202.在步骤101中申请音视频录制数据缓冲区的同时,申请2个大小相同,且比音视频数据缓冲区小的索引数据缓冲区,用来暂存音视频索引数据,第一索引数据缓冲区用来暂存索引数据,第二索引数据缓冲区用来向flash存储器写入索引数据;
203.当每桢视频数据采集完成时,同时将此段时间内录制的音频数据形成一桢音频数据,并将音频数据和视频数据间隔插桢,暂存在第一音视频数据缓冲区;
204.根据每桢音视频数据大小计算并生成音视频索引数据;
205.将索引数据放入第一索引数据缓冲区中,当该缓冲区存满时,将第一索引数据缓冲区同第二索引数据缓冲区交换标志,交换标志后的第一索引数据缓冲区继续存入录制的索引数据,交换标志后的第二索引数据缓冲区的数据写入flash存储器,形成***RAM存储器中索引数据缓冲区的循环使用;
206.在步骤102交换标志后的第二音视频数据缓冲区的数据写入flash存储器时,缓冲区中的音视频数据保存到flash存储器的AVI音视频数据文件中;
207.在步骤205交换标志后的第二索引数据缓冲区的数据写入flash存储器时,缓冲区中的索引数据保存到flash存储器的AVI数据索引文件中;
208.203至207的步骤循环进行,视频数据按定时器中断定时采集,采用不变的视频桢率,音频数据使用固定速率采集;
209.录制完成后,合并AVI音视频数据文件和AVI数据索引文件,并生成AVI头,形成最终的AVI影音文件。
以上所述的一种照相手持设备的录像方法,最好当音视频数据录制完成时,进行步骤206之前,同步处理缓冲数据,直到将所有的缓冲数据写入AVI音视频数据文件和AVI数据索引文件为止。
本发明与现有技术相比,充分考虑了闪存(nand flash)写速度慢的缺点,采用了双重缓冲技术,实时保存录像数据,提高了flash操作的效率,录像时间可以不受backend IC内部RAM大小的限制,直到flash的存储空间用完为止,从而实现无限时的录像功能。
本文前后提到了两个RAM,前面提到的backend IC中的RAM为照相器件的RAM空间,这个RAM用来暂存拍照的数据,供程序提取。***RAM为手持设备操作***中的内存(嵌入式操作***多使用RAM,Radom access memory),这个RAM一般是由嵌入式操作***管理,可以动态的申请和释放的空间。
本发明如进一步使用两个AVI文件同时分别录制AVI文件的数据及索引文件,不仅节省了内存空间,提高了算法的效率,并且采用AVI文件格式为容器同步交叉记录音频和视频数据,保证了音频和视频数据的同步性,可以实现影音同步录像。
[附图说明]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明一种照相手持设备的录像方法音视频录制启动过程的流程图。
图2是本发明一种照相手持设备的录像方法音视频录制过程的流程图。
图3是本发明一种照相手持设备的录像方法音视频录制结束过程的流程图。
图4本发明一种照相手持设备的录像方法音视频录制后台处理过程的流程图。
[具体实施方式]
本发明一种照相手持设备的录像方法的具体实施方式可以包括4个过程,即启动过程、录制过程、后台处理过程和结束过程。
1.启动过程如图1所示。音视频录制启动过程开始时***首先检查***RAM存储器和flash存储器的空间是否能满足录制的需要,如为否,就结束启动过程,如为是,就建立AVI文件和缓冲区域:
在flash存储器中建立2个文件,一个用来保存AVI视频数据及音频数据,另一个是AVI数据索引文件。
在***RAM存储器中一次性申请2个大小相同的音视频数据缓冲区,第一音视频数据缓冲区用来暂存音视频录制数据,第二音视频数据缓冲区用来向flash存储器写入音视频录制数据。同时,申请2个大小相同,且比音视频数据缓冲区小的索引数据缓冲区,用来暂存音视频索引数据,第一索引数据缓冲区用来暂存索引数据,第二索引数据缓冲区用来向flash存储器写入索引数据。
完成上述步骤后便启动音频和视频采集,并启动音视频录制过程的定时器,完成启动过程。
2.音视频录制过程如图2所示。
音视频录制过程是一个循环的过程,循环由定时器中断控制,录制的过程中采用不变的视频桢率,音频数据使用固定速率采集的方法,采集所有音频数据。每次循环开始时都要检查flash存储器的空间是否充足,如为否,就进入结束流程处理,如为是,就继续录制过程。
采集当前图像传感器中的视频数据和音频缓冲区中的音频数据。在进行音视频采集的时候,当每桢视频数据录制完成时,同时将此段时间内录制的音频数据形成一桢音频数据,并将音频数据和视频数据间隔插桢。
上述音频缓冲区为一块约为40k大小的内存区域,供音频录制单元写入数据使用。程序可以从该缓冲区读取音频录制数据,同时该缓冲区是可以循环使用的。关于音频缓冲的循环使用,也有多种实现方法,由于音频缓冲区为现有技术,这里不详细讨论它的具体实现方法。
检查第一音视频数据缓冲区是否存满,如未存满,将已采集的音视频数据存入第一音视频数据缓冲区;如第一音视频数据缓冲区已存满,便将第一音视频数据缓冲区同第二音视频数据缓冲区交换标志,两者转换角色。同时,向后台处理过程发出写缓冲消息。并将已采集的音视频数据存入交换标志后的第一音视频数据缓冲区(原第二音视频数据缓冲区)。
在音视频数据保存时,使用全局的数据变量根据每桢音视频数据大小计算并生成音视频索引信息。这里的索引数据生成时,是考虑了预留AVI头空间,并计算当前录制桢的位置后得到的;其中AVI头空间为一块固定大小的区域,例如大小可以为固定的512字节。
音视频索引数据的缓冲方法同音视频数据。将当前形成索引数据放入第一个索引数据缓冲区中,当该缓冲区存满时,将第一索引数据缓冲区同第二索引数据缓冲区交换标志。交换标志后的第一个索引数据缓冲区继续存入当前的索引数据,交换标志后的第二索引数据缓冲区的数据用于在后台处理过程中写入flash存储器,形成***RAM存储器中索引数据缓冲区的循环使用。
3.音视频录制后台处理过程如图4所示。
后台处理过程由后台线程控制,当后台线程收到主线程的消息时,首先判断是不是写缓冲消息。
如果是写缓冲消息,就将第二音视频数据缓冲区的数据写入flash存储器的AVI音视频数据文件中;将第二索引数据缓冲区的索引数据写入到flash存储器的AVI数据索引文件中,结束后台处理过程。
如果不是写缓冲消息,再判断是不是结束消息,如果是结束消息,就将第二音视频数据缓冲区和第二索引数据缓冲区的全部数据写入flash存储器,完成后解除主线程阻塞并结束后台处理过程。
4.音视频录制结束过程如图3所示。
进入结束过程有多种原因,如用户主动结束录像;手持设备进行其他操作,如手机收发短信,接听电话;也可以在录制过程中***发现资源不足进入。
进入结束过程后***首先结束定时器中断并关闭音视频采集单元;然后向后任务发送结束消息,并阻塞自己,等待后台处理缓冲区中的数据,当后台处理线程将所有的缓冲数据写入文件,解除主线程阻塞后,结束过程合并AVI音视频数据文件和AVI数据索引文件,并生成AVI头,形成最终的AVI影音文件。
本实施方式具有以下特点:
1.利用AVI格式作为载体,视频采用jpeg格式,音频采用PCM格式或AMR格式,录像过程中,对录像时间没有限制,实时保存录像数据,直到存储空间用完为止。
2.录像开始前,分别建立两个文件,一个为AVI数据文件,用来保存AVI视频数据及音频数据,AVI数据文件中预留AVI头的空间,另一个为AVI索引文件,用来保存AVI数据索引。AVI索引文件和AVI数据文件在录像过程中同时更新。在录像完成的时候,对两个文件实行合并,得到最终的AVI影音文件。
3.进行音视频录制之前一次性申请两大两小分别相同的四个缓冲区,其中两个大的缓冲区用来缓冲音视频录制数据,两个小缓冲区用来缓冲音视频索引数据。
4.对视频数据采取用定时采集,视频采集是循环的,每次定时器触发时进行,音频录制是持续的。当视频采集时,从音频缓冲区中获得数据。录制的过程中不调整视频桢率,音频数据使用固定速率采集的策略,采集所有音频数据以视频数据为基准,在保存每桢视频数据时,同时提取音频缓冲区的数据,对音视频数据实行间歇插桢。
5.在进行音视频录制的时候,当每桢视频数据录制完成时,同时将此段时间内录制的音频数据形成一桢音频数据,并将音频数据和视频数据间隔插桢,最后保存到AVI数据文件中。
6.在进行音视频录制的时候,先将数据放入缓冲区中,当缓冲区满了以后,使用一个低优先级的线程在后台将缓冲区的数据写入,并同时使用另一缓冲继续音视频录制过程,形成缓冲的循环利用。音视频索引的缓冲方法同数据部分,并且索引在音视频录制时同时计算生成。索引数据指示的位置,应该是预留AVI头空间,并计算当且录制位置后得到的。
7.当音视频数据录制完成时,需要同步处理缓冲数据,将主线程结束录制并阻塞自身,直到后台线程将所有的缓冲数据写入文件为止。
8.录制完成后,合并AVI数据文件和AVI索引文件,并生成AVI头,形成最终的影音文件。
9.手持设备中多使用flash作为存储器件,考虑到flash器件的写速度相对较慢,对flash写操作使用循环双缓冲机制,减少写操作的耗时,达到较高的效率。但是此处的方法不仅仅适用于nand flash,对其他的存储介质一样适用。
10.上述缓冲区的大小由具体的手持设备而定,一般来说缓冲区最少要能保存约1秒的音视频数据或索引。采用缓冲区的目的是为了尽量减少对存储介质的操作的次数,从而提高写文件的效率,如果缓冲区过小,将无法很好的达到目的,反之,如果缓冲区过大,也对提高程序效率没有意义,反而浪费了内存空间。具体的缓冲大小选择,要根据***情况而定。如某型号可拍照的手机为60M内置nand flash存储空间,录像使用的***RAM存储器大小约为220K.其中两块数据区缓冲为2X100K,两块索引缓冲区为2X10K。

Claims (3)

1.一种照相手持设备的录像方法,照相手持设备包括手持设备主芯片、前端影像处理芯片、图像传感器、flash存储器和***RAM存储器,其特征在于,所述的录像方法包括以下步骤:
101.进行音视频录制之前在***RAM存储器中一次性申请2个大小相同的音视频数据缓冲区,第一音视频数据缓冲区用来暂存音视频录制数据,第二音视频数据缓冲区用来向flash存储器写入音视频录制数据;
102.在进行音视频录制的时候,将音视频数据放入第一个音视频数据缓冲区中,当该缓冲区存满时,将第一音视频数据缓冲区同第二音视频数据缓冲区交换标志,交换标志后的第一个音视频数据缓冲区继续存入录制的音视频数据,交换标志后的第二音视频数据缓冲区的数据写入flash存储器,形成***RAM存储器中音视频数据缓冲区的循环使用。
2.根据权利要求1所述的一种照相手持设备的录像方法,其特征在于,还包括以下步骤:
201.进行音视频录制之前在flash存储器中建立2个文件,一个是AVI音视频数据文件,另一个是AVI数据索引文件;
202.在步骤101中申请音视频录制数据缓冲区的同时,申请2个大小相同,且比音视频数据缓冲区小的索引数据缓冲区,用来暂存音视频索引数据,第一索引数据缓冲区用来暂存索引数据,第二索引数据缓冲区用来向flash存储器写入索引数据;
203.当每桢视频数据采集完成时,同时将此段时间内录制的音频数据形成一桢音频数据,并将音频数据和视频数据间隔插桢,暂存在第一个音视频数据缓冲区;
204.根据每桢音视频数据大小计算并生成音视频索引数据;
205.将索引数据放入第一个索引数据缓冲区中,当该缓冲区存满时,将第一索引数据缓冲区同第二索引数据缓冲区交换标志,交换标志后的第一个索引数据缓冲区继续存入录制的索引数据,交换标志后的第二索引数据缓冲区的数据写入flash存储器,形成***RAM存储器中索引数据缓冲区的循环使用;
206.在步骤102交换标志后的第二音视频数据缓冲区的数据写入flash存储器时,缓冲区中的音视频数据保存到flash存储器的AVI音视频数据文件中;
207.在步骤205交换标志后的第二索引数据缓冲区的数据写入flash存储器时,缓冲区中的索引数据保存到flash存储器的AVI数据索引文件中;
208.203至207的步骤循环进行,视频数据按定时器中断定时采集,采用不变的视频桢率,音频数据使用固定速率采集;
209.录制完成后,合并AVI音视频数据文件和AVI数据索引文件,并生成AVI头,形成最终的AVI影音文件。
3.根据权利要求2所述的一种照相手持设备的录像方法,其特征在于,当音视频数据录制完成时,进行步骤206之前,同步处理缓冲数据,直到将所有的缓冲数据写入AVI音视频数据文件和AVI数据索引文件为止。
CN2006100629127A 2006-09-30 2006-09-30 一种照相手持设备的录像方法 Expired - Fee Related CN1933575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2006100629127A CN1933575B (zh) 2006-09-30 2006-09-30 一种照相手持设备的录像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006100629127A CN1933575B (zh) 2006-09-30 2006-09-30 一种照相手持设备的录像方法

Publications (2)

Publication Number Publication Date
CN1933575A true CN1933575A (zh) 2007-03-21
CN1933575B CN1933575B (zh) 2010-06-23

Family

ID=37879164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100629127A Expired - Fee Related CN1933575B (zh) 2006-09-30 2006-09-30 一种照相手持设备的录像方法

Country Status (1)

Country Link
CN (1) CN1933575B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117328A (zh) * 2011-03-03 2011-07-06 重庆国虹科技发展有限公司 Android***中的录音数据快速存储方法
CN103647937A (zh) * 2013-11-21 2014-03-19 北京环境特性研究所 图像跟踪***及其图像数据处理方法
CN103813121A (zh) * 2014-02-18 2014-05-21 厦门美图之家科技有限公司 一种录制视频的方法与装置
CN101645967B (zh) * 2009-05-14 2015-03-04 上海闻泰电子科技有限公司 一种以自定义格式处理多媒体数据的移动终端及实现方法
CN105872425A (zh) * 2016-04-29 2016-08-17 乐视控股(北京)有限公司 视频文件的存储方法及装置
CN106791549A (zh) * 2016-11-21 2017-05-31 建荣半导体(深圳)有限公司 一种录像存储方法、***及行车记录仪
CN107040832A (zh) * 2017-04-22 2017-08-11 广州市比丽普电子有限公司 一种基于蓝牙技术的手持终端式麦克风***
CN107465875A (zh) * 2017-09-13 2017-12-12 北京元心科技有限公司 相机预览数据缓存方法及装置
CN108053821A (zh) * 2017-12-12 2018-05-18 腾讯科技(深圳)有限公司 生成音频数据的方法和装置
CN110225279A (zh) * 2019-07-15 2019-09-10 北京小糖科技有限责任公司 一种移动终端的视频制作***和视频制作方法
US10747659B2 (en) 2018-02-06 2020-08-18 Western Digital Technologies, Inc. Flash fast program mode for high definition video recording and high resolution camera burst mode recording

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843466A (en) * 1988-04-27 1989-06-27 Universal Video Communications Corp. Method and system for decompressing color video slope encoded data
CN100349442C (zh) * 2004-05-28 2007-11-14 中兴通讯股份有限公司 一种乒乓缓冲装置
CN100481125C (zh) * 2005-08-26 2009-04-22 北京中星微电子有限公司 图像数据压缩前预存储处理装置和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645967B (zh) * 2009-05-14 2015-03-04 上海闻泰电子科技有限公司 一种以自定义格式处理多媒体数据的移动终端及实现方法
CN102117328A (zh) * 2011-03-03 2011-07-06 重庆国虹科技发展有限公司 Android***中的录音数据快速存储方法
CN102117328B (zh) * 2011-03-03 2013-08-14 重庆国虹科技发展有限公司 Android***中的录音数据快速存储方法
CN103647937A (zh) * 2013-11-21 2014-03-19 北京环境特性研究所 图像跟踪***及其图像数据处理方法
CN103813121A (zh) * 2014-02-18 2014-05-21 厦门美图之家科技有限公司 一种录制视频的方法与装置
CN105872425A (zh) * 2016-04-29 2016-08-17 乐视控股(北京)有限公司 视频文件的存储方法及装置
CN106791549A (zh) * 2016-11-21 2017-05-31 建荣半导体(深圳)有限公司 一种录像存储方法、***及行车记录仪
CN107040832A (zh) * 2017-04-22 2017-08-11 广州市比丽普电子有限公司 一种基于蓝牙技术的手持终端式麦克风***
CN107465875A (zh) * 2017-09-13 2017-12-12 北京元心科技有限公司 相机预览数据缓存方法及装置
CN108053821A (zh) * 2017-12-12 2018-05-18 腾讯科技(深圳)有限公司 生成音频数据的方法和装置
US10747659B2 (en) 2018-02-06 2020-08-18 Western Digital Technologies, Inc. Flash fast program mode for high definition video recording and high resolution camera burst mode recording
CN110225279A (zh) * 2019-07-15 2019-09-10 北京小糖科技有限责任公司 一种移动终端的视频制作***和视频制作方法
CN110225279B (zh) * 2019-07-15 2022-08-16 北京小糖科技有限责任公司 一种移动终端的视频制作***和视频制作方法

Also Published As

Publication number Publication date
CN1933575B (zh) 2010-06-23

Similar Documents

Publication Publication Date Title
CN1933575A (zh) 一种照相手持设备的录像方法
US11372771B2 (en) Invalidation data area for cache
CN114443268A (zh) 内存管理方法、装置、电子设备以及计算机可读存储介质
US8209503B1 (en) Digital locked loop on channel tagged memory requests for memory optimization
EP1895418B1 (en) Nonvolatile memory device, method of writing data, and method of reading out data
CN1305270C (zh) 基于集群的流媒体缓存代理服务器***
CN1684040A (zh) 能够使用过去处理空间的信息处理器
WO2014127684A1 (zh) 内存回收方法及装置
CN1901668A (zh) 多人视频数据显示处理方法及***
CN107678685B (zh) 基于闪存的存储路径优化的键值存储管理方法
US20050286855A1 (en) Data recording apparatus
CN1851671A (zh) 一种节省全局变量内存空间的方法
CN103049396A (zh) 数据的刷写方法及装置
CN102243615A (zh) 一种支持音视频帧存储的内存缓冲管理机制
CN116320783B (zh) 一种录像中抓拍图像的方法及电子设备
CN1702633A (zh) 一种媒体文件***的建立方法
CN106897440A (zh) 一种分布式文件***文件读写处理方法
CN103327277A (zh) 留声照片生成方法及图片数据与声音数据合并存储方法
CN1908937A (zh) 一种闪存中的flash文件的管理方法及***
US20120265953A1 (en) Memory management device, memory management method, and control program
CN110555890A (zh) 一种内存管理方法及***
CN1655601A (zh) 一种屏幕的截屏方法
CN110502457A (zh) 一种元数据存储方法及装置
CN103747253B (zh) 一种基于fifo的视频编码数据传输方法
CN102547281A (zh) 基于dsp的jpeg图像压缩并行控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100623

Termination date: 20130930