CN101770569A - 基于ocr的菜名识别方法 - Google Patents

基于ocr的菜名识别方法 Download PDF

Info

Publication number
CN101770569A
CN101770569A CN200810246630A CN200810246630A CN101770569A CN 101770569 A CN101770569 A CN 101770569A CN 200810246630 A CN200810246630 A CN 200810246630A CN 200810246630 A CN200810246630 A CN 200810246630A CN 101770569 A CN101770569 A CN 101770569A
Authority
CN
China
Prior art keywords
dish
name
identified
ocr
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200810246630A
Other languages
English (en)
Inventor
朱军民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN200810246630A priority Critical patent/CN101770569A/zh
Publication of CN101770569A publication Critical patent/CN101770569A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Character Input (AREA)

Abstract

本发明基于OCR的菜名识别方法,属于OCR技术领域。包括如下步骤:对菜单进行拍摄,在符合清晰度的菜单照片上划定待识别区域,并对待识别区域进行智能调整。调用OCR引擎对调整后的待识别区域进行识别,得到识别文本。本方法利用菜名知识库对识别文本进行校正,选取匹配度最大的结果作为菜名识别的结果,滤除了无意义的识别结果。根据指定的坐标点的位置确定矩形的待识别区域,并在此基础上进行智能调整,这样最大程度上滤除了识别过程中的噪声,提高了OCR引擎的识别效果。用户可以对识别结果通过网络上传到餐饮业的网站上,供网站将更多的菜名信息发布后进行宣传或订餐,同时也方便广大美食爱者了解和选择他们的佳肴。

Description

基于OCR的菜名识别方法
技术领域
本发明属于OCR技术领域,涉及一种基于OCR的识别方法,尤其涉及一种基于OCR的菜名识别方法。
背景技术
OCR技术是光学字符识别的缩写(Optical Character Recognition),是通过扫描、拍摄等光学输入方式将各种书籍、文稿、报刊、票据及其它印刷品的文字转化为图像信息,然后再利用文字识别技术将图像信息转化为可以编辑的文字编码字符流的计算机输入技术。可应用于大量文字资料、档案卷宗、文案的录入和银行票据处理领域。
拍照手机现在已经普及,但是基于摄像头的应用还是很贫乏,没有发挥出应有的作用。目前OCR技术已经非常成熟,但是其应用还是局限于扫描仪图像的识别,在目前的高端智能手机上的虽然有所应用,比如三星SCH-i819和LG G832等,这些手机虽然可以通过摄像头针对名片等进行识别,并将识别结果存储到通讯录中,但也仅是单纯的文本识别,还需通过手工对识别结果进行校正。
随着餐饮业的发展和生活节奏的加快,在网上发布餐饮信息成为了一种餐饮业的潮流,但需要把大量的菜肴信息发布到网上,给网站工作者提供了不小的负担。另外,顾客在用餐时,特别是外国朋友,往往希望记录下来一些感兴趣菜肴的相关信息,但由于菜名等相关信息的特殊性,目前的智能手机对于菜名信息识别的效果不是很好,往往存在着较大误差。
发明内容
本发明提供一种基于OCR的菜名识别方法,通过手机上的摄像头对菜谱上的菜名信息进行拍摄,并通过用户的指定对菜名区域进行智能定位,而后OCR识别引擎对该区域进行识别,然后调用菜名知识库进行校验,得到正确的菜名信息。通过用户指定的菜名区域准确有效,并采用菜名知识库对OCR识别文本进行校验,大大提高了菜名识别结果的正确率,能够有效地对菜名信息进行识别,方便了用户对菜名信息的采集,而且不增加任何的硬件设备,降低了成本,具有良好的应用价值和市场价值。
基于OCR的菜名识别方法,包括如下步骤:
步骤1:通过手机的摄像头对菜单进行拍摄,得到菜单图像;
步骤2:对菜单图像进行边缘检测,如果图像检测为模糊图像,则重新对菜单进行拍摄;否则执行步骤3;
步骤3:在符合清晰度的菜单图像上划定待识别区域,并对待识别区域进行智能调整;
步骤4:调用OCR识别引擎对调整后的待识别区域进行识别,得到识别文本;
步骤5:对识别文本进行校正,得到菜名识别结果。
所述步骤2的边缘检测中,对菜单图像求边缘梯度,并对所有边缘梯度值取平均,如果该平均梯度值大于设定阈值,则认为是清晰图像,否则为模糊图像。
所述步骤3划定待识别区域时,指定一个或者两个坐标点,或在待识别菜名的中部画一条直线,根据待识别菜名的位置粗略确定一个矩形区域。
所述步骤3确定矩形区域时,如果指定一个坐标点,以该坐标点位初始点向四周扩展,得到包含待识别菜名的外接矩形区域;如果指定两个坐标点时,以坐标点为对角点确定包含待识别菜名的外接矩形区域;如果在待识别菜名的中部画一条直线,将该直线向两侧扩展,得到包含待识别菜名的以直线长度和扩展幅度之和为边长的外接矩形区域。
所述步骤3智能调整时,对待识别区域的边界进行调整,减小待识别菜名周围的空白区域,得到的紧密包含菜名的待识别区域。
所述步骤5识别文本进行校正时,将识别文本在菜名知识库中进行模糊匹配,选取匹配度最高的菜名供用户确认,如果用户确认该匹配结果为最终的识别结果,则将此识别结果进行存储或网络发布;反之识别结果被手动编辑后进行存储和网络发布,同时被添加到菜名知识库中。
所述步骤5识别文本进行校正时,菜名知识库支持多语种。
本发明基于OCR的菜名识别方法,与现有技术相比的优点在于:
1、本方法在对待识别区域进行识别时,首先制定了坐标点,根据指定的坐标点的位置确定矩形的待识别区域,并在此基础上进行智能调整,这样有效确定了待识别区域,最大程度上滤除了识别过程中的噪声,提高了OCR引擎的识别率。
2、本方法对于识别文本进行校正,在菜名知识库中选取匹配度最大的结果作为菜名识别的结果,大大提高了识别的准确度,滤除了无意义的识别结果,方便了用户的使用。
3、提出了一种OCR新的应用方向,先用拍照手机进行菜单图像采集,而后OCR识别引擎对菜名进行识,然后利用知识库对识别文本进行校正,用户可以对识别结果通过网络上传到餐饮业的网站上,供网站将更多的菜名信息发布后进行宣传或订餐,同时也方便广大美食爱好者了解和选择他们的佳肴。
附图说明
图1为本发明基于OCR的菜名识别方法的流程图;
图2为本发明基于OCR的菜名识别方法的制定一个坐标点划定待识别区域的示意图;
图3为本发明基于OCR的菜名识别方法的制定两个坐标点划定待识别区域的示意图;
图4为本发明基于OCR的菜名识别方法的制定直线划定待识别区域的示意图;
图5为本发明基于OCR的菜名识别方法的经过智能调整后的待识别区域的示意图;
图6为本发明基于OCR的菜名识别方法的OCR引擎输出的识别文本;
图7为本发明基于OCR的菜名识别方法的校正后得到的识别结果。
具体实施方式
以下结合附图对本发明的方法进行详细说明。
本实施例中的手机装有500万像素的摄像装置、以及OCR识别引擎,采用的SDK为汉王OCR6.0 SDK,并可以通过WAP方式进行上网。
本方法基于OCR的菜名识别方法,如图1所示,包括如下步骤:
步骤一:通过手机的摄像头对菜单进行拍摄,得到菜单照片,作为待处理的菜单图像;
步骤二:通过手机摄像头拍摄的照片,有时候由于抖动,就会导致图像很虚,字符模糊,达不到OCR识别的要求。所以对拍摄的照片进行清晰度的判定,以确定是否进行下一步处理。对菜单图像的平均边缘强度作为检测值,进行边缘检测,当平均边缘强度小于预先设定的阈值T时,图像模糊,需要进行重新拍摄,直至图像的平均边缘强度大于预先设定的阈值T,判定图像清晰为止。这里所述的平均边缘强度是指由边缘算法如Sobel、Roberts等计算的到梯度值,本实施例中采用Sobel算法。如图2所示,设定的阈值为T=60,该图像的平均边缘强度为100,大于特定阈值,该图像为清晰图像。
步骤三:在符合清晰度要求的菜单图像上划定一个矩形的待识别区域,指定待识别的菜名的粗略位置。本实施例中,指定一个坐标点,如图2所示,该坐标点为十字形光标,以该坐标点为初始点分别向上下左右四个方向扩展,得到包含待识别菜名的外接矩形区域。图2中位于“肉沙司面”字样处的十字光标就是用户指定的坐标点。
如果指定两个坐标点时,如图3所示,以两个坐标点为对角点确定包含待识别菜名的外接矩形区域。同样该矩形区域的边界在待识别的菜名之外,即该矩形区域必须完全包含菜名,得到包含待识别菜名的外接矩形区域。图3中位于“肉沙司面”处的用户指定的矩形区域就是由两个对角点确定的矩形区域,该菜名“肉沙司面”就是待识别的菜名。
如果在待识别菜名图像的中部画一条直线,该直线方向与文字排列方向平行。本实施例中,如图4所示,贯穿“肉沙司面”的直线方向与文字排列方向平行,将直线向其两侧,即上下方向扩展,直到空白区域为止。最终得到包含待识别菜名的外接矩形区域,该外接矩形区域以直线长度为长,以上下扩展幅度之和为宽。
用户交互的时候,不可能定位到需要处理菜名的精确位置,只是给出一个或者两个坐标点。通过这些坐标点,智能地定位到需要处理的菜名字符区域。选定待识别区域后,对待识别区域进行智能调整,调整该矩形区域的边界,减小待识别菜名周围的空白区域,得到一个紧密包含待识别菜名的待识别区域。
对于本实施例中用户给定一个点坐标的情况,经过智能调整得到如图5所示待识别矩形区域。
步骤四:调用光学字符识别(OCR)引擎模块,将定位到的菜名文字图像区域,送入OCR识别引擎进行处理,对待识别区域进行字切分,然后进行单字符特征提取和模板的匹配;最终形成识别文本(可编辑字符流),得到的识别文本如图6所示,得到的识别结果为“肉炒司面”。
步骤五:识别文本校正。将识别文本与本机存储的菜名知识库中进行模糊匹配,找到与识别文本相关的菜名信息。选取匹配度最高(如果有多个相同的匹配度,则全部列出来)的菜名以供用户确认,如果用户确认该匹配结果为最终的识别结果,则将此识别结果进行存储或网络发布。反之用户发现匹配的结果不正确,而且识别文本有错误,则用户需要对OCR识别结果进行手动编辑,然后进行存储或网络发布,同时程序自动将该菜名增加到菜名知识库中。本实施例中,如图7所示,匹配度最高的菜名为“肉沙司面”,匹配度为0.98。用户认为识别结果正确,将这个结果通过手机上的WAP模块上传到特定的餐饮网站中,作为网站的信息发布,用来进行宣传或者订餐等业务。
所述知识库库还支持多语种,用户可以选择将识别结果转换为手机设置的语言形式输出。如果用户手机中的语言为英文,则将识别文本“肉沙司面”将转化为英文“Meat-sauce Spaghetti”进行显示。
虽然这里只说明了本发明的部分优选实施例,但其意并非限制本发明的范围、适用性和配置。相反,对实施例的详细说明可使本领域技术人员得以实施,并且应能理解,在不偏离所附权利要求书确定的本发明精神和范围情况下,可对一些细节做适当变更和修改。

Claims (7)

1.一种基于OCR的菜名识别方法,其特征在于,包括如下步骤:
步骤一:通过手机的摄像头对菜单进行拍摄,得到菜单图像;
步骤二:对菜单图像进行边缘检测,如果图像检测为模糊图像,则重新对菜单进行拍摄;否则执行步骤三;
步骤三:在符合清晰度的菜单图像上划定待识别区域,并对待识别区域进行智能调整;
步骤四:调用OCR识别引擎对调整后的待识别区域进行识别,得到识别文本;
步骤五:对识别文本进行校正,得到菜名识别结果。
2.根据权利要求1所述一种基于OCR的菜名识别方法,其特征在于:所述步骤二的边缘检测中,对菜单图像求边缘梯度,并对所有边缘梯度值取平均,如果该平均梯度值大于设定阈值,则认为是清晰图像,否则为模糊图像。
3.根据权利要求1所述一种基于OCR的菜名识别方法,其特征在于:所述步骤三划定待识别区域时,指定一个或者两个坐标点,或在待识别菜名的中部画一直线,根据待识别菜名的位置粗略确定一个矩形区域。
4.根据权利要求3所述一种基于OCR的菜名识别方法,其特征在于:所述步骤三确定矩形区域时,如果指定一个坐标点,以该坐标点位初始点向四周扩展,得到包含待识别菜名的外接矩形区域;如果指定两个坐标点时,以坐标点为对角点确定包含待识别菜名的外接矩形区域;如果在待识别菜名的中部画一直线,将该直线向两侧扩展,得到包含待识别菜名的以直线长度和扩展幅度之和为边长的外接矩形区域。
5.根据权利要求1所述一种基于OCR的菜名识别方法,其特征在于:所述步骤三智能调整时,对待识别区域的边界进行调整,减小待识别菜名周围的空白区域,得到的紧密包含菜名的待识别区域。
6.根据权利要求1所述一种基于OCR的菜名识别方法,其特征在于:所述步骤五利用菜名知识库对识别文本进行校正时,将识别文本在菜名知识库中进行模糊匹配,选取匹配度最高的菜名供用户确认,如果用户确认该匹配结果为最终的识别结果,则将此识别结果进行存储或网络发布;反之识别结果被手动编辑后进行存储和网络发布,同时被添加到菜名知识库中。
7.根据权利要求1所述一种基于OCR的菜名识别方法,其特征在于:所述步骤五识别文本进行校正时,菜名知识库支持多语种。
CN200810246630A 2008-12-31 2008-12-31 基于ocr的菜名识别方法 Pending CN101770569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810246630A CN101770569A (zh) 2008-12-31 2008-12-31 基于ocr的菜名识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810246630A CN101770569A (zh) 2008-12-31 2008-12-31 基于ocr的菜名识别方法

Publications (1)

Publication Number Publication Date
CN101770569A true CN101770569A (zh) 2010-07-07

Family

ID=42503421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810246630A Pending CN101770569A (zh) 2008-12-31 2008-12-31 基于ocr的菜名识别方法

Country Status (1)

Country Link
CN (1) CN101770569A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354365A (zh) * 2011-09-23 2012-02-15 上海合合信息科技发展有限公司 准确识别图像的识别方法及***
CN102968638A (zh) * 2011-08-31 2013-03-13 上海夏尔软件有限公司 基于关键字光学字符识别的影像清晰度判断的方法
CN103488983A (zh) * 2013-09-13 2014-01-01 复旦大学 一种基于知识库的名片ocr数据修正方法和***
CN103854024A (zh) * 2012-12-04 2014-06-11 百度国际科技(深圳)有限公司 一种图像中的字符提取方法及装置
CN103927552A (zh) * 2014-04-23 2014-07-16 北京奇虎科技有限公司 匹配目标***的方法和装置
CN103955525A (zh) * 2014-05-09 2014-07-30 北京奇虎科技有限公司 一种搜索***的方法及客户端
CN104346611A (zh) * 2013-08-06 2015-02-11 富士施乐株式会社 信息处理设备以及信息处理方法
CN105373790A (zh) * 2015-10-23 2016-03-02 北京汉王数字科技有限公司 版面分析方法和装置
CN107609914A (zh) * 2017-09-22 2018-01-19 上海爱优威软件开发有限公司 一种智能菜单设计方法及***
CN107730402A (zh) * 2017-10-13 2018-02-23 李继泽 一种智能点餐***及方法
CN108875697A (zh) * 2018-07-05 2018-11-23 南昌市微轲联信息技术有限公司 车辆信息采集上传方法、装置、存储介质及计算机设备
CN109255290A (zh) * 2018-07-27 2019-01-22 北京三快在线科技有限公司 菜单识别方法、装置、电子设备及存储介质
CN109740597A (zh) * 2018-12-29 2019-05-10 口碑(上海)信息技术有限公司 菜单信息的识别方法及装置
CN109886263A (zh) * 2018-12-29 2019-06-14 口碑(上海)信息技术有限公司 菜单配置方法、装置、存储介质及计算机设备
CN109918416A (zh) * 2019-02-28 2019-06-21 生活空间(沈阳)数据技术服务有限公司 一种单据录入的方法、装置及设备
CN110110577A (zh) * 2019-01-22 2019-08-09 口碑(上海)信息技术有限公司 识别菜名的方法及装置、存储介质、电子装置
CN110942057A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 一种集装箱箱号识别方法、装置和计算机设备
CN111192346A (zh) * 2019-12-26 2020-05-22 科大讯飞股份有限公司 电子菜单生成方法、装置和设备
CN111275134A (zh) * 2020-02-26 2020-06-12 上海明略人工智能(集团)有限公司 图像匹配方法及装置、存储介质和电子装置
CN111385424A (zh) * 2018-12-25 2020-07-07 佳能株式会社 图像处理***和图像处理方法
CN111898612A (zh) * 2020-06-30 2020-11-06 北京来也网络科技有限公司 结合rpa和ai的ocr识别方法及装置、设备、介质
CN112801232A (zh) * 2021-04-09 2021-05-14 苏州艾隆科技股份有限公司 一种应用于处方录入的扫描识别方法及***
CN114022881A (zh) * 2021-10-24 2022-02-08 何雨萌 一种ai+ar物品清点***及物品清点方法
CN115439854A (zh) * 2022-09-05 2022-12-06 深圳市学之友科技有限公司 一种基于扫描笔与智能终端互联的扫描显示方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968638A (zh) * 2011-08-31 2013-03-13 上海夏尔软件有限公司 基于关键字光学字符识别的影像清晰度判断的方法
CN102354365A (zh) * 2011-09-23 2012-02-15 上海合合信息科技发展有限公司 准确识别图像的识别方法及***
CN103854024A (zh) * 2012-12-04 2014-06-11 百度国际科技(深圳)有限公司 一种图像中的字符提取方法及装置
CN104346611A (zh) * 2013-08-06 2015-02-11 富士施乐株式会社 信息处理设备以及信息处理方法
CN103488983B (zh) * 2013-09-13 2016-10-26 复旦大学 一种基于知识库的名片ocr数据修正方法和***
CN103488983A (zh) * 2013-09-13 2014-01-01 复旦大学 一种基于知识库的名片ocr数据修正方法和***
CN103927552A (zh) * 2014-04-23 2014-07-16 北京奇虎科技有限公司 匹配目标***的方法和装置
CN103955525A (zh) * 2014-05-09 2014-07-30 北京奇虎科技有限公司 一种搜索***的方法及客户端
CN105373790A (zh) * 2015-10-23 2016-03-02 北京汉王数字科技有限公司 版面分析方法和装置
CN105373790B (zh) * 2015-10-23 2019-02-05 北京汉王数字科技有限公司 版面分析方法和装置
CN107609914A (zh) * 2017-09-22 2018-01-19 上海爱优威软件开发有限公司 一种智能菜单设计方法及***
CN107730402A (zh) * 2017-10-13 2018-02-23 李继泽 一种智能点餐***及方法
CN108875697A (zh) * 2018-07-05 2018-11-23 南昌市微轲联信息技术有限公司 车辆信息采集上传方法、装置、存储介质及计算机设备
CN109255290A (zh) * 2018-07-27 2019-01-22 北京三快在线科技有限公司 菜单识别方法、装置、电子设备及存储介质
CN110942057A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 一种集装箱箱号识别方法、装置和计算机设备
CN111385424A (zh) * 2018-12-25 2020-07-07 佳能株式会社 图像处理***和图像处理方法
US11216695B2 (en) 2018-12-25 2022-01-04 Canon Kabushiki Kaisha Image processing system and image processing method
CN109886263B (zh) * 2018-12-29 2020-12-29 口碑(上海)信息技术有限公司 菜单配置方法、装置、存储介质及计算机设备
CN109886263A (zh) * 2018-12-29 2019-06-14 口碑(上海)信息技术有限公司 菜单配置方法、装置、存储介质及计算机设备
CN109740597A (zh) * 2018-12-29 2019-05-10 口碑(上海)信息技术有限公司 菜单信息的识别方法及装置
CN110110577A (zh) * 2019-01-22 2019-08-09 口碑(上海)信息技术有限公司 识别菜名的方法及装置、存储介质、电子装置
CN109918416A (zh) * 2019-02-28 2019-06-21 生活空间(沈阳)数据技术服务有限公司 一种单据录入的方法、装置及设备
CN111192346A (zh) * 2019-12-26 2020-05-22 科大讯飞股份有限公司 电子菜单生成方法、装置和设备
CN111192346B (zh) * 2019-12-26 2024-02-13 科大讯飞股份有限公司 电子菜单生成方法、装置和设备
CN111275134A (zh) * 2020-02-26 2020-06-12 上海明略人工智能(集团)有限公司 图像匹配方法及装置、存储介质和电子装置
CN111898612A (zh) * 2020-06-30 2020-11-06 北京来也网络科技有限公司 结合rpa和ai的ocr识别方法及装置、设备、介质
CN112801232A (zh) * 2021-04-09 2021-05-14 苏州艾隆科技股份有限公司 一种应用于处方录入的扫描识别方法及***
CN114022881A (zh) * 2021-10-24 2022-02-08 何雨萌 一种ai+ar物品清点***及物品清点方法
CN115439854A (zh) * 2022-09-05 2022-12-06 深圳市学之友科技有限公司 一种基于扫描笔与智能终端互联的扫描显示方法

Similar Documents

Publication Publication Date Title
CN101770569A (zh) 基于ocr的菜名识别方法
US10108860B2 (en) Systems and methods for generating composite images of long documents using mobile video data
US7729536B2 (en) Boundary extracting method, program, and device using the same
US8155442B2 (en) Method and apparatus for modifying the histogram of an image
Yang et al. Binarization of low-quality barcode images captured by mobile phones using local window of adaptive location and size
RU2631765C1 (ru) Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот
CN101751566B (zh) 一种基于手持设备的菜谱识别及注解方法和装置
US20130251262A1 (en) Text image trimming method
EP2727048A1 (en) System and method for recognizing text information in object
Wang et al. An effective background estimation method for shadows removal of document images
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
Sidhwa et al. Text extraction from bills and invoices
CN107085699B (zh) 信息处理设备、信息处理设备的控制方法和存储介质
GB2517674A (en) Image capture using client device
CN103955499A (zh) 一种基于即时计算与动态追踪的视觉体验增强方法
CN104765796A (zh) 一种图像识别搜索方法及装置
CN104408427A (zh) 图像四边形识别的方法和装置
US10373329B2 (en) Information processing apparatus, information processing method and storage medium for determining an image to be subjected to a character recognition processing
CN112532884A (zh) 识别方法、装置及电子设备
CN109685079B (zh) 一种特征图像类别信息的生成方法和装置
Bhaskar et al. Implementing optical character recognition on the android operating system for business cards
Najman et al. Indexing technical drawings using title block structure recognition
Tam et al. Quadrilateral Signboard Detection and Text Extraction.
JP2021076882A (ja) 画像読取処理システム
Bertucci et al. Text selection by structured light marking for hand-held cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100707