CN102302357A - 用于球囊内窥镜的姿态感知***及球囊内窥镜 - Google Patents

用于球囊内窥镜的姿态感知***及球囊内窥镜 Download PDF

Info

Publication number
CN102302357A
CN102302357A CN201110169290A CN201110169290A CN102302357A CN 102302357 A CN102302357 A CN 102302357A CN 201110169290 A CN201110169290 A CN 201110169290A CN 201110169290 A CN201110169290 A CN 201110169290A CN 102302357 A CN102302357 A CN 102302357A
Authority
CN
China
Prior art keywords
attitude
magnetic field
angle
endoscope
sacculus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110169290A
Other languages
English (en)
Inventor
胡军
李国林
谢翔
谷荧柯
孙天佳
王丹
王志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201110169290A priority Critical patent/CN102302357A/zh
Publication of CN102302357A publication Critical patent/CN102302357A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

本发明涉及医用植入式微型设备的姿态感知技术领域,公开了一种用于球囊内窥镜的姿态感知***及球囊内窥镜,***包括用于在体内进行球囊内窥镜的姿态信息的采集与处理的体内装置以及用于在体外产生磁场的体外装置;其中,所述体内装置与所述体外装置进行通信,包括:姿态传感器单元,包含一种或者多种姿态传感器,用于在体内进行球囊内窥镜的姿态信息的采集;姿态传感器控制单元,用于配置所述姿态传感器的工作模式;姿态计算单元,用于对来自姿态传感器单元的姿态信息进行滤波等处理后,采用相应的方法计算球囊内窥镜的姿态角。本发明能在小尺寸和低功耗的前提条件下,准确地检测球囊内窥镜在消化道中的姿态。

Description

用于球囊内窥镜的姿态感知***及球囊内窥镜
技术领域
本发明涉及医用植入式微型设备的姿态感知技术领域,特别是涉及一种用于球囊内窥镜的姿态感知***及球囊内窥镜。
背景技术
胶囊式内窥镜,它是内窥镜技术的突破,从整体结构上以药丸式取代了传统的线缆***式,可以吞服的方式进入消化道,实现了真正的无创诊疗,同时可以实时观察病人消化道图像,大大拓展了全消化道检查的范围和视野。在进行消化道检查时,无线胶囊内窥镜从待测者口腔吞入,通过胃肠道的蠕动遍历整个消化道,并从内部对胃肠道进行图像采集。
目前市场上的胶囊内窥镜多采用1-2个摄像头,因此在进行消化道检查时观测视野小,容易造成对胃部以及肠道的漏检现象。据统计,只有一个摄像头的胶囊内窥镜消化道的拍摄盲区大概为20%。例如,在专利US2002/0109774,JP2001112710,US2003/0023150等中,均使用不超过两个摄像头。虽然采用了不同的扩大其视野的方法(包括机械转动等方法),但是这些发明都无法实现全视角的图像采集。
在申请号为200910008885、200910080350中国发明专利申请中均提出了一种球囊状设备(称为球囊内窥镜),其内部采用多摄像头的图像采集方案。以包含6摄像头的球囊内窥镜为例,若要实现无盲区的图像采集,球囊内窥镜***必须保证至少每秒6帧的拍摄速度(6个摄像头同时进行图像采集),而要实现这样的拍摄速度,***工作电流至少约为100mA,在这样的工作电流要求下,以现有无线内窥镜中普遍采用的电池进行供电,仅能维持工作很短的时间,因此无法实现对全消化道,特别是小肠的检查。若采用无线供能的方式进行供电,一是目前还未见成熟的、可实际应用于无线内窥镜检查的无线供能***,二是以目前文献报道的无线供能效率进行推算,则体外供能***至少需要发出数十瓦到数百瓦的无线能量,这种电磁辐射是否对人体有害以及其危害程度目前还无定论,同时体外供能***还需配置制冷设备,这将限制病人的活动空间。
若体内的设备在采用电池供电的情况下,为了使得体内***能够在低功耗下工作,以延长电池的工作时间,体内***需以低于6帧/秒的速度进行拍摄。同时6个摄像头最好轮流进行图像采集,避免同一时间有多个摄像头工作的情况出现——多个摄像头同时工作会大大提高***的峰值工作电流,从而降低电池的使用寿命。在假设球囊相对于消化道相对静止的前提下,采用6个摄像头轮流进行图像采集的策略可以实现无盲区的图像采集。不过,球囊在消化道中的运动是在重力和消化道蠕动的共同作用下引起的。在6个摄像头轮流进行图像采集的过程中,极有可能球囊发生了运动或者旋转,如果这个时候继续采用前面的策略必然会造成图像采集的盲区。因而,为了降低球囊功耗而采取的轮流采集图像策略,在为节省功耗而降低拍摄帧率的情况下仍将存在拍摄盲区问题。
申请号为201010189438的中国发明专利申请专利中,提出了一种用于生物体腔内的多视角图像采集与存储***和方法。如果知道球囊内窥镜相对于消化道的姿态,那么保证球囊在低功耗工作的前提下,则能够实现无盲区的图像采集。所谓姿态感知***,即利用运动传感器或姿态传感器或两者的组合,从而实现对载体姿态和运动进行检测的***。但是,上述专利并没有涉及到姿态感知***的具体实现方法。
综上,目前尚无有效、实用的技术手段实现对无线球囊内窥镜姿态的检测。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何在小尺寸和低功耗的前提条件下,准确地检测球囊内窥镜在消化道中的姿态。
(二)技术方案
为解决上述技术问题,本发明提供了一种用于球囊内窥镜的姿态感知***,所述***包括用于在体内进行球囊内窥镜的姿态信息的采集与处理的体内装置以及用于在体外产生磁场的体外装置;
其中,所述体内装置与所述体外装置进行通信,且包括:
姿态传感器单元,包含一种或者多种姿态传感器,用于在体内进行球囊内窥镜的姿态信息的采集;
姿态传感器控制单元,用于配置所述姿态传感器的工作模式;
姿态计算单元,用于对来自姿态传感器单元的姿态信息进行滤波等处理后,采用相应的方法计算球囊内窥镜的姿态角。
优选地,所述姿态传感器单元包括加速度传感器、磁场传感器和角速度传感器中的一种或者多种的组合。
优选地,所述体外装置包括磁场产生装置,所述磁场产生装置是电磁线圈或永久性磁铁。
优选地,所述电磁线圈为3对相互正交的电磁线圈,依次产生绝对坐标系的X轴、Y轴和Z轴方向的匀强磁场。
优选地,所述姿态角包括俯仰角、横滚角和航向角,当所述姿态传感器单元包括加速度传感器和磁场传感器时,采用基于重力加速度和地磁场原理的方法计算球囊内窥镜的姿态角,具体为:
S1,利用所述加速度传感器测量球囊内窥镜的重力加速度,利用所述磁场传感器测量球囊内窥镜的磁场强度;
S2,通过所采集的姿态信息判断球囊内窥镜是否在运动,若是,则返回步骤S1,否则执行步骤S3;
S3,根据所述重力加速度和磁场强度计算球囊内窥镜的俯仰角、横滚角和航向角;
S4,根据所述俯仰角、横滚角和航向角计算球囊内窥镜内摄像头的方向矢量。
优选地,当所述姿态传感器单元包括加速度传感器、磁场传感器和陀螺仪时,采用基于重力加速度、角速度以及地磁场原理的方法计算球囊内窥镜的姿态角,具体为:
S1’,利用步骤S1~S3计算球囊内窥镜的俯仰角、横滚角和航向角;
S2’,将步骤S1’的计算结果作为球囊内窥镜的初始姿态角,利用陀螺仪测量球囊内窥镜的角速度,对所述角速度进行积分,计算此后的球囊内窥镜的姿态角;
S3’,周期性地采用步骤S1~S3计算姿态角,并将计算结果替换在步骤S2’所计算出的姿态角。
优选地,当所述姿态传感器单元包括磁场传感器和陀螺仪时,采用基于角速度和磁场原理的方法计算球囊内窥镜的姿态角,具体为:
S1”,利用基于磁场原理的方法进行姿态角测量:所述体外装置依次在A时刻、B时刻和C时刻产生绝对坐标系的X轴、Y轴和Z轴方向的匀强磁场之后,磁场传感器分别检测A时刻、B时刻和C时刻球囊内窥镜在载体坐标系的X’轴、Y’轴和Z’轴方向的磁场强度,利用A时刻、B时刻和C时刻的磁场强度计算得到球囊内窥镜的初始姿态角;
S2”,利用所述陀螺仪测量球囊内窥镜的角速度,对所述角速度进行积分,估计出此后各时刻球囊内窥镜的姿态角;
S3”,采用所述基于磁场原理的方法计算姿态角,并将计算结果周期性地替换利用步骤S2”所计算出的姿态角。
本发明还提供了一种球囊内窥镜,包括一几何体,所述的***,以及摄像头,所述的***位于所述几何体内部,所述摄像头分布于所述几何体的外表面。
(三)有益效果
本发明提出的姿态感知***是基于重力加速度、角速度以及磁场原理的设计,基于该原理的设计中易于采用一系列低功耗技术以及MEMS技术。其中,体内姿态传感器单元采用若干小尺寸、低功耗的姿态传感器采集球囊的姿态信息;姿态计算单元中亦采用低功耗的方法实现。因此,该姿态感知***具有小尺寸、低功耗的特点,有利于集成到球囊内窥镜***中。
本发明提出的姿态感知***应用于球囊内窥镜***中时,可以根据检测的姿态角选择特定的摄像头工作,实现对消化道的全视角图像采集;同时避免对同一部位进行重复的图像采集,大大降低了图像的冗余量,从而降低球囊内窥镜的功耗。
本发明的***中的三种姿态方法,分别为:(1)基于重力加速度和地磁场原理的姿态感知方法,该方法运算量小、易于硬件实现以及实时检测姿态角;(2)基于重力加速度、角速度和磁场原理的姿态感知方法,该方法精度高、易于硬件实现,可以应用于剧烈运动的环境中;(3)以及基于角速度和磁场原理的姿态感知方法,该方法精度高、易于硬件实现,需要体外装置。
附图说明
图1是本发明实施例的无线球囊内窥镜内部几何体的立体示意图;
图2是本发明实施例的用于无线球囊内窥镜的姿态感知***的结构示意图;
图3是本发明实施例检测球囊姿态角的流程图;
图4是本发明实施例一中姿态感知***用于人体消化道检查的示意图;
图5是本发明实施例一中用于无线球囊内窥镜的姿态感知***的结构示意图;
图6是本发明实施例一采用的姿态方法A的流程图;
图7是本发明实施例二中用于无线球囊内窥镜的姿态感知***的结构示意图;
图8是本发明实施例二采用的姿态方法B的结构示意图;
图9是本发明实施例三中姿态感知***用于人体消化道检查的示意图;
图10是本发明实施例三中用于无线球囊内窥镜的姿态感知***的结构示意图;
图11是本发明实施例三采用的姿态方法C的结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本发明适用于多摄像头的球囊内窥镜(也简称为球囊)。球囊内窥镜内部核心部分(即本发明的姿态感知***)被柔性PCB板包裹起来做成一个单独的几何体,在几何体的外表面均匀放置有多个摄像头,通过这些摄像头进行全视角图像采集。其中,根据需要该几何体可以是正四面体、正方体、球面体等。本发明中,以几何体为正立方体的情况进行说明,但是本发明同时适用于其他几何体。图1为无线球囊内窥镜内部几何体107的立体示意图,摄像头101~106分别位于正方体每个表面的正中心位置处。
本发明提出的用于球囊内窥镜的姿态感知***主要由两部分组成:用于体内姿态信息采集与处理的体内装置以及用于配置体外磁场环境的体外装置。如图2所示,体内装置包括:姿态传感器单元,包含一种或者多种姿态传感器,实现对球囊内窥镜姿态信息的采集工作;姿态传感器控制单元,用于配置姿态传感器的工作模式;姿态计算单元,用于处理来自姿态传感器单元的球囊姿态信息;无线收发单元,实现了与体外装置的通信;以及控制整个体内装置工作模式的姿态***控制单元。体外装置包括:磁场控制单元,控制体外的磁场产生装置产生匀强磁场;无线收发单元,实现与体内装置的通信;以及体外姿态***控制单元,用于控制和调度整个体外***的配置工作。
本发明应用于球囊内窥镜***中,利用姿态感知***,能够判断出球囊6个摄像头所正对的方向。球囊在消化道某一位置进行图像采集,依然采用摄像头依次采集各个方向图像的方法。倘若在采集过程中,由于消化道的蠕动或者其他原因球囊姿态发生了变化,则对轮流采集图像的策略进行修正。根据姿态感知***,能够检测到每个摄像头所正对的方向,选取其中的一个或者某几个摄像头对没有采集的区域进行图像采集,这样就可以完成对该位置的无盲区图像采集。另外,在完成球囊对该位置的图像采集之后,可以停止球囊的图像采集工作,直到球囊在消化道中的位置发生变化。这样,由于引入了姿态感知***,避免了对消化道某些地方进行重复的图像采集,从而大大的节省了能耗。这可使得电池寿命增强近倍,在无漏检的前提下,一次全消化道检查将成为可能。
通过姿态感知***,结合相应的姿态方法(将在下面介绍,包括姿态方法A、B、C),最终能够得到球囊内窥镜的姿态角。一般采用姿态角或者摄像头的方向矢量来描述球囊的姿态。姿态角定义为横滚角θ、俯仰角
Figure BDA0000070293940000071
和航向角α;而摄像头的方向矢量定义为6个摄像头在绝对坐标系中指向的方向(采用3维矢量描述)。一般球囊所在参考系称为载体坐标系(由坐标轴X’,Y’和Z’确定,参见图4),地球所在参考系称为绝对坐标系(地理北极为X轴,东为Y轴,重力方向为Z轴,参见图4)。姿态角和摄像头的方向矢量是两种等效的描述方式,它们之间存在确定的转换关系式。姿态感知***进行一次姿态角检测主要包含以下几个步骤:
A1,体内装置的姿态***控制单元发起姿态角检测,即通过无线收发单元发送姿态角检测指令给体外装置;
A2,体外装置配置体外磁场环境,完成环境配置后发送指令通知姿态***控制单元;
A3,姿态***控制单元通过姿态传感器控制单元初始化配置姿态传感器;
A4,姿态传感器单元中的一种或者多种传感器以一定的方式完成对球囊姿态信息的采集;
A5,姿态计算单元接收来自姿态传感器单元的球囊姿态信息,对姿态信号进行卡尔曼滤波;
A6,姿态计算单元利用滤波后的姿态信号,采用姿态方法计算球囊内窥镜的姿态角。
详细过程参见流程图3。
其中A5中对姿态信号进行了卡尔曼滤波。姿态传感器测量得到的姿态信号存在随机误差,采用卡尔曼滤波的算法可以减小该误差。
其中,姿态传感器单元中包含的姿态传感器可以是MEMS(微机电***)加速度计(加速度计也称为加速度传感器)、MEMS陀螺仪和MEMS磁场强度计(磁场强度计也称为磁场传感器)中一种或者多种的组合。但是,不同的传感器组合对应的体外装置不尽相同。同时,针对不同的组合所采用的姿态方法也不尽相同。下面以三个实施例来详细说明姿态感知***组成及工作原理。
实施例一
如图5,优选地,本实施例中,姿态感知***的体内装置包括:加速度传感器,采用1个3轴加速度传感器能够测量出重力加速度载体坐标系3个轴向上的重力分量;磁场传感器,采用1个3轴磁场传感器能够测量出地磁场载体坐标系3个轴向上的磁场强度分量;姿态传感器控制单元,用于配置姿态传感器工作模式;姿态计算单元,用于处理来自姿态传感器单元的球囊姿态信息;该实施例中,采用地磁场作为姿态感知的一个参考物理量,因而不需要额外的体外装置对磁场环境进行配置。
对球囊内窥镜的姿态角进行检测时,需按照以下方法进行。首先,姿态***控制单元发起姿态角测量;姿态传感器控制单元配置加速度传感器和磁场传感器的测量频率、测量范围以及工作模式等;在姿态传感器控制单元完成对姿态传感器的配置后,加速度传感器和磁场传感器可以周期性地采集每个轴向的重力加速度和磁场强度,并对采集的模拟值进行A/D采样、存储等操作;加速度传感器和磁场传感器将加速度值和磁场值传递到姿态计算单元,姿态计算单元对姿态信号进行卡尔曼滤波,以减小传感器引起的测量误差;然后,姿态计算单元利用姿态方法可以得到球囊内窥镜的姿态或者摄像头的方向矢量。为进一步说明本实施例,下面针对姿态感知***中的各组成部分分别进行详细的描述。
加速度传感器,测量运动物体的加速度。技术成熟的MEMS加速度计分为三种:压电式、容感式、热感式,运用得最多的是容感式MEMS加速度计,容感式MEMS加速度计内部存在一个质量块,从单个单元来看,它是标准的平板电容器。加速度的变化带动活动质量块的移动从而改变平板电容两极的间距和正对面积,通过测量电容变化量来计算加速度。当芯片有向右的加速度时,中间的活动质量块相对于另外两块电容板向左移动,这两平行板电容器的电容就发生了变化,从而测量出芯片运动的加速度。当3轴加速度计静止不动时,其测得的是重力加速度在3个轴向的加速度分量。当3轴加速度计运动时,其测得的是重力加速度和运动加速度的矢量和。
磁场强度传感器,其可以测量各个方向上的磁场强度。根据电场和磁场的原理,当在铁磁合金薄带的长度方向施加一个电流时,如果在垂直于电流的方向再施加磁场,铁磁性材料中就有磁阻的非均质现象出现,从而引起合金带自身的阻值变化。基于此原理的磁场强度传感器可以测量地磁场在各个方向上的磁场分量强度。该类型的磁场强度传感器称为磁阻传感器。
本实施例中,姿态传感器单元由MEMS加速度计和MEMS磁场传感器组成。加速度计和磁场传感器均具有小尺寸、低功耗和高精度的特点,因而特别适合类似于无线球囊内窥镜这类低功耗的植入式医疗微型设备。参见图4,将一个3轴MEMS加速度计403和一个3轴MEMS磁场传感器404安装在无线球囊内窥镜内部几何体107的某一个面上(也可以是在几何体的内部),保证加速度计和磁场传感器的3个测量轴分别与载体坐标系的3个轴重合。人体401从口腔吞入球囊内窥镜,球囊内窥镜在消化道中进行图像采集的过程中一般不会做剧烈运动,因而通过3轴加速度计测得的加速度值为重力加速度在载体坐标系三个轴向的重力分量(gx′,gy′,gz′);3轴磁场传感器测得的磁场强度为地磁场在载体坐标系三个轴向的磁场强度分量(Bx′,By′,Bz′)。
姿态传感器控制单元,在无线球囊内窥镜启动后需要对加速度计和磁场传感器进行初始配置。初始配置主要包括:设定传感器的测量范围以及测量精度;设定传感器对姿态信息的采集频率;以及其他中断处理。在完成对传感器的初始化后,加速度计和磁场传感器会周期性地测量3个轴向的加速度和磁场强度。球囊内窥镜在消化道中进行图像采集的过程中,可以根据需要通过姿态传感器控制单元重新配置姿态传感器的工作模式。
姿态***控制单元,负责球囊内窥镜***体内装置的整体调度与控制。在球囊内窥镜未启动时,整个体内装置都处于休眠状态,姿态传感器同样处于休眠状态。球囊内窥镜启动后,姿态***控制单元要负责完成姿态传感器等相关体内装置的初始化工作。在进行图像信息采集过程中,负责调度姿态传感器的姿态信息采集、姿态角的计算等相关工作。
姿态计算单元,通过加速度计和磁场传感器测量的重力加速度分量以及地磁场强度分量计算出球囊内窥镜的姿态角。这是整个姿态感知***中最为核心的组成部分。目前,学术界中存在一些方法可以计算出姿态角。但大部分的方法存在运算复杂度高、对硬件数据处理能力要求高等缺陷,因而不能应用于小型的嵌入式设备中。
本实施例中的姿态方法(称之为姿态方法A)。
姿态方法A可以快速、准确并且以较低的硬件代价计算出球囊内窥镜的姿态角以及摄像头的方向矢量。下面,分步骤说明如何计算球囊的姿态角。
S1:测量加速度和磁场强度,判断球囊内窥镜是否做剧烈运动。通过加速度传感器测量得到gx′,gy′,gz′。如果
Figure BDA0000070293940000111
(g为当地的重力加速度值,一般取9.8m/s2),说明球囊运动平缓,可以采用S2计算姿态角;否则,说明球囊运动剧烈,回到S1。
S2:计算俯仰角
Figure BDA0000070293940000112
如果
Figure BDA0000070293940000113
那么
Figure BDA0000070293940000114
其中 sin θ , = - g y , g , sin φ = - g z , g ; 否则,
Figure BDA0000070293940000117
S3:计算横滚角θ。
Figure BDA0000070293940000118
其中:如果
Figure BDA00000702939400001110
sin φ = - g z , g ; 否则, sin θ , = - g y , g .
S4:计算航向角α。
Figure BDA00000702939400001113
通过以上步骤可以较为精确的计算出球囊在消化道中相对于绝对坐标系的姿态角。六个摄像头在绝对坐标系中的方向矢量与球囊内窥镜的姿态角之间存在一定的数学关系,该数学关系可以通过以下方法来确定。
设在姿态角α=0,
Figure BDA00000702939400001114
θ=0时,参见图1:
摄像头101方向矢量为
Figure BDA00000702939400001115
摄像头102方向矢量为
Figure BDA00000702939400001116
摄像头103方向矢量为
Figure BDA00000702939400001117
摄像头104方向矢量为
Figure BDA0000070293940000121
摄像头105方向矢量为
Figure BDA0000070293940000122
摄像头106方向矢量为
当球囊内窥镜的姿态角变为α,
Figure BDA0000070293940000124
θ时,相应的摄像头的方向矢量可以通过以下式子确定:
摄像头101方向矢量为
Figure BDA0000070293940000125
摄像头102方向矢量为
Figure BDA0000070293940000126
摄像头103方向矢量为
Figure BDA0000070293940000127
摄像头104方向矢量为
Figure BDA0000070293940000128
摄像头105方向矢量为
Figure BDA0000070293940000129
摄像头106方向矢量为
Figure BDA00000702939400001210
其中,
Figure BDA00000702939400001211
上述方法的具体过程如流程图6所示。
至此,通过一个3轴加速度计和一个3轴磁场传感器可以确定球囊内窥镜中每一个摄像头的方向矢量。该方向矢量可以为球囊全视角图像采集策略提供最重要的参考依据。本实施例中,球囊内窥镜内部几何体为正方体,因而姿态角与摄像头的方向矢量可以通过以上的数学关系式进行等价转换。当球囊内窥镜内部几何体为其他形状时,依然可以通过上述思路找到相对应的转换关系式。
实施例二
如图7,优选地,本实施例中,姿态感知***的体内装置包括:加速度传感器,采用1个3轴加速度传感器能够测量出重力加速度在载体坐标系中3轴向的重力分量;磁场传感器,采用1个3轴磁场传感器能够测量出地磁场在载体坐标系中3个轴向上的磁场强度分量;MEMS陀螺仪,可以测量出球囊内窥镜在载体坐标系中3个轴向上的角加速度;姿态传感器控制单元,用于配置姿态传感器工作模式;姿态计算单元,用于处理来自姿态传感器单元的传感器信息。该实施例中,采用地磁场作为姿态感知的一个参考物理量,因而不需要额外的体外装置对磁场环境进行配置。
相对于实施例一,本实施例增加了一种姿态传感器——MEMS陀螺仪。在实施例一进行姿态角检测时必须满足两个条件:(1)人体不能进行剧烈运动,同时球囊内窥镜在消化道中的运动相对平稳,以保证加速度计测得的加速度值为重力在载体坐标系中3个方向上的重力分量;(2)人体外部的电磁环境相对稳定,不能存在其他的磁场干扰源影响地磁场。然而,这两个条件在很多时候不一定能够被满足。例如,球囊在经过人体食道时,加速度较大;人体在接受检查过程中很难保证不走动;人体外部也有可能存在电磁源(扬声器)、改变地磁场的导磁介质等。本实施例中,加入MEMS陀螺仪后,在检查过程中,即便不满足上述两个条件,依然能够检测球囊内窥镜的姿态。
对球囊内窥镜的姿态角(或者摄像头方向矢量)进行检测时,需按照以下方法进行。首先,姿态***控制单元发起姿态角测量;姿态传感器控制单元配置加速度传感器、磁场传感器和陀螺仪的测量频率、测量范围以及工作模式等;在姿态传感器控制单元完成对姿态传感器的配置后,加速度传感器、磁场传感器和陀螺仪可以周期性的采集每个轴向的重力加速度、磁场强度以及角速度,并对采集的模拟值进行A/D采样、存储等操作;加速度传感器、磁场传感器和陀螺仪将加速度值、磁场值和角速度值传递到姿态计算单元,姿态计算单元通过相应的姿态角方法可以得到球囊内窥镜的姿态或者摄像头的方向矢量。为进一步说明本实施例,下面针对姿态感知***中的各组成部分分别进行详细的描述。
加速度传感器,与实施例一相同。
磁场传感器,与实施例一相同。
MEMS陀螺仪,可以测量出球囊内窥镜在载体坐标系中3个轴向上的角速度。MEMS陀螺仪基于科里奥利力,将质量块封装到芯片中,在径向对质量块施加驱动速度,根据科里奥利力,质量块切向会产生加速度,该加速度正比于载体旋转速度。因而通过测量该加速度可以计算出载体旋转速度。MEMS陀螺仪凭借其较小的尺寸以及较低的功耗,可以应用到姿态感知***中。
姿态传感器控制单元,在无线球囊内窥镜启动后需要对加速度计、磁场传感器和MEMS陀螺仪进行初始配置。初始配置主要包括:设定传感器的测量范围以及测量精度;设定传感器对姿态信息的采集频率;以及中断处理。在完成对传感器的初始化后,加速度计、磁场传感器和MEMS陀螺仪会周期性的测量3个轴向的加速度、磁场强度和角速度。球囊内窥镜在消化道中进行图像采集的过程中,可以根据需要通过姿态传感器控制单元重新配置姿态传感器的工作模式。
姿态***控制单元,负责球囊内窥镜***体内装置的整体调度与控制。在球囊内窥镜未启动时,整个体内装置都处于休眠状态,姿态传感器器同样处于休眠状态。球囊内窥镜启动后,姿态***控制单元负责完成姿态传感器等相关体内装置的初始化的调度工作。在进行图像信息采集过程中,负责调度姿态传感器的姿态信息采集、姿态角(摄像头的方向矢量)的计算等工作。
姿态计算单元,通过重力加速度分量、地磁场强度分量以及角速度计算出球囊内窥镜的姿态(摄像头的方向矢量)。
实施例二的姿态方法(称为姿态方法B)。
相对于实施例一,此时的姿态角计算相对复杂一些,不过在这里提出的姿态方法精确度更高。有两种方式可以直接计算球囊内窥镜的姿态角:
(1)利用加速度值和磁场强度值,采用姿态方法A计算球囊姿态,参见实施例一;
(2)对球囊3个轴向的角速度值进行实时积分,从而检测球囊姿态的变化。
MEMS陀螺仪测量的角速度存在误差,长时间的对角速度积分会造成误差累积,从而得到的姿态角相对于正确值会发生漂移。但是,在短时间内对角速度积分得到的姿态角的准确度比较高。综合上述两种方法的姿态方法即是所说的姿态方法B。
该实施例中,姿态感知***测量球囊内窥镜姿态角的实际做法是:
S1’:首先根据加速度值和磁场强度值利用姿态方法A计算出姿态角,不过,需要保证 g x ′ 2 + g y ′ 2 + g z ′ 2 ≈ g 2 以及 B x ′ 2 + B y ′ 2 + B z ′ 2 ≈ B 2 (其中,g为当地的重力加速度值,一般取9.8m/s2;B为当地的地磁场强度值)。直到加速度和磁场强度满足上述两个条件之后才能进行姿态角的计算;
S2’:将该计算结果作为球囊内窥镜的初始姿态,对球囊的角速度值进行积分,计算此后时刻的球囊内窥镜姿态。对球囊的角速度值进行积分,计算此后时刻的球囊内窥镜姿态的步骤具体为:设陀螺仪的采样周期为T,上一时刻的姿态角为θt
Figure BDA0000070293940000153
αt,当前陀螺仪的角速度采样值为ωx,ωy,ωz,那么可以计算出在T这段时间中球囊内窥镜绕X’,Y’和Z’轴分别旋转了ωx·T,ωy·T,ωz·T(即积分过程),通过该旋转角度ωx·T,ωy·T,ωz·T就可以得到该时刻的姿态角θt+1
Figure BDA0000070293940000154
αt+1
S3’:同时,为了避免姿态角的漂移,应该周期性的采用姿态方法A对姿态角进行校正。
该姿态方法B的方法结构示意图可以参见图8。
在实施例一中,进行姿态角检测时必须满足两个条件:(1)人体不能进行剧烈运动,同时球囊内窥镜在消化道中的运动相对平稳;(2)人体外部的电磁环境相对稳定,不能存在其他的磁场干扰源影响地磁场。本实施例中,在某些时刻,即便球囊内窥镜不满足上述两个条件依然能够通过MEMS陀螺仪估计出球囊的姿态。
实施例三
如图9,优选地,本实施例中,姿态感知***由体内装置和体外装置两部分组成。其中,体内装置包括:磁场传感器701,采用1个3轴磁场传感器能够测量出地磁场在载体坐标系中3个轴向上的磁场强度分量;MEMS陀螺仪304,可以测量出球囊内窥镜在载体坐标系中3个轴向上的角加速度;姿态传感器控制单元,用于配置姿态传感器工作模式;姿态计算单元,用于处理来自姿态传感器单元的传感器信息;无线收发单元,用于实现和体外装置之间的无线通信。体外装置包括:电磁控制单元,配置人体301外的磁场产生装置;无线收发单元,用于实现和体内装置之间的无线通信;体外姿态***控制单元,调度体外磁场产生装置以及与体内装置之间的信息交换。磁场传感器701和MEMS陀螺仪304位于几何体207内。
对球囊内窥镜的姿态角进行检测时,需按照以下步骤进行。首先,姿态***控制单元发起姿态角测量;体内无线收发单元向体外装置发送指令,命令其对磁场产生装置进行相关的配置;体外姿态***控制单元通过无线收发单元接收到配置指令后,命令磁场控制单元采取相应的操作;磁场控制单元控制磁场产生装置周期性产生匀强磁场;体外姿态***控制单元通过无线收发单元通知体内装置已完成磁场产生装置的配置;姿态传感器控制单元配置磁场传感器和MEMS陀螺仪的测量频率、测量范围以及相关的工作模式等;在姿态传感器控制单元完成对姿态传感器的配置后,磁场传感器和MEMS陀螺仪可以周期性的采集每个轴向的磁场强度和角速度,并对采集的模拟值进行A/D采样、存储等操作;姿态计算单元接收来自传感器的测量值并进行相关的处理,计算出球囊的姿态角(摄像头的方向矢量)。
为进一步说明本实施例,下面结合图10针对姿态感知***中的各组成部分分别进行详细的描述。
磁场产生装置,该装置有两种实现方案:电磁线圈的方法以及永久性磁铁的方法。
电磁线圈的方法:体外安装有3对正交的电磁线圈,这3对电磁线圈的方向分别与X轴、Y轴和Z轴相同,参见图9。在进行消化道检查时,患者需要呆在无磁环境中,该环境中的地磁场已经被安装在墙上的材料屏蔽。因此,当线圈中通过电流时,可以在人体所在区域产生近似的匀强磁场。在进行姿态测量时,轮流让这3对正交的电磁线圈工作,任何时刻至多只能有一个电磁线圈处于工作状态。于是,人体所在区域中将会依次产生X轴、Y轴和Z轴的匀强电磁场。3个电磁线圈工作的时序控制必须非常严格,并且通过无线收发单元周期性的与体内装置通信,让体内装置知道电磁线圈的工作状态。
永久性磁铁的方法:通过一对永久性磁铁在人体所在区域产生匀强磁场。这一对永久性磁铁可以旋转,因而可以通过旋转依次产生X轴、Y轴和Z轴方向上的磁场。
磁场控制单元,可以控制电磁线圈中电流的导通和截止,也可以通过控制导通电流的大小以调整电磁场的强度;旋转永久性磁铁对的方向,从而产生所需方向的磁场。在进行一次姿态角的测量时,依次产生X轴、Y轴和Z轴方向上的匀强磁场。不妨设,产生X轴方向的匀强磁场时对应着A时刻;产生Y轴方向的匀强磁场时对应着B时刻;产生Z轴方向的匀强磁场时对应着C时刻。需要保证A时刻、B时刻和C时刻两两之间的时间间隔较短。
体外无线收发单元,实现与体内装置之间的无线通信。
体外姿态***控制单元,控制体外电磁线圈的工作、实现与体内装置通信。
磁场传感器,与实施例一相同。
MEMS陀螺仪,与实施例二相同。
传感器控制单元,在无线球囊内窥镜启动后需要对磁场传感器和MEMS陀螺仪进行初始配置。初始配置主要包括:设定传感器的测量范围以及测量精度;设定传感器对姿态信息的采集频率;以及中断处理。在完成对传感器的初始化后,磁场传感器和MEMS陀螺仪会周期性的测量3个轴向的磁场强度和角速度。与实施例二不同的地方是:利用磁场传感器进行一次姿态角测量时,磁场传感器需要依次测量A时刻、B时刻和C时刻球囊3个轴向上的磁场强度。球囊内窥镜在消化道中进行图像采集的过程中,可以根据需要通过姿态传感器控制单元重新配置姿态传感器的工作模式。
姿态***控制单元,负责球囊内窥镜***体内装置的整体调度以及实现与体外装置之间的通信。在球囊内窥镜未启动时,整个体内装置都处于休眠状态,姿态传感器器同样处于休眠状态。球囊内窥镜启动后,姿态***控制单元要负责完成姿态传感器等相关体内装置的初始化调度工作。在进行图像信息采集过程中,负责调度姿态传感器的姿态信息采集、姿态角(摄像头的方向矢量)的计算等相关工作。
体内无线收发单元,实现与体外无线收发单元之间的通信。
姿态计算单元,结合体外装置利用磁场强度和角速度计算出球囊的姿态。
实施例三对应的姿态方法(称为姿态方法C)。
有两种方法可以独立的计算出球囊在消化道中的姿态:
1)对球囊3个轴向的角速度值进行实时积分,从而检测球囊姿态的变化。MEMS陀螺仪测量的角速度存在误差,长时间的对角速度积分会造成误差累积,从而得到的姿态角相对于正确值会发生漂移。但是,在短时间内对角速度积分得到的姿态角的精确度比较高。
2)结合体外装置和磁场传感器计算球囊内窥镜的姿态。利用此法进行姿态角测量时,体外装置需要依次在A时刻、B时刻和C时刻产生X轴、Y轴和Z轴的匀强磁场,然后,磁场传感器分别检测A时刻、B时刻和C时刻球囊内窥镜X’轴向、Y’轴向和Z’轴向的磁场强度。利用A时刻、B时刻和C时刻的磁场强度分量值可以估计出球囊内窥镜的姿态。具体方法:利用A时刻磁场传感器测量的磁场强度值可以得到绝对坐标系中X轴与球囊内窥镜X’轴、Y’轴和Z’轴之间的夹角;利用B时刻磁场传感器测量的磁场强度值可以得到绝对坐标系中Y轴与球囊内窥镜X’轴、Y’轴和Z’轴之间的夹角;利用C时刻磁场传感器测量的磁场强度值可以得到绝对坐标系中Z轴与球囊内窥镜X’轴、Y’轴和Z’轴之间的夹角;结合以上信息,可以很容易得到球囊在消化道中的姿态角。
不过,如果球囊内窥镜仅仅使用采用方法2)进行姿态角的测量时,需要体外装置与体内装置之间的频繁通信,而且体外需要产生磁场,因此代价较大。一种可行的方案是结合上述两种方法检测球囊内窥镜在消化道中的姿态,称为姿态方法C。具体而言:
S1”:初始时采用方法2)得到球囊内窥镜的初始姿态角;
S2”:然后,对3轴MEMS陀螺仪的采样值进行积分,估计出此后各时刻球囊内窥镜的姿态角(类似于步骤S2’的积分步骤);
S3”:同时,还需要利用方法2)周期性的对球囊内窥镜的姿态角进行校正。
采用这种方案时,体外磁场产生装置的工作频率大大降低、体内装置与体外装置之间的通信频率也大大降低。
姿态方法C的方法结构示意图可以参见图11。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (8)

1.一种用于球囊内窥镜的姿态感知***,其特征在于,所述***包括用于在体内进行球囊内窥镜的姿态信息的采集与处理的体内装置以及用于在体外产生磁场的体外装置;
其中,所述体内装置与所述体外装置进行通信,且包括:
姿态传感器单元,包含一种或者多种姿态传感器,用于在体内进行球囊内窥镜的姿态信息的采集;
姿态传感器控制单元,用于配置所述姿态传感器的工作模式;
姿态计算单元,用于对来自姿态传感器单元的姿态信息进行滤波等处理后,采用相应的方法计算球囊内窥镜的姿态角。
2.如权利要求1所述的***,其特征在于,所述姿态传感器单元包括加速度传感器、磁场传感器和角速度传感器中的一种或者多种的组合。
3.如权利要求2所述的***,其特征在于,所述体外装置包括磁场产生装置,所述磁场产生装置是电磁线圈或永久性磁铁。
4.如权利要求3所述的***,其特征在于,所述电磁线圈为3对相互正交的电磁线圈,依次产生绝对坐标系的X轴、Y轴和Z轴方向的匀强磁场。
5.如权利要求2所述的***,其特征在于,所述姿态角包括俯仰角、横滚角和航向角,当所述姿态传感器单元包括加速度传感器和磁场传感器时,采用基于重力加速度和地磁场原理的方法计算球囊内窥镜的姿态角,具体为:
S1,利用所述加速度传感器测量球囊内窥镜的重力加速度,利用所述磁场传感器测量球囊内窥镜的磁场强度;
S2,通过所采集的姿态信息判断球囊内窥镜是否在运动,若是,则返回步骤S1,否则执行步骤S3;
S3,根据所述重力加速度和磁场强度计算球囊内窥镜的俯仰角、横滚角和航向角;
S4,根据所述俯仰角、横滚角和航向角计算球囊内窥镜内摄像头的方向矢量。
6.如权利要求5所述的***,其特征在于,当所述姿态传感器单元包括加速度传感器、磁场传感器和陀螺仪时,采用基于重力加速度、角速度以及地磁场原理的方法计算球囊内窥镜的姿态角,具体为:
S1’,利用步骤S1~S3计算球囊内窥镜的俯仰角、横滚角和航向角;
S2’,将步骤S1’的计算结果作为球囊内窥镜的初始姿态角,利用陀螺仪测量球囊内窥镜的角速度,对所述角速度进行积分,计算此后的球囊内窥镜的姿态角;
S3’,周期性地采用步骤S1~S3计算姿态角,并将计算结果替换在步骤S2’所计算出的姿态角。
7.如权利要求6所述的***,其特征在于,当所述姿态传感器单元包括磁场传感器和陀螺仪时,采用基于角速度和磁场原理的方法计算球囊内窥镜的姿态角,具体为:
S1”,利用基于磁场原理的方法进行姿态角测量:所述体外装置依次在A时刻、B时刻和C时刻产生绝对坐标系的X轴、Y轴和Z轴方向的匀强磁场之后,磁场传感器分别检测A时刻、B时刻和C时刻球囊内窥镜在载体坐标系的X’轴、Y’轴和Z’轴方向的磁场强度,利用A时刻、B时刻和C时刻的磁场强度计算得到球囊内窥镜的初始姿态角;
S2”,利用所述陀螺仪测量球囊内窥镜的角速度,对所述角速度进行积分,估计出此后各时刻球囊内窥镜的姿态角;
S3”,采用所述基于磁场原理的方法计算姿态角,并将计算结果周期性地替换利用步骤S2”所计算出的姿态角。
8.一种球囊内窥镜,其特征在于,包括一几何体,权利要求1~7中任一项所述的***,以及摄像头,权利要求1~7中任一项所述的***位于所述几何体内部,所述摄像头分布于所述几何体的外表面。
CN201110169290A 2011-06-22 2011-06-22 用于球囊内窥镜的姿态感知***及球囊内窥镜 Pending CN102302357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110169290A CN102302357A (zh) 2011-06-22 2011-06-22 用于球囊内窥镜的姿态感知***及球囊内窥镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110169290A CN102302357A (zh) 2011-06-22 2011-06-22 用于球囊内窥镜的姿态感知***及球囊内窥镜

Publications (1)

Publication Number Publication Date
CN102302357A true CN102302357A (zh) 2012-01-04

Family

ID=45376352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110169290A Pending CN102302357A (zh) 2011-06-22 2011-06-22 用于球囊内窥镜的姿态感知***及球囊内窥镜

Country Status (1)

Country Link
CN (1) CN102302357A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105030188A (zh) * 2015-08-06 2015-11-11 桂林电子科技大学 具有轨迹显示功能的肠镜***及肠镜轨迹显示方法
CN105852783A (zh) * 2016-04-22 2016-08-17 重庆金山科技(集团)有限公司 一种胶囊内窥镜控制***
CN107561462A (zh) * 2017-09-05 2018-01-09 重庆金山医疗器械有限公司 基于变化磁场的胶囊全姿态测定***及空间磁场检测装置
CN108742483A (zh) * 2018-06-29 2018-11-06 重庆金山医疗器械有限公司 一种可控胶囊内镜***
CN109620104A (zh) * 2019-01-10 2019-04-16 深圳市资福医疗技术有限公司 胶囊内窥镜及其定位方法及***
CN112842320A (zh) * 2019-11-28 2021-05-28 安翰科技(武汉)股份有限公司 可吞服设备定位***及其方法
CN113679432A (zh) * 2021-04-07 2021-11-23 北京数医脊微科技有限公司 机械控制***
US20220178692A1 (en) * 2017-12-21 2022-06-09 Mindmaze Holding Sa System, method and apparatus of a motion sensing stack with a camera system
WO2022193411A1 (zh) * 2021-03-18 2022-09-22 深圳硅基智控科技有限公司 胶囊内窥镜***及其胶囊内窥镜磁定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101351146A (zh) * 2005-12-28 2009-01-21 奥林巴斯医疗株式会社 被检体内导入***和被检体内观察方法
CN101530313A (zh) * 2008-03-10 2009-09-16 富士胶片株式会社 内窥镜检查***和用于该内窥镜检查***的方法
CN101606037A (zh) * 2007-02-09 2009-12-16 旭化成微电子株式会社 空间信息检测***及其检测方法以及空间信息检测装置
CN101862174A (zh) * 2010-05-24 2010-10-20 清华大学 用于生物体腔内的多视角图像采集与存储***和方法
CN201840481U (zh) * 2010-11-02 2011-05-25 重庆金山科技(集团)有限公司 一种检测***及一种位置控制装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101351146A (zh) * 2005-12-28 2009-01-21 奥林巴斯医疗株式会社 被检体内导入***和被检体内观察方法
CN101606037A (zh) * 2007-02-09 2009-12-16 旭化成微电子株式会社 空间信息检测***及其检测方法以及空间信息检测装置
CN101530313A (zh) * 2008-03-10 2009-09-16 富士胶片株式会社 内窥镜检查***和用于该内窥镜检查***的方法
CN101862174A (zh) * 2010-05-24 2010-10-20 清华大学 用于生物体腔内的多视角图像采集与存储***和方法
CN201840481U (zh) * 2010-11-02 2011-05-25 重庆金山科技(集团)有限公司 一种检测***及一种位置控制装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105030188A (zh) * 2015-08-06 2015-11-11 桂林电子科技大学 具有轨迹显示功能的肠镜***及肠镜轨迹显示方法
CN105852783A (zh) * 2016-04-22 2016-08-17 重庆金山科技(集团)有限公司 一种胶囊内窥镜控制***
CN107561462A (zh) * 2017-09-05 2018-01-09 重庆金山医疗器械有限公司 基于变化磁场的胶囊全姿态测定***及空间磁场检测装置
US20220178692A1 (en) * 2017-12-21 2022-06-09 Mindmaze Holding Sa System, method and apparatus of a motion sensing stack with a camera system
CN108742483A (zh) * 2018-06-29 2018-11-06 重庆金山医疗器械有限公司 一种可控胶囊内镜***
CN108742483B (zh) * 2018-06-29 2022-05-17 重庆金山医疗技术研究院有限公司 一种可控胶囊内镜***
CN109620104A (zh) * 2019-01-10 2019-04-16 深圳市资福医疗技术有限公司 胶囊内窥镜及其定位方法及***
CN109620104B (zh) * 2019-01-10 2021-04-02 深圳市资福医疗技术有限公司 胶囊内窥镜及其定位方法及***
CN112842320A (zh) * 2019-11-28 2021-05-28 安翰科技(武汉)股份有限公司 可吞服设备定位***及其方法
WO2022193411A1 (zh) * 2021-03-18 2022-09-22 深圳硅基智控科技有限公司 胶囊内窥镜***及其胶囊内窥镜磁定位方法
CN113679432A (zh) * 2021-04-07 2021-11-23 北京数医脊微科技有限公司 机械控制***
CN113679432B (zh) * 2021-04-07 2024-03-19 北京数医脊微科技有限公司 机械控制***

Similar Documents

Publication Publication Date Title
CN102302357A (zh) 用于球囊内窥镜的姿态感知***及球囊内窥镜
US8235055B2 (en) Magnetic levitation of intraluminal microelectronic capsule
CN101316545B (zh) 医疗装置的位置检测***、医疗装置引导***
Di Natali et al. Real-time pose detection for magnetic medical devices
CN100581440C (zh) 位置检测装置
CN100594840C (zh) 一种跟踪体内微型装置的方法
CN101842043B (zh) 用于引导胶囊内窥镜的方法和内窥镜***
US10736492B2 (en) Method and system for moving an in-vivo device in the gastrointestinal tract
US20030045790A1 (en) System and method for three dimensional display of body lumens
WO2005065521A1 (ja) 被検体内移動状態検出システム
EP1749473A1 (en) Position information detecting device and position information detecting system
KR102470147B1 (ko) 휴대용 시스템 및 원격 오브젝트의 위치 결정 및 방향 결정을 위한 방법
JP2005535376A (ja) Gi管運動をモニター及び刺激するためのシステム及び方法
EP2648599A2 (en) Magnetically maneuverable in-vivo device
CN103637803A (zh) 基于永磁和感应线圈的胶囊内镜空间定位***及定位方法
CN103356150A (zh) 方位跟踪引导下的胶囊内窥镜磁场驱动***
CN211749482U (zh) 磁性螺旋型胶囊内镜及该胶囊内镜的控制***
CN107773205A (zh) 一种胶囊式内窥镜磁控***
JP2010119456A (ja) 無線給電装置および送電アンテナ部
CN103405211A (zh) 胶囊内窥镜体内运行状态的控制***及控制方法
CN111839431A (zh) 一种无线胶囊机器人***及控制方法
CN110693445A (zh) 无线胶囊内窥镜控制***
CN107361722A (zh) 消化道诊断仪及胶囊内窥镜显示图像视角调整方法和***
CN202489952U (zh) 胶囊内窥镜的驱动装置
CN105286762A (zh) 一种用于体内微小型设备定位、转向及位移的外用控制器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120104