CN110794569B - 细胞微型显微图像采集装置及图像识别方法 - Google Patents

Abstract

本发明提供一种细胞微型显微图像采集装置及图像识别方法，包括支座，在支座上设有活动的模组平台，在模组平台上设有摄像头模组；在摄像头模组的摄像头下方相对固定的设有显微镜头，显微镜头的下方设有玻片座，玻片座的下方设有照明光源；所述的玻片座与摄像头模组之间设有沿X、Y轴做扫描运动的扫描驱动模组，以使玻片座与摄像头模组之间沿X、Y轴做扫描运动，以使玻片的图像被以扫描的方式通过摄像头模组采集。被采集到摄像头模组内的玻片样本图像能够进行图像的拼接和图像的识别，且可以将图像上传到云端，由云上AI进行处理，大幅提高细胞识别的准确度和识别效率，极大降低了医疗成本，使更多的偏远医疗机构也能够应用该技术进行诊断。

Description

细胞微型显微图像采集装置及图像识别方法

技术领域

本发明涉及医疗图像采集领域，特别是一种细胞微型显微图像采集装置、图像拼接、识别及云上处理的方法。

背景技术

细胞和组织切片扫描是疾病诊断、科研和教学的重要资料，通过数字组织切片扫描仪将玻片内的组织切片进行扫描，转化为数字图像，便于保存、传输和远程诊断，而现有的数字组织切片扫描仪非常昂贵，每台约五十万元人民币，例如中国专利文献CN107543792 A中记载的方案，这限制了组织切片的诊断、科研和教学手段的普及。为解决该技术问题，现有技术也采用了一些改进的方案，以降低设备成本，中国专利文献CN106226897 A记载了一种基于普通光学显微镜和智能手机的组织切片扫描装置，由显微镜固定架、普通光学显微镜、智能手机、调焦及切片移动装置、智能手机固定架和电脑组成。将智能手机、电脑和显微镜的功能整合到一起，以低成本且便捷的方式实现组织切片的数字化。但是该结构的体积仍然较大，不便移动，价格仍然较高。且光学通路路径较长，影响图案的采集精度。

发明内容

本发明所要解决的技术问题是提供细胞微型显微图像采集装置及图像拼接、识别方法，能够大幅降低成本，缩小体积，且能够实现自动扫描采集，并对图形进行拼接和识别以及云端处理。

为解决上述技术问题，本发明所采用的技术方案是：一种细胞微型显微图像采集装置，包括支座（4），在支座（4）上设有活动的模组平台（2），在模组平台（2）上设有摄像头模组（1）；

在摄像头模组（1）的摄像头（111）下方相对固定的设有显微镜头（3），显微镜头（3）的下方设有玻片座（5），玻片座（5）的下方设有照明光源（8）；

所述的玻片座（5）与摄像头模组（1）之间设有沿X、Y轴做扫描运动的扫描驱动模组，以使玻片座（5）与摄像头模组（1）之间沿X、Y轴做扫描运动，以使玻片（7）的图像被以扫描的方式通过摄像头模组（1）采集；

所述的摄像头（111）采用手机摄像头配件；

所述的显微镜头（3）包括安装在模组平台（2）的悬臂杆（32），悬臂杆（32）的一端与模组平台（2）固定连接，另一端设有显微镜片，显微镜片位于摄像头下方；

在模组平台（2）靠近摄像头（111）附近设有下沉的阶台（21），悬臂杆（32）通过多个定位销（22）与阶台（21）滑动连接，调节螺钉（23）与悬臂杆（32）螺纹连接，调节螺钉（23）的端头顶在阶台（21）上，通过调节螺钉（23）的旋转，调节悬臂杆（32）与阶台（21）之间的距离；

显微镜片为可更换显微镜片（31）；

显微镜片的放大倍数为2~10倍；

还设有控制盒（9），所述的控制盒（9）内设有主控芯片（91），主控芯片（91）与摄像头（111）电连接，主控芯片（91）还与摄像头模组（1）的控制按钮（112）和/或触控屏（113）电连接，主控芯片（91）还与扫描驱动模组的驱动电机电连接。

优选的方案中，所述模组平台（2）与扫描驱动模组连接，以使摄像头（111）沿着X、Y轴做扫描运动；

玻片座（5）与支座（4）固定连接且固定不动；

扫描驱动模组的结构为：

在支座（4）上固设有X轴滑轨（102），X轴滑块（64）滑动安装在X轴滑轨（102）上，在X轴滑块（64）上固设有X轴螺母（103），X轴螺杆（101）可转动的安装在支座（4）上，X轴螺母（103）与X轴螺杆（101）螺纹连接，X轴驱动电机（10）固设在支座（4）上，X轴驱动电机（10）的输出轴与X轴螺杆（101）固定连接，以使X轴驱动电机（10）驱动X轴滑块（64）沿X轴滑轨（102）往复运动；

在X轴滑块（64）上固设有Y轴滑轨（62），模组平台（2）滑动安装在Y轴滑轨（62）上，模组平台（2）上固设有Y轴螺母（63），Y轴螺杆（61）可转动的安装在X轴滑块（64）上，Y轴螺母（63）与Y轴螺杆（61）螺纹连接，Y轴驱动电机（6）固设在X轴滑块（64）上，Y轴驱动电机（6）的输出轴与Y轴螺杆（61）固定连接，以使Y轴驱动电机（6）驱动模组平台（2）沿Y轴滑轨（62）往复运动；

还设有控制盒（9），控制盒（9）输出开关信号与摄像头模组（1）连接，以控制摄像头模组（1）采集图像；

控制盒（9）输出脉冲信号分别与Y轴驱动电机（6）和X轴驱动电机（10）连接，以分别驱动X轴驱动电机（10）和Y轴驱动电机（6）转动。

优选的方案中，所述模组平台（2）与支座（4）固定连接且固定不动，玻片座（5）与扫描驱动模组连接，以使玻片座（5）沿着X、Y轴做扫描运动；

扫描驱动模组的结构为：

X轴驱动电机（10）与支座（4）固定连接，在支座（4）上设有沿X轴方向的滑轨，滑动平台（104）滑动安装在沿x轴方向的滑轨上，X轴驱动电机（10）通过螺杆螺母机构与滑动平台（104）连接，以驱动滑动平台（104）沿X轴方向往复滑动；

在滑动平台（104）上固设有Y轴驱动电机（6）和沿Y轴方向的滑轨，玻片座（5）滑动安装在沿Y轴方向的滑轨上，Y轴驱动电机（6）通过螺杆螺母机构与玻片座（5）连接，以驱动玻片座（5）沿Y轴方向往复滑动；

还设有控制盒（9），控制盒（9）输出开关信号与摄像头模组（1）连接，以控制摄像头模组（1）采集图像；

控制盒（9）输出脉冲信号分别与Y轴驱动电机（6）和X轴驱动电机（10）连接，以分别驱动X轴驱动电机（10）和Y轴驱动电机（6）转动。

优选的方案中，所述的Y轴驱动电机（6）和X轴驱动电机（10）为步进电机；

所述的控制盒（9）内还设有存储芯片（92）、接口芯片（93）和无线传输芯片（95），存储芯片（92）、接口芯片（93）和无线传输芯片（95）均与主控芯片（91）电连接；

存储芯片（92）用于存储数据，接口芯片（93）和无线传输芯片（95）用于传输数据；

还设有电源芯片（94），用于给主控芯片（91）、存储芯片（92）、接口芯片（93）和无线传输芯片（95）提供电源。

一种采用上述的细胞微型显微图像采集装置的图像拼接方法，包括视野子块匹配模块、视野位置拟合模块和块提取模块；

视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系，使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列；

视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置，以使细胞位置准确拼合；

块提取模块用于自动提取出拼合完整的图像；

具体实现的步骤为：

S1、视野子块匹配；视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系，使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列；

S2、视野位置拟合；视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置，以使细胞位置准确拼合；

S3、块提取；块提取模块用于自动提取出拼合完整的图像；

步骤S1中视野子块匹配的运行过程为：

Sa01、输入，结果集初始化M；

Sa02、设置当前视野i为第一个视野；

Sa03、求当前视野i的所有相邻视野集合J；

Sa04、设置当前相邻视野j为J中的第一个视野；

Sa05、求视野i和视野j的可能重叠区域Ri和Rj；

Sa06、将模板区域Ri栅格化为模板子块集合Pi；

Sa07、将模板子块集合Pi按子块的动态范围降序排列；

Sa08、设置当前模板子块P为模板子块集合Pi中第一个；

Sa09、在视野J中求模板子块P的可能重叠区域s；

Sa10、以模板子块P为模板，s为搜索区域，进行模板匹配搜索；

Sa11、将最佳匹配m加入结果集M；

Sa12、在结果集M中，找所有与m一致的匹配集视野合N；

Sa13、比对判断，N中权值和是否大于阈值v；

若否则，设置当前模板子块P为模板子块集合Pi中下一个，并返回Sa09；

若是则下一步；

Sa14、比对判断，视野j是否视野集合J中最后一个视野；

若否则设置视野j为视野集合J中下一个视野，并返回Sa05；

若是则下一步；

Sa15、比对判断，视野i为最后一个视野；

若否则设置i为下一个视野，并返回Sa03；

若是则输出结果；

步骤S2中视野位置拟合的过程为：

Sa16、输入，初始化所有视野位置Xi、Yi；

Sa17、设置当前视野i为第一个视野；

Sa18、在子块匹配集M中，获得包含视野i的匹配子集Mi；

Sa19、根据匹配子集Mi，重新计算视野i的位置Xi、Yi；

Sa20、判断，所有视野更新完成；

若否则设置视野i为下一个视野；

若是则下一步；

Sa21、计算本轮视野位置和上轮视野位置偏差平均值L；

Sa22、比对判断，偏差平均值L小于阈值1；

若否则返回Sa17；

若是则下一步；

Sa23、视野位置归一化调整；

输出所有视野；

步骤S3中块提取的过程为：

Sa24、提取全图大小W，H；

Sa25、将全图按块大小，分为块的集合B；

Sa26、计算集合B中所有块b的位置；

Sa27、设置块b为集合B中的第一个块；

Sa28、计算与块b重叠的所有视野的集合Fb；

Sa29、设置视野f为Fb中的第一个视野；

Sa30、求视野f和块b的重叠区域Rb和Rf；

Sa31、拷贝Rf中图像至Rb；

Sa32、判断，视野f是集合Fb中最后一个视野；

若否则设置视野f为Fb中的下一个视野，并返回Sa29；

若是则下一步；

Sa33、保存块b图像；

Sa34、判断，块b是集合B中最后一个块；

若否则设置块b为集合B中第一个块，并返回Sa28；

若是则输出结果。

一种采用上述的细胞微型显微图像采集装置的图像识别方法，实现的步骤为：S1、获取显微图像；

S2、将单个样品的多个图像拼合，在拼合后的图像中根据细胞核特征进行提取，获得单个细胞核显微图像；

S3、根据已标记的细胞，利用模型训练后的人工智能程序对单个细胞核显微图像进行分类；

通过以上步骤得到基于样品的分类细胞数据；

步骤S2中获取单个细胞核显微图像的步骤为：

S100、检测细胞核的特征点；

将图像缩小至多个不同比例，分别提取特征点；

S101、初筛，以特征点坐标，筛选掉过于相近的特征点，减少重复提取细胞；

S102、细分，以颜色差阈值分割；

将图片转换到LAB格式，B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图；

权值为B通道反相0.7，A通道0.3；

S103、图像形态学运算；

腐蚀运算、膨胀运算中的一种或多种的组合；

S104、细筛，根据核占比参数细筛，筛选掉核占比低于0.3，细胞核半径高于150像素，低于10像素的非细胞；核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。

本发明提供的一种细胞微型显微图像采集装置，能够大幅降低现有技术中数字组织切片扫描仪的价格，极大降低了医疗成本，通过采用悬臂结构的显微镜头的结构，能够大幅缩小体积，便于携带和大幅推广，优选的，通过采用手机摄像头的配件，在大批量的生产规模下能够得到分辨率高且价格便宜的配件，而本发明的主控芯片能够采用去掉某些基带功能模块的手机主控芯片，也能够在降低授权使用费的前提下降低整体成本。本发明并提供了一种细胞微型显微图像采集装置的图像拼接方法，实现了图像的分区扫描和组合，提高了图像扫描的速度，确保了玻片样本的完整性，还提供了一种细胞微型显微图像采集装置的图像识别方法，大幅提高细胞识别的准确度和识别效率，还可以通过提供的一种细胞微型显微图像采集装置的云上处理图像的方法，将扫描得到的玻片样本传上云端，在云上进行图像的拼接和识别，实现远距离的AI诊断和医生复诊，不仅提高了检测的效率，还降低了样本检测对地域性的要求，且能够保留检测的原始样本数据，并对数据进行进一步地研究，使更多的偏远医疗机构也能够应用该技术进行诊断。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的立体结构示意图。

图2为本发明的局部俯视结构示意图。

图3为本发明的主视剖视结构图。

图4为本发明另一优选方案的俯视结构示意图。

图5为本发明另一优选方案的立体结构示意图。

图6为本发明中显微镜头的结构示意图。

图7为本发明中控制盒的控制示意图。

图8为本发明中的控制结构框图。

图9为本发明扫描玻片后视野子块匹配的图片处理示意图。

图10为本发明扫描图片拼接后的示意图。

图11为本发明中图像拼接过程的流程示意图。

图12为本发明中视野子块匹配的流程示意图。

图13为本发明中视野位置拟合的流程示意图。

图14为本发明中块提取的流程示意图。

图15为本发明中图像识别后的示例图。

图16为本发明中细胞分类过程的示例图。

图17为本发明中获取的能够表征用户的细胞病理学单个细胞核特征形态图。

图18为本发明中单个细胞核显微图像获取流程示意图。

图19为本发明中图像识别方法流程图。

图20为本发明中云上处理图像的方法流程图。

图中：摄像头模组1，摄像头111，控制按钮112，触控屏113，模组平台2，阶台21，定位销22，调节螺钉23，显微镜头3，可更换显微镜片31，悬臂杆32，支座4，玻片座5，玻片第一挡块51，玻片第二挡块52，Y轴驱动电机6，Y轴螺杆61，Y轴滑轨62，Y轴螺母63，X轴滑块64，玻片7，照明光源8，控制盒9，主控芯片91，存储芯片92，接口芯片93，电源芯片94，无线传输芯片95，X轴驱动电机10，X轴螺杆101，X轴滑轨102，X轴螺母103，滑动平台104。

具体实施方式

实施例1：

如图1~8中，一种细胞微型显微图像采集装置，包括支座4，在支座4上设有活动的模组平台2，在模组平台2上设有摄像头模组1；

在摄像头模组1的摄像头111下方相对固定的设有显微镜头3，显微镜头3的下方设有玻片座5，玻片座5的下方设有照明光源8；当使用时，照明光源的光线穿过玻片座上的玻片，将细胞的图像经过显微镜头传输到摄像头111，从而被摄像头111采集并存储。

所述的玻片座5与摄像头模组1之间设有沿X、Y轴做扫描运动的扫描驱动模组，以使玻片座5与摄像头模组1之间沿X、Y轴做扫描运动，以使玻片7的图像被以扫描的方式通过摄像头模组1采集。由此结构，以使玻片7的图像被采集到摄像头111内。优选的，所述的摄像头111采用手机摄像头配件。例如：欧菲光、舜宇光、丘钛等公司的摄像头模组。

优选的方案如图1、6中，所述的显微镜头3包括安装在模组平台2的悬臂杆32，悬臂杆32的一端与模组平台2固定连接，另一端设有显微镜片，显微镜片位于摄像头下方；显微镜片的放大倍数为2~10倍。进一步优选的，显微镜片的放大倍数为4倍，显微镜片位于摄像头111的下方。本发明以一枚显微镜头3替代了现有技术中显微镜复杂的光路结构，从而进一步降低了成本，缩小了体积，而且图像的清晰度进一步提高。

优选的方案如图2、8中，在模组平台2靠近摄像头111的附近设有下沉的阶台21，悬臂杆32通过螺钉与阶台21固定连接。由此结构，便于显微镜头3的安装和连接。

优选的方案如图6中，在模组平台2靠近摄像头111附近设有下沉的阶台21，悬臂杆32通过多个定位销22与阶台21滑动连接，调节螺钉23与悬臂杆32螺纹连接，调节螺钉23的端头顶在阶台21上，通过调节螺钉23的旋转，调节悬臂杆32与阶台21之间的距离；进一步优选的，还设有另外一颗用于固定的螺钉，该螺钉穿过悬臂杆32与下沉的阶台108螺纹连接，在调节到适当位置后，将该螺钉紧固即可。

显微镜片为可更换显微镜片31。所述的可更换显微镜片31为与悬臂杆32之间活动套接的结构，从而便于通过更换显微镜片实现放大倍数的调节。

优选的方案如图7、8中，还设有控制盒9，所述的控制盒9内设有主控芯片91，主控芯片91优选采用用于手机的高通SOC***集成芯片，其中已经包括了CPU、GPU、DSP数字信号处理模块、Bluetooth蓝牙模块和WIFI模块、Power Management电源管理模块。或者联发科、三星、华为公司的SOC，进一步优选的，选用精简的SOC，例如取消了基带模块的SOC，以降低相应授权费用，以进一步降低成本。进一步优选的，采用双芯片模式，或者在芯片内集成有AI加速芯片，用于在后继的步骤中进行图像运算，以及智能分类、识别等运算，以进一步提高处理速度。

主控芯片91与摄像头111电连接，主控芯片91还与摄像头模组1的控制按钮112和/或触控屏113电连接，其中控制按钮112和/或触控屏113用于启动扫描程序，或者用于控制单独拍摄，触控屏113还用于设定参数，例如扫描模式、分辨率、图像格式、以及智能识别模型等参数。主控芯片91还与扫描驱动模组的驱动电机电连接。

优选的方案中，所述模组平台2与扫描驱动模组连接，以使摄像头111沿着X、Y轴做扫描运动；

玻片座5与支座4固定连接且固定不动；

扫描驱动模组的结构为：

在支座4上固设有X轴滑轨102，X轴滑块64滑动安装在X轴滑轨102上，在X轴滑块64上固设有X轴螺母103，X轴螺杆101可转动的安装在支座4上，X轴螺母103与X轴螺杆101螺纹连接，X轴驱动电机10固设在支座4上，X轴驱动电机10的输出轴与X轴螺杆101固定连接，以使X轴驱动电机10驱动X轴滑块64沿X轴滑轨102往复运动；

在X轴滑块64上固设有Y轴滑轨62，模组平台2滑动安装在Y轴滑轨62上，模组平台2上固设有Y轴螺母63，Y轴螺杆61可转动的安装在X轴滑块64上，Y轴螺母63与Y轴螺杆61螺纹连接，Y轴驱动电机6固设在X轴滑块64上，Y轴驱动电机6的输出轴与Y轴螺杆61固定连接，以使Y轴驱动电机6驱动模组平台2沿Y轴滑轨62往复运动；由上述的结构，实现摄像头111的蛇形扫描操作。通过以上的结构，实现模组平台2沿X、Y轴的蛇形扫描运动。需要说明的，沿X轴和沿Y轴的运动是能够互换位置的，本例中记载的是沿X轴的驱动机构在下，沿Y轴的驱动机构在上，而沿Y轴的驱动机构在下，沿X轴的驱动机构在上是属于等同的可互换的结构。另一可选的方案中，将模组平台2与支座4固定连接，而由玻片座5通过扫描驱动模组与支座4活动连接，实现玻片座5的蛇形扫描操作。属于是等同的可互换的结构。

还设有控制盒9，控制盒9输出开关信号与摄像头模组1连接，以控制摄像头模组1采集图像；

控制盒9分别输出脉冲信号分别与Y轴驱动电机6和X轴驱动电机10连接，以分别驱动X轴驱动电机10和Y轴驱动电机6转动。

优选的方案中，所述的Y轴驱动电机6和X轴驱动电机10为步进电机；

所述的控制盒9内还设有存储芯片92、接口芯片93和无线传输芯片95，存储芯片92、接口芯片93和无线传输芯片95均与主控芯片91电连接；

存储芯片92用于存储数据，所述的存储芯片包括片内的SRAM静态存储器，还包括片外的DRAM动态存储器，还包括基于闪存的SSD或SD芯片，接口芯片93和无线传输芯片95用于传输数据；所述的接口芯片93包括总线芯片和USB芯片，其中总线芯片提供总线级接口，优选采用高速的总线接口，例如PCIe总线。USB芯片用于传输输入参数和控制按钮112的控制信号。无线传输芯片95包括蓝牙芯片和WiFi芯片。

还设有电源芯片94，用于给主控芯片91、存储芯片92、接口芯片93和无线传输芯片95提供电源。例如电源管理单元PMU。进一步优选的，采用未集成基带模块和射频模块的手机芯片以进一步降低使用成本。再进一步优选的，采用多芯片方案，以提高图像处理速度，例如采用双芯片处理方案，其中一个作为主控芯片，另一个则作为图像运算芯片，以实现连续玻片扫描和全自动的拼接、识别处理，并将处理后的结果上传至云端。

实施例2：

在实施例1的基础上，并与实施例1中不同的，优选的方案如图4、5中，所述模组平台2与支座4固定连接且固定不动，玻片座5与扫描驱动模组连接，以使玻片座5沿着X、Y轴做扫描运动；即本实施例的方案为模组平台2固定，而玻片座5做扫描运动的方案。该方案的优势是运动部件能够做在支座4内。而不如实施例1的地方则是与自动装卸玻片7的结构和控制要相对复杂一些。由此结构，以便于通过玻片座5的蛇形扫描运动，将玻片的图像分解成多个小的图像进行拍摄，然后再拼合成全景的图像，如图9、10中所示。

扫描驱动模组的结构为：

X轴驱动电机10与支座4固定连接，在支座4上设有沿X轴方向的滑轨，滑动平台104滑动安装在沿x轴方向的滑轨上，X轴驱动电机10通过螺杆螺母机构与滑动平台104连接，以驱动滑动平台104沿X轴方向往复滑动；由滑动平台104沿X轴方向运动也带动其上的玻片座5沿X轴方向运动。

在滑动平台104上固设有Y轴驱动电机6和沿Y轴方向的滑轨，玻片座5滑动安装在沿Y轴方向的滑轨上，Y轴驱动电机6通过螺杆螺母机构与玻片座5连接，以驱动玻片座5沿Y轴方向往复滑动；

还设有控制盒9，控制盒9输出开关信号与摄像头模组1连接，以控制摄像头模组1采集图像；

控制盒9输出脉冲信号分别与Y轴驱动电机6和X轴驱动电机10连接，以分别驱动X轴驱动电机10和Y轴驱动电机6转动。由此结构，实现玻片座5的蛇形扫描运动。

使用时，如图1~8，在玻片座5上放置试样玻片，试拍摄，根据图像的清晰度对摄像头模组1的参数进行调节，或者调节显微镜头3的高度位置。调节完成后，将玻片7定位放置在玻片座5上，启动控制盒9的按钮，照明光源8点亮。照明光源8也可以设置为常亮模式。

该启动方式也可以通过控制盒9上的触控屏进行控制，参数调节通过触控屏完成。或者将控制盒9与摄像头模组1通过蓝牙或者WiFi通信进行连接，通过模组平台2上的触控屏113的app界面进行控制。控制盒9给摄像头模组1发送一个开关信号，同时摄像头模组1拍照获得一幅图片，控制盒9将该图像保存；控制盒9给X轴驱动电机10发送一个脉冲信号，驱动X轴驱动电机10根据脉冲信号旋转一个预设的角度，使X轴螺杆101的旋转驱动X轴螺母103移动一个距离，相应的X轴滑块64移动一段距离，从而模组平台2沿X轴移动一段距离，控制盒9给摄像头模组1和照明光源8发送一个开关信号，照明光源8点亮，同时摄像头模组1拍照获得一幅图片，其中照明光源8也可以是常亮控制；直至摄像头模组1沿着X轴走完一个预设的行程，完成玻片上一行图片的拍照。控制盒9给Y轴驱动电机6发送一个脉冲信号，驱动Y轴驱动电机6旋转一个预设的角度，使Y轴螺杆61的旋转驱动Y轴螺母63移动一段距离，从而摄像头模组1沿Y轴移动一段距离，控制盒9控制摄像头模组1拍照获得一幅图片；然后控制盒9驱动摄像头模组1再次沿X轴行走一个预设的行程，以蛇形扫描的方式，将玻片7的图像扫描至摄像头模组1中并存储在存储芯片92，然后将图片通过网络发送至服务端，在服务端进行玻片全景图像的拼接，并通过人工智能方式对全景图像中的细胞进行分类、识别和标识，以便医师进行诊断，完成玻片图像的采集和辅助诊断工作，大幅提高医师的诊断效率。图片的处理步骤也可以在控制盒9内完成一部分。

实施例3：

优选的方案如图9~14中，细胞微型显微图像采集装置中的图像拼接的过程包括：视野子块匹配模块、视野位置拟合模块和块提取模块；

视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系，使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列；

视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置，以使细胞位置准确拼合；

块提取模块用于自动提取出拼合完整的图像；

具体实现的步骤为：

S1、视野子块匹配；视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系，使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列；

S2、视野位置拟合；视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置，以使细胞位置准确拼合；

S3、块提取；块提取模块用于自动提取出拼合完整的图像；

如图9、图12所示，步骤S1中视野子块匹配的运行过程为：

Sa01、输入，结果集初始化M；

Sa02、设置当前视野i为第一个视野；

Sa03、求当前视野i的所有相邻视野集合J；

Sa04、设置当前相邻视野j为J中的第一个视野；

Sa05、求视野i和视野j的可能重叠区域Ri和Rj；

Sa06、将模板区域Ri栅格化为模板子块集合Pi；

Sa07、将模板子块集合Pi按子块的动态范围降序排列；

Sa08、设置当前模板子块P为模板子块集合Pi中第一个；

Sa09、在视野J中求模板子块P的可能重叠区域s；

Sa10、以模板子块P为模板，s为搜索区域，进行模板匹配搜索；

Sa11、将最佳匹配m加入结果集M；

Sa12、在结果集M中，找所有与m一致的匹配集视野合N；

Sa13、比对判断，N中权值和是否大于阈值v；

若否则，设置当前模板子块P为模板子块集合Pi中下一个，并返回Sa09；

若是则下一步；

Sa14、比对判断，视野j是否视野集合J中最后一个视野；

若否则设置视野j为视野集合J中下一个视野，并返回Sa05；

若是则下一步；

Sa15、比对判断，视野i为最后一个视野；

若否则设置i为下一个视野，并返回Sa03；

若是则输出结果；

如图10、图13所示，步骤S2中视野位置拟合的过程为：

Sa16、输入，初始化所有视野位置Xi、Yi；

Sa17、设置当前视野i为第一个视野；

Sa18、在子块匹配集M中，获得包含视野i的匹配子集Mi；

Sa19、根据匹配子集Mi，重新计算视野i的位置Xi、Yi；

Sa20、判断，所有视野更新完成；

若否则设置视野i为下一个视野；

若是则下一步；

Sa21、计算本轮视野位置和上轮视野位置偏差平均值L；

Sa22、比对判断，偏差平均值L小于阈值1；

若否则返回Sa17；

若是则下一步；

Sa23、视野位置归一化调整；

输出所有视野；

如图14所示，步骤S3中块提取的过程为：

Sa24、提取全图大小W，H；

Sa25、将全图按块大小，分为块的集合B；

Sa26、计算集合B中所有块b的位置；

Sa27、设置块b为集合B中的第一个块；

Sa28、计算与块b重叠的所有视野的集合Fb；

Sa29、设置视野f为Fb中的第一个视野；

Sa30、求视野f和块b的重叠区域Rb和Rf；

Sa31、拷贝Rf中图像至Rb；

Sa32、判断，视野f是集合Fb中最后一个视野；

若否则设置视野f为Fb中的下一个视野，并返回Sa29；

若是则下一步；

Sa33、保存块b图像；

Sa34、判断，块b是集合B中最后一个块；

若否则设置块b为集合B中第一个块，并返回Sa28；

若是则输出结果。

实施例4：

如图9~10、图15~17中，以某细胞病理分析实例为例：从本发明的细胞微型显微图像采集装置扫描获取的图像如图9的上图中所示，各个子图像的排序并不规则，这取决于摄像头模组1扫描自动化获取路径，在获取过程中，确保各个图像之间具有互相重叠的位置。对重叠位置的像素值进行分析，通过视野子块匹配智能算法使图像自动匹配相应的位置，根据相邻视野中的相匹配的特征点计算出平台偏移到像素偏移的二维变换矩阵的初始值，得到拼接参数。具体的是确定各个视野子块，即子图像相对于其他子图像的相邻位置。切割相邻视野的公共部分，分为多个小块，采用模板匹配，寻找公共重合区域，选取匹配阈值大于0.9的匹配块。算出所有视野的模板匹配的相互关系。如图11中，位置匹配成功后，各个细胞的位置会出现细微的偏差，通过视野位置拟合智能算法使细胞位置准确拼合。具体的，通过模板匹配之后，可以得到每个视野像素的大致位置，通过初始的拼接参数和平台的最大位移偏差，计算出最大的像素偏差，使用最大像素偏差，过滤每个视野与相邻视野匹配关系的点，去掉偏差大于最大像素偏差的点，通过筛选后的点，再重新计算拼接参数，使用最新的拼接参数，重新计算视野的像素位置，通过不断地迭代筛选和重新计算，就可以不断更新和完善视野的图片位置，使误差更加小，拼接的效果更加完美。计算出每张视野的图片位置之后，使用扫描过程中的计算背景，通过背景图来更新每一张视野的亮度，提高医生观看每张视野图的视觉感受，就可以拼接出一张完美的玻片图片，将整个拼合后的图像作为一个块提取出来。然后根据需求，切割大图，得到想要宽度和高度的图片，因为所有视野拼接而成的大图会很大而且没有必要。

实施例5：

如图19所示，采用本发明的细胞微型显微图像采集装置的图像识别方法实现的步骤为：

S1、获取显微图像；

S2、将单个样品的多个图像拼合，在拼合后的图像中根据细胞核特征进行提取，获得单个细胞核显微图像；

S3、根据已标记的细胞，利用模型训练后的人工智能程序对单个细胞核显微图像进行分类，人工智能程序优选的采用卷积神经网络，学习率为0.001。结果类别数采用num_classes = 3，分别对应阳性、阴性和垃圾。训练轮数epochs = 300；图像大小：img_cols =128 img_rows = 128；正则参数：reg=0.7；连续下降的轮数：patience = 10。

通过以上步骤得到基于样品的分类细胞数据；

如图15~18所示，步骤S2中获取单个细胞核显微图像的步骤为：

S100、检测细胞核的特征点；

将图像缩小至多个不同比例，分别提取特征点；

S101、初筛，以特征点坐标，筛选掉过于相近的特征点，减少重复提取细胞；由此步骤，大幅提高识别的效率。

本例中设定，如果特征点的距离不超过细胞的半径的一半，而半径的一半大于32，认为距离小于32像素的为过于相近，否则小于细胞半径的一半认为是过于相近。即cell.Center.L1DistanceTo(d.Center) < Math.Min(cell.Radius * 0.5, 32)。

S102、细分，以颜色差阈值分割；

将图片转换到LAB格式，B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图；现有技术中，均采用灰度值进行筛分，但是灰度值的方式，因为灰度通常仅有一个通道，而数值范围仅为1-255级，因此，对于有些细微的位置难以区分。而采用B通道和A通道的组合方案，则由于具有两个通道，从而能够大幅提高数值范围，提高筛分精度。

权值为B通道反相0.7，A通道0.3；

S103、图像形态学运算；

腐蚀运算、膨胀运算中的一种或多种的组合；腐蚀运算和膨胀运算例如中国专利文献CN106875404A中的运算方法。

S104、细筛，根据核占比参数细筛，筛选掉核占比低于0.3，细胞核半径高于150像素，低于10像素的非细胞；核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。结果如图16中所示，用户的各个特征细胞的识别图像被清晰的展示，以利于医生诊断。

实施例6：

优选的方案如图16中，检测细胞核的特征点；即通过SURF算法检测细胞核特征点，将图像缩小至不同的比例，分别提取特征点。初筛，以特征点坐标，筛选掉过于相近的特征点，减少重复提取细胞，即相同特征点的细胞，仅保留一个；由此步骤，大幅提高识别的效率。细分，以颜色差阈值分割；与灰度阈值分割相比，颜色差阈值分割方案能够在较大程度上提高细分精度。如图9中所示，由于存在细胞互相重叠的情形，可以见到图像的颜色变化差异较大，容易被识别，而当图10被转换成灰度后，则分辨难度大幅提升。图像形态学运算；腐蚀运算、膨胀运算中的一种或多种的组合；腐蚀运算和膨胀运算例如中国专利文献CN106875404A中的运算方法。腐蚀运算是使图像的边缘腐蚀掉，作用就是将目标的边缘的“毛刺”剔除掉。膨胀运算是将图像的边缘扩大。作用就是将目标图像的边缘或者是内部的凹坑填掉。使用相同次数的腐蚀与膨胀，可以使目标图像更平滑。结果如图17中所示。细筛，根据核占比参数细筛，筛选掉核占比低于0.3，细胞核半径高于150像素，低于10像素的非细胞；核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。结果如图17中所示，用户的各个特征细胞的识别图像被清晰的展示在列表中，优选的，并以阳性-阴性的顺序加以排列，以利于医生诊断，并辅助医生提高诊断效率。进一步优选的，在运算过程中，保留结果特征细胞图像的对角点坐标。例如，在运算过程中，以日志形式保留坐标运算记录，保留特征细胞图像的在拼合后图像上的坐标位置，以使医生能够根据坐标位置快速浏览原始图像，进一步优选的，能够根据坐标与子图像的对应关系快速浏览到未经处理的原始子图像，以避免智能运算抹去重要的细胞病理学图像特征，进一步确定诊断准确度。

实施例7：

优选的方案如图20所示，采用细胞微型显微图像采集装置的云上处理图像的方法实现的过程为：

S1. 对玻片7样本进行编号，确定云上***内的样本号，在云上流程启动之前，收取玻片7样本，在统一收取一批样本之后会对其进行重新编号，确定玻片7样本和受检人信息对应关系。

S2.挂号：将玻片7对应的受检者信息录入***，录入样本号，扫描：玻片7的图像用摄像头模组1进行扫描，将样本数字化，挂号和扫描同时进行，互不干扰，挂号时将受检者的信息录入到***中，并录入重新编号的样本号。

S3.上传：将扫描后的图像样本上传至云上***，云上***提供基于网络的数据存取服务，可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。阿里云 OSS 将数据文件以对象object的形式上传到存储空间bucket中,具备丰富的SDK包，适配不同计算机语言进行二次开发。

S4.拼接分类：在云上AI将数字化的样本进行处理，云上AI对数字化的受检者样本进行初步的诊断，对于存在疾病风险的受检者样本传入步骤S6，由医生作进一步地诊断。

S5.连接：将挂号信息和数字化样本信息在***内进行关联，将受检者个人信息与受检者样本信息进行关联对应，便于后期向受检者返送检查报告，同时有利于数据的后期整理和进一步研究。

S6.诊断：医生对图像样本进行诊断，复核，提交诊断意见操作，对于AI初步诊断可能存在疾病风险的受检者报告由医生进行诊断、复核，提高了诊断的准确性，却大大降低了诊断的成本。采样机构在完成细胞标本图像信息的收集后，通过互联网把数据传递到云诊断平台上，人工智能将自动完成诊断工作，医生只需对诊断为阳性的结果进行复审确认。由于阳性病例往往占少数，人工智能云诊断能够省去大量的人工劳动。

S7.报告渲染：渲染程序会轮询***内诊断完成的数据并将其按对应的报告模板进行渲染出PDF、JPG、WORD格式文件，渲染程序根据需要的报告模板对网页进行渲染，提取所需字段，调用PDF、JPG、WORD组件，生成PDF、JPG、WORD格式文件，并可以打印报告，由对应程序连接打印机将报告可批量打印出来，医院方可以通过***web界面调用本地打印机驱动，根据需要将报告批量打印出来，同时，***可将电子报告通过已录入的信息返送给受检者。

通过以上步骤实现图像的云上处理。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (6)

1.一种细胞微型显微图像采集装置，包括支座（4），其特征是：在支座（4）上设有活动的模组平台（2），在模组平台（2）上设有摄像头模组（1）；

在摄像头模组（1）的摄像头（111）下方相对固定的设有显微镜头（3），显微镜头（3）的下方设有玻片座（5），玻片座（5）的下方设有照明光源（8）；

所述的玻片座（5）与摄像头模组（1）之间设有沿X、Y轴做扫描运动的扫描驱动模组，以使玻片座（5）与摄像头模组（1）之间沿X、Y轴做扫描运动，以使玻片（7）的图像被以扫描的方式通过摄像头模组（1）采集；

所述的摄像头（111）采用手机摄像头配件；

所述的显微镜头（3）包括安装在模组平台（2）的悬臂杆（32），悬臂杆（32）的一端与模组平台（2）固定连接，另一端设有显微镜片，显微镜片位于摄像头下方；

在模组平台（2）靠近摄像头（111）附近设有下沉的阶台（21），悬臂杆（32）通过多个定位销（22）与阶台（21）滑动连接，调节螺钉（23）与悬臂杆（32）螺纹连接，调节螺钉（23）的端头顶在阶台（21）上，通过调节螺钉（23）的旋转，调节悬臂杆（32）与阶台（21）之间的距离；

显微镜片为可更换显微镜片（31）；

显微镜片的放大倍数为2~10倍；

还设有控制盒（9），所述的控制盒（9）内设有主控芯片（91），主控芯片（91）与摄像头（111）电连接，主控芯片（91）还与摄像头模组（1）的控制按钮（112）和/或触控屏（113）电连接，主控芯片（91）还与扫描驱动模组的驱动电机电连接。

2.根据权利要求1所述的一种细胞微型显微图像采集装置，其特征是：所述模组平台（2）与扫描驱动模组连接，以使摄像头（111）沿着X、Y轴做扫描运动；

玻片座（5）与支座（4）固定连接且固定不动；

扫描驱动模组的结构为：

在支座（4）上固设有X轴滑轨（102），X轴滑块（64）滑动安装在X轴滑轨（102）上，在X轴滑块（64）上固设有X轴螺母（103），X轴螺杆（101）可转动的安装在支座（4）上，X轴螺母（103）与X轴螺杆（101）螺纹连接，X轴驱动电机（10）固设在支座（4）上，X轴驱动电机（10）的输出轴与X轴螺杆（101）固定连接，以使X轴驱动电机（10）驱动X轴滑块（64）沿X轴滑轨（102）往复运动；

在X轴滑块（64）上固设有Y轴滑轨（62），模组平台（2）滑动安装在Y轴滑轨（62）上，模组平台（2）上固设有Y轴螺母（63），Y轴螺杆（61）可转动的安装在X轴滑块（64）上，Y轴螺母（63）与Y轴螺杆（61）螺纹连接，Y轴驱动电机（6）固设在X轴滑块（64）上，Y轴驱动电机（6）的输出轴与Y轴螺杆（61）固定连接，以使Y轴驱动电机（6）驱动模组平台（2）沿Y轴滑轨（62）往复运动；

还设有控制盒（9），控制盒（9）输出开关信号与摄像头模组（1）连接，以控制摄像头模组（1）采集图像；

控制盒（9）输出脉冲信号分别与Y轴驱动电机（6）和X轴驱动电机（10）连接，以分别驱动X轴驱动电机（10）和Y轴驱动电机（6）转动。

3.根据权利要求1所述的一种细胞微型显微图像采集装置，其特征是：所述模组平台（2）与支座（4）固定连接且固定不动，玻片座（5）与扫描驱动模组连接，以使玻片座（5）沿着X、Y轴做扫描运动；

扫描驱动模组的结构为：

X轴驱动电机（10）与支座（4）固定连接，在支座（4）上设有沿X轴方向的滑轨，滑动平台（104）滑动安装在沿x轴方向的滑轨上，X轴驱动电机（10）通过螺杆螺母机构与滑动平台（104）连接，以驱动滑动平台（104）沿X轴方向往复滑动；

在滑动平台（104）上固设有Y轴驱动电机（6）和沿Y轴方向的滑轨，玻片座（5）滑动安装在沿Y轴方向的滑轨上，Y轴驱动电机（6）通过螺杆螺母机构与玻片座（5）连接，以驱动玻片座（5）沿Y轴方向往复滑动；

还设有控制盒（9），控制盒（9）输出开关信号与摄像头模组（1）连接，以控制摄像头模组（1）采集图像；

控制盒（9）输出脉冲信号分别与Y轴驱动电机（6）和X轴驱动电机（10）连接，以分别驱动X轴驱动电机（10）和Y轴驱动电机（6）转动。

4.根据权利要求2或3任一项所述的一种细胞微型显微图像采集装置，其特征是：所述的Y轴驱动电机（6）和X轴驱动电机（10）为步进电机；

所述的控制盒（9）内还设有存储芯片（92）、接口芯片（93）和无线传输芯片（95），存储芯片（92）、接口芯片（93）和无线传输芯片（95）均与主控芯片（91）电连接；

存储芯片（92）用于存储数据，接口芯片（93）和无线传输芯片（95）用于传输数据；

还设有电源芯片（94），用于给主控芯片（91）、存储芯片（92）、接口芯片（93）和无线传输芯片（95）提供电源。

5.一种采用权利要求1~4任一项所述的细胞微型显微图像采集装置的图像拼接方法，其特征是：包括视野子块匹配模块、视野位置拟合模块和块提取模块；

视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系，使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列；

视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置，以使细胞位置准确拼合；

块提取模块用于自动提取出拼合完整的图像；

具体实现的步骤为：

S1、视野子块匹配；视野子块匹配模块用于识别各个图像之间的重叠区域判断子图像之间的相邻位置关系，使显微扫描装置获取的各个子图像自动按照图像的拼合顺序排列；

S2、视野位置拟合；视野位置拟合模块用于根据各个子图像之间的重叠区域微调位置，以使细胞位置准确拼合；

S3、块提取；块提取模块用于自动提取出拼合完整的图像；

步骤S1中视野子块匹配的运行过程为：

Sa01、输入，结果集初始化M；

Sa02、设置当前视野i为第一个视野；

Sa03、求当前视野i的所有相邻视野集合J；

Sa04、设置当前相邻视野j为J中的第一个视野；

Sa05、求视野i和视野j的可能重叠区域Ri和Rj；

Sa06、将模板区域Ri栅格化为模板子块集合Pi；

Sa07、将模板子块集合Pi按子块的动态范围降序排列；

Sa08、设置当前模板子块P为模板子块集合Pi中第一个；

Sa09、在视野J中求模板子块P的可能重叠区域s；

Sa10、以模板子块P为模板，s为搜索区域，进行模板匹配搜索；

Sa11、将最佳匹配m加入结果集M；

Sa12、在结果集M中，找所有与m一致的匹配集视野合N；

Sa13、比对判断，N中权值和是否大于阈值v；

若否则，设置当前模板子块P为模板子块集合Pi中下一个，并返回Sa09；

若是则下一步；

Sa14、比对判断，视野j是否视野集合J中最后一个视野；

若否则设置视野j为视野集合J中下一个视野，并返回Sa05；

若是则下一步；

Sa15、比对判断，视野i为最后一个视野；

若否则设置i为下一个视野，并返回Sa03；

若是则输出结果；

步骤S2中视野位置拟合的过程为：

Sa16、输入，初始化所有视野位置Xi、Yi；

Sa17、设置当前视野i为第一个视野；

Sa18、在子块匹配集M中，获得包含视野i的匹配子集Mi；

Sa19、根据匹配子集Mi，重新计算视野i的位置Xi、Yi；

Sa20、判断，所有视野更新完成；

若否则设置视野i为下一个视野；

若是则下一步；

Sa21、计算本轮视野位置和上轮视野位置偏差平均值L；

Sa22、比对判断，偏差平均值L小于阈值1；

若否则返回Sa17；

若是则下一步；

Sa23、视野位置归一化调整；

输出所有视野；

步骤S3中块提取的过程为：

Sa24、提取全图大小W，H；

Sa25、将全图按块大小，分为块的集合B；

Sa26、计算集合B中所有块b的位置；

Sa27、设置块b为集合B中的第一个块；

Sa28、计算与块b重叠的所有视野的集合Fb；

Sa29、设置视野f为Fb中的第一个视野；

Sa30、求视野f和块b的重叠区域Rb和Rf；

Sa31、拷贝Rf中图像至Rb；

Sa32、判断，视野f是集合Fb中最后一个视野；

若否则设置视野f为Fb中的下一个视野，并返回Sa29；

若是则下一步；

Sa33、保存块b图像；

Sa34、判断，块b是集合B中最后一个块；

若否则设置块b为集合B中第一个块，并返回Sa28；

若是则输出结果。

6.一种采用权利要求1~4任一项所述的细胞微型显微图像采集装置的图像识别方法，其特征是：实现的步骤为：S1、获取显微图像；

S2、将单个样品的多个图像拼合，在拼合后的图像中根据细胞核特征进行提取，获得单个细胞核显微图像；

S3、根据已标记的细胞，利用模型训练后的人工智能程序对单个细胞核显微图像进行分类；

通过以上步骤得到基于样品的分类细胞数据；

步骤S2中获取单个细胞核显微图像的步骤为：

S100、检测细胞核的特征点；

将图像缩小至多个不同比例，分别提取特征点；

S101、初筛，以特征点坐标，筛选掉过于相近的特征点，减少重复提取细胞；

S102、细分，以颜色差阈值分割；

将图片转换到LAB格式，B通道反相后和A通道的加权和做大津阈值分割得到细胞核掩模图；

权值为B通道反相0.7，A通道0.3；

S103、图像形态学运算；

腐蚀运算、膨胀运算中的一种或多种的组合；

S104、细筛，根据核占比参数细筛，筛选掉核占比低于0.3，细胞核半径高于150像素，低于10像素的非细胞；核占比 =颜色差阈值细分割出的核面积 /检测特征点半径圆面积。

Images