CN108615223A - 基于局部优化算法的牙齿唇颊侧全景图像拼接方法 - Google Patents

基于局部优化算法的牙齿唇颊侧全景图像拼接方法 Download PDF

Info

Publication number
CN108615223A
CN108615223A CN201810435287.9A CN201810435287A CN108615223A CN 108615223 A CN108615223 A CN 108615223A CN 201810435287 A CN201810435287 A CN 201810435287A CN 108615223 A CN108615223 A CN 108615223A
Authority
CN
China
Prior art keywords
image
lip
tooth
buccal side
cheek
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810435287.9A
Other languages
English (en)
Inventor
何睿清
桂林卿
薛文
李俊
余海
姚军
孔文宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Science And Technology Co Rhinoceros Tooth Shell
Original Assignee
Nanjing Science And Technology Co Rhinoceros Tooth Shell
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Science And Technology Co Rhinoceros Tooth Shell filed Critical Nanjing Science And Technology Co Rhinoceros Tooth Shell
Priority to CN201810435287.9A priority Critical patent/CN108615223A/zh
Publication of CN108615223A publication Critical patent/CN108615223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于局部优化算法的牙齿唇颊侧全景图像拼接方法，首先通过架设在轨道上的摄像机对牙齿唇(颊)侧进行扫描式拍摄并获取牙齿唇(颊)侧的扫描视频。对扫描视频进行帧间筛选，剔除重复或冗余信息较多的图像。同时通过陀螺仪信息对图像进行分组。每一组图片输入拼接算法，提取所有图像特征点并进行两两之间的优化计算，从而获得拼接所需参数，并通过这些参数计算图像的轴向旋转角度。当累积轴向旋转角度小于角度阈值时，依据计算得到的变换参数对图像序列进行顺序拼接，进而得到牙齿唇(颊)侧的拼接图像。本发明的有益效果是方法简单，易于操作，稳定性高。

Description

基于局部优化算法的牙齿唇颊侧全景图像拼接方法
技术领域
本发明属于图像处理和口腔医学技术领域，涉及一种基于牙齿唇(颊)侧的全景图的生成方法。
背景技术
传统的牙齿检查需要用户前往诊所。牙科医生需要用口腔内窥镜观察每一刻牙齿。另一种方式为，在护士的协助下完成对患者口腔全景图的拍摄。这种拍摄方法成本高(时间成本和费用成本)，效率较低，患者体验不好。对于牙齿的拍摄通常也分为咬合面，唇(颊)面和舌(腭)面三个部分。唇(颊)侧牙齿作为直接反应了牙齿美观整洁，是当代人生活水准和层次的体现。因此拍摄牙齿唇(颊)侧形态，对于牙齿病变或者正畸美容有辅助作用。
发明内容
本发明的目的在于提供基于局部优化算法的牙齿唇颊侧全景图像拼接方法，本发明的有益效果是方法简单，易于操作，稳定性高。可以直观的反应牙齿唇(颊)侧形态，对于牙齿病变或者正畸美容有辅助作用。
本发明所采用的技术方案是按照以下步骤进行：
1.唇(颊)侧的全景图像是由微距摄像头进行采集。摄像头固定在预设于唇(颊)侧上方的轨道上，拍摄时摄像头沿轨道滑动。在拍摄过程中，摄像头光轴与牙齿唇(颊)侧所在平面所成角度保持近似稳定。
2.所获取的牙齿唇(颊)侧视频按照其帧率保存为离散图片。在平面直角坐标系和平面极坐标系中对离散图片进行筛选。筛选原则是，设立关联性阈值，删除关联度高于关联性阈值的图像。
3.基于陀螺仪信息，按照旋转角度，将拍摄图像按照拍摄时间轴大致分为三个部分。分别是，左颊侧，唇侧和右颊侧。(这里“左”“右”指使用者自身的左右方向)
4.分别对于左颊侧，唇侧和右颊侧，利用自适应sift算法，计算相邻两张唇(颊)侧图像的特征点坐标，及其对应描述子。并根据这些信息进行特征点匹配。匹配过程中，利用特征点坐标信息剔除靠的过近的匹配特征点对。
5.在两张唇(颊)侧图像之间，根据其特征点的匹配情况，利用局部(两张图间)光束平差法进行图像变换参数的计算(透视变换参数)。
6.由第5步得到的参数中，计算图像间轴向旋转的角度，并进行累计。累积得到的角度记为θ。
7.当θ小于这个部分(左颊侧、唇侧、右颊侧)对应的角度阈值，则执行第8，9步；否则中止算法，并输出这一部分的全景图。
8.将得到两张牙齿唇(颊)侧图像按照计算得到的变换参数拼接为一张图像。
9.以得到的这张局部唇(颊)侧为基础，重复步骤4－7，依次将后续图像拼接到局部图上，直到所有图像都完成拼接。最后形成牙齿唇(颊)侧的全景图。
进一步，说明上述条款中，两种阈值的确定方法：
1.关联性阈值选取通过以下过程实现:a.给定一组连续拍摄咬合面图像，任意选择某一图片作为基准图片，计算相邻图像与它的关联值大小；b.从按照关联值的大小，由高到低将对应的图像与基准图像两两拼接，直到拼接图像发生明显畸变或错误为止，这时对应的关联值标记为待选阈值；c.重复以上过程若干次，得到若干个待选阈值，选择最大值作为算法的阈值。
2.角度阈值选取通过以下过程标定:a.事先选取一个牙齿模型目标。摄像头固定于模型之外，视场正对牙齿模型外表面；b.分别对牙齿模型的三侧(左颊侧、唇侧、右颊侧)，各拍摄一组图像，并记录下拍摄时摄像机转动的角度。c.对其中一组图像顺序拼接，直到拼接图像发生明显畸变或错误为止，这时对应的相机转过的角度值为这种情况下的角度阈值。
附图说明
图1是本发明方法流程示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明如图1所示，第一步：唇(颊)侧的全景图像是通过微距摄像头采集。摄像头固定在预设于牙齿唇(颊)侧旁的轨道上，拍摄时摄像头沿轨道滑动。在滑动过程中，应保证摄像头稳定，不出现剧烈的视场变化。稳定拍摄是指：摄像头光轴与牙齿唇(颊)侧所在平面所成角度近似不变。如出现不稳定抖动(例如：因为患者牙齿形态畸形而造成的不稳定抖动)，其抖动数据应被惯性传感器捕获，并反馈至算法中。
第二步：所获取的牙齿唇(颊)侧视频按照其帧率保存为离散图片。在平面直角坐标系和平面极坐标系中，对离散图片进行筛选。具体做法是：事先设定好在这两个坐标系下设定关联度阈值。利用相位关联算法计算这两张图在平面直角坐标系和平面极坐标系中相位关联的最大值。在相同坐标系中，将得到的相位关联最大值与其关联度阈值相比。当有任意一个值大于关联度阈值时，则删除序号更大的图片。
第三步：首先标定陀螺仪，使用者应首先尽量平放设备，这时确定陀螺仪垂直于牙齿平面的轴。再使用该设备对牙齿进行拍摄，根据已经标定好的轴的旋转角度标记拍摄时间，并将其分为三个部分。分别是，左颊侧，唇侧和右颊侧。(这里“左”“右”指使用者自身的左右方向)。规定这个三个面的角度阈值。
从第4步开始，我们阐述由第3步中某一侧图像拼接流程。这种方法应用于全部三个部分。
第四步：利用自适应SIFT算法，计算相邻两张唇(颊)侧图像(分别标记为第i张和第i+1张)的特征点坐标及其对应描述子。并根据这些信息进行特征点匹配。匹配的原则是，计算每一个特征点与其它特征点之间在描述子对应向量的欧式距离，选择距离最小的一个作为匹配的特征点。此外，当匹配完毕，还需要筛除同一张唇(颊)侧图像中空间位置靠的比较近的特征点匹配对。这一过程通过设定距离阈值来完成，通常为8个像素。
第五步：在两张唇(颊)侧图像之间，根据其特征点的匹配情况，利用局部(两张图间)光束平差法进行图像变换参数的计算(透视变换参数)。具体可以分成两个步骤：第一、利用RANSAC算法获取一个粗匹配参数，与此同时获得这个参数对应的具有相似几何一致性的特征点集；第二、根据这些筛选出来的点，利用光束平差法完成两张图像间的精匹配过程。
第六步：根据第五步计算得到的匹配信息(表现为变换矩阵)，计算相邻图像的轴向旋转角度，并进行累积，累计得到的角度为θ。
第七步：当θ小于这个部分(左颊侧，唇侧和右颊侧)对应的角度阈值，则执行第8，9步；否则中止算法，并输出这一部分的全景图。
第八步：利用第四步得到的匹配参数对两张唇(颊)侧图像进行拼接。拼接的流程是：首先，生成与图像尺寸等大的拼接模版，模版中每个像素的大小由这个像素的位置距离中心位置的距离决定；其次，将第i+1张图及其对应的模版按照第四步中得到的变换参数映射到将i张图及其对应的坐标空间中；比较两幅模版中每个像素的数值大小，保留大的那一个。最后，按照模版的数值对唇(颊)侧图像中像素进行加权求和，得到到将i张和到将i+1张的全景图Mi，i+1。
第九步：对第i+1和i+2张图重复以上第4－7步。将i+2张图映射到全景图Mi，i+1中，并进行粘合，获得到全景图Mi，i+2，重复这一过程获得所有图像的全景图。
本发明提出的基于口腔全景图像的牙检报告生成方法能有效简化唇(颊)侧拍摄的过程，让患者在家中可以完成唇(颊)侧全景图像的拍摄和拼接。这简化了获得唇(颊)侧全景图的获取成本，同时也提高了牙医的诊断效率。
以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (5)

1.基于局部优化算法的牙齿唇颊侧全景图像拼接方法，其特征在于按照以下步骤进行：
1)唇颊侧的全景图像由微距摄像头进行采集，摄像头固定在预设于唇颊侧上方的轨道上，拍摄时摄像头沿轨道滑动，在拍摄过程中，摄像头光轴与牙齿唇颊侧所在平面所成角度保持近似稳定；
2)所获取的牙齿唇颊侧视频按照其帧率保存为离散图片，在平面直角坐标系和平面极坐标系中对离散图片进行筛选；
3)基于陀螺仪信息，按照旋转角度，将拍摄图像按照拍摄时间轴大致分为三个部分：左颊侧，唇侧和右颊侧；
4)分别对于左颊侧，唇侧和右颊侧，计算相邻两张唇颊侧图像的特征点坐标，及其对应描述子，并根据这些信息进行特征点匹配，匹配过程中，利用特征点坐标信息剔除靠的过近的匹配特征点对；
5)在两张唇颊侧图像之间，根据其特征点的匹配情况，利用局部光束平差法进行图像变换参数的计算；
6)由步骤5)得到的参数中，计算图像间轴向旋转的角度，并进行累计，累积得到的角度记为θ；
7)当θ小于左颊侧、唇侧或右颊侧对应的角度阈值，则执行步骤8)和9)；否则中止算法，并输出这一部分的全景图；
8)将得到得到两张牙齿唇颊侧图像按照计算得到的变换参数拼接为一张图像；
9)以得到的这张局部唇颊侧为基础，重复步骤4)至7)，依次将后续图像拼接到局部图上，直到所有图像都完成拼接，最后形成牙齿唇颊侧的全景图。
2.按照权利要求1所述基于局部优化算法的牙齿唇颊侧全景图像拼接方法，其特征在于：所述步骤2)中筛选原则是设立关联性阈值，删除关联度高于所设关联性阈值的图像。
3.按照权利要求1所述基于局部优化算法的牙齿唇颊侧全景图像拼接方法，其特征在于：所述步骤5)中局部是指相邻两张图间。
4.按照权利要求2所述基于局部优化算法的牙齿唇颊侧全景图像拼接方法，其特征在于：所述关联性阈值选取通过以下过程实现:a.给定一组连续拍摄咬合面图像，任意选择某一图片作为基准图片，计算相邻图像与它的关联值大小；b.从按照关联值的大小，由高到低将对应的图像与基准图像两两拼接，直到拼接图像发生明显畸变或错误为止，这时对应的关联值标记为待选阈值；c.重复以上过程若干次，得到若干个待选阈值，选择最大值作为算法的阈值。
5.按照权利要求2所述基于局部优化算法的牙齿唇颊侧全景图像拼接方法，其特征在于：所述步骤7)中角度阈值选取通过以下过程标定:a.事先选取一个牙齿模型目标，摄像头固定于模型之外，视场正对牙齿模型外表面；b.分别对牙齿模型的三侧：左颊侧、唇侧、右颊侧，各拍摄一组图像，并记录下拍摄时摄像机转动的角度；c.对其中一组图像顺序拼接，直到拼接图像发生明显畸变或错误为止，这时对应的相机转过的角度值为这种情况下的角度阈值。
CN201810435287.9A 2018-05-08 2018-05-08 基于局部优化算法的牙齿唇颊侧全景图像拼接方法 Pending CN108615223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810435287.9A CN108615223A (zh) 2018-05-08 2018-05-08 基于局部优化算法的牙齿唇颊侧全景图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810435287.9A CN108615223A (zh) 2018-05-08 2018-05-08 基于局部优化算法的牙齿唇颊侧全景图像拼接方法

Publications (1)

Publication Number Publication Date
CN108615223A true CN108615223A (zh) 2018-10-02

Family

ID=63662281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810435287.9A Pending CN108615223A (zh) 2018-05-08 2018-05-08 基于局部优化算法的牙齿唇颊侧全景图像拼接方法

Country Status (1)

Country Link
CN (1) CN108615223A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626991A (zh) * 2022-05-13 2022-06-14 深圳思谋信息科技有限公司 图像拼接方法、装置、设备、介质和计算机程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420898A (zh) * 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US20130286174A1 (en) * 2011-01-11 2013-10-31 Kabushiki Kaisya Advance Intraoral video camera and display system
CN104574421A (zh) * 2015-01-29 2015-04-29 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CN104966270A (zh) * 2015-06-26 2015-10-07 浙江大学 一种多图像拼接方法
CN106530214A (zh) * 2016-10-21 2017-03-22 微景天下（北京）科技有限公司 图像拼接***和图像拼接方法
US20170195570A1 (en) * 2015-01-19 2017-07-06 Ricoh Company, Ltd. Preview Image Acquisition User Interface for Linear Panoramic Image Stitching
CN107682621A (zh) * 2017-09-06 2018-02-09 深圳天珑无线科技有限公司 旋转拍照方法、装置、移动终端及计算机可读存储介质
CN107798656A (zh) * 2017-11-09 2018-03-13 南京齿贝犀科技有限公司 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286174A1 (en) * 2011-01-11 2013-10-31 Kabushiki Kaisya Advance Intraoral video camera and display system
CN102420898A (zh) * 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US20170195570A1 (en) * 2015-01-19 2017-07-06 Ricoh Company, Ltd. Preview Image Acquisition User Interface for Linear Panoramic Image Stitching
CN104574421A (zh) * 2015-01-29 2015-04-29 北方工业大学 一种大幅面小重合区域高精度多光谱图像配准方法及装置
CN104966270A (zh) * 2015-06-26 2015-10-07 浙江大学 一种多图像拼接方法
CN106530214A (zh) * 2016-10-21 2017-03-22 微景天下（北京）科技有限公司 图像拼接***和图像拼接方法
CN107682621A (zh) * 2017-09-06 2018-02-09 深圳天珑无线科技有限公司 旋转拍照方法、装置、移动终端及计算机可读存储介质
CN107798656A (zh) * 2017-11-09 2018-03-13 南京齿贝犀科技有限公司 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626991A (zh) * 2022-05-13 2022-06-14 深圳思谋信息科技有限公司 图像拼接方法、装置、设备、介质和计算机程序产品

Similar Documents

Publication Publication Date Title
KR101238608B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US7024053B2 (en) Method of image processing and electronic camera
JP5739409B2 (ja) 第１の画像デバイスおよび第２の画像デバイスの相対位置を決定する方法及びこれらデバイス
CN102316247B (zh) 图像处理装置
CN107680688B (zh) 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法
JPH067289A (ja) 内視鏡画像処理装置
JPH05108819A (ja) 画像処理装置
CN103198501B (zh) 一种牙齿全景图像自动重构方法
JP2010009417A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CN104883948B (zh) 图像处理装置以及图像处理方法
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN107493427A (zh) 移动终端的对焦方法、装置和移动终端
CN107507230A (zh) 应用于全景图像的目标跟踪方法及全景相机
CN116958437A (zh) 融合注意力机制的多视图重建方法及***
D'Apuzzo Surface measurement and tracking of human body parts from multi station video sequences
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN107798656A (zh) 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法
CN108597004A (zh) 基于局部优化算法的牙齿咬合面全景图像拼接方法
CN108615223A (zh) 基于局部优化算法的牙齿唇颊侧全景图像拼接方法
CN110035687B (zh) 对使用胶囊相机所撷取的图像进行图像拼接的方法及装置
JP7179837B2 (ja) 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
CN112633113A (zh) 跨摄像头的人脸活体检测方法及***
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002

RJ01 Rejection of invention patent application after publication