CN113645893B - 扫描引导提供方法及用于其的图像处理装置 - Google Patents

扫描引导提供方法及用于其的图像处理装置 Download PDF

Info

Publication number
CN113645893B
CN113645893B CN202080026083.5A CN202080026083A CN113645893B CN 113645893 B CN113645893 B CN 113645893B CN 202080026083 A CN202080026083 A CN 202080026083A CN 113645893 B CN113645893 B CN 113645893B
Authority
CN
China
Prior art keywords
scan
user
path
scanning
guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080026083.5A
Other languages
English (en)
Other versions
CN113645893A (zh
Inventor
金偰豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osstem Implant Co Ltd
Original Assignee
Osstem Implant Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osstem Implant Co Ltd filed Critical Osstem Implant Co Ltd
Publication of CN113645893A publication Critical patent/CN113645893A/zh
Application granted granted Critical
Publication of CN113645893B publication Critical patent/CN113645893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Signal Processing (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开扫描引导提供方法及用于其的图像处理装置。一实施例的扫描引导提供方法包括：将提供口腔扫描仪的扫描策略的引导扫描路径显示于扫描画面的步骤；根据引导扫描路径，跟踪通过口腔扫描仪实际扫描的用户扫描路径的步骤；以及与引导扫描路径一同显示跟踪到的用户扫描路径的步骤。

Description

扫描引导提供方法及用于其的图像处理装置
技术领域
本发明涉及口腔扫描仪及用于扫描的图像处理技术。
背景技术
可提供用于通过口腔扫描仪准确地拍摄牙齿的扫描引导。但是，这种扫描引导通过单独的文件或网页提供。因而若用户不看产品说明书，则有可能无法知道扫描引导是否存在。并且，即使知道扫描引导，也无法确认本人是否按照扫描引导正常拍摄。
发明内容
技术问题
根据一实施例，提出通过扫描画面提供扫描引导，可确认用户是否按照扫描引导拍摄的扫描引导提供方法及用于其的图像处理装置。
技术方案
一实施例的扫描引导提供方法包括：将提供口腔扫描仪的扫描策略的引导扫描路径显示于扫描画面的步骤；根据引导扫描路径，跟踪通过口腔扫描仪实际扫描的用户扫描路径的步骤；与引导扫描路径一同显示跟踪到的用户扫描路径的步骤。
在将引导扫描路径显示于扫描画面的步骤中，可将根据口腔扫描仪的不同制造商预先设定的引导扫描路径显示于画面。
在将引导扫描路径显示于扫描画面的步骤中，可通过用户操作旋转引导扫描路径，或将引导扫描路径移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示于画面。
在将引导扫描路径显示于扫描画面的步骤中，可与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示于画面。
跟踪用户扫描路径的步骤可包括：重建通过口腔扫描仪的扫描得到的2D图像来生成深度图像的步骤；将构成深度图像的各个对象的中心点或主点相连接的步骤；检测从各个对象的中心点或主点到3D对象的表面位置的交叉地点，将检测到的交叉地点相连接来生成用户扫描路径的步骤。此时，跟踪用户扫描路径的步骤还可包括将从检测到的交叉地点隔着预先设定的距离形成的地点相连接来校正用户扫描路径的步骤。
在跟踪用户扫描路径的步骤中，可将通过口腔扫描仪的扫描得到的3D图像的各个对象的中心点相连接来生成用户扫描路径。
在与引导扫描路径一同显示的步骤中，可使跟踪到的用户扫描路径的比例与引导扫描路径的比例相一致之后，将用户扫描路径匹配于引导扫描路径来显示。
扫描引导提供方法还可包括在通过口腔扫描仪实际扫描的图像数据中显示用户扫描路径的步骤。
扫描引导提供方法还可包括：提供用于是否显示或未显示扫描引导的用户设定的用户接口的步骤；提供用于扫描引导的透明度的用户设定的用户接口的步骤。
扫描引导提供方法还可包括：比较分析用户扫描路径和引导扫描路径的步骤；提供比较分析结果及根据比较分析结果产生的警告信号中的至少一种的步骤。
另一实施例的图像处理装置包括：数据获取部，从口腔扫描仪中获取扫描用户的口腔内部或口腔模型的图像数据；输出部，将从口腔扫描仪中获取到的图像数据和提供口腔扫描仪的扫描策略的引导扫描路径显示于画面；控制部，接收通过数据获取部获取到的图像数据来进行图像处理，向输出部提供引导扫描路径。
输出部可通过用户操作旋转引导扫描路径，或可将引导扫描路径移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示于画面。
输出部可与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示于画面。
输出部可将用于是否显示或未显示扫描引导的用户设定的用户接口和用于扫描引导的透明度的用户设定的用户接口显示于画面。
控制部可根据引导扫描路径跟踪通过口腔扫描仪实际扫描的用户扫描路径，将跟踪到的用户扫描路径匹配于引导扫描路径来构成画面，输出部可与引导扫描路径一同将用户扫描路径显示于画面。
控制部可重建通过口腔扫描仪的扫描得到的2D图像来生成深度图像，控制部可将构成深度图像的各个对象的中心点或主点相连接，控制部可检测从各个对象的中心点或主点到3D对象的表面位置的交叉地点，将检测到的交叉地点相连接来生成用户扫描路径。此时，控制部可将从检测到的交叉地点隔着预先设定的距离形成的地点相连接来校正用户扫描路径。
控制部可将通过口腔扫描仪的扫描得到的3D图像的各个对象的中心点相连接来生成用户扫描路径。控制部可使跟踪到的用户扫描路径的比例与引导扫描路径的比例相一致之后，将用户扫描路径匹配于引导扫描路径。
输出部可在通过口腔扫描仪实际扫描的图像数据中显示用户扫描路径。控制部可比较分析用户扫描路径和引导扫描路径，提供比较分析的结果及根据比较分析的结果产生的警告信号中的至少一种。
发明效果
根据一实施例的扫描引导提供方法及用于其的图像处理装置，通过提供在扫描程序的扫描画面中提供利用口腔扫描仪的扫描策略的扫描引导，用户可通过程序确认引导扫描路径。
并且，通过在引导扫描路径中与拍摄中的图像数据一同显示跟踪实时扫描方向的用户扫描路径，可确认本人是否按照引导扫描路径正常拍摄。由此，可获取更准确的扫描图像数据。进而，还可适用于通过口腔扫描仪的扫描训练。
附图说明
图1为表示本发明一实施例的图像处理装置的结构的图。
图2及图3为表示本发明一实施例的扫描引导画面的配置及设定画面的图。
图4及图5为表示本发明多种实施例的扫描引导开/关功能的图。
图6为表示跟踪本发明一实施例的用户扫描路径的画面的图。
图7为表示用于说明用于跟踪本发明一实施例的用户扫描路径的算法的程序画面的图。
图8为表示比较本发明一实施例的跟踪的用户扫描路径和引导扫描路径来输出的扫描画面的图。
图9为表示每个用户的用户扫描路径和引导扫描路径不匹配的图。
图10为表示使本发明一实施例的用户扫描路径和引导扫描路径相匹配的画面的图。
图11为表示比较示出本发明一实施例的用户扫描路径和引导扫描路径的画面的图。
图12为表示本发明一实施例的扫描引导提供方法的流程的图。
具体实施方式
参照与附图一同详细后述的多个实施例，使本发明的优点及特征以及实现这些的方法变得明确。
但是，本发明不局限于以下公开的多个实施例，能够以互不相同的多种形态实现，只是，本实施例使本发明的公开内容变得完整，用于使本发明所属技术领域的普通技术人员完整地理解发明的范畴，本发明仅根据发明要求保护范围的范畴定义。在说明书全文中，相同的附图标记指相同的结构要素。
在说明本发明的多个实施例的过程中，当判断公知功能或结构的具体说明有可能不必要地混淆本发明的要指时，省略其详细说明，后述的多个术语为考虑本发明的实施例中的功能而定义的术语，其可根据用户、操作人员的意图或惯例等不同。因而其定义应基于本说明书全文内容进行。
所附的框图的各个框和流程图的各个步骤的多个组合还可利用多个计算机程序指令(执行引擎)执行，这些计算机程序指令可搭载于通用计算机、专用计算机或其他可程序的数据处理装置的处理器，因而通过计算机或其他可程序的数据处理装置的处理器执行的其指令生成执行框图的各个框或流程图的各个步骤中说明的功能的手段。
这些计算机程序指令为了以特定方式实现功能，还可存储于计算机或可指向其他可程序的数据处理装置的计算机可利用或计算机可读存储器，因而存储于该计算机可利用或计算机可读存储器的多个指令还可生产包含执行在框图的各个框或流程图的各个步骤中说明的功能的指令手段的制造品目。
并且，多个计算机程序指令还可搭载于计算机或其他可程序的数据处理装置上，因而在计算机或其他可程序的数据处理装置上执行一系列的多个动作步骤而生成以计算机执行的工序执行计算机或其他可程序的数据处理装置的多个指令还可提供用于执行在框图的各个框及流程图的各个步骤中说明的多个功能的多个步骤。
并且，各个框或各个步骤可表示包括用于执行多个特定逻辑功能的一个以上的可执行的多个指令的模块、段或代码的一部分，需要注意的是，在几种替代实施例中，在多个框或多个步骤中提及的多个功能还可脱离顺序而产生。例如，连着示出的两个框或步骤实际上还可同时执行，并且，该框或步骤还可根据需要按相应功能的逆序执行。
以下，参照附图，详细说明本发明的实施例。但是，以下例示的本发明的实施例能够以多种不同的形态变形，本发明的范围不局限于以下详细说明的实施例。
本发明的实施例用于使本发明所属技术领域的普通技术人员更加完整地理解本发明。
图1为表示本发明一实施例的图像处理装置的结构的图。
图像处理装置1为可执行图像处理程序的电子装置。一实施例的图像处理程序对通过口腔扫描仪获取到的图像数据进行图像处理，引导用于通过口腔扫描仪准确地拍摄牙齿的扫描策略。电子装置有电脑、笔记本电脑、手提电脑、平板(Tablet)电脑、智能手机、手机、个人媒体播放器(PMP：Personal Media Player)、个人数字助理(PDA：PersonalDigital Assistants)等。图像处理程序有扫描程序、CAD程序等。并且，除了口腔扫描之外，可适用于用于其他常规的医疗图像处理的程序。进而，可使用于利用口腔扫描仪的扫描训练。
口腔扫描仪扫描用户的口腔内部来获取口腔内部的图像数据。图像处理装置1从口腔扫描仪中通过数据获取部10接收图像数据，利用控制部14对口腔扫描仪获取到的图像数据进行处理。并且，引导用于通过口腔扫描仪准确地拍摄牙齿的扫描策略。口腔扫描仪可驱动内部照明的光源来输出光之后，可通过沿着光路径向外部照射的光照亮用户的口腔内部或口腔模型。那么从口腔内部或口腔模型中反射的光重新沿着光路径到达口腔扫描仪的图像传感器，由此可获取口腔内部或口腔模型的图像数据。
以下，参照图1的结构，对具有上述特征的图像处理装置的结构进行后述。
参照图1，一实施例的图像处理装置1包括数据获取部10、存储部12、控制部14、输入部16及输出部18。
数据获取部10获取通过口腔扫描仪拍摄的图像数据。口腔扫描仪可以为扫描模仿患者的口腔生成的石膏模型的3D扫描仪(3D Scanner)，或扫描患者的口腔内部的口腔内3D扫描仪(3D Intra-oral scanner)。获取到的图像数据可存储于存储部12。在存储部12中存储执行图像处理装置1的动作所需的信息和根据执行动作生成的信息，从而当控制部14请求时，提供信息。
控制部14从口腔扫描仪中接收通过数据获取部10获取到的图像数据来进行图像处理，引导用于通过口腔扫描仪准确地拍摄牙齿的扫描策略。例如，将提供口腔扫描仪的扫描策略的引导扫描路径显示于引导画面。引导扫描路径可根据口腔扫描仪的不同制造商预先被设定。此时，并不通过单独的文件或网页提供引导扫描路径，而是通过显示于图像处理程序的画面，用户可一边在画面中确认引导扫描路径一边确认本人是否按照引导正常拍摄。
一实施例的控制部14跟踪用户扫描路径来向输出部18提供。用户扫描路径为当用户根据引导扫描路径通过口腔扫描仪开始扫描时实际实时扫描的路径。控制部14跟踪用户扫描路径，使跟踪到的用户扫描路径匹配于引导扫描路径来构成扫描引导画面。此时，输出部18可与引导扫描路径一同将用户扫描路径显示于扫描引导画面。例如，在牙齿模型数据上，引导扫描路径和用户扫描路径相重叠而显示。
作为用户扫描路径跟踪方法的例，控制部14重建通过口腔扫描仪的扫描得到的2D图像来生成深度图像(depth image)，将构成深度图像的各个对象的中心点或主点相连接。
接着，检测从各个对象的中心点或主点到3D对象的表面位置的交叉地点，将检测到的交叉地点相连接来生成用户扫描路径。
进而，可将从检测到的交叉地点隔着预先设定的距离形成的地点相连接来校正用户扫描路径。参照图7，对与其相关的实施例进行后述。作为另一例，控制部14可将通过口腔扫描仪的扫描得到的3D图像的各个对象的中心点相连接来生成用户扫描路径。
用于同时显示用户扫描路径和引导扫描路径的图像处理，例如，控制部14使跟踪到的用户扫描路径的比例和引导扫描路径的比例相一致之后，将用户扫描路径匹配于引导扫描路径。参照图9及图10，对与其相关的实施例进行后述。控制部14可比较分析用户扫描路径和引导扫描路径，提供比较分析结果及根据比较分析结果生成的警告信号中的至少一种。例如，当用户扫描路径脱离引导扫描路径很多时，可产生警告信号来使用户将其识别。
输出部18可多样地显示扫描引导画面。例如，输出部18可通过用户操作旋转引导扫描路径，或将引导扫描路径移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示于扫描引导画面。并且，输出部18可与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示于扫描引导画面。作为再一例，输出部18可将用于是否显示或未显示扫描引导的用户设定的用户接口显示于画面，通过输入部16由用户设定是否显示或未显示扫描引导。作为另一例，可将用于扫描引导的透明度的用户设定的用户接口显示于画面，通过输入部16由用户设定扫描引导的透明度与否。输出部18可在通过口腔扫描仪实际扫描的图像数据中实时显示用户扫描路径。输入部16通过图像处理程序接收各种用户指令。
图2及图3为表示本发明一实施例的扫描引导画面的配置及设定画面的图，更详细地，图2为表示二维扫描引导画面的图，图3为表示三维扫描引导画面的图。
参照图2及图3，扫描程序通过扫描引导画面2显示提供扫描策略的引导扫描路径200，以便于在用户开始扫描之前及扫描过程中用户可通过口腔扫描仪准确地拍摄牙齿。此时，引导扫描路径200在规定的牙齿模型数据中显示路径。通过引导扫描路径200提供的扫描策略包括扫描起点、扫描方向及扫描顺序等。引导扫描路径200能够以2D或3D图像提供，还能够以动画形态提供。用户根据引导扫描路径200进行扫描。
扫描引导画面2基本可配置于扫描程序的四个边角中的一处。用户可将扫描引导画面2移动到所需的位置。例如，利用拖动及保持(Drag and Hold)功能使扫描引导画面2的位置自由移动。
如图2所示，2D扫描引导画面2以顶视图(top view)为基本，还可转换为其他视点(view)而显示。如图3所示，3D扫描引导画面2的引导扫描路径200在图上可通过用户输入旋转，或移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示。并且，3D扫描引导画面2可与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示。
图4及图5为表示本发明的多种实施例的扫描引导开/关功能的图。
参照图4及图5，用户有可能不需要在扫描程序中显示扫描引导画面2。这种情况下，如图4所示，可通过单独的选项菜单500的设定窗口510对扫描引导画面进行开/关。作为另一例，如图5所示，可在扫描画面上提供可实时处理开/关功能的用户接口，例如包括复选框形态的按钮的设定窗口600来使用户对扫描引导画面进行开/关。进而，可将用于扫描引导画面2的引导扫描路径200的透明度的用户设定的用户接口显示于画面，由用户设定扫描引导的透明度。其属于用户虽希望看到引导扫描路径200，但还想鲜明地看见牙齿模型的情况，可通过调节透明度将其实现。
图6为表示跟踪本发明一实施例的用户扫描路径的画面的图。
参照图6，可一边扫描一边实时跟踪用户拍摄的扫描路径来将其显示于扫描引导画面2，可显示于实际扫描的图像数据。
图7为表示用于说明用于跟踪本发明一实施例的用户扫描路径的算法的程序画面的图。
参照图1及图7，图像处理装置1可使用选择图像中心跟踪路径的方法跟踪用户扫描路径来显示于画面。例如，如图7所示，连接深度图像810的中心点。深度图像810为具有高度(Z值)的图像，对于2D图像可基于多种重建(Reconstruction)算法得到。3D对象可使用深度图像810来得到。当口腔扫描仪摄像机的分辨率为640*480时，具有重叠的区域的各个深度图像剪切(CUT)具有640*480的尺寸。依次连接作为重建之后得到的各个深度图像的剪切的中心(或主点)的320*240地点821、822、823、824、830。接着，为了3D上的表现，在剪切的中心点821、822、823、824检索到3D对象的表面位置的交叉地点840，通过依次连接检索到的交叉地点，生成用户扫描路径850。此时，根据检测到的点的位置，当连接交叉地点时，可产生穿过对象的情况(例如，交叉地点连接图1、2的用户扫描路径850)。因此，可隔着预先设定的距离，例如，5mm的距离校正用户扫描路径(例如，交叉地点连接图1的860)。在图7的例示中，一同显示多个点(point)，但当实际实现程序时，可不输出点，而仅输出线。
图8为表示比较本发明一实施例的跟踪的用户扫描路径和引导扫描路径来输出的扫描画面的图。
参照图1及图8，图像处理装置1在扫描引导画面2的牙齿模型数据中一同显示用户扫描路径210和引导扫描路径200。此时，通过用户扫描路径210和引导扫描路径200相重叠而显示，用户可一边比较用户扫描路径210和引导扫描路径200一边实时确认自己是否准确地扫描。
一实施例的图像处理装置1可比较分析用户扫描路径210和引导扫描路径200来向用户提供比较分析结果。例如，计算以牙齿模型数据的规定的地点为基准匹配的用户扫描路径210的地点和引导扫描路径200的地点之间的距离来显示计算出的距离。进而，图像处理装置1可输出比较分析结果相关警告信号。例如，当计算出的距离为预先设定的距离以上时，判断扫描异常，将其警告给用户。警告信号可使用警报、弹出菜单显示等常规的通知技术。
图9为表示每个用户的用户扫描路径和引导扫描路径不匹配的图。
参照图9，每个人全弓(fullarch)的大小、个别牙齿大小及牙齿排列等不同，因而扫描路径的比例可不同。例如，如图9所示，形成于成人的全弓牙齿的用户扫描路径的比例和形成于幼儿的全弓牙齿(大小小于成人全弓牙齿)的用户扫描路径的比例不同，因此与引导扫描路径不一致。因此，需要使比例一致化的工作。
图10为表示使本发明一实施例的用户扫描路径和引导扫描路径相匹配的画面的图。
参照图1及图10，为了参照图9解决上述比例不一致问题，假设用户在与引导扫描路径中提出的起点相同的位置开始扫描。一实施例的图像处理装置1为了比例一致以使用户扫描路径的纵横长度和比率与引导扫描路径相一致的形态调节比例。例如，使形成于成人的全弓牙齿的用户扫描路径的比例缩小(Scale Down)来生成缩小的用户扫描路径。使形成于幼儿的全弓牙齿的用户扫描路径的比例放大(Scale Up)来生成放大的用户扫描路径。随着通过用户扫描路径的比例放大/缩小加工生成的用户扫描路径210的比例与引导扫描路径200相一致，可在扫描引导画面2内进行匹配。
图11为表示比较示出本发明一实施例的用户扫描路径和引导扫描路径的画面的图。
参照图1及图11，图像处理装置1将用于扫描的引导扫描路径200显示于引导扫描画面2((a)部分)，当用户根据引导扫描路径200开始扫描时，与引导扫描画面2的引导扫描路径200一同显示根据扫描生成的用户扫描路径210((b)、(c)部分)。图11的(b)部分表示用户根据引导扫描路径200正常拍摄的情况，图11的(c)部分表示用户扫描路径210脱离引导扫描路径200很多的情况。
图12为表示本发明一实施例的扫描引导提供方法的流程的图。
参照图1及图12，图像处理装置1将提供口腔扫描仪的扫描策略的引导扫描路径显示于扫描画面(S1210)。在将引导扫描路径显示于扫描画面的步骤(S1210)中，图像处理装置1可将口腔扫描仪的不同制造商预先设定的引导扫描路径显示于画面。图像处理装置1可通过用户操作旋转引导扫描路径，或将引导扫描路径移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示于画面。作为另一例，图像处理装置1可与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示于画面。进而，图像处理装置1可向画面提供用于是否显示或未显示扫描引导的用户设定的用户接口、用于扫描引导的透明度的用户设定的用户接口等。
接着，当开始扫描(步骤S1220)时，图像处理装置1根据引导扫描路径跟踪通过口腔扫描仪实际扫描的用户扫描路径(步骤S1230)。
在用户扫描路径跟踪步骤(S1230)中，一实施例的图像处理装置1利用图像中心或主点来跟踪用户扫描路径。例如，图像处理装置1重建通过口腔扫描仪的扫描得到的2D图像来生成深度图像，将构成深度图像的各个对象的中心点或主点相连接。接着，检测从各个对象的中心点或主点到3D对象的表面位置的交叉地点，将检测到的交叉地点相连接来生成用户扫描路径。此时，可将从检测到的交叉地点隔着预先设定的距离形成的地点相连接来校正用户扫描路径。作为另一例，图像处理装置1可将通过口腔扫描仪的扫描得到的3D图像的各个对象的中心点相连接来生成用户扫描路径。
接着，图像处理装置1与引导扫描路径一同显示跟踪到的用户扫描路径(步骤S1240)。在与引导扫描路径一同显示的步骤(S1240)中，一实施例的图像处理装置1通过图像处理使用户扫描路径的比例与引导扫描路径的比例相一致之后，将用户扫描路径匹配于引导扫描路径来显示。图像处理装置1可在通过口腔扫描仪实际扫描的图像数据中显示用户扫描路径。
进而，图像处理装置1可比较分析用户扫描路径和引导扫描路径，提供比较分析结果及警告信号中的至少一种。
以上，以实施例为中心察看本发明。本发明所属技术领域的普通技术人员应当理解本发明在不脱离本发明的本质特性的范围内能够以变形的形态实现。因而公开的多个实施例应当从说明观点考虑，而不是限定性观点。本发明的范围示于专利发明要求保护范围中，而不是上述的说明，应解释为与其等同的范围内的所有差异包括在本发明中。

Claims (17)

1.一种扫描引导提供方法，其特征在于，包括如下步骤：
将提供口腔扫描仪的扫描策略的引导扫描路径显示于扫描画面；
根据引导扫描路径，跟踪通过口腔扫描仪实际扫描的用户扫描路径；以及
与引导扫描路径一同显示跟踪到的用户扫描路径，
其中，跟踪用户扫描路径的步骤包括如下步骤：
重建通过口腔扫描仪的扫描得到的2D图像来生成深度图像；
将构成深度图像的各个对象的中心点或主点相连接；以及
检测从各个对象的中心点或主点到3D对象的表面位置的交叉地点，将检测到的交叉地点相连接来生成用户扫描路径。
2.根据权利要求1所述的扫描引导提供方法，其特征在于，在将引导扫描路径显示于扫描画面的步骤中，将根据口腔扫描仪的不同制造商预先设定的引导扫描路径显示于画面。
3.根据权利要求1所述的扫描引导提供方法，其特征在于，在将引导扫描路径显示于扫描画面的步骤中，通过用户操作旋转引导扫描路径，或将引导扫描路径移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示于画面。
4.根据权利要求1所述的扫描引导提供方法，其特征在于，在将引导扫描路径显示于扫描画面的步骤中，与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示于画面。
5.根据权利要求1所述的扫描引导提供方法，其特征在于，跟踪用户扫描路径的步骤还包括将从检测到的交叉地点隔着预先设定的距离形成的地点相连接来校正用户扫描路径的步骤。
6.根据权利要求1所述的扫描引导提供方法，其特征在于，在与引导扫描路径一同显示的步骤中，使跟踪到的用户扫描路径的比例与引导扫描路径的比例相一致之后，将用户扫描路径匹配于引导扫描路径来显示。
7.根据权利要求1所述的扫描引导提供方法，其特征在于，还包括在通过口腔扫描仪实际扫描的图像数据中显示用户扫描路径的步骤。
8.根据权利要求1所述的扫描引导提供方法，其特征在于，还包括如下步骤：
提供用于是否显示或未显示扫描引导的用户设定的用户接口；以及
提供用于扫描引导的透明度的用户设定的用户接口。
9.根据权利要求1所述的扫描引导提供方法，其特征在于，还包括如下步骤：
比较分析用户扫描路径和引导扫描路径；以及
提供比较分析的结果及根据比较分析的结果产生的警告信号中的至少一种。
10.一种图像处理装置，其特征在于，包括：
数据获取部，从口腔扫描仪中获取扫描用户的口腔内部或口腔模型的图像数据；
输出部，将从口腔扫描仪中获取到的图像数据和提供口腔扫描仪的扫描策略的引导扫描路径显示于画面；以及
控制部，接收通过数据获取部获取到的图像数据来进行图像处理，向输出部提供引导扫描路径，
其中，控制部根据引导扫描路径跟踪通过口腔扫描仪实际扫描的用户扫描路径，将跟踪到的用户扫描路径匹配于引导扫描路径来构成画面，
输出部与引导扫描路径一同将用户扫描路径显示于画面，
控制部重建通过口腔扫描仪的扫描得到的2D图像来生成深度图像，
控制部将构成深度图像的各个对象的中心点或主点相连接，
控制部检测从各个对象的中心点或主点到3D对象的表面位置的交叉地点，将检测到的交叉地点相连接来生成用户扫描路径。
11.根据权利要求10所述的图像处理装置，其特征在于，输出部通过用户操作旋转引导扫描路径，或将引导扫描路径移动到与通过口腔扫描仪实际拍摄的位置相同的视点来显示于画面。
12.根据权利要求10所述的图像处理装置，其特征在于，输出部与通过口腔扫描仪实际拍摄的位置同步化地实时旋转引导扫描路径来显示于画面。
13.根据权利要求10所述的图像处理装置，其特征在于，输出部将用于是否显示或未显示扫描引导的用户设定的用户接口和用于扫描引导的透明度的用户设定的用户接口显示于画面。
14.根据权利要求10所述的图像处理装置，其特征在于，控制部将从检测到的交叉地点隔着预先设定的距离形成的地点相连接来校正用户扫描路径。
15.根据权利要求10所述的图像处理装置，其特征在于，控制部使跟踪到的用户扫描路径的比例与引导扫描路径的比例相一致之后，将用户扫描路径匹配于引导扫描路径。
16.根据权利要求10所述的图像处理装置，其特征在于，输出部在通过口腔扫描仪实际扫描的图像数据中显示用户扫描路径。
17.根据权利要求10所述的图像处理装置，其特征在于，控制部比较分析用户扫描路径和引导扫描路径，提供比较分析的结果及根据比较分析的结果产生的警告信号中的至少一种。
CN202080026083.5A 2019-03-29 2020-03-03 扫描引导提供方法及用于其的图像处理装置 Active CN113645893B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0036899 2019-03-29
KR1020190036899A KR102236360B1 (ko) 2019-03-29 2019-03-29 스캔 가이드 제공 방법 이를 위한 영상 처리장치
PCT/KR2020/003024 WO2020204366A2 (ko) 2019-03-29 2020-03-03 스캔 가이드 제공 방법 이를 위한 영상 처리장치

Publications (2)

Publication Number Publication Date
CN113645893A CN113645893A (zh) 2021-11-12
CN113645893B true CN113645893B (zh) 2024-05-24

Family

ID=72667189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026083.5A Active CN113645893B (zh) 2019-03-29 2020-03-03 扫描引导提供方法及用于其的图像处理装置

Country Status (6)

Country Link
US (1) US12004921B2 (zh)
EP (1) EP3925569B1 (zh)
KR (1) KR102236360B1 (zh)
CN (1) CN113645893B (zh)
ES (1) ES2967991T3 (zh)
WO (1) WO2020204366A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
FR3139002A1 (fr) * 2022-08-31 2024-03-01 Dental Monitoring Procédé d’acquisition d’un ensemble d’images d’un objet buccal

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306403A (ja) * 2001-04-18 2002-10-22 Olympus Optical Co Ltd 内視鏡装置
CN101822526A (zh) * 2009-01-28 2010-09-08 松下电器产业株式会社 口腔内测定装置和口腔内测定***
CN102429740A (zh) * 2010-09-10 2012-05-02 三维光子国际公司 用于处理和显示口腔测量数据的***和方法
CN106061357A (zh) * 2014-05-28 2016-10-26 奥林巴斯株式会社 光扫描型观察装置和光扫描型观察装置的工作方法
CN107708523A (zh) * 2015-05-19 2018-02-16 泰拓卡尔有限公司 用于咽喉成像的***和方法
CN108309493A (zh) * 2018-02-12 2018-07-24 苏州佳世达光电有限公司 口腔扫描仪控制方法及口腔扫描设备
CN108333746A (zh) * 2017-01-19 2018-07-27 株式会社日立制作所 光扫描装置、影像装置和距离测量装置
CN109431442A (zh) * 2018-10-08 2019-03-08 苏州佳世达光电有限公司 口腔扫描装置及其***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105248A (ja) 1996-01-12 1998-01-13 Egawa:Kk ハンドピースの操作表示装置
ES2632937T3 (es) 2005-03-03 2017-09-18 Align Technology, Inc. Sistema y procedimiento para explorar una cavidad intraoral
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
WO2012115863A2 (en) * 2011-02-22 2012-08-30 3M Innovative Properties Company Hybrid stitching
US8948482B2 (en) * 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
DE102014207667A1 (de) * 2014-04-23 2015-10-29 Sirona Dental Systems Gmbh Verfahren zur Durchführung einer optischen dreidimensionalen Aufnahme
US9724177B2 (en) * 2014-08-19 2017-08-08 Align Technology, Inc. Viewfinder with real-time tracking for intraoral scanning
EP3689218B1 (en) 2019-01-30 2023-10-18 DENTSPLY SIRONA Inc. Method and system for guiding an intra-oral scan

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002306403A (ja) * 2001-04-18 2002-10-22 Olympus Optical Co Ltd 内視鏡装置
CN101822526A (zh) * 2009-01-28 2010-09-08 松下电器产业株式会社 口腔内测定装置和口腔内测定***
CN102429740A (zh) * 2010-09-10 2012-05-02 三维光子国际公司 用于处理和显示口腔测量数据的***和方法
CN106061357A (zh) * 2014-05-28 2016-10-26 奥林巴斯株式会社 光扫描型观察装置和光扫描型观察装置的工作方法
CN107708523A (zh) * 2015-05-19 2018-02-16 泰拓卡尔有限公司 用于咽喉成像的***和方法
CN108333746A (zh) * 2017-01-19 2018-07-27 株式会社日立制作所 光扫描装置、影像装置和距离测量装置
CN108309493A (zh) * 2018-02-12 2018-07-24 苏州佳世达光电有限公司 口腔扫描仪控制方法及口腔扫描设备
CN109431442A (zh) * 2018-10-08 2019-03-08 苏州佳世达光电有限公司 口腔扫描装置及其***

Also Published As

Publication number Publication date
ES2967991T3 (es) 2024-05-06
WO2020204366A2 (ko) 2020-10-08
KR20200114710A (ko) 2020-10-07
US12004921B2 (en) 2024-06-11
US20220160476A1 (en) 2022-05-26
CN113645893A (zh) 2021-11-12
WO2020204366A3 (ko) 2020-11-26
EP3925569A2 (en) 2021-12-22
EP3925569B1 (en) 2023-11-29
KR102236360B1 (ko) 2021-04-05
EP3925569A4 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
CN113645893B (zh) 扫描引导提供方法及用于其的图像处理装置
CN106663327B (zh) 3-d表面的自动重新拼接
US20120105682A1 (en) Image pickup apparatus generating composite image
US10839481B1 (en) Automatic marker-less alignment of digital 3D face and jaw models
KR101802917B1 (ko) 치아 움직임 추적 장치 및 그 방법
KR20150060020A (ko) 3차원 스캐너 및 이의 3차원 스캐닝 방법
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
JP2007010419A (ja) 対象物の３次元形状検証システム。
CN114373060B (zh) 行李模型生成方法与设备
US20230274438A1 (en) Intraoral image processing apparatus and intraoral image processing method
EP4159160A1 (en) Three-dimensional data acquisition method and device, and computer-readable storage medium storing program for performing same method
KR102418811B1 (ko) 삽입로 설정용 인터페이스 선택 방법 및 이를 위한 덴탈 캐드 장치
JP2021049248A (ja) 画像処理システム及びその制御方法
KR102418810B1 (ko) 마진라인 포인트 선택 방법 및 이를 위한 덴탈 캐드 장치
US20200229783A1 (en) X-ray imaging apparatus and control method thereof
EP4374819A1 (en) Image processing apparatus and image processing method
KR102542505B1 (ko) 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법
US11967081B2 (en) Information processing apparatus, non-transitory computer-readable storage medium, and information processing method
JP2021049262A (ja) 画像処理システム及びその制御方法
KR20230002038A (ko) 데이터 보완 방법 및 이를 이용한 데이터 보완 시스템
CN116763474A (zh) 在用牙科成像设备扫描期间生成牙科对象的三维表示
CN116887785A (zh) 数据处理装置及数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant