WO2021250091A1 - Procédé de segmentation automatique d'une arcade dentaire - Google Patents

Procédé de segmentation automatique d'une arcade dentaire Download PDF

Info

Publication number
WO2021250091A1
WO2021250091A1 PCT/EP2021/065454 EP2021065454W WO2021250091A1 WO 2021250091 A1 WO2021250091 A1 WO 2021250091A1 EP 2021065454 W EP2021065454 W EP 2021065454W WO 2021250091 A1 WO2021250091 A1 WO 2021250091A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
vertex
representation
virtual
image
Prior art date
Application number
PCT/EP2021/065454
Other languages
English (en)
Inventor
Olivier QUERBES
Véronique QUERBES-DURET
Original Assignee
Pearl 3D
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pearl 3D filed Critical Pearl 3D
Priority to EP21731156.2A priority Critical patent/EP4165595A1/fr
Priority to US18/009,626 priority patent/US20230206451A1/en
Publication of WO2021250091A1 publication Critical patent/WO2021250091A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods

Definitions

  • the invention relates to a method of automatically segmenting a dental arch.
  • the invention relates to a method for accurately and automatically segmenting a three-dimensional reconstruction of a dental arch, total or partial.
  • the segmentation of a dental arch allows, from a representation of the dental arch, to identify each of the teeth and the tissues of the dental arch. This segmented dental arch is used as a basis for various dental treatments (prosthetic, aesthetic, etc.).
  • the dental arch refers to a set of teeth aligned in the shape of an arc, which is carried by the bones forming the jaw: in humans, the mandible (or mandibular bone) forms the lower jaw and carries the lower dental arch. and the maxilla (or maxillary bone) forms the upper jaw and carries the upper dental arch.
  • CAD sometimes requires segmenting the dental arch, ie identifying for each part of its three-dimensional representation to which tissue it belongs.
  • the segmentation of these digital three-dimensional reconstructions is usually done manually, which is a tedious, expensive operation, and can slow down the entire digital process. creation of a prosthesis for example.
  • the invention aims to provide a method of automatic segmentation of a dental arch.
  • the invention aims in particular to provide, in at least one embodiment, a method of automatic segmentation of a dental arch that does not require manual intervention of a human operator for the segmentation.
  • the invention also aims to provide, in at least one embodiment of the invention, a method of automatic segmentation of a robust dental arch, which can be used for dental arches exhibiting defects that are far from conventional dentition.
  • the invention also aims to provide, in at least one embodiment of the invention, a rapid and inexpensive method of automatic segmentation of a dental arch.
  • the invention relates to a method of automatic segmentation of a dental arch, characterized in that it comprises:
  • a step of generating M two-dimensional virtual views from the three-dimensional representation comprising a step of determining the characteristics of the virtual views comprising a sub-step of determining a skeleton representing the general shape of the dental arch and a sub-step of step of determining the characteristics of the virtual views by selecting virtual views distributed along the skeleton and directed towards the skeleton;
  • a step of projecting the three-dimensional representation on each two-dimensional virtual view configured to obtain, for each virtual view, an image representing each vertex and each polygonal face visible on this virtual view; a step of processing each image by a previously trained deep learning network, associating with each pixel of each image a probability vector of size N, each index of the vector representing the probability of belonging of said pixel to a class of tissues dental, among N classes of dental tissue; a step of reverse projection of each image so as to attribute to each vertex of the three-dimensional representation, a pixel for each image on which the vertex appears and to which it corresponds, and by assigning to each vertex the probability vector (s) associated with said or to said pixels;
  • An automatic segmentation method according to the invention therefore allows automatic segmentation of the dental arch that is efficient, robust and does not require manual intervention during its execution.
  • the dental tissue classes are of different types depending on the practical application of automatic segmentation. At a minimum, one can for example distinguish the tissues corresponding to a gum and the tissues corresponding to a tooth, in general one distinguishes in particular the gum and each single tooth independently. Teeth are thus categorized independently by their unique dental numbering, for example the rating of the Fédération Dentaire Internationale (FDI World Dental Federation rating in English), the universal rating system (Universal Numbering System in English), the Palmer rating system, etc. Other types of tissue can be distinguished: for example, on one, several or each tooth, the tooth faces can be distinguished (e.g. lingual / platinum face, occlusal face, buccal face, etc. ).
  • the segmentation can also include tissues corresponding to prosthetic material (, scan post, scan body, etc.).
  • tissue corresponding to prosthetic material
  • the brand and / or model thereof can optionally be recognized, for example by its shape. Recognizing a prosthetic material model can allow a pre-recorded 3D representation of that model to be used in the three-dimensional representation of the dental arch.
  • the process can be used for a single dental arch (upper or lower), or for all dental arches.
  • the previously trained deep learning network is for example a network of the convolutional neural network (CNN) type, this type of network being particularly advantageous for processing two-dimensional images.
  • CNN convolutional neural network
  • the method using CNNs more particularly for image segmentation tasks it uses a subclass of fully convolutional CNNs, fully convolutional FCN networks (FCNs for Fully Convolutional Network).
  • FCNs fully convolutional FCN networks
  • This type of network is described in particular in the article: “Fully Convolutional Networks for Semantic Segmentation”, Long et al., 2014. More generally, deep learning networks are called Deep Learning Network in English or Deep Learning Neural Network for deep learning neural network.
  • the three-dimensional representation of the dental arch is easily obtained by acquisition of the three-dimensional surface, for example by an intraoral camera with structured light, or with passive light (stereoscopy).
  • the method according to the invention uses two-dimensional virtual views of this three-dimensional representation.
  • the use of two-dimensional virtual views greatly simplifies the modeling of the dental arch for its treatment, which in fact simplifies the treatment.
  • Using a two-dimensional projective space instead of considering a three-dimensional space as a whole also makes it easier to use CNN-type deep learning networks.
  • the determination of the characteristics of the virtual views via the sub-step of determining a skeleton representing the general shape of the dental arch makes it possible to ensure that all the vertices are visible in the virtual views, that enough vertices are visible in several virtual views and that the images obtained from the virtual views can be used by the deep learning network.
  • the automatic segmentation process according to the invention is therefore optimized for the automatic segmentation of a dental arch by taking into account the skeleton of the dental arch for the generation of virtual views.
  • the invention is therefore distinguished from automatic processing carried out directly on three-dimensional representations of the prior art, thanks to the use of two-dimensional data which allows a more robust, faster and inexpensive processing in terms of resources for a less favorable result. to local errors.
  • the steps of generating two-dimensional virtual views, of projecting the three-dimensional representation, of processing each image by a deep learning network, of reverse projection of each image, and of determining the class of dental tissue are preferably implemented.
  • a computing device such as a computer or a plurality of computers, in particular by one or more computer programs executed on the computing device.
  • the method is preferably implemented in a module specialized in the processing of three-dimensional and two-dimensional graphics data, such as a graphics processor or GPU (for Graphics Processing Unit in English), executing a computer program specialized in the processing.
  • three-dimensional and two-dimensional data for example OpenGL.
  • the step of acquiring the surface of the arch is preferably implemented by the combination of an acquisition device, for example an intraoral camera, and an acquisition computer program processing the data acquired by the device. acquisition to obtain the three-dimensional representation of the dental arch.
  • an acquisition device for example an intraoral camera
  • an acquisition computer program processing the data acquired by the device.
  • acquisition to obtain the three-dimensional representation of the dental arch.
  • oral cameras that can be used are, for example, the “Wow TM” camera from Biotech Dental.
  • the method comprises, prior to the step of processing each image by the learning network, a step of attributing to each pixel of each image at least one discriminatory value, said discriminatory value being a digital value representative of a characteristic of the vertex when said pixel corresponds to a vertex in the virtual view, and to an interpolation of the characteristics of the vertex vertices of the polygonal face when said pixel corresponds to a polygonal face in the virtual view.
  • the discriminatory value is a numerical value attributed to each pixel which allows the composition of an image in which each pixel is representative of the vertex corresponding to this pixel or of the vertex vertices of a polygonal face corresponding to this pixel.
  • the resulting image thus resembles a 2D matrix in which each pixel has a discriminatory value, and can be processed by the deep learning network.
  • the discriminatory value can be of a type of value selected from the following list of types of values:
  • the discriminatory value can be of different types, which makes it possible to obtain images of different types, for example an RGB image if the acquisition was carried out by an intraoral camera allowing reconstruction in color. , an image related to a depth map (case of the optical vertex-center distance), an image where the curvatures are visible, etc.
  • This value can thus be inherent in the vertex independently of its relation to the virtual views (for example its three-dimensional curvature), or represent a relation between the vertex and the virtual view (for example the distance between the vertex and the optical center of the virtual view, or the angle between its normal and the direction of sight of the virtual view).
  • discriminatory values can be used depending on the device used for image acquisition, the desired dental treatment, the dental tissue classes to be identified during segmentation, etc.
  • discriminatory values can be combined with one another, in order to produce two-dimensional virtual views comprising several channels according to a third dimension, each of these channels carrying information of a particular type of data (for example first channel for curvature, second channel for vertex - optical center distance, etc.).
  • each virtual view is defined by an optical center included in three-dimensional space, and by a shooting direction along a shooting axis.
  • the virtual view is akin to a virtual camera view which may, in certain cases, correspond to a real camera view obtained in the step of acquiring the three-dimensional surface.
  • the intraoral camera records, in addition to the three-dimensional reconstruction, the successive spatial positions of the camera relative to the three-dimensional surface. These positions can be taken advantage of during the segmentation calculation, by recreating the virtual views according to these same spatial positions. In this way, all of these virtual views cover the entire three-dimensional surface, since they are the ones that were used to generate it.
  • the optical center corresponds to the point of view, which is a point in three-dimensional space and corresponds to the location of the virtual camera associated with the virtual view.
  • the width and height of the virtual view (for example 1280 pixels * 960 pixels), decide for example that the virtual view must cover a planar surface of 3 * 2.25 centimeters located at 1 centimeter from its center optical, and place the optical center in the center of the image.
  • the number of two-dimensional virtual views generated is between 30 and 90 views, preferably between 50 and 70 views.
  • this number of virtual views makes it possible to sufficiently cover a conventional adult human dentition to obtain a robust result, while limiting the number of views to be processed by the deep learning network.
  • the step of determining, for each vertex, the class of dental tissue to which it most probably belongs comprises the execution of an algorithm of the graph cut type taking as a parameter for each vertex the or said probability vectors attributed to said vertex.
  • the graph cut algorithm is better known as graph-cut in English.
  • this algorithm makes it possible not to consider only the probability vector (s) associated with a vertex to determine the class of dental tissue, but also to consider parameters originating from neighboring vertices in order to guarantee the absence. artefacts and point errors in determining dental tissue classes.
  • the invention also relates to an automatic segmentation device. of a dental arch, characterized in that it comprises:
  • a module for acquiring a three-dimensional surface of the dental arch configured to obtain a three-dimensional representation of the dental arch in a three-dimensional space, said three-dimensional representation comprising a set of Np three-dimensional points, called vertices, forming vertices Nf polygonal, preferably triangular faces;
  • a module for generating M two-dimensional virtual views from the three-dimensional representation configured to determine characteristics of the virtual views by determining a skeleton representing the general shape of the dental arch and by determining the characteristics of the virtual views by the selection virtual views distributed along the skeleton and directed towards the skeleton;
  • a module for projecting the three-dimensional representation on each two-dimensional virtual view configured to obtain, for each virtual view, an image representing each vertex and each polygonal face visible on the virtual view;
  • a module for processing each image by a previously trained deep learning network associating with each pixel of each image a probability vector of size N, each index of the vector representing the probability of belonging of said pixel to a class of tissues dental, among N classes of dental tissue;
  • the automatic segmentation method according to the invention is implemented by the automatic segmentation device according to the invention.
  • the automatic segmentation device implements the automatic segmentation method according to the invention.
  • a module may consist, for example, of a computing device such as a computer, of a set of computing devices, of an electronic component or of a set of electronic components, or for example of a computer program, d 'a set of computer programs, a library of a computer program or a function of a computer program executed by a computing device such as a computer, a set of computing devices, an electronic component or a set of electronic components.
  • the invention also relates to a method of supervised learning of a deep learning network, characterized in that it comprises:
  • a generation step for each three-dimensional representation of M two-dimensional virtual views from the three-dimensional learning representation comprising a sub-step of determining a skeleton representing the general shape of the dental arch and a sub-step of determining the characteristics of the virtual views by selecting virtual views distributed along the skeleton and directed towards the skeleton;
  • a projection step for each three-dimensional training representation, of the discriminatory value or values chosen for the three-dimensional training representation on each two-dimensional virtual view, configured to obtain, for each virtual view, an input two-dimensional image representing in each pixel the discriminatory value of the vertex or of the polygonal face projected onto the virtual view;
  • a projection step for each segmented three-dimensional representation, of the segmented three-dimensional representation on each two-dimensional virtual view, configured to obtain, for each virtual view, an output two-dimensional image representing in each pixel the class of dental tissue of the vertex or of the polygonal face projecting onto the output two-dimensional image;
  • a step of learning the deep learning network via processing of each pair of images comprising an input image and an output image respectively resulting from the projection with the same virtual view of the discriminatory value (s) for each three-dimensional learning representation and its associated segmented three-dimensional representation.
  • the deep learning process constitutes a preliminary step to the automatic segmentation carried out in the automatic segmentation process.
  • the supervised learning method makes it possible in particular to train the deep learning network used in the automatic segmentation method, in the step of processing the images obtained via the virtual views.
  • the learning network is thus trained beforehand by providing already segmented images from virtual views.
  • This supervised learning using images from virtual views thus processes only two-dimensional data, which allows rapid and robust learning.
  • the training network thus trained requires fewer resources, is faster and more efficient to perform processing on new non-segmented images, compared to a training network which would be trained only on three-dimensional data without the use of virtual views. and two-dimensional images.
  • supervised learning involves a human operator, no manual intervention is required to intervene in the automatic segmentation process once the deep learning network is sufficiently trained.
  • the invention also relates to an automatic segmentation method, an automatic segmentation device and a method for supervised learning of a deep learning network, characterized in combination by all or part of the characteristics mentioned above or below.
  • FIG. 1 is a dental diagram showing the numbering of human teeth according to the notation system of the Fédération Dentaire Internationale
  • FIG. 2a is a schematic view of a three-dimensional representation of a dental arch obtained following a step of acquiring the surface.
  • FIG. 2b is a schematic view of a three-dimensional representation of a dental arch segmented by an automatic segmentation process according to the invention
  • FIG. 3 is a schematic view of a plurality of vertices and a face formed by said vertices of a three-dimensional representation of a dental arch;
  • FIG. 4 is a schematic view of the steps of an automatic segmentation process according to the invention.
  • FIG. 5a is a schematic view of a step for determining the characteristics of the virtual views of an automatic segmentation method according to one embodiment of the invention
  • FIG. 5b is a schematic view of a sub-step for determining the characteristics of the virtual views by the selection of virtual views distributed along the skeleton and directed towards the skeleton of an automatic segmentation method according to an embodiment of the invention
  • FIG. 6 is a schematic view of a method of supervised learning of a deep learning network according to one embodiment of the invention.
  • FIG. 1 is a diagram showing an adult human dentition, in which each tooth is associated with its rating according to the rating of the Fédération Dentaire Internationale (FDI World Dental Federation rating in English).
  • each tooth is identified by two notation digits;
  • the dentition is separated into four quadrants, and the quadrant in which the tooth is located corresponds to the first digit of the notation: quadrant 1 above left, quadrant 2 above right, quadrant 3 below right, quadrant 4 below left ("right” and “left” being understood from the point of view of a dentist observing the dentition of a patient).
  • the second number of the notation indicates the corresponding tooth, in the quadrant, from 1 the central incisor to 8 the wisdom tooth.
  • the automatic segmentation process according to the invention makes it possible to distinguish each of these teeth from the dental arch and can assign each of these teeth the numbering shown.
  • FIG. 2a schematically represents a three-dimensional digital representation 100 obtained following a step of acquiring the three-dimensional surface of the dental arch by a segmentation process according to one embodiment of the invention.
  • the three-dimensional digital representation 100 is performed for example by an intraoral camera, using several different technologies impacting the three-dimensional digital representation and the characteristics of this three-dimensional digital representation: for example, the camera can obtain RGB data making it possible to identify colors, curvature data to identify the general shape of the dental arch, depth data by passive light stereoscopy or structured light, etc.
  • the three-dimensional digital representation 100 comprises a set of Np three-dimensional points, called vertices, forming the vertices of Nf polygonal faces, preferably triangular. This polygonal representation is common in three-dimensional surface management methods.
  • FIG. 3 schematically represents a plurality of vertices 300a, 300b, 300c and a triangular face 302 formed by said vertices of a three-dimensional representation of a dental arch.
  • the use of triangular faces is classic and makes it easy to identify each face from three vertices without additional parameters, but polygonal faces with more than three vertices can be used.
  • Each vertex 300a, 300b, 300c is linked to the other two vertices to form face 302, and each vertex can be linked to others vertex via for example edges 304 (shown partially in dotted lines) to form other faces, not shown.
  • Figure 2b illustrates the three-dimensional representation 200 of the dental arch after segmentation, in which a gray level has been associated with each triangular face whose vertex-vertices belong to the same class of dental tissue.
  • Each identified dental tissue is represented in a shade of gray different from at least its neighbors, in order to show the distinction between two adjacent and different dental tissues.
  • a premolar 202 two molars 204 and 210, an incisor 206 and a gum 208.
  • This representation has a mainly illustrative objective: in practice, the segmentation consists at least in assigning to each vertex a class of dental tissue, without requiring to provide a graphical representation in gray level or in color.
  • FIG. 4 schematically represents the steps of an automatic segmentation method according to one embodiment of the invention.
  • the method comprises in particular the steps described below.
  • a step 402 of acquiring a three-dimensional surface of the dental arch makes it possible to obtain a three-dimensional representation of the dental arch in a three-dimensional space, said three-dimensional representation comprising a set of Np three-dimensional points, called vertices, forming vertices of Nf polygonal, preferably triangular faces: this step makes it possible in particular to obtain a three-dimensional representation of the type of that shown with reference to FIG. 2a.
  • Acquisition of the three-dimensional surface of the dental arch is usually done on a patient by a dentist using an intraoral camera, without surgery.
  • the three-dimensional representation of the dental arch is then transmitted to the prosthetist who, from the three-dimensional representation, plans a particular treatment (eg making prostheses).
  • the three-dimensional representation in the form of vertices and faces is common.
  • the method then comprises a step 404 for generating M views two-dimensional virtual images from the three-dimensional representation, the objective of which is to reproduce quantitative information from this three-dimensional representation in a two-dimensional projective space; information is easily represented in this space via two-dimensional images.
  • the M virtual views correspond for example to a virtual camera directed towards different locations of the three-dimensional representation of the dental arch. In some cases, none or some or all of the virtual views may correspond to actual views acquired by the intraoral camera during the acquisition of the three-dimensional surface.
  • Virtual views can be defined by different characteristics, in particular a centroid defining an optical center, i.e. the point where the virtual camera is placed, and a shooting direction, i.e. the direction in which the virtual camera is directed to obtain the virtual view.
  • the number M of virtual views and the characteristics of the virtual views are defined so as to make it possible to see all of the vertices of the three-dimensional representation, preferably several times for each vertex, that is to say that the set of virtual views covers the entire three-dimensional reconstruction.
  • the step 404 for generating M virtual views can include sub-steps (not shown) making it possible to obtain this number M of virtual views and the characteristics of each virtual view:
  • a first sub-step is a sub-step for determining a skeleton representing the general shape of the dental arch.
  • a second substep is a substep for determining the characteristics of the virtual views by selecting virtual views distributed along the skeleton and directed towards the skeleton.
  • the step 404 for generating M virtual views can thus be composed, in one of the embodiments, of the following substeps, described with reference to FIG.
  • the dental arch cusps define the hollow portions of each tooth and are easily detected by detecting curvatures.
  • the normal Z axis thus represents a Z axis normal to the plane formed by the dental arch, a substep 508 of defining a plane P orthogonal to the normal Z axis and comprising the barycenter G of the three-dimensional reconstruction;
  • the plane P thus substantially represents the plane formed by the dental arch, a sub-step 510 of projecting the three-dimensional surface on the plane.
  • This skeleton S is related to the three-dimensional representation, so as to form a three-dimensional skeleton that is to say characterized in the three-dimensional space of the three-dimensional representation.
  • This sub-step can be carried out differently according to the embodiments, for example according to the morphology of the arch. studied and / or the number of views desired, but may for example consist of the following sub-steps, described with reference to FIG.
  • a sub-step 520 of uniform distribution of three-dimensional anchoring points Vk along the skeleton S for example starting from one of its ends and inserting a point every centimeter
  • o a sub-step 524 of uniform distribution of virtual views along each of these semicircles for example by inserting the optical center Co of a new virtual view every millimeter and by defining the direction of taking d e view of this virtual view starting from this new point of view and looking towards the anchor point Vk (for illustration, only five optical centers are represented for each of the two semi-circles represented).
  • the automatic segmentation method then comprises a step 406 of projecting the three-dimensional representation on each two-dimensional virtual view, configured to obtain, for each virtual view, an image representing each vertex and each visible polygonal face on the virtual view:
  • the projection makes it possible to make the vertices visible in the virtual view corresponding to the image correspond to the image.
  • the projection uses for example a ray casting process to make each pixel correspond to a vertex or a face of the three-dimensional representation.
  • the image obtained is composed of pixels having an assigned discriminatory value representative of the vertex or of the polygonal face to which the pixel corresponds.
  • This discriminatory value is a numerical value which can be representative of the vertex, and depend on the characteristics attributed to the vertex during the acquisition of the three-dimensional representation or during subsequent calculations.
  • the discriminatory value includes a triplet of RGB value (the triplet can be represented, in a known manner, by a single discriminatory value, for example FFFFFF for white by its hexadecimal RGB representation), or each RGB value is included in a different channel.
  • the value may in other cases represent a relation between the vertex and the virtual view (for example the distance between the vertex and the optical center of the virtual view, or the angle between its normal and the direction of sight of the view. Virtual).
  • the discriminatory value can also be representative of the depth with respect to the virtual camera forming the virtual view; in other words, it can represent the distance between the vertex considered and the optical center of the virtual view.
  • Other data may form the discriminatory value, for example the three-dimensional curvature, obtained from the three-dimensional representation.
  • discriminatory values can be used for image formation, each of the discriminatory values being stored in a channel
  • the discriminatory value of the pixel is based on an interpolation of the value of the three vertices forming the vertices of the face (for example a linear interpolation) .
  • Each image, in which each pixel has an assigned discriminatory value, is processed in a step 408 of processing each image by a previously trained deep learning network, associating with each pixel of each image a probability vector of size N, each index of the vector representing the probability of belonging of said pixel to a class of dental tissues, among N classes of dental tissues.
  • the deep learning network or deep learning neural network, is previously trained according to a supervised learning method described below with reference to FIG. 6.
  • the deep learning network could assign to each pixel of the image a class of dental tissue, which would be the class with the highest probability of belonging. However, better results and a reduction in errors are allowed in the following steps by using a probability vector of the pixel belonging to a dental tissue class.
  • the probability vector is of size N, corresponding to the N predetermined dental tissue classes which can be attributed to each pixel. These N classes can correspond to the gum, to a particular tooth identified by its dental notation, to a prosthetic material, etc.
  • the method then comprises a step 410 of reverse projection of each image so as to attribute to each vertex of the three-dimensional representation, one or more pixels of the images in which the vertex appears and to which it corresponds, and by assigning to each vertex the one or more probability vectors associated with said pixel or pixels.
  • the reverse projection makes it possible to return to the three-dimensional representation after the passage through the two-dimensional images.
  • the link between a pixel and a vertex, which has already been established in the projection step, is preferably recalculated to avoid having to store the link between each vertex and its projection (s) in each image which may require storage space. important and which does not necessarily allow faster processing than a recalculation.
  • Each vertex is assigned a probability vector if it is visible only in a virtual image, and otherwise to as many probability vectors as the images in which it was projected. Since virtual views have been set up so that each vertex is projected onto an image, no vertex should have any probability vector assigned to it. Preferably, each vertex has several probability vectors assigned to it in order to maximize the chances of identifying the correct class of dental tissue.
  • the method finally comprises a step 412 of determination, for each vertex, of the class of dental tissue to which said vertex most probably belongs from the probability vector (s) attributed to said vertex.
  • This allocation to each vertex of the associated class corresponds to automatic segmentation.
  • the segmentation makes it possible to obtain three-dimensional representations differentiating, for example by gray levels or colors, each element belonging to the same dental tissue, but in practice the segmentation consists only in attributing to each vertex has a class of dental tissue and this data can be used as is.
  • the dental tissue class used could simply be the one with the highest probability by averaging the set of probability vectors assigned to the vertex.
  • the aim of the graph-cut algorithm is to assign for each vertex the class having a high probability, while promoting local class homogeneity. Indeed, on the dental arch, there is a high probability that the neighboring vertices have the same class, except if they are separated by a zone of high curvature. For example, two neighboring vertices on the same molar have the same class, and the local curvature between them is small (a tooth is relatively smooth). Conversely, a vertex on a molar and a vertex on the gum (therefore belonging to two different classes) are separated by a zone of high spatial curvature (the insertion of the tooth into the gum creating a spatial “break”).
  • the graph used can take as a parameter a unit term, for each vertex, the mean probability vector Vp: in this way, it will try to maximize the class probability.
  • the graph can take as binary term (ie connecting two neighboring vertices) the spatial curvature separating these two vertices, or the scalar product between their respective normal. In this way, the graph will try to respect the spatial homogeneity of class as well as possible except when crossing areas of high curvature, while trying to each vertex to maximize the probability according to the vector Vp.
  • Figure 6 schematically shows a method 600 of supervised learning of a deep learning network according to one embodiment of the invention.
  • the supervised learning method is applied to a CNN convolutional neuron network or more particularly to a fully convolutional FCN network.
  • the deep learning network is trained by providing input two-dimensional images such as will be provided to it by the automatic segmentation process described above.
  • the learning is supervised, that is to say that the deep learning network is also supplied, during its training, with the output two-dimensional images associated with the input two-dimensional images in which the tissue classes are assigned. pixels, that is, the output images are segmented.
  • the process comprises the following steps:
  • a step 606 of generation for each three-dimensional representation of M two-dimensional virtual views from the three-dimensional training representation;
  • M two-dimensional virtual views are generated in the same way as in the automatic segmentation method, as described previously with reference to FIGS. 4, 5a and 5b.
  • a step 612 of learning the deep learning network 630 via processing of each pair 624a, 624b, 624c of images comprising an input image and an output image respectively resulting from the projection with the same virtual view of each three-dimensional learning representation and its associated segmented three-dimensional representation.
  • the deep learning network 630 is thus trained by the pairs 624a; 624b, 624c of images, knowing the input and output expected from the segmentation process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

L'invention concerne un procédé de segmentation automatique d'une arcade dentaire comprenant une acquisition d'une surface tridimensionnelle de l'arcade dentaire, pour obtenir une représentation tridimensionnelle comprenant un ensemble de vertex, une génération de vues virtuelles à partir de la représentation tridimensionnelle, une projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, pour obtenir une image représentant chaque vertex sur la vue virtuelle, un traitement de chaque image par un réseau d'apprentissage profond, une projection inverse de chaque image pour attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparait et auquel il correspond, et en attribuant à chaque vertex un ou des vecteurs de probabilité, une détermination de la classe de tissu dentaire à laquelle appartient le plus probablement chaque vertex à partir du ou des vecteurs de probabilité.

Description

PROCÉDÉ DE SEGMENTATION AUTOMATIQUE D’UNE ARCADE
DENTAIRE
Domaine technique de l’invention
L’invention concerne un procédé de segmentation automatique d’une arcade dentaire. En particulier, l’invention concerne un procédé permettant de segmenter avec précision et de manière automatique une reconstruction tridimensionnelle d’une arcade dentaire, totale ou partielle.
Arrière-plan technologique
La segmentation d’une arcade dentaire permet, à partir d’une représentation de l’arcade dentaire, d’identifier chacune des dents et des tissus de l’arcade dentaire. Cette arcade dentaire segmentée est utilisée comme base pour divers traitements dentaires (prothétiques, esthétiques, etc).
L’arcade dentaire désigne un ensemble des dents alignées en forme d’arc, qui est porté par les os formant la mâchoire : chez l’être humain, la mandibule (ou os mandibulaire) forme la mâchoire inférieure et porte l’arcade dentaire inférieure et le maxillaire (ou os maxillaire) forme la mâchoire supérieure et porte l’arcade dentaire supérieure.
Dans le cadre des traitements dentaires évoqués plus haut, la prise d’empreinte de l’arcade dentaire se faisait auparavant par une prise d’empreinte physique à base d’alginate, mais cette technique est peu à peu remplacée par des reconstructions tridimensionnelles numériques obtenues grâce à des caméras intra- orales. Ces reconstructions tridimensionnelles numériques des arcades dentaires permettent d’utiliser les outils de Conception Assistée par Ordinateur (CAO), ce qui offrent les avantages d’élargir et de simplifier les possibilités de traitement et/ou de conception de prothèse.
La CAO nécessite parfois d’effectuer une segmentation de l’arcade dentaire, i.e. identifier pour chaque partie de sa représentation tridimensionnelle à quel tissu elle appartient. La segmentation de ces reconstructions tridimensionnelles numériques est généralement effectuée de manière manuelle, ce qui est une opération fastidieuse, coûteuse, et peut ralentir l’ensemble du processus numérique de création d’une prothèse par exemple.
Des procédés numériques automatiques ou semi-automatiques ont été proposés pour pallier cette problématique. Dans ces procédés, un algorithme traite cette représentation tridimensionnelle numérique de manière à fournir en sortie une version segmentée de cette représentation.
Les procédés automatiques ou semi-automatiques existants présentent quelques inconvénients majeurs.
D’une part, la plupart de ces procédés sont basés sur des considérations principalement géométriques. Ainsi, s’ils présentent des résultats satisfaisants pour la segmentation d’une dentition classique, des défauts apparaissent rapidement dès que l’arcade dentaire présente un décalage important avec la dentition « moyenne ». Or, ce sont principalement ces arcades dentaires qui s’éloignent de la moyenne qui sont concernées par la plupart des traitements prothétiques, esthétiques ou orthodontiques.
D’autre part, ces procédés reposent encore trop souvent sur une intervention manuelle par un opérateur humain, soit en amont du procédé, soit pendant la mise en œuvre du procédé, soit suite à une première exécution du procédé pour reprendre manuellement des erreurs locales. Ces interventions manuelles pour aider le procédé peuvent parfois présenter des contraintes supérieures à une segmentation manuelle, ce qui est contre-productif.
Objectifs de l’invention
L’invention vise à fournir un procédé de segmentation automatique d’une arcade dentaire.
L’invention vise en particulier à fournir, dans au moins un mode de réalisation, un procédé de segmentation automatique d’une arcade dentaire ne nécessitant pas d’intervention manuelle d’un opérateur humain pour la segmentation.
L’invention vise aussi à fournir, dans au moins un mode de réalisation de l’invention, un procédé de segmentation automatique d’une arcade dentaire robuste, pouvant être utilisé pour des arcades dentaires présentant des défauts éloignés d’une dentition classique. L’invention vise aussi à fournir, dans au moins un mode de réalisation de l’invention, un procédé de segmentation automatique d’une arcade dentaire rapide et peu coûteux.
Exposé de l’invention Pour ce faire, l’invention concerne un procédé de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
- une étape d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- une étape de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle, comprenant une étape de détermination des caractéristiques des vues virtuelles comprenant une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire et une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette ;
- une étape de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur cette vue virtuelle ; - une étape de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ; - une étape de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un pixel pour chaque image sur laquelle le vertex apparaît et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
- une étape de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribués audit vertex.
Un procédé de segmentation automatique selon l’invention permet donc une segmentation automatique de l’arcade dentaire efficace, robuste et ne nécessitant pas d’intervention manuelle pendant son exécution.
Les classes de tissu dentaires sont de types différents selon l’application pratique de la segmentation automatique. Au minimum, on peut par exemple distinguer les tissus correspondant à une gencive et les tissus correspondant à une dent, en général on distingue notamment la gencive et chaque dent unique indépendamment. Les dents sont ainsi catégorisées indépendamment par leur numérotation dentaire unique, par exemple la notation de la Fédération Dentaire Internationale ( FDI World Dental Fédération notation en anglais), le système de notation universel ( Universal Numbering System en anglais), le système de notation Palmer, etc. D’autres types de tissus peuvent être distingués : par exemple, sur une, plusieurs ou chaque dent, les faces de dent peuvent faire l’objet d’une distinction (par exemple face linguale/platine, face occlusale, face vestibulaire, etc.). La segmentation peut aussi inclure des tissus correspondant à du matériel prothétique (, scan post, scan body, etc.). Lorsque le tissu est du matériel prothétique, on peut éventuellement reconnaître la marque et/ou le modèle de celui-ci, par exemple par sa forme. La reconnaissance d’un modèle de matériel prothétique peut permettre d’utiliser une représentation 3D pré-enregistrée de ce modèle dans la représentation tridimensionnelle de l’arcade dentaire.
Le procédé peut être utilisé pour une seule arcade dentaire (supérieure ou inférieure), ou bien pour l’ensemble des arcades dentaires.
Le réseau d’apprentissage profond préalablement entraîné est par exemple un réseau de type réseau neuronal convolutif (CNN pour Convolutional Neural Network en anglais), ce type de réseau étant particulièrement intéressant pour traiter les images bidimensionnelles. Le procédé utilisant les CNN plus particulièrement pour des tâches de segmentation d’images, il fait appel à une sous-classe des CNN entièrement convolutive, les réseaux FCN entièrement convolutifs (FCN pour Fully Convolutional Network en anglais). Ce type de réseau est notamment décrit dans l’article : «Fully Convolutional Networks for Semantic Segmentation », Long et al., 2014. Plus généralement, les réseaux d’apprentissage profond sont appelés Deep Learning Network en anglais ou Deep Learning Neural Network pour réseau neuronal à apprentissage profond.
La représentation tridimensionnelle de l’arcade dentaire est obtenue facilement par acquisition de la surface tridimensionnelle, par exemple par une caméra intra-orale à lumière structurée, ou à lumière passive (stéréoscopie). Au lieu de traiter directement la représentation tridimensionnelle, ce qui nécessite beaucoup de ressources, le procédé selon l’invention utilise des vues virtuelles bidimensionnelles de cette représentation tridimensionnelle. L’utilisation des vues virtuelles bidimensionnelles permet de simplifier grandement la modélisation de l’arcade dentaire pour son traitement, ce qui simplifie de fait le traitement. Le recours à un espace projectif bidimensionnel au lieu de considérer un espace tridimensionnel dans sa globalité permet d’autre part de plus facilement faire appel aux réseaux d’apprentissage profond de type CNN. La détermination des caractéristiques des vues virtuelles via la sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire permet de s’assurer que l’ensemble des vertex soient visibles dans les vues virtuelles, que suffisamment de vertex soient visibles dans plusieurs vues virtuelles et que les images obtenues à partir des vues virtuelles soient exploitables par le réseau d’apprentissage profond. Le procédé de segmentation automatique selon l’invention est donc optimisé pour la segmentation automatique d’une arcade dentaire grâce à la prise en compte du squelette de l’arcade dentaire pour la génération des vues virtuelles.
Cette détermination des caractéristiques peut s’effectuer indépendamment de la connaissance des positions spatiales réelles évoquées précédemment. En outre, la gestion des données bidimensionnelle est moins coûteuse en espace de stockage, et nécessite moins de ressource pour être traitée.
L’utilisation d’une multitude d’images bidimensionnelles permet de pouvoir attribuer à un vertex une pluralité de vecteurs de probabilité. En combinant les probabilités de plusieurs de ces vecteurs de probabilité, on obtient une détermination plus fiable de la classe de tissu dentaire à laquelle le vertex appartient, ce qui réduit les risques d’erreurs sur une classification d’un vertex et par là même le besoin de recourir à des corrections manuelles ultérieures.
L’invention se distingue donc de traitement automatique effectués directement sur des représentations tridimensionnelles de l’art antérieur, grâce à l’utilisation de données bidimensionnelles qui permet un traitement plus robuste, plus rapide et peu coûteux en termes de ressources pour un résultat moins propice aux erreurs locales.
Les étapes de génération de vues virtuelles bidimensionnelles, de projection de la représentation tridimensionnelle, de traitement de chaque image par un réseau d’apprentissage profond, de projection inverse de chaque image, et de détermination de la classe de tissu dentaire, sont préférentiellement mises en œuvre par un dispositif informatique, tel qu’un ordinateur ou une pluralité d’ordinateurs, en particulier par un ou plusieurs programmes informatiques exécutés sur le dispositif informatique. Plus particulièrement, le procédé est mis en œuvre de préférence dans un module spécialisé dans le traitement de données graphiques tridimensionnelles et bidimensionnelles, tel qu’un processeur graphique ou GPU (pour Graphics Processing Unit en anglais), exécutant un programme informatique spécialisé dans le traitement de données tridimensionnelles et bidimensionnelles, par exemple OpenGL.
L’étape d’acquisition de la surface de l’arcade est mise en œuvre de préférence par la combinaison d’un dispositif d’acquisition, par exemple une caméra intraorale, et un programme informatique d’acquisition traitant les données acquises par le dispositif d’acquisition pour l’obtention de la représentation tridimensionnelle de l’arcade dentaire. Des exemples de caméras orales pouvant être utilisées sont par exemple la caméra « Wow™ » de Biotech Dental. Avantageusement et selon l’invention, le procédé comprend, préalablement à l’étape de traitement de chaque image par le réseau d’apprentissage, une étape d’attribution à chaque pixel de chaque image d’au moins une valeur discriminatoire, ladite valeur discriminatoire étant une valeur numérique représentative d’une caractéristique du vertex lorsque ledit pixel correspond à un vertex sur la vue virtuelle, et à une interpolation des caractéristiques des vertex sommets de la face polygonale lorsque ledit pixel correspond à une face polygonale sur la vue virtuelle.
Selon cet aspect de l’invention, la valeur discriminatoire est une valeur numérique attribuée à chaque pixel qui permet la composition d’une image dans laquelle chaque pixel est représentatif du vertex correspondant à ce pixel ou des vertex sommets d’une face polygonale correspondant à ce pixel. L’image obtenue s’apparente ainsi à une matrice 2D dans laquelle chaque pixel a une valeur discriminatoire, et peut être traitée par le réseau d’apprentissage profond.
Avantageusement et selon l’invention, la valeur discriminatoire peut être d’un type de valeur sélectionné parmi la liste des types de valeurs suivante :
- valeur RGB du vertex, obtenue lors de l’acquisition d’une surface tridimensionnelle ;
- valeur de courbure tridimensionnelle au niveau du vertex ;
- valeur de distance entre le vertex et un centre optique de la vue virtuelle sur laquelle il se projette ;
- un angle entre une normale du vertex et une direction de visée de la vue virtuelle.
Selon cet aspect de l’invention, la valeur discriminatoire peut être de différents types, ce qui permet d’obtenir des images de types différents, par exemple une image RGB si l’acquisition a été effectuée par une caméra intraorale permettant une reconstruction en couleurs, une image apparentée à une carte de profondeur (cas de la distance vertex-centre optique), une image où sont visibles les courbures, etc. Cette valeur peut ainsi être inhérente au vertex indépendamment de son rapport aux vues virtuelles (par exemple sa courbure tridimensionnelle), ou représenter une relation entre le vertex et la vue virtuelle (par exemple la distance entre le vertex et le centre optique de la vue virtuelle, ou l’angle entre sa normale et la direction de visée de la vue virtuelle).
D’autres types de valeurs discriminatoires peuvent être utilisés selon le dispositif utilisé pour l’acquisition d’image, le traitement dentaire souhaité, les classes de tissus dentaire à identifier lors de la segmentation, etc.
Avantageusement et selon l’invention, plusieurs valeurs discriminatoires peuvent être combinées entre elles, afin de produire des vues virtuelles bidimensionnelles comportant plusieurs canaux selon une troisième dimension, chacun de ces canaux portant l’information d’un type de données en particulier (par exemple premier canal pour la courbure, deuxième canal pour la distance vertex - centre optique, etc).
Avantageusement et selon l’invention, chaque vue virtuelle est définie par un centre optique compris dans l’espace tridimensionnel, et par une direction de prise de vue selon un axe de prise de vue.
Selon cet aspect de l’invention, la vue virtuelle s’apparente à une vue caméra virtuelle qui peut, dans certains cas, correspondre à une véritable vue caméra obtenue dans l’étape d’acquisition de la surface tridimensionnelle. Plus particulièrement, lors de la phase d’acquisition de la surface tridimensionnelle, la caméra intraorale enregistre, outre la reconstruction tridimensionnelle, les positions spatiales successives de la caméra relativement à la surface tridimensionnelle. Ces positions peuvent être mises à profit lors du calcul de segmentation, en recréant les vues virtuelles selon ces mêmes positions spatiales. De cette manière, l’ensemble de ces vues virtuelles couvre bien la totalité de la surface tridimensionnelle, étant donné que ce sont elles-mêmes qui ont servi à la générer.
Le centre optique correspond au point de prise de vue, qui est un point dans l’espace tridimensionnel et correspond à l’emplacement de la caméra virtuelle associée à la vue virtuelle.
D’autres caractéristiques peuvent être associée à chaque vue virtuelle, comme le champ de vision, la hauteur et la largeur en pixels de la vue virtuelle générée, la matrice de calibration intrinsèque (focale et centre optique). Ces autres caractéristiques seront choisies comme fixes en amont de la conception du procédé de segmentation décrit dans cette invention.
À titre indicatif, on peut choisir la largeur et la hauteur de la vue virtuelle (par exemple 1280 pixels * 960 pixels), décider par exemple que la vue virtuelle doit couvrir une surface planaire de 3*2.25 centimètres située à 1 centimètre de son centre optique, et placer le centre optique au centre de l’image. Ces contraintes permettent de facilement retrouver la focale de la matrice de calibration.
Avantageusement et selon l’invention, le nombre de vues virtuelles bidimensionnelles générées est compris entre 30 et 90 vues, de préférence entre 50 et 70 vues.
Selon cet aspect de l’invention, ce nombre de vues virtuelles permet de couvrir suffisamment une dentition classique adulte humaine pour obtenir un résultat robuste, tout en limitant le nombre de vues à traiter par le réseau d’apprentissage profond.
Avantageusement et selon l’invention, l’étape de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle il appartient le plus probablement comprend l’exécution d’un algorithme de type coupe de graphe prenant en paramètre pour chaque vertex le ou lesdits vecteurs de probabilités attribués audit vertex.
L’algorithme de coupe de graphe est plus connu sous le nom graph-cut en anglais.
Selon cet aspect de l’invention, cet algorithme permet de ne pas considérer uniquement le ou les vecteurs de probabilité associé à un vertex pour déterminer la classe de tissu dentaire, mais aussi de considérer des paramètres provenant des vertex voisins afin de garantir l’absence d’artefacts et d’erreurs ponctuelles dans la détermination des classes de tissu dentaire.
L’invention concerne également un dispositif de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
- un module d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, configuré pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- un module de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle configuré pour déterminer des caractéristiques des vues virtuelles par détermination d’un squelette représentant la forme générale de l’arcade dentaire et par détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette ;
- un module de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur la vue virtuelle ;
- un module de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
- un module de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparaît et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
- un module de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribué audit vertex.
Avantageusement, le procédé de segmentation automatique selon l’invention est mis en œuvre par le dispositif de segmentation automatique selon l’invention.
Avantageusement, le dispositif de segmentation automatique selon l’invention met en œuvre le procédé de segmentation automatique selon l’invention.
Un module peut être consisté par exemple d’un dispositif informatique tel qu’un ordinateur, d’un ensemble de dispositifs informatiques, d’un composant électronique ou d’un ensemble de composants électroniques, ou par exemple d’un programme informatique, d’un ensemble de programmes informatiques, d’une librairie d’un programme informatique ou d’une fonction d’un programme informatique exécuté par un dispositif informatique tel qu’un ordinateur, un ensemble de dispositifs informatiques, un composant électronique ou un ensemble de composants électroniques.
L’invention concerne également un procédé d’apprentissage supervisé d’un réseau d’apprentissage profond, caractérisé en ce qu’il comprend :
- une étape d’acquisition d’une pluralité de surfaces tridimensionnelles de plusieurs arcades dentaires, pour obtenir une pluralité de représentations tridimensionnelles d’apprentissage des arcades dentaires dans un espace tridimensionnel, lesdites représentations tridimensionnelles d’apprentissage comprenant chacune un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- une étape de segmentation manuelle, par un opérateur humain, de chaque représentation tridimensionnelle d’apprentissage de l’arcade dentaire, dans laquelle est attribuée à chaque vertex de la représentation tridimensionnelle une classe de tissu dentaire, de manière à obtenir une représentation tridimensionnelle segmentée pour chaque représentation tridimensionnelle d’apprentissage ;
- une étape de génération, pour chaque représentation tridimensionnelle de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle d’apprentissage comprenant une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire et une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette ;
- une étape de projection, pour chaque représentation tridimensionnelle d’apprentissage, de la ou les valeurs discriminatoires choisies pour la représentation tridimensionnelle d’apprentissage sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle d’entrée représentant en chaque pixel la valeur discriminatoire du vertex ou de la face polygonale se projetant sur la vue virtuelle ;
- une étape de projection, pour chaque représentation tridimensionnelle segmentée, de la représentation tridimensionnelle segmentée sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle de sortie représentant en chaque pixel la classe de tissu dentaire du vertex ou de la face polygonale se projetant sur l’image bidimensionnelle de sortie ;
- une étape d’apprentissage du réseau d’apprentissage profond via un traitement de chaque couple d’images comprenant une image d’entrée et une image de sortie issues respectivement de la projection avec la même vue virtuelle de la ou les valeurs discriminatoires pour chaque représentation tridimensionnelle d’apprentissage et de sa représentation tridimensionnelle segmentée associée.
Le procédé d’apprentissage profond constitue une étape préalable à la segmentation automatique opérée dans le procédé de segmentation automatique selon l’invention, et peut ainsi être avantageusement intégré au procédé de segmentation automatique en tant qu’étape préliminaire à l’étape de traitement des images obtenues via les vues virtuelles. Le procédé d’apprentissage supervisé permet en particulier d’entraîner le réseau d’apprentissage profond utilisé dans le procédé de segmentation automatique, dans l’étape de traitement des images obtenues via les vues virtuelles.
Le réseau d’apprentissage est ainsi entraîné préalablement par fourniture d’images déjà segmentées provenant de vues virtuelles. Cet apprentissage supervisé utilisant des images provenant de vues virtuelles traite ainsi uniquement de données bidimensionnelles, ce qui permet un apprentissage rapide et robuste. Le réseau d’apprentissage ainsi entraîné nécessite moins de ressources, est plus rapide et plus efficace pour effectuer des traitements sur des nouvelles images non segmentées, par rapport à un réseau d’apprentissage qui serait entraîné uniquement sur des données tridimensionnelles sans utilisation de vues virtuelles et d’images bidimensionnelles. Même si l’apprentissage supervisé fait intervenir un opérateur humain, aucune intervention manuelle n’est nécessaire pour intervenir dans le procédé de segmentation automatique une fois que le réseau d’apprentissage profond est suffisamment entraîné.
L’invention concerne également un procédé de segmentation automatique, un dispositif de segmentation automatique et un procédé d’apprentissage supervisé d’un réseau d’apprentissage profond, caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après.
Liste des figures
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles :
[Fig. 1] est un schéma dentaire représentant la numérotation de dents humaines selon le système de notation de la Fédération Dentaire Internationale
[Fig. 2a] est une vue schématique d’une représentation tridimensionnelle d’une arcade dentaire obtenue suite à une étape d’acquisition de la surface tridimensionnelle de l’arcade dentaire par un procédé de segmentation selon un mode de réalisation de l’invention ;
[Fig. 2b] est une vue schématique d’une représentation tridimensionnelle d’une arcade dentaire segmentée par un procédé de segmentation automatique selon l’invention ;
[Fig. 3] est une vue schématique d’une pluralité de vertex et d’une face formée par lesdits vertex d’une représentation tridimensionnelle d’une arcade dentaire ;
[Fig. 4] est une vue schématique des étapes d’un procédé de segmentation automatique selon l’invention ;
[Fig. 5a] est une vue schématique d’une étape de détermination des caractéristiques des vues virtuelles d’un procédé de segmentation automatique selon un mode de réalisation de l’invention ;
[Fig. 5b] est une vue schématique d’une sous-étape de de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette d’un procédé de segmentation automatique selon un mode de réalisation de l’invention ;
[Fig. 6] est une vue schématique d’un procédé d’apprentissage supervisé d’un réseau d’apprentissage profond selon un mode de réalisation de l’invention.
Description détaillée d’un mode de réalisation de l’invention
Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté.
En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures.
La figure 1 est un schéma représentant une dentition humaine adulte, dans lequel chaque dent est associé à sa notation selon la notation de la Fédération Dentaire Internationale ( FDI World Dental Fédération notation en anglais). Dans cette notation, chaque dent est repérée par deux chiffres de notation ; La dentition est séparée en quatre quadrants, et le quadrant dans laquelle se trouve la dent correspond au premier chiffre de la notation : quadrant 1 en haut à gauche, quadrant 2 en haut à droite, quadrant 3 en bas à droite, quadrant 4 en bas à gauche (« droite » et « gauche » étant entendu du point de vue d’un dentiste observant la dentition d’un patient). Le deuxième chiffre de la notation indique la dent correspondante, dans le quadrant, de 1 l’incisive centrale à 8 la dent de sagesse.
Il existe aussi une notation de la Fédération Dentaire Internationale pour les dents temporaires, non détaillée ici.
Le procédé de segmentation automatique selon l’invention permet de distinguer chacune de ces dents de l’arcade dentaire et peut attribuer à chacune de ces dents la numérotation ci-représentée.
La figure 2a représente schématiquement une représentation 100 numérique tridimensionnelle obtenue suite à une étape d’acquisition de la surface tridimensionnelle de l’arcade dentaire par un procédé de segmentation selon un mode de réalisation de l’invention.
La représentation 100 numérique tridimensionnelle est effectuée par exemple par une caméra intraorale, en utilisant plusieurs technologies différentes impactant la représentation numérique tridimensionnelle et les caractéristiques de cette représentation numérique tridimensionnelle : par exemple, la caméra peut obtenir des données RGB permettant d’identifier des couleurs, des données de courbure permettant d’identifier la forme générale de l’arcade dentaire, des données de profondeur par stéréoscopie en lumière passive ou par lumière structurée, etc.
La représentation 100 numérique tridimensionnelle comprend un ensemble de Np points tridimensionnels, dits vertex, formant les sommets de Nf faces polygonales, de préférence triangulaires. Cette représentation polygonale est courante dans les procédés de gestion de surfaces tridimensionnels.
Pour illustration, la figure 3 représente schématiquement une pluralité de vertex 300a, 300b, 300c et une face 302 triangulaire formée par lesdits vertex d’une représentation tridimensionnelle d’une arcade dentaire. L’utilisation de faces triangulaires est classique et permet d’identifier facilement chaque face à partir de trois vertex sans paramètres supplémentaires, mais des faces polygonales à plus de trois sommets peuvent être utilisées. Chaque vertex 300a, 300b, 300c est relié aux deux autres vertex pour former la face 302, et chaque vertex peut être relié à d’autres vertex via par exemple des arêtes 304 (représentées partiellement en pointillées) pour former d’autres faces, non représentées.
En lien avec la figure 2a, la figure 2b illustre la représentation 200 tridimensionnelle de l’arcade dentaire après segmentation, dans laquelle on a associé un niveau de gris à chaque face triangulaire dont les vertex-sommets appartiennent à la même classe de tissu dentaire. Chaque tissu dentaire identifié est représenté dans une nuance de gris différente au moins de ses voisins, afin de montrer la distinction entre deux tissus dentaires adjacents et différents. Par exemple, sont référencés sur la figure 2b une prémolaire 202, deux molaires 204 et 210, une incisive 206 et une gencive 208.
Cette représentation a un objectif principalement illustratif : en pratique, la segmentation consiste au minimum à attribuer à chaque vertex une classe de tissu dentaire, sans nécessiter de fournir une représentation graphique en niveau de gris ou en couleur.
La figure 4 représente schématiquement les étapes d’un procédé de segmentation automatique selon un mode de réalisation de l’invention.
Le procédé comprend notamment les étapes décrites ci-après.
Une étape 402 d’acquisition d’une surface tridimensionnelle de l’arcade dentaire permet d’obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires : cette étape permet notamment d’obtenir une représentation tridimensionnelle du type de celle représentée en référence avec la figure 2a. L’acquisition de la surface tridimensionnelle de l’arcade dentaire est généralement faite sur un patient par un dentiste à l’aide d’une caméra intra-orale, sans intervention chirurgicale. La représentation tridimensionnelle de l’arcade dentaire est ensuite transmise au prothésiste qui, à partir de la représentation tridimensionnelle, planifie un traitement particulier (par exemple la réalisation de prothèses). Dans ce contexte, la représentation tridimensionnelle sous forme de vertex et de faces est courante.
Le procédé comprend ensuite une étape 404 de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle, dont l’objectif est de reproduire des informations quantitatives de cette représentation tridimensionnelle dans un espace projectif bidimensionnel ; l’information est facilement représentée dans cet espace via des images bidimensionnelles. Les M vues virtuelles correspondent par exemple à une caméra virtuelle dirigée vers différents endroits de la représentation tridimensionnelle de l’arcade dentaire. Dans certains cas, aucune ou une partie ou l’intégralité des vues virtuelles peuvent correspondre à des vues réelles acquises par la caméra intra-orale lors de l’acquisition de la surface tridimensionnelle.
Les vues virtuelles peuvent être définies par différentes caractéristiques, en particulier un centroïde définissant un centre optique, c’est-à-dire le point où la caméra virtuelle est disposée, et une direction de prise de vue, c’est-à-dire la direction dans laquelle est dirigée la caméra virtuelle pour obtenir la vue virtuelle. Le nombre M de vues virtuelles et les caractéristiques des vues virtuelles sont définies de sorte à permettre de voir l’ensemble des vertex de la représentation tridimensionnelle, de préférence plusieurs fois pour chaque vertex, c’est-à-dire que l’ensemble des vues virtuelles recouvre l’ensemble de la reconstruction tridimensionnelle.
L’étape 404 de génération de M vues virtuelles peut comprendre des sous- étapes (non-représentées) permettant d’obtenir ce nombre M de vues virtuelles et les caractéristiques de chaque vue virtuelle :
Une première sous-étape est une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire. Une deuxième sous-étape est une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette. L’étape 404 de génération de M vues virtuelles peut ainsi être composée, dans un des modes de réalisation, des sous-étapes suivantes, décrites en référence avec la figure 5 a : une sous-étape 502 de calcul d’une courbure tridimensionnelle de la représentation 100 tridimensionnelle ; une sous-étape 504 de détection de cuspides de l’arcade dentaire dans la représentation tridimensionnelle, par seuillage des courbures négatives de la courbure tridimensionnelle ; Les cuspides de l’arcade dentaire délimitent les parties creuses de chaque dent et sont faciles à détecter par la détection des courbures. une sous-étape 506 d’estimation d’un axe Z normal, représentant la moyenne des normales à chaque cuspide détectée ; L’axe Z normal représente ainsi un axe Z normal au plan formé par l’arcade dentaire une sous étape 508 de définition d’un plan P orthogonal à l’axe Z normal et comprenant le barycentre G de la reconstruction tridimensionnelle ; Le plan P représente ainsi sensiblement le plan formé par l’arcade dentaire une sous-étape 510 de projection de la surface tridimensionnelle sur le plan
P ; une sous-étape 512 de projection des vertex et des faces de la représentation tridimensionnelle sur ce plan, de sorte à générer un masque bidimensionnel binaire à partir de cette projection, représentant dans l’espace bidimensionnel une valeur binaire correspondant à la projection d’au moins une face de l’arcade dentaire, c’est-à-dire représentant les zones appartenant à l’arcade dentaire, ou à l’absence de projection de face de l’arcade dentaire, c’est-à-dire représentant les zones n’appartenant pas à l’arcade dentaire une sous-étape 514 de détermination d’un squelette S de l’arcade dentaire, à partir dudit masque bidimensionnel, par exemple à l’aide d’un algorithme de squelettisation topologique de type morphologique, le squelette correspondant à une courbe moyenne de la zone où la valeur binaire correspond à la présence de l’arcade dentaire. Ce squelette S est rapporté à la représentation tridimensionnelle, de façon à former un squelette tridimensionnel c’est-à-dire caractérisé dans l’espace tridimensionnel de la représentation tridimensionnelle. une sous-étape 516 de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette. Cette sous-étape peut être effectuée différemment selon les modes de réalisation, par exemple selon la morphologie de l’arcade dentaire étudiée et/ou le nombre de vues souhaités, mais peut par exemple être constitué des sous-étapes suivantes, décrites en référence avec la figure 5b : o une sous-étape 520 de répartition uniforme de points tridimensionnels d’ancrage Vk le long du squelette S, par exemple en partant d’une de ses extrémités et en insérant un point tous les centimètres, o une sous-étape 522 de création de demi-cercles De tridimensionnels (pour illustration, seuls deux demi-cercles sont représentés) pour chaque point d’ancrage Vk, dont le centre est le point d’ancrage Vk, dont le rayon de quelques centimètres (typiquement 4 centimètres), et dont l’axe de rotation est défini comme l’orientation tridimensionnelle du squelette dans le voisinage du point d’ancrage Vk, o une sous-étape 524 de répartition uniforme de vues virtuelles le long de chacun de ces demi-cercles, par exemple en insérant le centre Co optique d’une nouvelle vue virtuelle tous les millimètres et en définissant la direction de prise de vue de cette vue virtuelle en partant de ce nouveau point de prise de vue et en regardant vers le point d’ancrage Vk (pour illustration, seuls cinq centres optiques sont représentés pour chacun des deux demi-cercles représentés). Ces caractéristiques permettent donc d’obtenir M prises de vues.
De nouveau en référence avec la figure 4, le procédé de segmentation automatique comprend ensuite une étape 406 de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur la vue virtuelle : La projection permet de faire correspondre à l’image les vertex visibles dans la vue virtuelle correspondant à l’image. La projection utilise par exemple un procédé de ray casting pour faire correspondre à chaque pixel un vertex ou une face de la représentation tridimensionnelle. L’image obtenue est composée de pixels ayant une valeur discriminatoire attribuée représentative du vertex ou de la face polygonale auquel ou à laquelle le pixel correspond. Cette valeur discriminatoire est une valeur numérique qui peut être représentative du vertex, et dépendre des caractéristiques attribuées au vertex lors de l’acquisition de la représentation tridimensionnelle ou lors de calculs ultérieurs. Par exemple, si la caméra est une caméra RGB, la valeur discriminatoire comprend un triplet de valeur RGB (le triplet pouvant être représentée, de façon connue, par une valeur discriminatoire unique, par exemple FFFFFF pour du blanc par sa représentation hexadécimale RGB), ou bien chaque valeur RGB est compris dans un canal différent. La valeur peut dans d’autres cas représenter une relation entre le vertex et la vue virtuelle (par exemple la distance entre le vertex et le centre optique de la vue virtuelle, ou l’angle entre sa normale et la direction de visée de la vue virtuelle). La valeur discriminatoire peut aussi être représentative de la profondeur par rapport à la caméra virtuelle formant la vue virtuelle ; autrement dit, elle peut représenter la distance entre le vertex considéré et le centre optique de la vue virtuelle. D’autres données peuvent former la valeur discriminatoire, par exemple la courbure tridimensionnelle, obtenue à partir de la représentation tridimensionnelle.
En outre, plusieurs valeurs discriminatoires peuvent être utilisées pour la formation de l’image, chacune des valeurs discriminatoires étant stockée dans un canal
Suite à la projection, lorsque le pixel ne correspond pas à un vertex mais à une face triangulaire, alors la valeur discriminatoire du pixel est basée sur une interpolation de la valeur des trois vertex formant les sommets de la face (par exemple une interpolation linéaire).
Chaque image, dans laquelle chaque pixel a une valeur discriminatoire attribuée, est traitée dans une étape 408 de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires. Le réseau d’apprentissage profond, ou réseau neuronal d’apprentissage profond, est entraîné préalablement selon un procédé d’apprentissage supervisé décrit plus loin en référence avec la figure 6. Le réseau d’apprentissage profond pourrait attribuer à chaque pixel de l’image une classe de tissu dentaire, qui serait la classe ayant la plus forte probabilité d’appartenance. Toutefois, de meilleurs résultats et une réduction des erreurs est permise dans les étapes suivantes en utilisant un vecteur de probabilité d’appartenance du pixel à une classe de tissus dentaire.
Le vecteur de probabilité est de taille N, correspondant aux N classes de tissus dentaire prédéterminées qui peuvent être attribuées à chaque pixel. Ces N classes peuvent correspondre à la gencive, à une dent en particulier identifiée par sa notation dentaire, à un matériel prothétique, etc.
Le procédé comprend ensuite une étape 410 de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparaît et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels.
Le projection inverse permet de revenir à la représentation tridimensionnelle après le passage par les images bidimensionnelles. Le lien entre un pixel et un vertex, qui a déjà été établi dans l’étape de projection, est de préférence recalculé pour éviter de devoir stocker le lien entre chaque vertex et sa ou ses projections dans chaque image qui peut demander un espace de stockage important et qui ne permet pas forcément un traitement plus rapide qu’un recalcul.
À chaque vertex est attribué à un vecteur de probabilité s’il n’est visible que dans une image virtuelle, et sinon à autant de vecteurs de probabilité que d’images dans lesquelles il a été projeté. Comme les vues virtuelles ont été paramétrées de sorte à ce que chaque vertex soit projeté sur une image, aucun vertex ne doit avoir aucun vecteur de probabilité qui lui est attribué. De préférence, chaque vertex a plusieurs vecteurs de probabilité qui lui sont attribués afin de maximiser les chances d’identifier la bonne classe de tissu dentaire.
Le procédé comprend enfin une étape 412 de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribué audit vertex.
Cette attribution à chaque vertex de la classe associée correspond à la segmentation automatique. Comme déjà décrit en référence à la figure 2b, la segmentation permet d’obtenir des représentations tridimensionnelles différenciant, par exemple par des niveaux de gris ou des couleurs, chaque élément appartenant au même tissu dentaire, mais en pratique la segmentation consiste uniquement à attribuer à chaque vertex une classe de tissu dentaire et ces données peuvent être utilisées telles quelles.
La classe de tissu dentaire utilisé pourrait simplement être celle dont la probabilité est la plus forte en moyennant l’ensemble des vecteurs de probabilités affectés au vertex. Toutefois, pour éviter les artefacts et les erreurs locales, il est préférable d’utiliser un algorithme de combinaison de type coupe de graphe ou graph-cut en anglais, permettant de prendre en compte aussi les vecteurs de probabilité des vertex voisins.
L’algorithme graph-cut a pour but d’affecter pour chaque vertex la classe ayant une probabilité forte, tout en favorisant l’homogénéité locale de classe. En effet, sur l’arcade dentaire, il y a une forte probabilité que les vertex voisins aient la même classe, hormis s’ils sont séparés par une zone de haute courbure. Par exemple, deux vertex voisins sur la même molaire ont la même classe, et la courbure locale entre eux est faible (une dent est relativement lisse). A contrario, un vertex sur une molaire et un vertex sur la gencive (appartenant donc à deux classes différentes) sont séparés par une zone de haute courbure spatiale (l’insertion de la dent dans la gencive générant une « cassure » spatiale). Pour rendre compte de ce phénomène, le graph eut utilisé peut prendre comme paramètre un terme unitaire, pour chaque vertex, le vecteur Vp moyen de probabilité : de cette manière, il va essayer de maximiser la probabilité de classe. Le graph eut peut prendre comme terme binaire (i.e. reliant deux vertex voisins) la courbure spatiale séparant ces deux vertex, ou le produit scalaire entre leur normale respective. De cette manière, le graph eut va essayer de respecter au mieux l’homogénéité spatiale de classe hormis lors de traversées de zones de haute courbure, tout en essayant pour chaque vertex de maximiser la probabilité selon le vecteur Vp.
La figure 6 représente schématiquement un procédé 600 d’apprentissage supervisé d’un réseau d’apprentissage profond selon un mode de réalisation de l’invention. Le procédé d’apprentissage supervisé est appliqué à un réseau de neurone convolutif CNN ou plus particulièrement à un réseau entièrement convolutif FCN. Le réseau d’apprentissage profond est entraîné par fourniture d’images bidimensionnelles d’entrée telles que celle qui lui seront fournies par le procédé de segmentation automatique décrit précédemment. L’apprentissage est supervisé, c’est-à-dire qu’on fournit aussi au réseau d’apprentissage profond, lors de son apprentissage, les images bidimensionnelles de sortie associées aux images bidimensionnelles d’entrée dans lesquelles les classes de tissus sont attribués aux pixels, c’est-à-dire que les images de sorties sont segmentées.
Pour ce faire, le procédé comprend les étapes suivantes :
- une étape 602 d’acquisition d’une pluralité de surfaces tridimensionnelles de plusieurs arcades dentaires, pour obtenir une pluralité de représentations tridimensionnelles d’apprentissage des arcades dentaires dans un espace tridimensionnel, lesdites représentations tridimensionnelles d’apprentissage comprenant chacune un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- une étape 604 de segmentation manuelle, par un opérateur humain, de chaque représentation tridimensionnelle d’apprentissage de l’arcade dentaire, dans laquelle est attribuée à chaque vertex de la représentation tridimensionnelle une classe de tissu dentaire, de manière à obtenir une représentation tridimensionnelle segmentée pour chaque représentation tridimensionnelle d’apprentissage ;
- une étape 606 de génération, pour chaque représentation tridimensionnelle de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle d’apprentissage ; Pour chaque représentation tridimensionnelle d’apprentissage, on génère M vues virtuelles bidimensionnelles de la même façon que dans le procédé de segmentation automatique, comme décrit précédemment en référence aux figures 4, 5a et 5b.
- une étape 608 de projection, pour chaque représentation tridimensionnelle d’apprentissage, de la ou les valeurs discriminatoires choisies pour la représentation tridimensionnelle d’apprentissage sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle d’entrée représentant en chaque pixel la valeur discriminatoire du vertex ou de la face polygonale se projetant sur la vue virtuelle ; cette étape génère les données qui seront fournies en entrée du réseau d’apprentissage, qui sont des images 620 d’entrées ;
- une étape 610 de projection, pour chaque représentation tridimensionnelle segmentée, de la représentation tridimensionnelle segmentée sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle de sortie représentant en chaque pixel la classe de tissu dentaire du vertex ou de la face polygonale se projetant sur l’image bidimensionnelle de sortie ; cette étape génère les données attendues en sortie du réseau d’apprentissage qui sont des images 622 de sortie ;
- une étape 612 d’apprentissage du réseau 630 d’apprentissage profond via un traitement de chaque couple 624a, 624b, 624c d’images comprenant une image d’entrée et une image de sortie issues respectivement de la projection avec la même vue virtuelle de chaque représentation tridimensionnelle d’apprentissage et de sa représentation tridimensionnelle segmentée associée. Le réseau 630 d’apprentissage profond est ainsi entraîné par les couples 624a ; 624b, 624c d’images, en connaissant l’entrée et la sortie attendue du procédé de segmentation.
Une fois le réseau d’apprentissage suffisamment entraîné, le procédé de segmentation automatique peut effectuer la segmentation automatique sans intervention manuelle.

Claims

REVENDICATIONS
1. Procédé de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
- une étape (402) d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- une étape (404) de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle, comprenant une étape de détermination des caractéristiques des vues virtuelles comprenant une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire et une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette ;
- une étape (406) de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur cette vue virtuelle ;
- une étape (408) de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
- une étape (410) de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un pixel pour chaque image sur laquelle le vertex apparaît et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
- une étape (412) de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribués audit vertex.
2. Procédé de segmentation automatique d’une arcade dentaire selon la revendication 1, caractérisé en ce qu’il comprend, préalablement à l’étape de traitement de chaque image par le réseau d’apprentissage, une étape d’attribution à chaque pixel de chaque image d’au moins une valeur discriminatoire, ladite valeur discriminatoire étant représentative d’une caractéristique du vertex lorsque ledit pixel correspond à un vertex sur la vue virtuelle, et à une interpolation des caractéristiques des vertex sommets de la face polygonale lorsque ledit pixel correspond à une face polygonale sur la vue virtuelle.
3. Procédé de segmentation automatique selon la revendication 2, caractérisé en ce que la valeur discriminatoire peut être d’un type de valeur sélectionné parmi la liste des types de valeurs suivante :
- valeur RGB du vertex, obtenue lors de l’acquisition d’une surface tridimensionnelle ;
- valeur de courbure tridimensionnelle au niveau du vertex ;
- valeur de distance entre le vertex et un centre optique de la vue virtuelle sur laquelle il se projette ;
- un angle entre une normale du vertex et une direction de visée de la vue virtuelle.
4. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 3, caractérisé en ce que chaque vue virtuelle est définie par un centre (Co) optique compris dans l’espace tridimensionnel, et par une direction de prise de vue selon un axe de prise de vue.
5. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 4, caractérisé en ce que le nombre de vues virtuelles bidimensionnelles générées est compris entre 30 et 90 vues, de préférence entre 50 et 70 vues.
6. Procédé de segmentation automatique d’une arcade dentaire selon l’une des revendications 1 à 5, caractérisé en ce que l’étape de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle il appartient le plus probablement comprend l’exécution d’un algorithme de type coupe de graphe prenant en paramètre pour chaque vertex le ou lesdits vecteurs de probabilités attribués audit vertex.
7. Dispositif de segmentation automatique d’une arcade dentaire, caractérisé en ce qu’il comprend :
- un module d’acquisition d’une surface tridimensionnelle de l’arcade dentaire, configuré pour obtenir une représentation tridimensionnelle de l’arcade dentaire dans un espace tridimensionnel, ladite représentation tridimensionnelle comprenant un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- un module de génération de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle configuré pour déterminer des caractéristiques des vues virtuelles par détermination d’un squelette représentant la forme générale de l’arcade dentaire et par détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette ;
- un module de projection de la représentation tridimensionnelle sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image représentant chaque vertex et chaque face polygonale visible sur la vue virtuelle ;
- un module de traitement de chaque image par un réseau d’apprentissage profond préalablement entraîné, associant à chaque pixel de chaque image un vecteur de probabilité de taille N, chaque indice du vecteur représentant la probabilité d’appartenance dudit pixel à une classe de tissus dentaires, parmi N classes de tissus dentaires ;
- un module de projection inverse de chaque image de sorte à attribuer à chaque vertex de la représentation tridimensionnelle, un ou plusieurs pixels des images dans lequel le vertex apparaît et auquel il correspond, et en attribuant à chaque vertex le ou les vecteurs de probabilité associés audit ou auxdits pixels ;
- un module de détermination, pour chaque vertex, de la classe de tissu dentaire à laquelle appartient le plus probablement ledit vertex à partir du ou des vecteurs de probabilité attribué audit vertex.
8. Procédé d’apprentissage supervisé d’un réseau (630) d’apprentissage profond, caractérisé en ce qu’il comprend :
- une étape d’acquisition d’une pluralité de surfaces tridimensionnelles de plusieurs arcades dentaires, pour obtenir une pluralité de représentations tridimensionnelles d’apprentissage des arcades dentaires dans un espace tridimensionnel, lesdites représentations tridimensionnelles d’apprentissage comprenant chacune un ensemble de Np points tridimensionnels, dits vertex, formant des sommets de Nf faces polygonales, de préférence triangulaires ;
- une étape de segmentation manuelle, par un opérateur humain, de chaque représentation tridimensionnelle d’apprentissage de l’arcade dentaire, dans laquelle est attribuée à chaque vertex de la représentation tridimensionnelle une classe de tissu dentaire, de manière à obtenir une représentation tridimensionnelle segmentée pour chaque représentation tridimensionnelle d’apprentissage ;
- une étape de génération, pour chaque représentation tridimensionnelle de M vues virtuelles bidimensionnelles à partir de la représentation tridimensionnelle d’apprentissage comprenant une sous-étape de détermination d’un squelette représentant la forme générale de l’arcade dentaire et une sous-étape de détermination des caractéristiques des vues virtuelles par la sélection de vues virtuelles distribuées le long du squelette et dirigées vers le squelette ;
- une étape de projection, pour chaque représentation tridimensionnelle d’apprentissage, de la ou les valeurs discriminatoires choisies pour la représentation tridimensionnelle d’apprentissage sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle d’entrée représentant en chaque pixel la valeur discriminatoire du vertex ou de la face polygonale se projetant sur la vue virtuelle ;
- une étape de projection, pour chaque représentation tridimensionnelle segmentée, de la représentation tridimensionnelle segmentée sur chaque vue virtuelle bidimensionnelle, configurée pour obtenir, pour chaque vue virtuelle, une image bidimensionnelle de sortie représentant en chaque pixel la classe de tissu dentaire du vertex ou de la face polygonale se projetant sur l’image bidimensionnelle de sortie ;
- une étape d’apprentissage du réseau d’apprentissage profond via un traitement de chaque couple d’images comprenant une image d’entrée et une image de sortie issues respectivement de la projection avec la même vue virtuelle de la ou les valeurs discriminatoires pour chaque représentation tridimensionnelle d’apprentissage et de sa représentation tridimensionnelle segmentée associée.
PCT/EP2021/065454 2020-06-10 2021-06-09 Procédé de segmentation automatique d'une arcade dentaire WO2021250091A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21731156.2A EP4165595A1 (fr) 2020-06-10 2021-06-09 Procédé de segmentation automatique d'une arcade dentaire
US18/009,626 US20230206451A1 (en) 2020-06-10 2021-06-09 Method for automatic segmentation of a dental arch

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2006077 2020-06-10
FR2006077A FR3111268B1 (fr) 2020-06-10 2020-06-10 Procédé de segmentation automatique d’une arcade dentaire

Publications (1)

Publication Number Publication Date
WO2021250091A1 true WO2021250091A1 (fr) 2021-12-16

Family

ID=72709498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/065454 WO2021250091A1 (fr) 2020-06-10 2021-06-09 Procédé de segmentation automatique d'une arcade dentaire

Country Status (4)

Country Link
US (1) US20230206451A1 (fr)
EP (1) EP4165595A1 (fr)
FR (1) FR3111268B1 (fr)
WO (1) WO2021250091A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429463A (zh) * 2022-01-25 2022-05-03 首都医科大学附属北京同仁医院 一种牙周软组织治疗效果的评价方法及装置
CN114723765A (zh) * 2022-04-13 2022-07-08 四川锋准机器人科技有限公司 一种牙弓线自动提取方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023215767A2 (fr) * 2022-05-02 2023-11-09 Align Technology, Inc. Procédés et appareils de détection d'espaces interproximaux
FR3136153A1 (fr) * 2022-06-07 2023-12-08 Olivier Querbes Procédé de commande d’un bras robotisé pour imagerie intra-orale

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180028294A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180028294A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
EVANGELOS KALOGERAKIS ET AL: "3D Shape Segmentation with Projective Convolutional Networks", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 8 December 2016 (2016-12-08), XP080737954, DOI: 10.1109/CVPR.2017.702 *
JONATHAN LONG ET AL: "Fully convolutional networks for semantic segmentation", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), vol. 39, no. 4, 15 October 2015 (2015-10-15), pages 3431 - 3440, XP055573743, ISBN: 978-1-4673-6964-0, DOI: 10.1109/CVPR.2015.7298965 *
LONG ET AL., FULLY CONVOLUTIONAL NETWORKS FOR SEMANTIC SEGMENTATION, 2014
WONGWAEN N ET AL: "Computerized algorithm for 3D teeth segmentation", ELECTRONICS AND INFORMATION ENGINEERING (ICEIE), 2010 INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 1 August 2010 (2010-08-01), pages V1 - 277, XP031744296, ISBN: 978-1-4244-7679-4 *
YUNHAI WANG ET AL: "Projective analysis for 3D shape segmentation", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 32, no. 6, 1 November 2013 (2013-11-01), pages 1 - 12, XP058033888, ISSN: 0730-0301, DOI: 10.1145/2508363.2508393 *
ZHIGE XIE ET AL: "Projective Feature Learning for 3D Shapes with Multi-View Depth Images", COMPUTER GRAPHICS FORUM : JOURNAL OF THE EUROPEAN ASSOCIATION FOR COMPUTER GRAPHICS, vol. 34, no. 7, 1 October 2015 (2015-10-01), Oxford, pages 1 - 11, XP055516937, ISSN: 0167-7055, DOI: 10.1111/cgf.12740 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429463A (zh) * 2022-01-25 2022-05-03 首都医科大学附属北京同仁医院 一种牙周软组织治疗效果的评价方法及装置
CN114429463B (zh) * 2022-01-25 2023-12-22 首都医科大学附属北京同仁医院 一种牙周软组织治疗效果的评价方法及装置
CN114723765A (zh) * 2022-04-13 2022-07-08 四川锋准机器人科技有限公司 一种牙弓线自动提取方法
CN114723765B (zh) * 2022-04-13 2024-05-03 四川锋准机器人科技有限公司 一种牙弓线自动提取方法

Also Published As

Publication number Publication date
FR3111268B1 (fr) 2022-08-26
FR3111268A1 (fr) 2021-12-17
EP4165595A1 (fr) 2023-04-19
US20230206451A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
US11727607B2 (en) Generation of images with tooth color determined using depth information
US11452577B2 (en) Generation of synthetic post treatment images of teeth
WO2021250091A1 (fr) Procédé de segmentation automatique d'une arcade dentaire
EP3432217A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3893156A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3432312A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
FR3050375A1 (fr) Procede de controle de la dentition
EP3432267A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
EP3432218A1 (fr) Procede d'analyse d'une image d'une arcade dentaire
CN112515787B (zh) 一种三维牙颌数据分析方法
EP3273905B1 (fr) Procede de determination d'une cartographie des contacts et/ou des distances entre les arcades maxillaire et mandibulaire d'un individu
FR2798493A1 (fr) Procede d'identification d'une zone nerveuse alveolaire dans une image de machoire
FR3096255A1 (fr) Procede de generation d’un modele d’une arcade dentaire
WO2020161121A1 (fr) Procédé de segmentation automatique de dents
EP3821393B1 (fr) Procede de transformation d'une vue d'un modele 3d d'une arcade dentaire en une vue photorealiste
WO2022248510A1 (fr) Procédé de distribution de gouttières orthodontiques
WO2021250065A1 (fr) Procede de suivi d'un mouvement dentaire
US20230309800A1 (en) System and method of scanning teeth for restorative dentistry
FR3095334A1 (fr) Procede d’evaluation d’une gouttiere orthodontique
FR3123200A1 (fr) Procede d’acquisition d’un modele d’une arcade dentaire
EP4348572A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
CN118397026A (zh) 一种义齿颈缘线自动提取方法及***
WO2024047054A1 (fr) Procédé d'acquisition d'un ensemble d'images d'un objet buccal
WO2023227613A1 (fr) Procede d'acquisition d'un modele d'une arcade dentaire
FR3135891A1 (fr) Procede d’acquisition d’un modele d’une arcade dentaire

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21731156

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021731156

Country of ref document: EP

Effective date: 20230110