EP3965684A1 - Method for planning tissue ablation based on deep learning - Google Patents

Method for planning tissue ablation based on deep learning

Info

Publication number
EP3965684A1
EP3965684A1 EP20733842.7A EP20733842A EP3965684A1 EP 3965684 A1 EP3965684 A1 EP 3965684A1 EP 20733842 A EP20733842 A EP 20733842A EP 3965684 A1 EP3965684 A1 EP 3965684A1
Authority
EP
European Patent Office
Prior art keywords
region
image
interest
patient
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20733842.7A
Other languages
German (de)
French (fr)
Inventor
Estanislao OUBEL
Lucien Blondel
Fernand Badano
Bertin Nahum
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantum Surgical
Original Assignee
Quantum Surgical
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantum Surgical filed Critical Quantum Surgical
Publication of EP3965684A1 publication Critical patent/EP3965684A1/en
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/02Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/1815Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using microwaves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Definitions

  • the present invention belongs to the field of minimally invasive medical interventions for tissue ablation.
  • the invention relates to a method and a device for planning a surgical intervention to ablate tissue in an anatomy of interest to a patient.
  • a practitioner typically performs surgery planning. from a preoperative image.
  • the preoperative image is for example obtained by tomodensitometry (“computerized tomography” or CT-scan in the English literature), by magnetic resonance imaging (MRI), by ultrasound, by positron emission tomography (PET or PET- scan in Anglo-Saxon literature), etc.
  • Tissue ablation can be done by different methods: heat or cold (radiofrequency, microwave, cryotherapy), laser, electroporation, focused ultrasound, etc. Also, different types of medical instruments can be used for the ablation treatment (needle, probe, electrode, etc.).
  • the planning of a surgical procedure to ablate tissue in an anatomy of interest of a patient having, for example, hepatocellular carcinoma or metastases with a particular medical device is based on data from the medical device. supplied by the manufacturer of the said instrument.
  • the manufacturer of said needle indicates the dimensions, shape and position relative to the needle. end of the needle of the ablation zone obtainable for different treatment parameters such as applied electric power, duration of treatment, etc.
  • the area of ablation indicated by the manufacturer is determined from ex vivo measurements, and it does not always correspond to the area of ablation actually obtained in vivo on a patient. with the same processing parameters.
  • Some methods of planning tissue ablation are additionally based on modeling to simulate the outcome of surgery. For example, depending on the nature of the tissue to be ablated (eg depending on the phenotype of a tumor), characteristics such as heat diffusion or electrical conductivity within the tissue can be estimated to simulate the result of ablation. According to another example, the result of the ablation is estimated taking into account a cooling effect by blood vessels located in or near the tissue to be ablated. Corrections can then be applied to the data of the manufacturer of the medical device depending on the model considered.
  • the conventional planning methods consider that the ablation region obtained corresponds to the union of the estimated ablation zones for each needle and each treatment, respectively.
  • this is not always the case.
  • the fact of applying several treatments can indeed have an impact on the ablation area obtained for each treatment.
  • these conventional methods generally assume that the ablation area obtained for a particular needle with a particular set of treatment parameters will always be the same. Again, this is only an imperfect estimate.
  • the area of ablation obtained depends not only on the needle and the treatment parameters used but also on the particular characteristics of the patient's anatomy.
  • Patent application US 2018/0028261 A1 discloses a method for assisting a practitioner in determining a region of ablation of a tumor.
  • the method involves a step of acquiring a preoperative medical image of the anatomy of a patient in which the tumor is to be removed.
  • the tumor is segmented on the preoperative image, and the image is analyzed by a machine learning algorithm to determine an ablation region on the preoperative medical image.
  • this document is not concerned with the problem that an estimated ablation zone for a particular set of treatment parameters may be different from the ablation zone actually obtained because of certain parameters inherent to the patient.
  • an estimated ablation zone for a set of given treatment parameters with a given ablation instrument is always the same.
  • the estimated ablation region corresponds to the union of the estimated ablation zones respectively for each instrument.
  • the objective of the present invention is to remedy all or part of the drawbacks of the prior art, in particular those set out above, by proposing a solution making it possible to accurately estimate an ablation region which will be obtained during an intervention. specific to a particular patient.
  • a method of planning a surgical intervention aimed at ablating tissue in an anatomy of interest to a patient comprises the following steps:
  • a simulated image on which is represented an estimated ablation region said simulated image being generated from the preoperative image, planning parameters, and a neural network, said neural network having been previously trained with a plurality of learning elements, each learning element corresponding respectively to a similar surgical procedure of ablation of a tissue in an anatomy of interest to another patient, each element of 'learning comprising a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after the intervention surgical, said simulated image making it possible to observe the result likely to be obtained after the surgical intervention.
  • a learning element of the neural network thus corresponds to a triplet of data formed by the preoperative image, a set of planning parameters, and a postoperative image.
  • the preoperative and postoperative images are for example obtained by a medical imaging device, for example by computed tomography, by magnetic resonance, by ultrasound, by three-dimensional rotational angiography, by positron emission tomography, etc.
  • a preoperative image is obtained before the ablation surgery is performed.
  • a postoperative image is obtained after the ablation surgery has been performed.
  • the neural network learns which region of ablation is actually obtained on the postoperative image for a particular preoperative image and with particular planning parameters.
  • the neural network is thus trained to estimate with precision, from a particular preoperative image and for a particular set of planning parameters, what will be the region of ablation actually obtained.
  • the region of ablation thus estimated is represented on a computer-generated image.
  • Certain surgical procedures associated with certain learning elements of the neural network may have required the use of several medical instruments.
  • the neural network is thus able to learn, by analyzing the associated postoperative images, the impact, on the result obtained, of using several medical instruments during an intervention.
  • no in vivo measurement of the patient is necessary. It is therefore possible to carry out planning before the surgical intervention. This allows more time for the practitioner to prepare for the intervention.
  • the invention may also include one or more of the following characteristics, taken in isolation or in any technically possible combination.
  • the method comprises a segmentation of an estimated ablation region represented in the simulated image.
  • segmenting an estimated ablation region makes it possible to define the dimensions of said ablation region, for example to compare it with a region to be treated identified on the preoperative image.
  • the method further comprises a determination of a tissue response to the ablation intervention by associating with each voxel of the estimated ablation region represented in the simulated image a value, called “Radiodensity value”, representative of a radiodensity of a tissue corresponding to said voxel.
  • Radiodensity value representative of a radiodensity of a tissue corresponding to said voxel.
  • the preoperative image is obtained by computed tomography ("computerized tomography" or CT-scan in the English literature).
  • voxel is formed by the fusion and contraction of the words “volume” and "element”.
  • a voxel is the equivalent of a pixel for a three-dimensional digital image. In the case where the images used are in two dimensions, the term voxel can be replaced by the term pixel.
  • a voxel is used to store colorimetric information and possibly other information for an elementary portion of a digital image.
  • tissue response to the ablation intervention is thus understood to mean a representation of the proportion with which each part of the tissue to be treated has been ablated.
  • the voxels of the ablation region for which the radiodensity value is greater than a first predetermined threshold correspond to the parts of the tissue to be treated which have been destroyed at less than 50% (which corresponds to a tissue response to the treatment relatively low).
  • the voxels of the ablation region for which the radiodensity value is less than a second predetermined threshold correspond to the parts of the tissue to be treated having been destroyed more than 90% (which corresponds to a relatively strong tissue response to treatment). It is thus possible to map, from the simulated image, the estimated response of the tissue to the treatment.
  • the segmentation of the estimated ablation region is carried out such that each voxel of said ablation region is associated with a radiodensity value greater than a predetermined threshold.
  • the method further comprises a verification that for each point of the contour of the estimated ablation region a gradient of the radiodensity values at the level of this point in a direction normal to said contour is greater than one. predetermined threshold.
  • the outline of the ablation region marks the boundary between the treated region and the untreated tissue.
  • the sharpness of this outline is representative of the quality of the ablation.
  • the method further comprises segmentation on the preoperative image of a region to be treated corresponding to the tissue that the surgical intervention aims to ablate, and a comparison of the estimated region of ablation represented. on the simulated image with the region to be treated represented on the preoperative image.
  • the method further comprises a verification of a validity condition which is satisfied if the contour of the estimated ablation region completely encompasses the contour of the region to be treated, and if for each point of the contour of the estimated ablation region, the minimum distance between this point and the contour of the region to be treated is within a predetermined range of values.
  • the method comprises a determination of a new set of planning parameters for which the estimated ablation region satisfies the validity condition.
  • the method further comprises a step of determining several new sets of planning parameters for which the validity condition is satisfied, and a step identifying, among the new sets of planning parameters, an optimal set of planning parameters for which the estimated ablation region has minimum dimensions.
  • the anatomy of interest is the liver.
  • the tissue to be ablated is a tumor.
  • the planning parameters comprise one or more elements among the following elements:
  • the present invention relates to a computer program product comprising a set of program code instructions which, when executed by one or more processors, configure the processor or processors to generate, using of a neural network, a simulated image, on which is represented an estimated region of ablation, from a part of a preoperative image of an anatomy of interest of a patient comprising a tissue to be ablated, and on the other hand of planning parameters.
  • the neural network is adapted to be previously trained with a plurality of learning elements, each learning element corresponding respectively to a similar surgical intervention for the ablation of a tissue in an anatomy of interest for another patient, each learning element comprising a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after surgery.
  • the present invention relates to a device for planning a surgical intervention aimed at ablating tissue in an anatomy of interest of a patient.
  • the device comprises a control unit configured to generate a simulated image from a preoperative image of said anatomy of interest, a set of planning parameters, and a neural network.
  • the neural network is adapted to be previously trained with a plurality learning elements, each learning element being associated respectively with a similar surgical procedure for the ablation of a tissue in an anatomy of interest to another patient.
  • Each learning element comprises a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after surgery.
  • the invention may further include one or more of the following characteristics, taken in isolation or in any technically possible combination.
  • control unit of the planning device is further configured to segment an estimated ablation region shown in the simulated image.
  • control unit of the planning device is further configured to associate with each voxel of the estimated ablation region represented in the simulated image a value known as the “radiodensity value” representative of a. Radiodensity of a tissue corresponding to said voxel.
  • control unit is configured to segment the estimated ablation region such that each voxel of said estimated ablation region is associated with a radiodensity value greater than a predetermined threshold.
  • control unit is configured to verify that for each point of the contour of the estimated ablation region a gradient of the radiodensity values at this point in a direction normal to said contour is greater than one. predetermined threshold.
  • control unit is further configured to segment on the preoperative image a region to be treated corresponding to the tissue that the surgical intervention aims to ablate, and to compare the estimated region of ablation shown on the simulated image with the region to be treated.
  • control unit is further configured to verify a validity condition which is satisfied if the outline of the estimated ablation region completely encompasses the outline of the region to be treated, and if for each point of the contour of the estimated ablation region, the minimum distance between this point and the contour of the region to be treated is within a predetermined range of values.
  • control unit is also configured to determine one or more new sets of planning parameters for which the validity condition is satisfied, and to identify, among these new sets of planning parameters, an optimal set of planning parameters for which the estimated ablation region has minimum dimensions.
  • FIG. 1 a schematic representation of a device for planning a surgical intervention according to the invention
  • FIG. 2 a schematic representation of a preoperative image of an anatomy of interest of a patient including tissue to be ablated
  • FIG. 3 a schematic representation of a simulated image generated by the planning device on which an estimated ablation region has been segmented
  • FIG. 4 a schematic representation of a postoperative image of an anatomy of interest from a patient on which an ablation region has been segmented following a surgical intervention that has removed tissue of said anatomy of interest
  • FIG. 5 a schematic representation of the main steps in a process for planning an intervention aimed at ablating tissue in an anatomy of interest to a patient
  • FIG. 6 a schematic representation of a preoperative image of an anatomy of interest of a patient on which a region to be treated has been segmented
  • FIG. 7 a schematic representation of a particular mode of implementation of the planning method according to the invention.
  • FIG. 8 a schematic representation of another particular embodiment of the planning method according to the invention.
  • FIG. 9 an illustration of the training of a neural network to implement a planning method according to the invention
  • FIG. 10 an illustration of the generation of a simulated image by a neural network to implement a planning method according to the invention.
  • Figure 1 shows schematically a device 10 for planning a surgical procedure to ablate tissue in an anatomy of interest in a patient 30.
  • the tissue to be ablated is a tumor.
  • the invention is also applicable to other types of tissue to be ablated, such as, for example, lesions of the skin, veins, nerves, cardiac tissue, esophageal tissue or even uterine fibroids.
  • the invention is applicable to other anatomies of interest such as for example a kidney, a lung, etc.
  • the planning device 10 comprises a control unit 1 1 comprising one or more processors and storage means 12 (magnetic hard disk, electronic memory, optical disc, etc.) in which a computer program product is stored, under the form of a set of program code instructions to be executed to implement at least some of the steps of a method of planning the surgical intervention.
  • the control unit comprises one or more programmable logic circuits (FGPA, PLD, etc.), and / or one or more specialized integrated circuits (ASIC), and / or a set of discrete electronic components, etc. ., adapted to implement said steps of the planning process.
  • FGPA programmable logic circuits
  • PLD programmable logic circuits
  • ASIC specialized integrated circuits
  • control unit 11 corresponds to the means of the planning device 20 which are configured in software (specific computer program product) and / or hardware (FPGA, PLD, ASIC, discrete electronic components. , etc.) to carry out the steps of the planning process.
  • the planning device 10 can also include a graphical interface 13 allowing a user to provide the device 10 with planning parameters and / or to view an image or data generated by the device 10.
  • the graphical interface 13 corresponds to a touch screen.
  • the graphical interface could also be implemented using other devices such as a keyboard, mouse, monitor, etc.
  • the planning device 10 uses as input data a set of planning parameters and a preoperative image of the anatomy of interest of the patient 30.
  • the planning device 10 implements a machine learning algorithm, to generate, from this input data, a simulated image on which is represented an estimated ablation region.
  • the machine learning algorithm used is a neural network.
  • the planning parameters indicate, for example, a type of pathology to be treated (for example hepatocellular carcinoma or metastases), a type of treatment for ablation (radiofrequency, microwave, laser, electroporation, cryotherapy, etc.), a type of medical instrument to perform the treatment, a position and orientation of the medical instrument at the time of treatment, treatment parameters (duration, power, etc.).
  • the planning parameters are indicated on the graphical interface 13 by the practitioner who prepares the surgery.
  • the preoperative image is obtained by a medical imaging device, for example by computed tomography, by magnetic resonance, by ultrasound, by three-dimensional rotational angiography, by positron emission tomography, etc.
  • the tissue to be ablated and the anatomy of interest are visible in the preoperative image.
  • the medical imaging apparatus 20 may be a separate apparatus from the planning device 10. However, there is nothing to prevent the planning device 20 and the medical imaging apparatus 20 from forming together one and the same physical entity.
  • the preoperative image can be transmitted to the planning device 10.
  • the preoperative image is digitized and then transmitted to the planning device 10 by wireless communication means.
  • the digitized preoperative image can be supplied to the planning device 10 by a peripheral of USB type (acronym for "Universal Serial Bus").
  • the neural network is pre-trained with learning elements each corresponding respectively to a similar surgical procedure to remove tissue in an anatomy of interest previously performed for another patient.
  • Each learning element comprises a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after surgery.
  • the neural network trains by "learning" what the actual region of ablation is on a postoperative image for a particular preoperative image and with particular planning parameters.
  • the preoperative medical images of the neural network learning elements are of the same type as the preoperative medical image used as input data to plan a surgical intervention.
  • a medical image used to form a learning element or used as an input to the planning process may correspond to an image directly obtained by the medical imaging apparatus. However, nothing prevents such a medical image from corresponding to only a portion of an image obtained by the medical imaging apparatus. In other words, it is for example conceivable to crop an image obtained by the medical imaging device 20 to provide the neural network with a medical image mainly representing the anatomy of interest of the patient, or a portion of said anatomy of the patient. interest where the tissue to be treated is located.
  • FIG. 2 schematically represents a preoperative image 50 of an anatomy of interest 31 comprising a tissue 32 to be ablated.
  • a preoperative image 50 corresponds, for example, to the preoperative image used as input data for planning a surgical intervention.
  • a preoperative image 50 may belong to a learning element used to train the neural network.
  • FIG. 3 schematically represents a simulated image 51 generated by the planning device 10 on which has been segmented an estimated ablation region 34.
  • the simulated image 51 has been generated by the planning device 10 taking as input data the preoperative image 50 shown in FIG. 2.
  • FIG. 4 schematically represents a postoperative image 52 of the anatomy of interest 31 following a surgical intervention having ablated the tissue 32.
  • a postoperative image 52 can be used, in combination with the preoperative image 50 of FIG. 1, to train a learning element used to train the neural network.
  • an ablation region 35 actually obtained following the surgery has been segmented. This segmentation of the ablation region 35 actually obtained following the surgical intervention is not, however, essential so that the postoperative image 52 can be used to form a learning element of the neural network. It is also preferable not to segment the images used to form learning elements of the neural network. There are different methods of segmentation on an image.
  • segmentation is understood to mean an image processing operation which aims to define regions or contours on an image according to predefined criteria. These methods are considered to be known to those skilled in the art. The fact of segmenting an estimated or actually obtained ablation region makes it possible to define the dimensions of said ablation region.
  • FIG. 5 schematically represents the main steps of a method 100 of planning a surgical intervention aimed at ablating tissue 32 in an anatomy of interest 31 of a patient 30.
  • the planning method 100 comprises the following steps:
  • the step 101 of acquiring a preoperative image is for example carried out by the practitioner using the imaging device 20 described with reference to FIG. 1.
  • the step 102 of determining a set of planning parameters is for example implemented by entering, by the practitioner, via the graphical interface 13 of the planning device 10 described with reference to FIG. 1, of relative parameters the surgical intervention to be performed (type of pathology, type of treatment, type of medical instrument used, position and orientation of the medical instrument, treatment parameters, etc.).
  • relative parameters the surgical intervention to be performed type of pathology, type of treatment, type of medical instrument used, position and orientation of the medical instrument, treatment parameters, etc.
  • an optimal position and orientation of the medical instrument can be determined automatically by a learning algorithm.
  • the steps of generation 103 of the simulated image 51 and of segmentation 104 of the estimated ablation region 34 are for example implemented by the neural network implemented in the control unit 11 of the planning device 10.
  • the simulated image 51 generated allows the practitioner to observe the result that he is likely to obtain after the surgical intervention if he uses the planning parameters which have been supplied as input data to the planning method 100.
  • the estimated ablation region 34 may have larger or smaller dimensions compared to a region to be treated corresponding to the tissue to be ablated.
  • the step of segmenting 104 of an estimated ablation region 34 shown in the simulated image 51 is optional because it is not essential to the invention.
  • the ablation region can be identifiable by the practitioner on the simulated image 51 without a segmentation of said estimated ablation region 34 being performed.
  • FIG. 6 schematically represents a preoperative image 50 ’corresponding to the preoperative image 50 of FIG. 2 on which a region to be treated 33 corresponding to the tissue 32 to be ablated is segmented. It is advantageous to compare the dimensions of the estimated ablation region 34 with the dimensions of the region to be treated 33. Indeed, it is necessary on the one hand to ensure that the region to be treated is sufficiently covered by the entire treatment. by minimizing the dimensions of the ablation region so as not to destroy too large parts of healthy tissue which are not part of the region to be treated.
  • FIG. 7 diagrammatically represents the main steps of a particular embodiment of the planning method 100 according to the invention.
  • the particular mode of implementation illustrated in FIG. 7 comprises the following steps:
  • the validity condition is checked if the contour of the estimated ablation region 34 completely encompasses the contour of the region to be treated 33 and if for each point of the contour of the estimated ablation region 34 the minimum distance between this point and the contour of the region to be treated 33 lies within a predetermined range of values.
  • the predetermined value range corresponds to values between 5 and 10 millimeters.
  • other conditions of validity are conceivable and constitute only variants of the invention.
  • the practitioner can for example decide to modify the planning parameters and to restart a simulation.
  • the method 100 can comprising a step of determining 108, in an automated manner by the planning device 10, a new set of planning parameters for which the estimated ablation region 34 satisfies the validity condition.
  • the determination step 108 is for example carried out by methods of conventional optimization and exploration of the space of planning data.
  • FIG. 8 represents yet another particular embodiment of the planning method 100 according to the invention.
  • the planning method 100 comprises a step 109 of determining several new sets of planning parameters. As illustrated in FIG. 8, for each new set of planning parameters, the steps of generation 103 of a simulated image, of segmentation 104 of an estimated ablation region, of comparison 106 between the region to be treated and the region of estimated ablation, and verification 107 of the validity condition, are performed.
  • the method 100 then comprises a step 110 of identifying, among the new sets of planning parameters which verify the condition of validity, of a set of optimal planning parameters.
  • the optimal planning parameter set corresponds to the planning parameters for which the estimated ablation region 34 has minimum dimensions while checking the validity condition. This helps to minimize the amount of healthy tissue ablated during surgery.
  • a new set of planning parameters can be determined based on another new set of previously determined planning parameters, and / or based on the planning parameters initially chosen by the practitioner.
  • Different methods can be considered to determine and segment the estimated ablation region on the simulated image 51 generated by the neural network.
  • the estimated ablation region is represented by a binary image which is superimposed on the preoperative image 50 to form the generated image 51.
  • each voxel of the binary image located outside the estimated ablation region is associated with a zero value
  • each voxel located inside the estimated ablation region is associated with a fixed non-value.
  • a voxel whose value is not zero appears with a particular color on the binary image.
  • a voxel whose value is zero is however transparent and has no impact on the image generated when superimposed on the preoperative image.
  • the term voxel can be replaced by the term pixel.
  • the estimated region of ablation is segmented on the simulated image 51 based on a tissue response of the anatomy of interest 31 to the ablation procedure.
  • a tissue response to the ablation intervention is determined by the neural network by associating with each voxel of the estimated ablation region 34 represented on the simulated image 51 a value, called “radiodensity value”. , representative of a radiodensity of a tissue corresponding to said voxel.
  • Radiodensity is representative of the relative inability of electromagnetic radiation, e.g. X-rays generated by medical imaging device 20, to pass through tissue of the patient's anatomy of interest 31 (note that X-rays emitted by the imaging device are not intended to ablate the tumor, and the "radiodensity value" referred to here is independent of the radiotherapy parameters).
  • the ablation region represented on the simulated image 51 by the neural network generally corresponds to a necrotic region which has lower radiodensity values on the image than a part of the anatomy of interest of the patient which does not was not ablated.
  • tissue response to the ablation intervention is thus understood to mean a representation of the proportion with which each part of the tissue to be treated has been ablated.
  • tissue response to the ablation intervention is thus understood to mean a representation of the proportion with which each part of the tissue to be treated has been ablated.
  • the voxels of the ablation region for which the radiodensity value is greater than a first predetermined threshold correspond to the parts of the tissue to be treated which have been destroyed to less than 50%.
  • the voxels of the ablation region for which the radiodensity value is less than a second predetermined threshold correspond to the parts of the tissue to be treated which have been destroyed by more than 90%. It is thus possible to map, from the simulated image, the estimated response of the tissue to the treatment.
  • the segmentation 104 of the estimated ablation region 34 can then for example be carried out such that each voxel of said estimated ablation region is associated with a radiodensity value greater than a predetermined threshold. This helps to ensure that any tissue within the segmentation contour of the ablation region has been destroyed beyond a certain desired proportion (eg, greater than 90%).
  • the radiodensity value associated with a voxel is for example defined from the Hounsfield scale.
  • the planning method 100 comprises a step of verifying that for each point of the contour of the estimated ablation region 34, a gradient of the radiodensity values at the level of this point in a direction normal to said point. contour is greater than a predetermined threshold.
  • the gradient represents the variability of the radiodensity values at the level of the point considered in a direction normal to the contour (by “direction normal to the contour” is meant the direction perpendicular to a tangent to the contour passing through the point considered).
  • the outline of the ablation region marks the boundary between the treated region and the untreated tissue.
  • the sharpness of this contour is representative of the quality of the ablation.
  • the greater the gradient the greater the variation in the radiodensity values between the ablation region and the healthy unablated tissue.
  • the neural network is a convolutional neural network.
  • Convolutional neural networks are particularly well suited to image recognition.
  • a neural network 40 is shown schematically in FIGS. 9 and 10.
  • the neural network 40 comprises several layers of artificial neurons. There are processing neurons, which process a limited portion of an image through a convolution function, and output pooling neurons (also called “pooling” neurons). All the outputs of a processing layer make it possible to reconstitute an intermediate image which will serve as a basis for the following layer.
  • the neural network 40 also comprises a fully connected layer 41 which has connections to all the outputs of the preceding layers, and a prediction layer 42 at the output of which the simulated image 51 is generated.
  • FIG. 9 schematically illustrates a training phase (or training phase) of the neural network 40.
  • the neural network is trained with training elements each corresponding respectively to a surgical intervention for the ablation of a tissue in an anatomy of interest to a patient.
  • Each learning element comprises a preoperative image 50 of the anatomy of interest of the patient, the planning parameters P used for the surgical intervention on this patient, and a postoperative image 52 of the anatomy of interest of this patient. after surgery.
  • the type of pathology p for example, the pathology may be hepatocellular carcinoma or metastases.
  • a particular type of pathology can be associated with a particular value for the parameter p.
  • tissue ablation can for example be performed by microwave, radiofrequency, cryotherapy, electroporation, laser, focused ultrasound, etc.
  • a particular type of processing can be associated with a particular value for the parameter T.
  • the x, y, z coordinates of the position of the medical instrument (for example the position of the tip of a needle): they can be expressed in a predetermined frame of reference (for example a frame of the preoperative image).
  • angles a, b, y representing the orientation of the medical instrument (for example the orientation of the needle) in the reference frame considered.
  • the type of medical device A a particular type of medical device (model, manufacturer, etc.) can be associated with a particular value for parameter A.
  • the processing parameters e depending on the type of processing, various processing parameters can be defined, for example a power or a duration of processing.
  • the neural network 40 determines for each neuron a set of weights and biases making it possible to obtain a simulated image 51 as similar as possible to the postoperative image 52 from the preoperative image 50 coupled to the planning parameters P.
  • the estimated region of ablation 34 on the simulated image 51 is compared to the actual region of ablation of the postoperative image 52 by the neural network 40 using a loss function which is then used to calculate a cost function. global.
  • An optimization process searches for the weight and bias parameters which minimize this overall cost function. The optimization process can be carried out iteratively.
  • the learning elements correspond to past interventions which cover all pathologies and all envisaged treatments.
  • Figure 10 schematically illustrates a planning phase by the neural network 40 for a tissue ablation intervention in an anatomy of interest to a patient.
  • the neural network 40 receives as input the preoperative image 50 of said anatomy of interest from the patient as well as the planning parameters P envisaged by the practitioner.
  • the neural network selects features from the preoperative image 50 describing the tissue of interest and its vicinity that are likely to modify the region of ablation.
  • a simulated image 51 representing an estimated region of ablation is then generated by the neural network. It is then possible to compare the estimated region of ablation represented on the simulated image 51 with the region to be treated represented on the preoperative image 50 ’.
  • new planning parameters can be defined, either by the practitioner or automatically by the planning device 10.
  • a set of planning parameters for obtaining an ablation region deemed satisfactory can then be determined. These parameters will then be used later, on the day of the surgery.
  • the planning parameters can for example be used to configure a medical robot that assists the practitioner during the medical intervention. Certain parameters, in particular those related to the position and orientation of the medical instrument, could possibly be adjusted using a registration between the preoperative image 50 used to plan the surgical intervention and an intraoperative image obtained. during surgery.
  • the planning method 100 does not include a surgical step on the patient. This is in fact a planning process 100, and the surgical intervention thus planned takes place after the planning process 100, possibly several days later. Also, the training phase of the neural network is carried out after interventions surgeries performed on other patients. These surgeries should not be considered as part of the training phase of the neural network.
  • the neural network 40 can take as input an image on which is visible an already partially ablated tissue, in order to define an additional treatment that should be applied to complete the ablation.
  • an intervention where several treatments must be carried out successively, it is then possible to iterate several times the process according to the invention to refine the treatments initially planned each time.
  • the present invention achieves the objectives set.
  • all of the information contained in the medical image of the patient's anatomy of interest is taken into account to make the prediction of the region of ablation.
  • the prediction of the region of ablation is therefore quite specific to a given patient.
  • the neural network is able to learn the impact of using multiple medical instruments during a procedure in order to estimate with better precision which region of ablation is obtained in such a case.
  • the planning method according to the invention does not require any in vivo measurement of the patient, which allows planning to be carried out in advance of the surgical intervention in order to provide more time for the practitioner to prepare for the intervention. By estimating the tissue response to treatment, the outcome of ablation can be predicted even more accurately.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Otolaryngology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Electromagnetism (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

The invention relates to a method (100) and device for planning a surgical procedure aiming to ablate a tissue (32) in an anatomical area of interest (31) of a patient (30). On the basis of a preoperative image (50) of the anatomical area of interest and of a set of planning parameters (P), a simulated image (51) is generated by a neural network that has been previously trained using learning elements corresponding, respectively, to a similar surgical procedure for ablating a tissue in an anatomical area of interest for another patient. Each learning element comprises a preoperative image (50) of the anatomical area of interest of a patient, planning parameters (P) used for the surgical procedure on this patient, and a postoperative image (52) of the anatomical area of interest of this patient after the surgical procedure. An estimated ablation region (34) may be segmented in the simulated image (51) in order to be compared with a segmented region to be treated (33) in the preoperative image (50).

Description

Méthode de planification d’une ablation de tissus basée sur l’apprentissage profond Method of planning tissue ablation based on deep learning
Domaine de l’invention Field of the invention
La présente invention appartient au domaine des interventions médicales mini invasives d’ablation de tissus. Notamment, l’invention concerne un procédé et un dispositif de planification d’une intervention chirurgicale visant à ablater un tissu dans une anatomie d’intérêt d’un patient. Etat de la technique The present invention belongs to the field of minimally invasive medical interventions for tissue ablation. In particular, the invention relates to a method and a device for planning a surgical intervention to ablate tissue in an anatomy of interest to a patient. State of the art
Pour préparer une intervention chirurgicale visant à ablater un tissu (par exemple une tumeur) dans une anatomie d’intérêt d’un patient (par exemple un poumon, un rein ou le foie), un praticien effectue généralement une planification de l’intervention à partir d’une image préopératoire. L’image préopératoire est par exemple obtenue par tomodensitométrie (« computerized tomography » ou CT-scan dans la littérature anglo- saxonne), par imagerie par résonance magnétique (IRM), par ultrasons, par tomographie par émission de positons (PET ou PET-scan dans la littérature anglo- saxonne), etc. To prepare for surgery to remove tissue (eg, tumor) in an anatomy of interest to a patient (eg, lung, kidney, or liver), a practitioner typically performs surgery planning. from a preoperative image. The preoperative image is for example obtained by tomodensitometry (“computerized tomography” or CT-scan in the English literature), by magnetic resonance imaging (MRI), by ultrasound, by positron emission tomography (PET or PET- scan in Anglo-Saxon literature), etc.
L’ablation du tissu peut être effectuée par différentes méthodes : par la chaleur ou par le froid (radiofréquences, micro-ondes, cryothérapie), par laser, par électroporation, par ultrasons focalisés, etc. Aussi, différents types d’instruments médicaux peuvent être utilisés pour le traitement d’ablation (aiguille, sonde, électrode, etc.). Tissue ablation can be done by different methods: heat or cold (radiofrequency, microwave, cryotherapy), laser, electroporation, focused ultrasound, etc. Also, different types of medical instruments can be used for the ablation treatment (needle, probe, electrode, etc.).
De manière conventionnelle, la planification d’une intervention chirurgicale visant à ablater un tissu dans une anatomie d’intérêt d’un patient ayant par exemple un carcinome hépatocellulaire ou des métastases avec un instrument médical particulier se base sur des données de l’instrument médical fournies par le fabricant dudit instrument. Par exemple, pour une aiguille d’ablation particulière adaptée pour détruire les cellules d’un tissu à partir d’un courant électrique circulant dans l’aiguille, le fabricant de ladite aguille indique les dimensions, la forme et la position par rapport à l’extrémité de l’aiguille de la zone d’ablation susceptible d’être obtenue pour différents paramètres de traitement tels qu’une puissance électrique appliquée, une durée du traitement, etc. Conventionally, the planning of a surgical procedure to ablate tissue in an anatomy of interest of a patient having, for example, hepatocellular carcinoma or metastases with a particular medical device is based on data from the medical device. supplied by the manufacturer of the said instrument. For example, for a particular ablation needle suitable for destroying cells of a tissue from an electric current flowing through the needle, the manufacturer of said needle indicates the dimensions, shape and position relative to the needle. end of the needle of the ablation zone obtainable for different treatment parameters such as applied electric power, duration of treatment, etc.
Cependant, pour un ensemble particulier de paramètres de traitement, la zone d’ablation indiquée par le fabricant est déterminée à partir de mesures ex vivo, et elle ne correspond pas toujours à la zone d’ablation réellement obtenue in vivo sur un patient avec les mêmes paramètres de traitement. However, for a particular set of treatment parameters, the area of ablation indicated by the manufacturer is determined from ex vivo measurements, and it does not always correspond to the area of ablation actually obtained in vivo on a patient. with the same processing parameters.
Certaines méthodes de planification de l’ablation d’un tissu se basent en outre sur des modélisations pour simuler le résultat de l’intervention chirurgicale. Par exemple, en fonction de la nature du tissu à ablater (par exemple en fonction du phénotype d’une tumeur), des caractéristiques telles que la diffusion de la chaleur ou la conductivité électrique au sein du tissu peuvent être estimées pour simuler le résultat de l’ablation. Selon un autre exemple, le résultat de l’ablation est estimé en tenant compte d’un effet de refroidissement par des vaisseaux sanguins situés dans ou à proximité du tissu à ablater. Des corrections peuvent alors être appliquées aux données du fabricant de l’instrument médical en fonction du modèle envisagé. Some methods of planning tissue ablation are additionally based on modeling to simulate the outcome of surgery. For example, depending on the nature of the tissue to be ablated (eg depending on the phenotype of a tumor), characteristics such as heat diffusion or electrical conductivity within the tissue can be estimated to simulate the result of ablation. According to another example, the result of the ablation is estimated taking into account a cooling effect by blood vessels located in or near the tissue to be ablated. Corrections can then be applied to the data of the manufacturer of the medical device depending on the model considered.
De telles méthodes restent cependant souvent imprécises car ces modélisations sont limitées par le choix de certains facteurs considérés comme importants par l’homme du métier. En outre, ces méthodes nécessitent parfois l’insertion d’un outil médical dans l’anatomie d’intérêt du patient pour mesurer certaines caractéristiques du tissu (par exemple l’insertion d’électrodes pour mesurer l’impédance électrique du tissu). However, such methods often remain imprecise because these models are limited by the choice of certain factors considered to be important by those skilled in the art. In addition, these methods sometimes require the insertion of a medical tool into the anatomy of interest of the patient to measure certain characteristics of the tissue (for example, the insertion of electrodes to measure the electrical impedance of the tissue).
D’autre part, dans le cas où l’intervention chirurgicale nécessite plusieurs traitements, simultanément ou successivement, avec éventuellement l’utilisation de plusieurs aiguilles différentes, les méthodes de planification conventionnelles considèrent que la région d’ablation obtenue correspond à l’union des zones d’ablation estimées respectivement pour chaque aiguille et chaque traitement. Or, cela n’est pas toujours le cas. Le fait d’appliquer plusieurs traitements peut en effet avoir un impact sur la zone d’ablation obtenue pour chaque traitement. Aussi, ces méthodes conventionnelles considèrent généralement que la zone d’ablation obtenue pour une aiguille particulière avec un jeu particulier de paramètres de traitement sera toujours identique. Là encore, cela n’est qu’une estimation imparfaite. La zone d’ablation obtenue dépend en effet non seulement de l’aiguille et des paramètres de traitement utilisés mais aussi des caractéristiques particulières de l’anatomie du patient. On the other hand, in the case where the surgical intervention requires several treatments, simultaneously or successively, possibly with the use of several different needles, the conventional planning methods consider that the ablation region obtained corresponds to the union of the estimated ablation zones for each needle and each treatment, respectively. However, this is not always the case. The fact of applying several treatments can indeed have an impact on the ablation area obtained for each treatment. Also, these conventional methods generally assume that the ablation area obtained for a particular needle with a particular set of treatment parameters will always be the same. Again, this is only an imperfect estimate. The area of ablation obtained depends not only on the needle and the treatment parameters used but also on the particular characteristics of the patient's anatomy.
La demande de brevet US 2018/0028261 A1 divulgue une méthode pour assister un praticien dans la détermination d’une région d’ablation d’une tumeur. La méthode comporte une étape d’acquisition d’une image médicale préopératoire de l’anatomie d’un patient dans laquelle la tumeur doit être ablatée. La tumeur est segmentée sur l’image préopératoire, et l’image est analysée par un algorithme d’apprentissage automatique pour déterminer une région d’ablation sur l’image médicale préopératoire. Patent application US 2018/0028261 A1 discloses a method for assisting a practitioner in determining a region of ablation of a tumor. The method involves a step of acquiring a preoperative medical image of the anatomy of a patient in which the tumor is to be removed. The tumor is segmented on the preoperative image, and the image is analyzed by a machine learning algorithm to determine an ablation region on the preoperative medical image.
Le document considère qu’ablater en totalité une tumeur est généralement illusoire et qu’il convient donc de choisir adéquatement les parties de la tumeur à ablater. Les parties les plus vascularisées de la tumeur sont les zones les plus risquées qu’il convient d’ablater en priorité. La méthode divulguée dans la demande de brevet US 2018/0028261 A1 propose de cartographier les vaisseaux sanguins présents dans la tumeur pour identifier les parties de la tumeur qu’il convient d’ablater en priorité. L’objectif de la méthode décrite dans ce document est d’optimiser le positionnement de plusieurs zones d’ablation identiques pour « couvrir » partiellement mais de façon optimisée la tumeur. The document considers that completely ablating a tumor is generally illusory and therefore the parts of the tumor to be removed should be chosen appropriately. The most vascularized parts of the tumor are the most risky areas which should be removed first. The method disclosed in patent application US 2018/0028261 A1 proposes to map the blood vessels present in the tumor in order to identify the parts of the tumor which should be ablated as a priority. The objective of the method described in this document is to optimize the positioning of several identical ablation zones in order to “cover” the tumor partially but in an optimized manner.
Toutefois, ce document ne s’intéresse pas à la problématique selon laquelle une zone d’ablation estimée pour un jeu particulier de paramètres de traitement peut être différente de la zone d’ablation réellement obtenue à cause de certains paramètres inhérents au patient. Au contraire, dans la méthode divulguée par ce document, une zone d’ablation estimée pour un ensemble de paramètres de traitement donnés avec un instrument d’ablation donné est toujours la même. Dans la méthode divulguée par ce document, plusieurs instruments d’ablation identiques sont utilisés, et la région d’ablation estimée correspond à l’union des zones d’ablation estimées respectivement pour chaque instrument. However, this document is not concerned with the problem that an estimated ablation zone for a particular set of treatment parameters may be different from the ablation zone actually obtained because of certain parameters inherent to the patient. On the contrary, in the method disclosed by this document, an estimated ablation zone for a set of given treatment parameters with a given ablation instrument is always the same. In the method disclosed by this document, several identical ablation instruments are used, and the estimated ablation region corresponds to the union of the estimated ablation zones respectively for each instrument.
Il existe donc toujours un besoin pour une méthode de planification d’une ablation d’un tissu dans une anatomie d’intérêt d’un patient qui permette d’estimer facilement et avec précision la région d’ablation qui sera réellement obtenue pour un ensemble particulier de paramètres de traitement. There is therefore still a need for a method of planning an ablation of tissue in an anatomy of interest of a patient which makes it possible to easily and precisely estimate the region of ablation which will actually be obtained for a set. particular processing parameters.
Exposé de l’invention Disclosure of the invention
La présente invention a pour objectif de remédier à tout ou partie des inconvénients de l’art antérieur, notamment ceux exposés ci-avant, en proposant une solution permettant d’estimer avec précision une région d’ablation qui sera obtenue lors d’une intervention spécifique sur un patient particulier. The objective of the present invention is to remedy all or part of the drawbacks of the prior art, in particular those set out above, by proposing a solution making it possible to accurately estimate an ablation region which will be obtained during an intervention. specific to a particular patient.
A cet effet, et selon un premier aspect, il est proposé par la présente invention un procédé de planification d’une intervention chirurgicale visant à ablater un tissu dans une anatomie d’intérêt d’un patient. Le procédé comporte les étapes suivantes : To this end, and according to a first aspect, there is provided by the present invention a method of planning a surgical intervention aimed at ablating tissue in an anatomy of interest to a patient. The process comprises the following steps:
- une acquisition d'une image préopératoire de l’anatomie d'intérêt, - acquisition of a preoperative image of the anatomy of interest,
- une détermination d'un ensemble de paramètres de planification, - a determination of a set of planning parameters,
- une génération d'une image simulée sur laquelle est représentée une région d'ablation estimée, ladite image simulée étant générée à partir de l’image préopératoire, des paramètres de planification, et d'un réseau de neurones, ledit réseau de neurones ayant été préalablement entraîné avec une pluralité d’éléments d’apprentissage, chaque élément d’apprentissage correspondant respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt pour un autre patient, chaque élément d’apprentissage comportant une image préopératoire de l'anatomie d'intérêt dudit autre patient, des paramètres de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale, ladite image simulée permettant d’observer le résultat susceptible d’être obtenu après l’intervention chirurgicale. - generation of a simulated image on which is represented an estimated ablation region, said simulated image being generated from the preoperative image, planning parameters, and a neural network, said neural network having been previously trained with a plurality of learning elements, each learning element corresponding respectively to a similar surgical procedure of ablation of a tissue in an anatomy of interest to another patient, each element of 'learning comprising a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after the intervention surgical, said simulated image making it possible to observe the result likely to be obtained after the surgical intervention.
Un élément d’apprentissage du réseau de neurones correspond ainsi à un triplet de données formé par l’image préopératoire, un jeu de paramètres de planification, et une image postopératoire. A learning element of the neural network thus corresponds to a triplet of data formed by the preoperative image, a set of planning parameters, and a postoperative image.
Les images préopératoires et postopératoires sont par exemple obtenues par un appareil d’imagerie médicale, par exemple par tomodensitométrie, par résonance magnétique, par ultrasons, par angiographie tridimensionnelle en rotation, par tomographie par émission de positons, etc. Une image préopératoire est obtenue avant que l’intervention chirurgicale d’ablation ne soit effectuée. Une image postopératoire est obtenue après que l’intervention chirurgicale d’ablation a été effectuée. The preoperative and postoperative images are for example obtained by a medical imaging device, for example by computed tomography, by magnetic resonance, by ultrasound, by three-dimensional rotational angiography, by positron emission tomography, etc. A preoperative image is obtained before the ablation surgery is performed. A postoperative image is obtained after the ablation surgery has been performed.
Pendant la phase d’apprentissage du réseau de neurones, pour chaque élément d’apprentissage, le réseau de neurones apprend quelle est la région d’ablation réellement obtenue sur l’image postopératoire pour une image préopératoire particulière et avec des paramètres de planification particuliers. Le réseau de neurones est ainsi entraîné à estimer avec précision, à partir d’une image préopératoire particulière et pour un jeu de de paramètres de planification particulier, quelle sera la région d’ablation réellement obtenue. La région d’ablation ainsi estimée est représentée sur une image de synthèse. During the learning phase of the neural network, for each learning element, the neural network learns which region of ablation is actually obtained on the postoperative image for a particular preoperative image and with particular planning parameters. The neural network is thus trained to estimate with precision, from a particular preoperative image and for a particular set of planning parameters, what will be the region of ablation actually obtained. The region of ablation thus estimated is represented on a computer-generated image.
De telles dispositions permettent de prendre en compte l’ensemble des informations contenues dans l’image médicale de l’anatomie d’intérêt du patient pour effectuer la prédiction de la région d’ablation. Ainsi, dans le procédé selon l’invention, et contrairement aux méthodes conventionnelles de l’art antérieur, la prédiction de la région d’ablation est spécifique à un patient donné. Such arrangements make it possible to take into account all the information contained in the medical image of the anatomy of interest of the patient in order to make the prediction of the region of ablation. Thus, in the method according to the invention, and unlike the conventional methods of the prior art, the prediction of the region of ablation is specific to a given patient.
Certaines interventions chirurgicales associées à certains éléments d’apprentissage du réseau de neurones peuvent avoir nécessité l’usage de plusieurs instruments médicaux. Le réseau de neurones est ainsi capable d’apprendre, en analysant les images postopératoires associées, l’impact, sur le résultat obtenu, du fait d’utiliser plusieurs instruments médicaux lors d’une intervention. Dans le procédé selon l’invention, aucune mesure in vivo du patient n’est nécessaire. Il est donc possible d’effectuer la planification en amont de l’intervention chirurgicale. Cela permet d’offrir plus de temps au praticien pour préparer l’intervention. Certain surgical procedures associated with certain learning elements of the neural network may have required the use of several medical instruments. The neural network is thus able to learn, by analyzing the associated postoperative images, the impact, on the result obtained, of using several medical instruments during an intervention. In the method according to the invention, no in vivo measurement of the patient is necessary. It is therefore possible to carry out planning before the surgical intervention. This allows more time for the practitioner to prepare for the intervention.
Dans des modes particuliers de mise en oeuvre, l’invention peut comporter en outre l’une ou plusieurs des caractéristiques suivantes, prises isolément ou selon toutes les combinaisons techniquement possibles. In particular embodiments, the invention may also include one or more of the following characteristics, taken in isolation or in any technically possible combination.
Dans des modes particuliers de mise en oeuvre, le procédé comporte une segmentation d'une région d'ablation estimée représentée sur l'image simulée. Le fait de segmenter une région d’ablation estimée permet de définir les dimensions de ladite région d’ablation, par exemple pour la comparer avec une région à traiter identifiée sur l’image préopératoire. In particular embodiments, the method comprises a segmentation of an estimated ablation region represented in the simulated image. The fact of segmenting an estimated ablation region makes it possible to define the dimensions of said ablation region, for example to compare it with a region to be treated identified on the preoperative image.
Dans des modes particuliers de mise en oeuvre, le procédé comporte en outre une détermination d'une réponse tissulaire à l'intervention d'ablation en associant à chaque voxel de la région d'ablation estimée représentée sur l'image simulée une valeur, dite « valeur de radiodensité », représentative d'une radiodensité d’un tissu correspondant audit voxel. Dans des modes préférés de mise en oeuvre pour lesquels une réponse tissulaire est déterminée, l’image préopératoire est obtenue par tomodensitométrie (« computerized tomography » ou CT-scan dans la littérature anglo- saxonne). In particular embodiments, the method further comprises a determination of a tissue response to the ablation intervention by associating with each voxel of the estimated ablation region represented in the simulated image a value, called “Radiodensity value”, representative of a radiodensity of a tissue corresponding to said voxel. In preferred embodiments for which a tissue response is determined, the preoperative image is obtained by computed tomography ("computerized tomography" or CT-scan in the English literature).
Le mot « voxel » est formé par la fusion et la contraction des mots « volume » et « élément ». Un voxel est l’équivalent d’un pixel pour une image numérique en trois dimensions. Dans le cas où les images utilisées sont en deux dimensions, le terme voxel peut être remplacé par le terme pixel. Un voxel permet de stocker une information colorimétrique et éventuellement d’autres informations pour une portion élémentaire d’une image numérique. The word "voxel" is formed by the fusion and contraction of the words "volume" and "element". A voxel is the equivalent of a pixel for a three-dimensional digital image. In the case where the images used are in two dimensions, the term voxel can be replaced by the term pixel. A voxel is used to store colorimetric information and possibly other information for an elementary portion of a digital image.
On entend par « radiodensité » l’incapacité relative des rayonnements électromagnétiques, en particulier des rayons X, à traverser un matériau particulier. Plus un voxel de la région d’ablation est associé à une valeur de radiodensité faible, et plus la partie de la région d’ablation correspondant audit voxel a été détruite. On entend ainsi par « réponse tissulaire à l’intervention d’ablation » une représentation de la proportion avec laquelle chaque partie du tissu à traiter a été ablaté. Par exemple, les voxels de la région d’ablation pour lesquels la valeur de radiodensité est supérieure à un premier seuil prédéterminé correspondent aux parties du tissu à traiter ayant été détruites à moins de 50% (ce qui correspond à une réponse tissulaire au traitement relativement faible). Selon un autre exemple, les voxels de la région d’ablation pour lesquels la valeur de radiodensité est inférieure à un deuxième seuil prédéterminé correspondent aux parties du tissu à traiter ayant été détruites à plus de 90% (ce qui correspond à une réponse tissulaire au traitement relativement forte). Il est ainsi possible de cartographier, à partir de l’image simulée, la réponse estimée du tissu au traitement. By “radiodensity” is meant the relative inability of electromagnetic radiation, in particular X-rays, to pass through a particular material. The more a voxel of the ablation region is associated with a low radiodensity value, the more the part of the ablation region corresponding to said voxel has been destroyed. The expression “tissue response to the ablation intervention” is thus understood to mean a representation of the proportion with which each part of the tissue to be treated has been ablated. For example, the voxels of the ablation region for which the radiodensity value is greater than a first predetermined threshold correspond to the parts of the tissue to be treated which have been destroyed at less than 50% (which corresponds to a tissue response to the treatment relatively low). According to another example, the voxels of the ablation region for which the radiodensity value is less than a second predetermined threshold correspond to the parts of the tissue to be treated having been destroyed more than 90% (which corresponds to a relatively strong tissue response to treatment). It is thus possible to map, from the simulated image, the estimated response of the tissue to the treatment.
Dans des modes particuliers de mise en oeuvre, la segmentation de la région d'ablation estimée est réalisée de telle sorte que chaque voxel de ladite région d'ablation est associé à une valeur de radiodensité supérieure à un seuil prédéterminé. In particular embodiments, the segmentation of the estimated ablation region is carried out such that each voxel of said ablation region is associated with a radiodensity value greater than a predetermined threshold.
Dans des modes particuliers de mise en oeuvre, le procédé comporte en outre une vérification que pour chaque point du contour de la région d’ablation estimée un gradient des valeurs de radiodensité au niveau de ce point dans une direction normale audit contour est supérieur à un seuil prédéterminé. In particular embodiments, the method further comprises a verification that for each point of the contour of the estimated ablation region a gradient of the radiodensity values at the level of this point in a direction normal to said contour is greater than one. predetermined threshold.
De telles dispositions permettent notamment de vérifier si le contour de la région d’ablation est net. Le contour de la région d’ablation marque la limite entre la région traitée et le tissu non traité. La netteté de ce contour est représentative de la qualité de l’ablation. Such arrangements make it possible in particular to verify whether the outline of the ablation region is clear. The outline of the ablation region marks the boundary between the treated region and the untreated tissue. The sharpness of this outline is representative of the quality of the ablation.
Dans des modes particuliers de mise en oeuvre, le procédé comporte en outre une segmentation sur l'image préopératoire d'une région à traiter correspondant au tissu que l'intervention chirurgicale vise à ablater, et une comparaison de la région d'ablation estimée représentée sur l'image simulée avec la région à traiter représentée sur l’image préopératoire. In particular embodiments, the method further comprises segmentation on the preoperative image of a region to be treated corresponding to the tissue that the surgical intervention aims to ablate, and a comparison of the estimated region of ablation represented. on the simulated image with the region to be treated represented on the preoperative image.
De telles dispositions permettent notamment de vérifier si la région d’ablation estimée couvre la région à traiter avec des marges suffisantes sans que les marges ne soient trop importantes. Cela permet notamment de vérifier si les paramètres de planification envisagés sont valides. Such arrangements make it possible in particular to verify whether the estimated ablation region covers the region to be treated with sufficient margins without the margins being too large. This makes it possible in particular to check whether the planning parameters envisaged are valid.
Dans des modes particuliers de mise en oeuvre, le procédé comporte en outre une vérification d'une condition de validité qui est satisfaite si le contour de la région d’ablation estimée englobe complètement le contour de la région à traiter, et si pour chaque point du contour de la région d'ablation estimée la distance minimale entre ce point et le contour de la région à traiter est comprise dans une plage de valeurs prédéterminée. In particular embodiments, the method further comprises a verification of a validity condition which is satisfied if the contour of the estimated ablation region completely encompasses the contour of the region to be treated, and if for each point of the contour of the estimated ablation region, the minimum distance between this point and the contour of the region to be treated is within a predetermined range of values.
Dans des modes particuliers de mise en oeuvre, lorsque la vérification de la condition de validité est négative (c’est-à-dire si la condition de validité n’est pas satisfaite), le procédé comporte une détermination d'un nouvel ensemble de paramètres de planification pour lequel la région d'ablation estimée satisfait la condition de validité. In particular embodiments, when the verification of the validity condition is negative (that is to say if the validity condition is not satisfied), the method comprises a determination of a new set of planning parameters for which the estimated ablation region satisfies the validity condition.
Dans des modes particuliers de mise en oeuvre, le procédé comporte en outre une étape de détermination de plusieurs nouveaux ensembles de paramètres de planification pour lesquels la condition de validité est satisfaite, et une étape d’identification, parmi les nouveaux ensembles de paramètres de planification, d’un ensemble de paramètres de planification optimal pour lequel la région d’ablation estimée présente des dimensions minimales. In particular embodiments, the method further comprises a step of determining several new sets of planning parameters for which the validity condition is satisfied, and a step identifying, among the new sets of planning parameters, an optimal set of planning parameters for which the estimated ablation region has minimum dimensions.
Dans des modes particuliers de mise en oeuvre, l’anatomie d’intérêt est le foie. In particular embodiments, the anatomy of interest is the liver.
Dans des modes particuliers de mise en oeuvre, le tissu à ablater est une tumeur. In particular embodiments, the tissue to be ablated is a tumor.
Dans des modes particuliers de mise en oeuvre, les paramètres de planification comprennent un ou plusieurs éléments parmi les éléments suivants : In particular embodiments, the planning parameters comprise one or more elements among the following elements:
- un type de pathologie, - a type of pathology,
- un type de traitement, - a type of treatment,
- un type d’instrument médical à utiliser pour le traitement, - a type of medical device to be used for treatment,
- une position et/ou une orientation de l’instrument médical à utiliser pour le traitement, - a position and / or orientation of the medical instrument to be used for the treatment,
- des paramètres de traitement spécifiques à l’instrument médical, - treatment parameters specific to the medical device,
- un nombre de traitements à effectuer pendant l’intervention chirurgicale. - a number of treatments to be performed during the surgery.
Selon un deuxième aspect, la présente invention concerne un produit programme d’ordinateur comportant un ensemble d’instructions de code de programme qui, lorsqu’elles sont exécutées par un ou plusieurs processeurs, configurent le ou les processeurs pour générer, à l’aide d’un réseau de neurones, une image simulée, sur laquelle est représentée une région d'ablation estimée, à partir d’une part d’une image préopératoire d’une anatomie d’intérêt d’un patient comportant un tissu à ablater, et d’autre part de paramètres de planification. Le réseau de neurones est adapté pour être préalablement entraîné avec une pluralité d’éléments d’apprentissage, chaque élément d’apprentissage correspondant respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt pour un autre patient, chaque élément d’apprentissage comportant une image préopératoire de l'anatomie d'intérêt dudit autre patient, des paramètres de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale. According to a second aspect, the present invention relates to a computer program product comprising a set of program code instructions which, when executed by one or more processors, configure the processor or processors to generate, using of a neural network, a simulated image, on which is represented an estimated region of ablation, from a part of a preoperative image of an anatomy of interest of a patient comprising a tissue to be ablated, and on the other hand of planning parameters. The neural network is adapted to be previously trained with a plurality of learning elements, each learning element corresponding respectively to a similar surgical intervention for the ablation of a tissue in an anatomy of interest for another patient, each learning element comprising a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after surgery.
Selon un troisième aspect, la présente invention concerne un dispositif de planification d’une intervention chirurgicale visant à ablater un tissu dans une anatomie d’intérêt d’un patient. Le dispositif comporte une unité de contrôle configurée pour générer une image simulée à partir d’une image préopératoire de ladite anatomie d'intérêt, d’un ensemble de paramètres de planification, et d'un réseau de neurones. Le réseau de neurones est adapté pour être préalablement entraîné avec une pluralité d’éléments d’apprentissage, chaque élément d’apprentissage étant associé respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt pour un autre patient. Chaque élément d’apprentissage comporte une image préopératoire de l'anatomie d'intérêt dudit autre patient, des paramètres de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale. According to a third aspect, the present invention relates to a device for planning a surgical intervention aimed at ablating tissue in an anatomy of interest of a patient. The device comprises a control unit configured to generate a simulated image from a preoperative image of said anatomy of interest, a set of planning parameters, and a neural network. The neural network is adapted to be previously trained with a plurality learning elements, each learning element being associated respectively with a similar surgical procedure for the ablation of a tissue in an anatomy of interest to another patient. Each learning element comprises a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after surgery.
Dans des modes particuliers de réalisation, l’invention peut comporter en outre l’une ou plusieurs des caractéristiques suivantes, prises isolément ou selon toutes les combinaisons techniquement possibles. In particular embodiments, the invention may further include one or more of the following characteristics, taken in isolation or in any technically possible combination.
Dans des modes particuliers de réalisation, l’unité de contrôle du dispositif de planification est en outre configurée pour segmenter une région d'ablation estimée représentée sur l'image simulée. In particular embodiments, the control unit of the planning device is further configured to segment an estimated ablation region shown in the simulated image.
Dans des modes particuliers de réalisation, l’unité de contrôle du dispositif de planification est en outre configurée pour associer à chaque voxel de la région d'ablation estimée représentée sur l'image simulée une valeur dite « valeur de radiodensité » représentative d'une radiodensité d’un tissu correspondant audit voxel. In particular embodiments, the control unit of the planning device is further configured to associate with each voxel of the estimated ablation region represented in the simulated image a value known as the “radiodensity value” representative of a. Radiodensity of a tissue corresponding to said voxel.
Dans des modes particuliers de réalisation, l’unité de contrôle est configurée pour segmenter la région d'ablation estimée de telle sorte que chaque voxel de ladite région d'ablation estimée est associé à une valeur de radiodensité supérieure à un seuil prédéterminé. In particular embodiments, the control unit is configured to segment the estimated ablation region such that each voxel of said estimated ablation region is associated with a radiodensity value greater than a predetermined threshold.
Dans des modes particuliers de réalisation, l’unité de contrôle est configurée pour vérifier que pour chaque point du contour de la région d’ablation estimée un gradient des valeurs de radiodensité au niveau de ce point dans une direction normale audit contour est supérieur à un seuil prédéterminé. In particular embodiments, the control unit is configured to verify that for each point of the contour of the estimated ablation region a gradient of the radiodensity values at this point in a direction normal to said contour is greater than one. predetermined threshold.
Dans des modes particuliers de réalisation, l’unité de contrôle est en outre configurée pour segmenter sur l'image préopératoire une région à traiter correspondant au tissu que l'intervention chirurgicale vise à ablater, et pour comparer la région d'ablation estimée représentée sur l'image simulée avec la région à traiter. In particular embodiments, the control unit is further configured to segment on the preoperative image a region to be treated corresponding to the tissue that the surgical intervention aims to ablate, and to compare the estimated region of ablation shown on the simulated image with the region to be treated.
Dans des modes particuliers de réalisation, l’unité de contrôle est en outre configurée pour vérifier une condition de validité qui est satisfaite si le contour de la région d’ablation estimée englobe complètement le contour de la région à traiter, et si pour chaque point du contour de la région d'ablation estimée la distance minimale entre ce point et le contour de la région à traiter est comprise dans une plage de valeurs prédéterminée.. In particular embodiments, the control unit is further configured to verify a validity condition which is satisfied if the outline of the estimated ablation region completely encompasses the outline of the region to be treated, and if for each point of the contour of the estimated ablation region, the minimum distance between this point and the contour of the region to be treated is within a predetermined range of values.
Dans des modes particuliers de réalisation, l’unité de contrôle est en outre configurée pour déterminer un ou plusieurs nouveaux ensembles de paramètres de planification pour lesquels la condition de validité est satisfaite, et pour identifier, parmi ces nouveaux ensembles de paramètres de planification, un ensemble de paramètres de planification optimal pour lequel la région d’ablation estimée présente des dimensions minimales. In particular embodiments, the control unit is also configured to determine one or more new sets of planning parameters for which the validity condition is satisfied, and to identify, among these new sets of planning parameters, an optimal set of planning parameters for which the estimated ablation region has minimum dimensions.
Présentation des figures Presentation of figures
L’invention sera mieux comprise à la lecture de la description suivante, donnée à titre d’exemple nullement limitatif, et faite en se référant aux figures 1 à 10 qui représentent : The invention will be better understood on reading the following description, given by way of non-limiting example, and made with reference to Figures 1 to 10 which represent:
[Fig. 1 ] une représentation schématique d’un dispositif de planification d’une intervention chirurgicale selon l’invention, [Fig. 1] a schematic representation of a device for planning a surgical intervention according to the invention,
[Fig. 2] une représentation schématique d’une image préopératoire d’une anatomie d’intérêt d’un patient comportant un tissu à ablater, [Fig. 2] a schematic representation of a preoperative image of an anatomy of interest of a patient including tissue to be ablated,
[Fig. 3] une représentation schématique d’une image simulée générée par le dispositif de planification sur laquelle a été segmentée une région d’ablation estimée, [Fig. 3] a schematic representation of a simulated image generated by the planning device on which an estimated ablation region has been segmented,
[Fig. 4] une représentation schématique d’une image postopératoire d’une anatomie d’intérêt d’un patient sur laquelle une région d’ablation a été segmentée suite à une intervention chirurgicale ayant ablaté un tissu de ladite anatomie d’intérêt, [Fig. 4] a schematic representation of a postoperative image of an anatomy of interest from a patient on which an ablation region has been segmented following a surgical intervention that has removed tissue of said anatomy of interest,
[Fig. 5] une représentation schématique des principales étapes d’un procédé de planification d’une intervention visant à ablater un tissu dans une anatomie d’intérêt d’un patient, [Fig. 5] a schematic representation of the main steps in a process for planning an intervention aimed at ablating tissue in an anatomy of interest to a patient,
[Fig. 6] une représentation schématique d’une image préopératoire d’une anatomie d’intérêt d’un patient sur laquelle une région à traiter a été segmentée, [Fig. 6] a schematic representation of a preoperative image of an anatomy of interest of a patient on which a region to be treated has been segmented,
[Fig. 7] une représentation schématique d’un mode particulier de mise en oeuvre du procédé de planification selon l’invention, [Fig. 7] a schematic representation of a particular mode of implementation of the planning method according to the invention,
[Fig. 8] une représentation schématique d’un autre mode particulier de mise en oeuvre du procédé de planification selon l’invention, [Fig. 8] a schematic representation of another particular embodiment of the planning method according to the invention,
[Fig. 9] une illustration de l’entrainement d’un réseau de neurones pour mettre en oeuvre un procédé de planification selon l’invention, [Fig. 9] an illustration of the training of a neural network to implement a planning method according to the invention,
[Fig. 10] une illustration de la génération d’une image simulée par un réseau de neurones pour mettre en oeuvre un procédé de planification selon l’invention. [Fig. 10] an illustration of the generation of a simulated image by a neural network to implement a planning method according to the invention.
Dans ces figures, des références identiques d’une figure à une autre désignent des éléments identiques ou analogues. Pour des raisons de clarté, les éléments représentés ne sont pas nécessairement à une même échelle, sauf mention contraire. Description détaillée d’un mode de réalisation de l’invention In these figures, identical references from one figure to another designate identical or similar elements. For reasons of clarity, the elements represented are not necessarily on the same scale, unless otherwise indicated. Detailed description of an embodiment of the invention
La figure 1 représente schématiquement un dispositif 10 de planification d’une intervention chirurgicale visant à ablater un tissu dans une anatomie d’intérêt d’un patient 30. Figure 1 shows schematically a device 10 for planning a surgical procedure to ablate tissue in an anatomy of interest in a patient 30.
Dans la suite de la description, on se place à titre d’exemple nullement limitatif, dans le cas où l’anatomie d’intérêt est le foie, et le tissu à ablater est une tumeur. Il convient cependant de noter que l’invention est également applicable à d’autres types de tissu devant être ablaté, comme par exemple des lésions cutanées, des veines, des nerfs, des tissus cardiaques, des tissus oesophagiens ou encore des fibromes utérins. Aussi, l’invention est applicable à d’autres anatomies d’intérêt comme par exemple un rein, un poumon, etc. In the remainder of the description, we use by way of non-limiting example, in the case where the anatomy of interest is the liver, and the tissue to be ablated is a tumor. However, it should be noted that the invention is also applicable to other types of tissue to be ablated, such as, for example, lesions of the skin, veins, nerves, cardiac tissue, esophageal tissue or even uterine fibroids. Also, the invention is applicable to other anatomies of interest such as for example a kidney, a lung, etc.
Le dispositif 10 de planification comporte une unité de contrôle 1 1 comportant un ou plusieurs processeurs et des moyens de mémorisation 12 (disque dur magnétique, mémoire électronique, disque optique, etc.) dans lesquels est mémorisé un produit programme d’ordinateur, sous la forme d’un ensemble d’instructions de code de programme à exécuter pour mettre en oeuvre une partie au moins des étapes d’un procédé de planification de l’intervention chirurgicale. Alternativement ou en complément, l’unité de contrôle comporte un ou des circuits logiques programmables (FGPA, PLD, etc.), et/ou un ou des circuits intégrés spécialisés (ASIC), et/ou un ensemble de composants électroniques discrets, etc., adaptés à mettre en oeuvre lesdites étapes du procédé de planification. The planning device 10 comprises a control unit 1 1 comprising one or more processors and storage means 12 (magnetic hard disk, electronic memory, optical disc, etc.) in which a computer program product is stored, under the form of a set of program code instructions to be executed to implement at least some of the steps of a method of planning the surgical intervention. Alternatively or in addition, the control unit comprises one or more programmable logic circuits (FGPA, PLD, etc.), and / or one or more specialized integrated circuits (ASIC), and / or a set of discrete electronic components, etc. ., adapted to implement said steps of the planning process.
En d’autres termes, l’unité de contrôle 1 1 correspond à des moyens du dispositif 20 de planification qui sont configurés de façon logicielle (produit programme d’ordinateur spécifique) et/ou matérielle (FPGA, PLD, ASIC, composants électroniques discrets, etc.) pour mettre en oeuvre les étapes du procédé de planification. In other words, the control unit 11 corresponds to the means of the planning device 20 which are configured in software (specific computer program product) and / or hardware (FPGA, PLD, ASIC, discrete electronic components. , etc.) to carry out the steps of the planning process.
Le dispositif 10 de planification peut également comporter une interface graphique 13 permettant à un utilisateur de fournir au dispositif 10 des paramètres de planification et/ou de visualiser une image ou des données générées par le dispositif 10. Dans l’exemple considéré et illustré à la figure 1 , l’interface graphique 13 correspond à un écran tactile. L’interface graphique pourrait cependant aussi être réalisée à l’aide d’autres dispositifs tels qu’un clavier, une souris, un écran, etc. The planning device 10 can also include a graphical interface 13 allowing a user to provide the device 10 with planning parameters and / or to view an image or data generated by the device 10. In the example considered and illustrated in FIG. FIG. 1, the graphical interface 13 corresponds to a touch screen. However, the graphical interface could also be implemented using other devices such as a keyboard, mouse, monitor, etc.
Le dispositif 10 de planification utilise comme données d’entrées un ensemble de paramètres de planification et une image préopératoire de l’anatomie d’intérêt du patient 30. Le dispositif 10 de planification met en oeuvre un algorithme d’apprentissage automatique, pour générer, à partir de ces données d’entrée, une image simulée sur laquelle est représentée une région d'ablation estimée. Dans la suite de la description, on considère à titre d’exemple et de manière non limitative que l’algorithme d’apprentissage automatique utilisé est un réseau de neurones. The planning device 10 uses as input data a set of planning parameters and a preoperative image of the anatomy of interest of the patient 30. The planning device 10 implements a machine learning algorithm, to generate, from this input data, a simulated image on which is represented an estimated ablation region. In the rest of the description, it is considered by way of example and in a nonlimiting manner that the machine learning algorithm used is a neural network.
Les paramètres de planification indiquent par exemple un type de pathologie à traiter (par exemple un carcinome hépatocellulaire ou des métastases), un type de traitement pour l’ablation (radiofréquences, micro-ondes, laser, électroporation, cryothérapie, etc.), un type d’instrument médical pour effectuer le traitement, une position et une orientation de l’instrument médical au moment du traitement, des paramètres de traitement (durée, puissance, etc.). Les paramètres de planification sont indiqués sur l’interface graphique 13 par le praticien qui prépare l’intervention chirurgicale. The planning parameters indicate, for example, a type of pathology to be treated (for example hepatocellular carcinoma or metastases), a type of treatment for ablation (radiofrequency, microwave, laser, electroporation, cryotherapy, etc.), a type of medical instrument to perform the treatment, a position and orientation of the medical instrument at the time of treatment, treatment parameters (duration, power, etc.). The planning parameters are indicated on the graphical interface 13 by the practitioner who prepares the surgery.
L’image préopératoire est obtenue par un appareil 20 d’imagerie médicale, par exemple par tomodensitométrie, par résonance magnétique, par ultrasons, par angiographie tridimensionnelle en rotation, par tomographie par émission de positons, etc. Le tissu à ablater et l’anatomie d’intérêt sont visibles sur l’image préopératoire. L’appareil 20 d’imagerie médicale peut être un appareil distinct du dispositif 10 de planification. Rien n’empêche cependant que le dispositif 20 de planification et l’appareil 20 d’imagerie médicale ne forment ensemble qu’une seule et même entité physique. Dans le cas où le dispositif 20 de planification et l’appareil 20 d’imagerie médicale sont distincts, l’image préopératoire peut être transmise au dispositif 10 de planification. Par exemple, l’image préopératoire est numérisée puis transmise au dispositif 10 de planification par des moyens de communication sans fil. Selon un autre exemple, l’image préopératoire numérisée peut être fournie au dispositif 10 de planification par un périphérique de type USB (acronyme anglais de « Universal Serial Bus »). The preoperative image is obtained by a medical imaging device, for example by computed tomography, by magnetic resonance, by ultrasound, by three-dimensional rotational angiography, by positron emission tomography, etc. The tissue to be ablated and the anatomy of interest are visible in the preoperative image. The medical imaging apparatus 20 may be a separate apparatus from the planning device 10. However, there is nothing to prevent the planning device 20 and the medical imaging apparatus 20 from forming together one and the same physical entity. In the event that the planning device 20 and the medical imaging apparatus 20 are separate, the preoperative image can be transmitted to the planning device 10. For example, the preoperative image is digitized and then transmitted to the planning device 10 by wireless communication means. According to another example, the digitized preoperative image can be supplied to the planning device 10 by a peripheral of USB type (acronym for "Universal Serial Bus").
Le réseau de neurones est préalablement entraîné avec des éléments d’apprentissage correspondant chacun respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt réalisée précédemment pour un autre patient. Chaque élément d’apprentissage comporte une image préopératoire de l'anatomie d'intérêt dudit autre patient, des paramètres de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale. En d’autres termes, le réseau de neurones s’entraîne en « apprenant » quelle est la région d’ablation réellement obtenue sur une image postopératoire pour une image préopératoire particulière et avec des paramètres de planification particuliers. The neural network is pre-trained with learning elements each corresponding respectively to a similar surgical procedure to remove tissue in an anatomy of interest previously performed for another patient. Each learning element comprises a preoperative image of the anatomy of interest of said other patient, of the planning parameters used for said surgical intervention on this other patient, and a postoperative image of the anatomy of interest of this other patient after surgery. In other words, the neural network trains by "learning" what the actual region of ablation is on a postoperative image for a particular preoperative image and with particular planning parameters.
Il convient de noter que rien n’empêche qu’un élément d’apprentissage du réseau de neurones corresponde à une intervention chirurgicale passée effectuée sur le même patient que le patient pour lequel l’intervention chirurgicale doit être planifiée (le terme « autre patient » n’est donc pas à prendre au sens strict). It should be noted that nothing prevents a learning element of the neural network from corresponding to a past surgery performed on the same patient as the patient for whom the surgery is to be planned. (the term “other patient” is therefore not to be taken in the strict sense).
De préférence, les images médicales préopératoires des éléments d’apprentissage du réseau de neurones sont du même type que l’image médicale préopératoire utilisée comme donnée d’entrée pour planifier une intervention chirurgicale. Preferably, the preoperative medical images of the neural network learning elements are of the same type as the preoperative medical image used as input data to plan a surgical intervention.
Une image médicale utilisée pour former un élément d’apprentissage ou utilisée en entrée du procédé de planification peut correspondre à une image directement obtenue par l’appareil 20 d’imagerie médicale. Cependant, rien n’empêche qu'une telle image médicale corresponde à une portion seulement d’une image obtenue par l’appareil 20 d’imagerie médicale. Autrement dit, il est par exemple envisageable de recadrer une image obtenue par l’appareil 20 d’imagerie médicale pour fournir au réseau de neurones une image médicale représentant principalement l’anatomie d’intérêt du patient, ou une portion de ladite anatomie d’intérêt où se situe le tissu à traiter. A medical image used to form a learning element or used as an input to the planning process may correspond to an image directly obtained by the medical imaging apparatus. However, nothing prevents such a medical image from corresponding to only a portion of an image obtained by the medical imaging apparatus. In other words, it is for example conceivable to crop an image obtained by the medical imaging device 20 to provide the neural network with a medical image mainly representing the anatomy of interest of the patient, or a portion of said anatomy of the patient. interest where the tissue to be treated is located.
La figure 2 représente schématiquement une image préopératoire 50 d’une anatomie d’intérêt 31 comportant un tissu 32 à ablater. Une telle image préopératoire 50 correspond par exemple à l’image préopératoire utilisée comme donnée d’entrée pour planifier une intervention chirurgicale. Selon un autre exemple, une telle image préopératoire 50 peut appartenir à un élément d’apprentissage utilisé pour entraîner le réseau de neurones. FIG. 2 schematically represents a preoperative image 50 of an anatomy of interest 31 comprising a tissue 32 to be ablated. Such a preoperative image 50 corresponds, for example, to the preoperative image used as input data for planning a surgical intervention. According to another example, such a preoperative image 50 may belong to a learning element used to train the neural network.
La figure 3 représente schématiquement une image simulée 51 générée par le dispositif 10 de planification sur laquelle a été segmentée une région d’ablation estimée 34. Dans l’exemple considéré et illustré à la figure 3, l’image simulée 51 a été générée par le dispositif 10 de planification en prenant comme donnée d’entrée l’image préopératoire 50 représentée à la figure 2. FIG. 3 schematically represents a simulated image 51 generated by the planning device 10 on which has been segmented an estimated ablation region 34. In the example considered and illustrated in FIG. 3, the simulated image 51 has been generated by the planning device 10 taking as input data the preoperative image 50 shown in FIG. 2.
La figure 4 représente schématiquement une image postopératoire 52 de l’anatomie d’intérêt 31 suite à une intervention chirurgicale ayant ablaté le tissu 32. Une telle image postopératoire 52 peut être utilisée, en combinaison avec l’image préopératoire 50 de la figure 1 , pour former un élément d’apprentissage utilisé pour entraîner le réseau de neurones. Sur l’image postopératoire 52 représentée sur la figure 4, une région d’ablation 35 réellement obtenue suite à l’intervention chirurgicale a été segmentée. Cette segmentation de la région d’ablation 35 réellement obtenue suite à l’intervention chirurgicale n’est cependant pas indispensable pour que l’image postopératoire 52 puisse être utilisée pour former un élément d’apprentissage du réseau de neurones. Il est d’ailleurs préférable de ne pas segmenter les images utilisées pour former des éléments d’apprentissage du réseau de neurones. Il existe différentes méthodes de segmentation sur une image. On entend par « segmentation » une opération de traitement d’image qui a pour but de définir des régions ou des contours sur une image selon des critères prédéfinis. Ces méthodes sont considérées comme connues par l’homme du métier. Le fait de segmenter une région d’ablation estimée ou réellement obtenue permet de définir les dimensions de ladite région d’ablation. FIG. 4 schematically represents a postoperative image 52 of the anatomy of interest 31 following a surgical intervention having ablated the tissue 32. Such a postoperative image 52 can be used, in combination with the preoperative image 50 of FIG. 1, to train a learning element used to train the neural network. In the postoperative image 52 shown in Figure 4, an ablation region 35 actually obtained following the surgery has been segmented. This segmentation of the ablation region 35 actually obtained following the surgical intervention is not, however, essential so that the postoperative image 52 can be used to form a learning element of the neural network. It is also preferable not to segment the images used to form learning elements of the neural network. There are different methods of segmentation on an image. The term “segmentation” is understood to mean an image processing operation which aims to define regions or contours on an image according to predefined criteria. These methods are considered to be known to those skilled in the art. The fact of segmenting an estimated or actually obtained ablation region makes it possible to define the dimensions of said ablation region.
La figure 5 représente schématiquement les principales étapes d’un procédé 100 de planification d’une intervention chirurgicale visant à ablater un tissu 32 dans une anatomie d’intérêt 31 d’un patient 30. FIG. 5 schematically represents the main steps of a method 100 of planning a surgical intervention aimed at ablating tissue 32 in an anatomy of interest 31 of a patient 30.
Le procédé 100 de planification comporte les étapes suivantes : The planning method 100 comprises the following steps:
- une acquisition 101 d'une image préopératoire 50 de l’anatomie d'intérêt 31 , - an acquisition 101 of a preoperative image 50 of the anatomy of interest 31,
- une détermination 102 d'un ensemble de paramètres de planification, - a determination 102 of a set of planning parameters,
- une génération 103 d'une image simulée 51 en prenant en entrée l’image préopératoire 50 et les paramètres de planification, et en utilisant le réseau de neurones préalablement entraîné, - A generation 103 of a simulated image 51 taking as input the preoperative image 50 and the planning parameters, and using the previously trained neural network,
- une segmentation 104 d'une région d'ablation estimée 34 représentée sur l'image simulée 51 générée par le réseau de neurones. a segmentation 104 of an estimated ablation region 34 represented on the simulated image 51 generated by the neural network.
L’étape d’acquisition 101 d’une image préopératoire est par exemple mise en oeuvre par le praticien à l’aide de l’appareil 20 d’imagerie décrit en référence à la figure 1 . The step 101 of acquiring a preoperative image is for example carried out by the practitioner using the imaging device 20 described with reference to FIG. 1.
L’étape de détermination 102 d’un ensemble de paramètres de planification est par exemple mise en oeuvre par la saisie, par le praticien, via l’interface graphique 13 du dispositif 10 de planification décrit en référence à la figure 1 , de paramètres relatifs à l’intervention chirurgicale à effectuer (type de pathologie, type de traitement, type d’instrument médical utilisé, position et orientation de l’instrument médical, paramètres de traitement, etc.). Rien n’empêche cependant que certains de ces paramètres soient déterminés automatiquement. Par exemple, une position et une orientation optimales de l’instrument médical peuvent être déterminées de façon automatique par un algorithme d’apprentissage. The step 102 of determining a set of planning parameters is for example implemented by entering, by the practitioner, via the graphical interface 13 of the planning device 10 described with reference to FIG. 1, of relative parameters the surgical intervention to be performed (type of pathology, type of treatment, type of medical instrument used, position and orientation of the medical instrument, treatment parameters, etc.). However, there is nothing to prevent some of these parameters from being determined automatically. For example, an optimal position and orientation of the medical instrument can be determined automatically by a learning algorithm.
Les étapes de génération 103 de l’image simulée 51 et de segmentation 104 de la région d’ablation estimée 34 sont par exemple mises en oeuvre par le réseau de neurones implémenté dans l’unité de contrôle 1 1 du dispositif 10 de planification. The steps of generation 103 of the simulated image 51 and of segmentation 104 of the estimated ablation region 34 are for example implemented by the neural network implemented in the control unit 11 of the planning device 10.
L'image simulée 51 générée permet au praticien d’observer le résultat qu’il est susceptible d’obtenir après l’intervention chirurgicale s’il utilise les paramètres de planification qui ont été fournis comme donnée d’entrée au procédé 100 de planification. La région d’ablation estimée 34 peut avoir des dimensions plus ou moins grandes comparativement à une région à traiter correspondant au tissu à ablater. The simulated image 51 generated allows the practitioner to observe the result that he is likely to obtain after the surgical intervention if he uses the planning parameters which have been supplied as input data to the planning method 100. The estimated ablation region 34 may have larger or smaller dimensions compared to a region to be treated corresponding to the tissue to be ablated.
Il convient de noter que l’étape de segmentation 104 d'une région d'ablation estimée 34 représentée sur l'image simulée 51 est optionnelle car elle n’est pas essentielle à l’invention. Notamment, la région d’ablation peut être identifiable par le praticien sur l’image simulée 51 sans qu’une segmentation de ladite région d’ablation estimée 34 ne soit effectuée. It should be noted that the step of segmenting 104 of an estimated ablation region 34 shown in the simulated image 51 is optional because it is not essential to the invention. In particular, the ablation region can be identifiable by the practitioner on the simulated image 51 without a segmentation of said estimated ablation region 34 being performed.
La figure 6 représente schématiquement une image préopératoire 50’ correspondant à l’image préopératoire 50 de la figure 2 sur laquelle une région à traiter 33 correspondant au tissu 32 à ablater est segmentée. Il est avantageux de comparer les dimensions de la région d’ablation estimée 34 avec les dimensions de la région à traiter 33. En effet, il convient d’un côté de s’assurer que la région à traiter soit suffisamment couverte par le traitement tout en minimisant les dimensions de la région d’ablation afin de ne pas détruire des parties trop importantes de tissu sain qui ne font pas partie de la région à traiter. FIG. 6 schematically represents a preoperative image 50 ’corresponding to the preoperative image 50 of FIG. 2 on which a region to be treated 33 corresponding to the tissue 32 to be ablated is segmented. It is advantageous to compare the dimensions of the estimated ablation region 34 with the dimensions of the region to be treated 33. Indeed, it is necessary on the one hand to ensure that the region to be treated is sufficiently covered by the entire treatment. by minimizing the dimensions of the ablation region so as not to destroy too large parts of healthy tissue which are not part of the region to be treated.
La figure 7 représente schématiquement les principales étapes d’un mode particulier de mise en oeuvre du procédé 100 de planification selon l’invention. Outre les étapes décrites précédemment en référence à la figure 5, le mode particulier de mise en oeuvre illustré à la figure 7 comporte les étapes suivantes : FIG. 7 diagrammatically represents the main steps of a particular embodiment of the planning method 100 according to the invention. In addition to the steps described above with reference to FIG. 5, the particular mode of implementation illustrated in FIG. 7 comprises the following steps:
- une segmentation 105 sur l'image préopératoire 50 d'une région à traiter 33 correspondant au tissu 32 que l'intervention chirurgicale vise à ablater, - a segmentation 105 on the preoperative image 50 of a region to be treated 33 corresponding to the tissue 32 that the surgical intervention aims to ablate,
- une comparaison 106 de la région d'ablation estimée 34 représentée sur l'image simulée avec la région à traiter 33, a comparison 106 of the estimated ablation region 34 shown in the simulated image with the region to be treated 33,
- une vérification 107 d'une condition de validité - a verification 107 of a validity condition
Par exemple, la condition de validité est vérifiée si le contour de la région d’ablation estimée 34 englobe complètement le contour de la région à traiter 33 et si pour chaque point du contour de la région d'ablation estimée 34 la distance minimale entre ce point et le contour de la région à traiter 33 est comprise dans une plage de valeurs prédéterminée. Par exemple, la plage de valeurs prédéterminée correspond aux valeurs comprises entre 5 et 10 millimètres. D’autres conditions de validité sont cependant envisageables et ne constituent que des variantes de l’invention. For example, the validity condition is checked if the contour of the estimated ablation region 34 completely encompasses the contour of the region to be treated 33 and if for each point of the contour of the estimated ablation region 34 the minimum distance between this point and the contour of the region to be treated 33 lies within a predetermined range of values. For example, the predetermined value range corresponds to values between 5 and 10 millimeters. However, other conditions of validity are conceivable and constitute only variants of the invention.
Lorsque la vérification 107 de la condition de validité est négative, le praticien peut par exemple décider de modifier les paramètres de planification et de relancer une simulation. When the verification 107 of the validity condition is negative, the practitioner can for example decide to modify the planning parameters and to restart a simulation.
Selon un autre exemple, et tel qu’illustré sur la figure 7, le procédé 100 peut comporter une étape de détermination 108, de manière automatisée par le dispositif 10 de planification, d'un nouvel ensemble de paramètres de planification pour lequel la région d'ablation estimée 34 satisfait la condition de validité. L’étape de détermination 108 est par exemple réalisée par des méthodes d’optimisation classique et d’exploration de l’espace des données de planification. According to another example, and as illustrated in FIG. 7, the method 100 can comprising a step of determining 108, in an automated manner by the planning device 10, a new set of planning parameters for which the estimated ablation region 34 satisfies the validity condition. The determination step 108 is for example carried out by methods of conventional optimization and exploration of the space of planning data.
La figure 8 représente encore un autre mode particulier de mise en oeuvre du procédé 100 de planification selon l’invention. Dans ce mode particulier de mise en oeuvre, le procédé 100 de planification comporte une étape de détermination 109 de plusieurs nouveaux ensembles de paramètres de planification. Tels qu’illustré sur la figure 8, pour chaque nouvel ensemble de paramètres de planification, les étapes de génération 103 d’une image simulée, de segmentation 104 d’une région d’ablation estimée, de comparaison 106 entre la région à traiter et la région d’ablation estimée, et de vérification 107 de la condition de validité, sont effectuées. Le procédé 100 comporte ensuite une étape d’identification 1 10, parmi les nouveaux ensembles de paramètres de planification qui vérifient la condition de validité, d’un ensemble de paramètres de planification optimal. Par exemple l’ensemble de paramètres de planification optimal correspond aux paramètres de planification pour lesquels la région d’ablation estimée 34 présente des dimensions minimales tout en vérifiant la condition de validité. Cela permet ainsi de minimiser la quantité de tissu sain ablaté pendant l’intervention chirurgicale. FIG. 8 represents yet another particular embodiment of the planning method 100 according to the invention. In this particular mode of implementation, the planning method 100 comprises a step 109 of determining several new sets of planning parameters. As illustrated in FIG. 8, for each new set of planning parameters, the steps of generation 103 of a simulated image, of segmentation 104 of an estimated ablation region, of comparison 106 between the region to be treated and the region of estimated ablation, and verification 107 of the validity condition, are performed. The method 100 then comprises a step 110 of identifying, among the new sets of planning parameters which verify the condition of validity, of a set of optimal planning parameters. For example, the optimal planning parameter set corresponds to the planning parameters for which the estimated ablation region 34 has minimum dimensions while checking the validity condition. This helps to minimize the amount of healthy tissue ablated during surgery.
Il est à noter que sur la figure 8, les nouveaux ensembles de paramètres de planification sont déterminés puis validés en parallèle. Rien n’empêche cependant que les nouveaux ensembles de paramètres de planification soient déterminés de façon itérative, l’un après l’autre. Eventuellement, un nouvel ensemble de paramètres de planification peut être déterminé en fonction d’un autre nouvel ensemble de paramètres de planification précédemment déterminé, et/ou en fonction des paramètres de planification initialement choisis par le praticien. It should be noted that in FIG. 8, the new sets of planning parameters are determined and then validated in parallel. However, there is nothing to prevent new sets of planning parameters from being determined iteratively, one at a time. Optionally, a new set of planning parameters can be determined based on another new set of previously determined planning parameters, and / or based on the planning parameters initially chosen by the practitioner.
Différentes méthodes peuvent être envisagées pour déterminer et segmenter la région d’ablation estimée sur l’image simulée 51 générée par le réseau de neurones. Different methods can be considered to determine and segment the estimated ablation region on the simulated image 51 generated by the neural network.
Selon une première méthode, la région d’ablation estimée est représentée par une image binaire qui est superposée à l’image préopératoire 50 pour former l’image générée 51 . Dans ce cas, chaque voxel de l’image binaire situé en dehors de la région d’ablation estimée est associé à une valeur nulle, et chaque voxel situé à l’intérieur de la région d’ablation estimée est associé à une valeur fixe non nulle. Un voxel dont la valeur est non nulle apparaît avec une couleur particulière sur l’image binaire. Un voxel dont la valeur est nulle est en revanche transparent et n’a pas d’impact sur l’image générée lorsqu’il est superposé à l’image préopératoire. Pour rappel, dans le cas où les images utilisées sont en deux dimensions, le terme voxel peut être remplacé par le terme pixel. According to a first method, the estimated ablation region is represented by a binary image which is superimposed on the preoperative image 50 to form the generated image 51. In this case, each voxel of the binary image located outside the estimated ablation region is associated with a zero value, and each voxel located inside the estimated ablation region is associated with a fixed non-value. nothing. A voxel whose value is not zero appears with a particular color on the binary image. A voxel whose value is zero is however transparent and has no impact on the image generated when superimposed on the preoperative image. As a reminder, in the case where the images used are in two dimensions, the term voxel can be replaced by the term pixel.
Selon une deuxième méthode, la région d’ablation estimée est segmentée sur l’image simulée 51 en fonction d’une réponse tissulaire de l’anatomie d’intérêt 31 à l’intervention d’ablation. Dans ce but, une réponse tissulaire à l'intervention d'ablation est déterminée par le réseau de neurones en associant à chaque voxel de la région d'ablation estimée 34 représentée sur l'image simulée 51 une valeur, dite « valeur de radiodensité », représentative d'une radiodensité d’un tissu correspondant audit voxel. In a second method, the estimated region of ablation is segmented on the simulated image 51 based on a tissue response of the anatomy of interest 31 to the ablation procedure. For this purpose, a tissue response to the ablation intervention is determined by the neural network by associating with each voxel of the estimated ablation region 34 represented on the simulated image 51 a value, called “radiodensity value”. , representative of a radiodensity of a tissue corresponding to said voxel.
La radiodensité est représentative de l’incapacité relative des rayonnements électromagnétiques, par exemple des rayons X générés par l’appareil d’imagerie médical 20, à traverser un tissu de l’anatomie d’intérêt 31 du patient (il convient de noter que les rayons X émis par l’appareil d’imagerie n’ont pas pour objectif d’ablater la tumeur, et la « valeur de radiodensité » dont il est question ici est indépendante des paramètres de radiothérapie). La région d’ablation représentée sur l’image simulée 51 par le réseau de neurones correspond généralement à une région nécrosée qui présente sur l’image des valeurs de radiodensité plus faibles qu’une partie de l’anatomie d’intérêt du patient qui n’a pas été ablatée. Plus un voxel de la région d’ablation est associé à une valeur de radiodensité faible, et plus la partie de la région d’ablation correspondant audit voxel a été détruite. On entend ainsi par « réponse tissulaire à l’intervention d’ablation » une représentation de la proportion avec laquelle chaque partie du tissu à traiter a été ablaté. Par exemple, les voxels de la région d’ablation pour lesquels la valeur de radiodensité est supérieure à un premier seuil prédéterminé correspondent aux parties du tissu à traiter ayant été détruites à moins de 50%. Selon un autre exemple, les voxels de la région d’ablation pour lesquels la valeur de radiodensité est inférieure à un deuxième seuil prédéterminé correspondent aux parties du tissu à traiter ayant été détruites à plus de 90%. Il est ainsi possible de cartographier, à partir de l’image simulée, la réponse estimée du tissu au traitement. Radiodensity is representative of the relative inability of electromagnetic radiation, e.g. X-rays generated by medical imaging device 20, to pass through tissue of the patient's anatomy of interest 31 (note that X-rays emitted by the imaging device are not intended to ablate the tumor, and the "radiodensity value" referred to here is independent of the radiotherapy parameters). The ablation region represented on the simulated image 51 by the neural network generally corresponds to a necrotic region which has lower radiodensity values on the image than a part of the anatomy of interest of the patient which does not was not ablated. The lower a voxel of the ablation region is associated with a radiodensity value, the more the part of the ablation region corresponding to said voxel has been destroyed. The term "tissue response to the ablation intervention" is thus understood to mean a representation of the proportion with which each part of the tissue to be treated has been ablated. For example, the voxels of the ablation region for which the radiodensity value is greater than a first predetermined threshold correspond to the parts of the tissue to be treated which have been destroyed to less than 50%. According to another example, the voxels of the ablation region for which the radiodensity value is less than a second predetermined threshold correspond to the parts of the tissue to be treated which have been destroyed by more than 90%. It is thus possible to map, from the simulated image, the estimated response of the tissue to the treatment.
La segmentation 104 de la région d'ablation estimée 34 peut alors par exemple être réalisée de telle sorte que chaque voxel de ladite région d'ablation estimée est associé à une valeur de radiodensité supérieure à un seuil prédéterminé. Cela permet ainsi de s’assurer que tout tissu situé à l’intérieur du contour de la segmentation de la région d’ablation a été détruit au-delà d’une certaine proportion souhaitée (par exemple à plus de 90%). The segmentation 104 of the estimated ablation region 34 can then for example be carried out such that each voxel of said estimated ablation region is associated with a radiodensity value greater than a predetermined threshold. This helps to ensure that any tissue within the segmentation contour of the ablation region has been destroyed beyond a certain desired proportion (eg, greater than 90%).
La valeur de radiodensité associée à un voxel est par exemple définie à partir de l’échelle de Hounsfield. Dans des modes particuliers de mise en œuvre, le procédé 100 de planification comporte une étape de vérification que pour chaque point du contour de la région d’ablation estimée 34, un gradient des valeurs de radiodensité au niveau de ce point dans une direction normale audit contour est supérieur à un seuil prédéterminé. Le gradient représente la variabilité des valeurs de radiodensité au niveau du point considéré dans une direction normale au contour (par « direction normale au contour », on entend la direction perpendiculaire à une tangente au contour passant par le point considéré). De telles dispositions permettent notamment de vérifier si le contour de la région d’ablation est net. Le contour de la région d’ablation marque la limite entre la région traitée et le tissu non traité. La netteté de ce contour est représentative de la qualité de l’ablation. Au niveau d’un point du contour de la région d’ablation estimée 34, plus le gradient est élevé et plus la variation des valeurs de radiodensité entre la région d’ablation et le tissu sain non ablaté est importante. The radiodensity value associated with a voxel is for example defined from the Hounsfield scale. In particular embodiments, the planning method 100 comprises a step of verifying that for each point of the contour of the estimated ablation region 34, a gradient of the radiodensity values at the level of this point in a direction normal to said point. contour is greater than a predetermined threshold. The gradient represents the variability of the radiodensity values at the level of the point considered in a direction normal to the contour (by “direction normal to the contour” is meant the direction perpendicular to a tangent to the contour passing through the point considered). Such arrangements make it possible in particular to check whether the outline of the ablation region is clear. The outline of the ablation region marks the boundary between the treated region and the untreated tissue. The sharpness of this contour is representative of the quality of the ablation. At a point on the outline of the estimated ablation region 34, the greater the gradient, the greater the variation in the radiodensity values between the ablation region and the healthy unablated tissue.
Il est parfois possible d’observer sur une image médicale représentant une région d’ablation une forme blanche en forme d’anneau de faible épaisseur qui entoure la région d’ablation. La présence ou non de cet anneau peut être représentative de la qualité de l’ablation. Le fait de calculer un gradient en chaque point de la région d’ablation estimée 34 et de comparer ce gradient avec un seuil prédéterminé permet de fiabiliser l’estimation de la qualité de l’ablation (par exemple, si le gradient est supérieur à un seuil en tout point du contour, l’ablation peut être considérée comme étant de bonne qualité même si l’anneau blanc n’est pas directement visible sur l’image médicale à l’œil nu). Sometimes you can see a thin white, ring-shaped shape in a medical image of an ablation region that surrounds the region of ablation. The presence or absence of this ring may be representative of the quality of the ablation. The fact of calculating a gradient at each point of the estimated ablation region 34 and of comparing this gradient with a predetermined threshold makes it possible to make the estimate of the quality of the ablation more reliable (for example, if the gradient is greater than a threshold at any point of the contour, the ablation can be considered to be of good quality even if the white ring is not directly visible on the medical image with the naked eye).
Dans un mode préféré de réalisation, le réseau de neurones est un réseau neuronal convolutif. Les réseaux neuronaux convolutifs sont particulièrement bien adaptés à la reconnaissance d’image. Un tel réseau de neurones 40 est représenté schématiquement sur les figures 9 et 10. Le réseau de neurones 40 comporte plusieurs couches de neurones artificiels. Il existe des neurones de traitement, qui traitent une portion limitée d’une image au travers d’une fonction de convolution, et des neurones de mise en commun des sorties (aussi dits neurones de « pooling »). L’ensemble des sorties d’une couche de traitement permet de reconstituer une image intermédiaire qui servira de base à la couche suivante. Le réseau de neurones 40 comporte également une couche entièrement connectée 41 qui possède des connexions vers toutes les sorties des couches précédentes, et une couche de prédiction 42 en sortie de laquelle est générée l’image simulée 51 . C’est la couche de prédiction 42 qui permet, notamment, d’assigner une valeur de radiodensité à chaque voxel de l’image simulée 51 . La figure 9 illustre schématiquement une phase d’entrainement (ou phase d’apprentissage) du réseau de neurones 40. Le réseau de neurones est entraîné avec des éléments d’apprentissage correspondant chacun respectivement à une intervention chirurgicale d'ablation d'un tissu dans une anatomie d'intérêt pour un patient. Chaque élément d’apprentissage comporte une image préopératoire 50 de l'anatomie d'intérêt du patient, des paramètres P de planification utilisés pour l’intervention chirurgicale sur ce patient, et une image postopératoire 52 de l'anatomie d'intérêt de ce patient après l'intervention chirurgicale. In a preferred embodiment, the neural network is a convolutional neural network. Convolutional neural networks are particularly well suited to image recognition. Such a neural network 40 is shown schematically in FIGS. 9 and 10. The neural network 40 comprises several layers of artificial neurons. There are processing neurons, which process a limited portion of an image through a convolution function, and output pooling neurons (also called “pooling” neurons). All the outputs of a processing layer make it possible to reconstitute an intermediate image which will serve as a basis for the following layer. The neural network 40 also comprises a fully connected layer 41 which has connections to all the outputs of the preceding layers, and a prediction layer 42 at the output of which the simulated image 51 is generated. It is the prediction layer 42 which makes it possible, in particular, to assign a radiodensity value to each voxel of the simulated image 51. FIG. 9 schematically illustrates a training phase (or training phase) of the neural network 40. The neural network is trained with training elements each corresponding respectively to a surgical intervention for the ablation of a tissue in an anatomy of interest to a patient. Each learning element comprises a preoperative image 50 of the anatomy of interest of the patient, the planning parameters P used for the surgical intervention on this patient, and a postoperative image 52 of the anatomy of interest of this patient. after surgery.
Parmi les paramètres P de planification possibles, on peut citer : Among the possible planning parameters P are:
- Le type de pathologie p : par exemple, la pathologie peut être un carcinome hépatocellulaire ou des métastases. Un type de pathologie particulier peut être associé à une valeur particulière pour le paramètre p. - The type of pathology p: for example, the pathology may be hepatocellular carcinoma or metastases. A particular type of pathology can be associated with a particular value for the parameter p.
- Le type de traitement t : l’ablation du tissu peut par exemple être effectuée par micro-ondes, radiofréquences, cryothérapie, électroporation, laser, ultrasons focalisés, etc. Un type de traitement particulier peut être associé à une valeur particulière pour le paramètre T. - The type of treatment t: tissue ablation can for example be performed by microwave, radiofrequency, cryotherapy, electroporation, laser, focused ultrasound, etc. A particular type of processing can be associated with a particular value for the parameter T.
- Les coordonnées x, y, z de la position de l’instrument médical (par exemple la position de la pointe d’une aiguille) : elles peuvent être exprimées dans un repère prédéterminé (par exemple un repère de l’image préopératoire). - The x, y, z coordinates of the position of the medical instrument (for example the position of the tip of a needle): they can be expressed in a predetermined frame of reference (for example a frame of the preoperative image).
- Les angles a, b, y représentant l’orientation de l’instrument médical (par exemple l’orientation de l’aiguille) dans le repère considéré. - The angles a, b, y representing the orientation of the medical instrument (for example the orientation of the needle) in the reference frame considered.
- Le type d’instrument médical A : un type particulier d’instrument médical (modèle, fabricant, etc.) peut être associé à une valeur particulière pour le paramètre A. - The type of medical device A: a particular type of medical device (model, manufacturer, etc.) can be associated with a particular value for parameter A.
- Les paramètres de traitement e : en fonction du type de traitement, différents paramètres de traitement peuvent être définis, par exemple une puissance ou une durée de traitement. - The processing parameters e: depending on the type of processing, various processing parameters can be defined, for example a power or a duration of processing.
Lorsque plusieurs traitements sont effectués simultanément avec plusieurs instruments médicaux, les paramètres de planification P peuvent s’écrire sous la forme P = [pi , Ti , XI , yi , zi , ai , bi , gi , li , ei , ..., PN, TN, XN, yN, ZN, ON, bN, YN, AN, £N], où N représente le nombre de traitements. When several treatments are carried out simultaneously with several medical instruments, the planning parameters P can be written in the form P = [pi, Ti, XI, yi, zi, ai, bi, gi, li, ei, ..., PN, TN, XN, yN, ZN, ON, bN, YN, AN, £ N], where N represents the number of treatments.
Pendant l’entrainement, pour chaque élément d’apprentissage, le réseau de neurones 40 détermine pour chaque neurone un ensemble de poids et de biais permettant d’obtenir une image simulée 51 la plus similaire possible à l’image postopératoire 52 à partir de l’image préopératoire 50 couplée aux paramètres P de planification. La région d’ablation estimée 34 sur l’image simulée 51 est comparée à la région d’ablation réelle de l’image postopératoire 52 par le réseau de neurones 40 en utilisant une fonction de perte qui est ensuite utilisée pour calculer une fonction de coût global. Un processus d’optimisation recherche alors les paramètres de poids et de biais qui minimisent cette fonction de coût global. Le processus d’optimisation peut être réalisée de façon itérative. During training, for each learning element, the neural network 40 determines for each neuron a set of weights and biases making it possible to obtain a simulated image 51 as similar as possible to the postoperative image 52 from the preoperative image 50 coupled to the planning parameters P. The estimated region of ablation 34 on the simulated image 51 is compared to the actual region of ablation of the postoperative image 52 by the neural network 40 using a loss function which is then used to calculate a cost function. global. An optimization process then searches for the weight and bias parameters which minimize this overall cost function. The optimization process can be carried out iteratively.
De préférence, les éléments d’apprentissage correspondent à des interventions passées qui couvrent toutes les pathologies et tous les traitements envisagés. Preferably, the learning elements correspond to past interventions which cover all pathologies and all envisaged treatments.
La figure 10 illustre schématiquement une phase de planification par le réseau de neurones 40 pour une intervention d’ablation d’un tissu dans une anatomie d’intérêt d’un patient. Le réseau de neurones 40 reçoit en entrée l’image préopératoire 50 de ladite anatomie d’intérêt du patient ainsi que des paramètres de planification P envisagés par le praticien. Le réseau de neurones sélectionne les caractéristiques de l’image préopératoire 50 décrivant le tissu d’intérêt et son voisinage qui sont susceptibles de modifier la région d’ablation. Une image simulée 51 représentant une région d’ablation estimée est ensuite générée par le réseau de neurones. Il est alors possible de comparer la région d’ablation estimée représentée sur l’image simulée 51 avec la région à traiter représentée sur l’image préopératoire 50’. Si la région d’ablation estimée n’est pas satisfaisante (par exemple si elle ne couvre pas toute la région à traiter ou bien si elle la couvre avec des marges trop importantes), de nouveaux paramètres de planification peuvent être définis, soit par le praticien soit de manière automatique par le dispositif 10 de planification. Un ensemble de paramètres de planification permettant d’obtenir une région d’ablation estimée satisfaisante peut alors être déterminé. Ces paramètres seront alors ultérieurement utilisés, le jour de l’intervention chirurgicale. Les paramètres de planification peuvent par exemple être utilisés pour configurer un robot médical qui assiste le praticien pendant l’intervention médicale. Certains paramètres, notamment ceux liés à la position et à l’orientation de l’instrument médical, pourront éventuellement être ajustés à l’aide d’un recalage entre l’image préopératoire 50 utilisée pour planifier l’intervention chirurgicale et une image intraopératoire obtenue pendant l’intervention chirurgicale. Figure 10 schematically illustrates a planning phase by the neural network 40 for a tissue ablation intervention in an anatomy of interest to a patient. The neural network 40 receives as input the preoperative image 50 of said anatomy of interest from the patient as well as the planning parameters P envisaged by the practitioner. The neural network selects features from the preoperative image 50 describing the tissue of interest and its vicinity that are likely to modify the region of ablation. A simulated image 51 representing an estimated region of ablation is then generated by the neural network. It is then possible to compare the estimated region of ablation represented on the simulated image 51 with the region to be treated represented on the preoperative image 50 ’. If the estimated ablation region is not satisfactory (for example if it does not cover the entire region to be treated or if it covers it with too large margins), new planning parameters can be defined, either by the practitioner or automatically by the planning device 10. A set of planning parameters for obtaining an ablation region deemed satisfactory can then be determined. These parameters will then be used later, on the day of the surgery. The planning parameters can for example be used to configure a medical robot that assists the practitioner during the medical intervention. Certain parameters, in particular those related to the position and orientation of the medical instrument, could possibly be adjusted using a registration between the preoperative image 50 used to plan the surgical intervention and an intraoperative image obtained. during surgery.
Il convient de noter que le procédé 100 de planification selon l’invention ne comporte pas d’étape chirurgicale sur le patient. Il s’agit en effet d’un procédé 100 de planification, et l’intervention chirurgicale ainsi planifiée a lieu ultérieurement au procédé 100 de planification, éventuellement plusieurs jours après. Aussi, la phase d’entrainement du réseau de neurones est réalisée postérieurement à des interventions chirurgicales effectuées sur d’autres patients. Ces interventions chirurgicales ne doivent pas être considérées comme faisant partie de la phase d’entrainement du réseau de neurones. It should be noted that the planning method 100 according to the invention does not include a surgical step on the patient. This is in fact a planning process 100, and the surgical intervention thus planned takes place after the planning process 100, possibly several days later. Also, the training phase of the neural network is carried out after interventions surgeries performed on other patients. These surgeries should not be considered as part of the training phase of the neural network.
A noter aussi que le réseau de neurones 40 peut prendre en entrée une image sur laquelle est visible un tissu déjà partiellement ablaté, afin de définir un traitement additionnel qu’il convient d’appliquer pour compléter l’ablation. Ainsi, pour une intervention où plusieurs traitements doivent être effectués successivement, il est alors possible d’itérer plusieurs fois le procédé selon l’invention pour affiner à chaque fois les traitements initialement prévus. It should also be noted that the neural network 40 can take as input an image on which is visible an already partially ablated tissue, in order to define an additional treatment that should be applied to complete the ablation. Thus, for an intervention where several treatments must be carried out successively, it is then possible to iterate several times the process according to the invention to refine the treatments initially planned each time.
La description ci-avant illustre clairement que, par ses différentes caractéristiques et leurs avantages, la présente invention atteint les objectifs fixés. En particulier, l’ensemble des informations contenues dans l’image médicale de l’anatomie d’intérêt du patient sont prises en compte pour effectuer la prédiction de la région d’ablation. La prédiction de la région d’ablation est donc tout à fait spécifique à un patient donné. En outre, le réseau de neurones est capable d’apprendre quel est l’impact d’utiliser plusieurs instruments médicaux lors d’une intervention afin d’estimer avec une meilleure précision quelle est la région d’ablation obtenue dans un tel cas. De plus, le procédé de planification selon l’invention ne nécessite aucune mesure in vivo du patient, ce qui permet d’effectuer la planification en amont de l’intervention chirurgicale afin d’offrir plus de temps au praticien pour préparer l’intervention. L’estimation de la réponse tissulaire au traitement permet de prédire avec encore plus de précision le résultat de l’ablation. The above description clearly illustrates that, by virtue of its various characteristics and their advantages, the present invention achieves the objectives set. In particular, all of the information contained in the medical image of the patient's anatomy of interest is taken into account to make the prediction of the region of ablation. The prediction of the region of ablation is therefore quite specific to a given patient. In addition, the neural network is able to learn the impact of using multiple medical instruments during a procedure in order to estimate with better precision which region of ablation is obtained in such a case. In addition, the planning method according to the invention does not require any in vivo measurement of the patient, which allows planning to be carried out in advance of the surgical intervention in order to provide more time for the practitioner to prepare for the intervention. By estimating the tissue response to treatment, the outcome of ablation can be predicted even more accurately.

Claims

Revendications Claims
1 . Procédé (100) de planification d’une intervention chirurgicale visant à ablater un tissu (32) dans une anatomie d’intérêt (31 ) d’un patient (30), ledit procédé (100) comportant : 1. A method (100) of planning a surgical procedure to ablate tissue (32) in an anatomy of interest (31) of a patient (30), said method (100) comprising:
- une acquisition (101 ) d'une image préopératoire (50) de ladite anatomie d'intérêt (31 ), - an acquisition (101) of a preoperative image (50) of said anatomy of interest (31),
- une détermination (102) d'un ensemble de paramètres (P) de planification, caractérisé en ce que ledit procédé (100) comporte : - a determination (102) of a set of planning parameters (P), characterized in that said method (100) comprises:
- une génération (103) d'une image simulée (51 ) sur laquelle est représentée une région d'ablation estimée (34), ladite image simulée étant générée à partir de ladite image préopératoire (50), desdits paramètres (P) de planification, et d'un réseau de neurones (40), ledit réseau de neurones ayant été préalablement entraîné avec une pluralité d’éléments d’apprentissage, chaque élément d’apprentissage correspondant respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt pour un autre patient, chaque élément d’apprentissage comportant une image préopératoire (50) de l'anatomie d'intérêt dudit autre patient, des paramètres (P) de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire (52) de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale, ladite image simulée (51 ) permettant d’observer le résultat susceptible d’être obtenu après l’intervention chirurgicale. - a generation (103) of a simulated image (51) on which is represented an estimated ablation region (34), said simulated image being generated from said preoperative image (50), said planning parameters (P) , and a neural network (40), said neural network having been previously trained with a plurality of training elements, each training element corresponding respectively to a similar surgical intervention of ablation of a tissue in an anatomy of interest for another patient, each learning element comprising a preoperative image (50) of the anatomy of interest of said other patient, planning parameters (P) used for said surgical intervention on this other patient, and a postoperative image (52) of the anatomy of interest of this other patient after the surgical intervention, said simulated image (51) making it possible to observe the result likely to be obtained after the surgical intervention ale.
2. Procédé (100) selon la revendication 1 caractérisé en ce que le procédé comporte en outre une segmentation (104) d'une région d'ablation estimée (34) représentée sur l'image simulée (51 ). 2. Method (100) according to claim 1 characterized in that the method further comprises a segmentation (104) of an estimated ablation region (34) shown in the simulated image (51).
3. Procédé (100) selon la revendication 2 caractérisé en ce que le procédé comporte en outre une détermination d'une réponse tissulaire à l'intervention d'ablation en associant à chaque voxel de la région d'ablation estimée (34) représentée sur l'image simulée (51 ) une valeur, dite « valeur de radiodensité », représentative d'une radiodensité d’un tissu correspondant audit voxel. 3. Method (100) according to claim 2 characterized in that the method further comprises a determination of a tissue response to the ablation intervention by associating with each voxel the estimated ablation region (34) shown on the simulated image (51) a value, called a “radiodensity value”, representative of a radiodensity of a tissue corresponding to said voxel.
4. Procédé (100) selon la revendication 3 dans lequel la segmentation (104) de la région d'ablation estimée (34) est réalisée de telle sorte que chaque voxel de ladite région d'ablation estimée (34) est associé à une valeur de radiodensité supérieure à un seuil prédéterminé. 4. The method (100) of claim 3 wherein the segmentation (104) of the estimated ablation region (34) is performed such that each voxel of said estimated ablation region (34) is associated with a value. of higher radiodensity at a predetermined threshold.
5. Procédé (100) selon l’une des revendications 3 à 4 caractérisé en ce que le procédé comporte en outre une vérification que pour chaque point du contour de la région d’ablation estimée (34) un gradient des valeurs de radiodensité au niveau de ce point dans une direction normale audit contour est supérieur à un seuil prédéterminé. 5. Method (100) according to one of claims 3 to 4 characterized in that the method further comprises a verification that for each point of the contour of the estimated ablation region (34) a gradient of the radiodensity values at the level from this point in a direction normal to said contour is greater than a predetermined threshold.
6. Procédé (100) selon l’une des revendications 2 à 5 caractérisé en ce que le procédé comporte en outre : 6. Method (100) according to one of claims 2 to 5 characterized in that the method further comprises:
- une segmentation (105) sur l'image préopératoire (50) d'une région à traiter (33) correspondant au tissu (32) que l'intervention chirurgicale vise à ablater, - a segmentation (105) on the preoperative image (50) of a region to be treated (33) corresponding to the tissue (32) that the surgical intervention aims to ablate,
- une comparaison (106) de la région d'ablation estimée (34) représentée sur l'image simulée avec la région à traiter (33). - a comparison (106) of the estimated ablation region (34) shown in the simulated image with the region to be treated (33).
7. Procédé (100) selon la revendication 6 caractérisé en ce que le procédé (100) comporte en outre une vérification (107) d'une condition de validité qui est satisfaite si le contour de la région d’ablation estimée (34) englobe complètement le contour de la région à traiter (33), et si pour chaque point du contour de la région d'ablation estimée (34) la distance minimale entre ce point et le contour de la région à traiter (33) est comprise dans une plage de valeurs prédéterminée. 7. A method (100) according to claim 6 characterized in that the method (100) further comprises a check (107) of a validity condition which is satisfied if the outline of the estimated ablation region (34) includes completely the contour of the region to be treated (33), and if for each point of the contour of the estimated ablation region (34) the minimum distance between this point and the contour of the region to be treated (33) is included in a predetermined value range.
8. Procédé (100) selon la revendication 7 caractérisé en ce que, lorsque la vérification (107) de la condition de validité est négative, le procédé (100) comporte une détermination (108) d'un nouvel ensemble de paramètres de planification pour lequel la région d'ablation estimée (34) satisfait la condition de validité. 8. Method (100) according to claim 7 characterized in that, when the verification (107) of the validity condition is negative, the method (100) comprises a determination (108) of a new set of planning parameters for which the estimated ablation region (34) satisfies the validity condition.
9. Procédé (100) selon la revendication 7 caractérisé en ce que le procédé (100) comporte une étape de détermination (109) de plusieurs nouveaux ensembles de paramètres de planification pour lesquels la condition de validité est satisfaite, et une étape d’identification (1 10), parmi les nouveaux ensembles de paramètres de planification, d’un ensemble de paramètres de planification optimal pour lequel la région d’ablation estimée (34) présente des dimensions minimales. 9. Method (100) according to claim 7 characterized in that the method (100) comprises a step of determining (109) several new sets of planning parameters for which the validity condition is satisfied, and an identification step. (110), among the new sets of planning parameters, of an optimum set of planning parameters for which the estimated ablation region (34) has minimal dimensions.
10. Procédé (100) selon l’une des revendications 1 à 9 dans lequel l’anatomie d’intérêt est le foie. 10. The method (100) according to one of claims 1 to 9 wherein the anatomy of interest is the liver.
1 1 . Procédé (100) selon l’une des revendications 1 à 10 dans lequel le tissu à ablater est une tumeur. 1 1. A method (100) according to one of claims 1 to 10 in which the tissue to be ablated is a tumor.
12. Procédé (100) selon l’une des revendications 1 à 1 1 dans lequel les paramètres (P) de planification comprennent un ou plusieurs éléments parmi les éléments suivants :12. Method (100) according to one of claims 1-1 1 wherein the planning parameters (P) include one or more of the following:
- un type de pathologie, - a type of pathology,
- un type de traitement, - a type of treatment,
- un type d’instrument médical à utiliser pour le traitement, - a type of medical device to be used for treatment,
- une position et/ou une orientation de l’instrument médical à utiliser pour le traitement, - a position and / or orientation of the medical instrument to be used for the treatment,
- des paramètres de traitement spécifiques à l’instrument médical, - treatment parameters specific to the medical device,
- un nombre de traitements à effectuer pendant l’intervention chirurgicale. - a number of treatments to be performed during the surgery.
13. Produit programme d’ordinateur caractérisé en ce qu’il comporte un ensemble d’instructions de code de programme qui, lorsqu’elles sont exécutées par un ou plusieurs processeurs, configurent le ou les processeurs pour générer, à l’aide d’un réseau de neurones (40), une image simulée (51 ) sur laquelle est représentée une région d'ablation estimée (34), à partir d’une part d’une image préopératoire (50) d’une anatomie d’intérêt (31 ) d’un patient (30) comportant un tissu (32) à ablater, et d’autre part de paramètres (P) de planification, ledit réseau de neurones étant adapté pour être préalablement entraîné avec une pluralité d’éléments d’apprentissage, chaque élément d’apprentissage correspondant respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt pour un autre patient, chaque élément d’apprentissage comportant une image préopératoire (50) de l'anatomie d'intérêt dudit autre patient, des paramètres (P) de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire (52) de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale. 13. Computer program product characterized in that it comprises a set of program code instructions which, when executed by one or more processors, configure the processor or processors to generate, using a neural network (40), a simulated image (51) on which is represented an estimated region of ablation (34), on the one hand from a preoperative image (50) of an anatomy of interest ( 31) of a patient (30) comprising a tissue (32) to be ablated, and on the other hand of planning parameters (P), said neural network being adapted to be previously trained with a plurality of learning elements , each learning element corresponding respectively to a similar surgical procedure of ablation of a tissue in an anatomy of interest for another patient, each learning element comprising a preoperative image (50) of the anatomy of interest of said other patient, the planning parameters (P) used for said surgical intervention on this other patient, and a postoperative image (52) of the anatomy of interest of this other patient after the surgical intervention.
14. Dispositif (10) de planification d’une intervention chirurgicale visant à ablater un tissu (32) dans une anatomie d’intérêt (31 ) d’un patient (30), ledit dispositif (10) étant caractérisé en ce qu’il comporte une unité de contrôle (1 1 ) configurée pour : - générer une image simulée (51 ) à partir d’une image préopératoire (50) de ladite anatomie d'intérêt, d’un ensemble de paramètres (P) de planification, et d'un réseau de neurones (40), ledit réseau de neurones étant adapté pour être préalablement entraîné avec une pluralité d’éléments d’apprentissage, chaque élément d’apprentissage étant associé respectivement à une intervention chirurgicale similaire d'ablation d'un tissu dans une anatomie d'intérêt pour un autre patient, chaque élément d’apprentissage comportant une image préopératoire (50) de l'anatomie d'intérêt dudit autre patient, des paramètres (P) de planification utilisés pour ladite intervention chirurgicale sur cet autre patient, et une image postopératoire (52) de l'anatomie d'intérêt de cet autre patient après l'intervention chirurgicale. 14. Device (10) for planning a surgical intervention aiming to ablate a tissue (32) in an anatomy of interest (31) of a patient (30), said device (10) being characterized in that it includes a control unit (1 1) configured for: - generating a simulated image (51) from a preoperative image (50) of said anatomy of interest, a set of planning parameters (P), and a neural network (40), said network of neurons being adapted to be pre-trained with a plurality of learning elements, each learning element being associated respectively with a similar surgical procedure of ablation of a tissue in an anatomy of interest for another patient, each learning element comprising a preoperative image (50) of the anatomy of interest of said other patient, planning parameters (P) used for said surgical intervention on that other patient, and a postoperative image (52) of the anatomy of interest of this other patient after surgery.
15. Dispositif (10) selon la revendication 14 dans lequel ladite unité de contrôle (1 1 ) est en outre configurée pour segmenter une région d'ablation estimée (34) représentée sur l'image simulée (51 ). 15. Device (10) according to claim 14 wherein said control unit (1 1) is further configured to segment an estimated ablation region (34) shown in the simulated image (51).
16. Dispositif (10) selon la revendication 15 dans lequel ladite unité de contrôle (1 1 ) est en outre configurée pour associer à chaque voxel de la région d'ablation estimée (34) représentée sur l'image simulée (51 ) une valeur dite « valeur de radiodensité » représentative d'une radiodensité d’un tissu correspondant audit voxel. 16. Device (10) according to claim 15 wherein said control unit (1 1) is further configured to associate with each voxel of the estimated ablation region (34) shown in the simulated image (51) a value. said “radiodensity value” representative of a radiodensity of a tissue corresponding to said voxel.
17. Dispositif (10) selon la revendication 16 dans lequel ladite unité de contrôle (1 1 ) est configurée pour segmenter la région d'ablation estimée (34) de telle sorte que chaque voxel de ladite région d'ablation estimée (34) est associé à une valeur de radiodensité supérieure à un seuil prédéterminé. 17. Device (10) according to claim 16 wherein said control unit (1 1) is configured to segment the estimated ablation region (34) such that each voxel of said estimated ablation region (34) is associated with a radiodensity value greater than a predetermined threshold.
18. Dispositif (10) selon l’une des revendications 16 à 17 dans lequel ladite unité de contrôle (1 1 ) est configurée pour vérifier que pour chaque point du contour de la région d’ablation estimée (34) un gradient des valeurs de radiodensité au niveau de ce point dans une direction normale audit contour est supérieur à un seuil prédéterminé. 18. Device (10) according to one of claims 16 to 17 wherein said control unit (1 1) is configured to verify that for each point of the contour of the estimated ablation region (34) a gradient of the values of Radiodensity at this point in a direction normal to said contour is greater than a predetermined threshold.
19. Dispositif (10) selon l’une des revendications 14 à 18 dans lequel ladite unité de contrôle (1 1 ) est en outre configurée pour segmenter sur l'image préopératoire (50) une région à traiter (33) correspondant au tissu (32) que l'intervention chirurgicale vise à ablater, et pour comparer la région d'ablation estimée (34) représentée sur l'image simulée (51 ) avec la région à traiter (33). 19. Device (10) according to one of claims 14 to 18 wherein said control unit (1 1) is further configured to segment on the preoperative image (50) a region to be treated (33) corresponding to the tissue ( 32) that the surgical intervention aims to ablate, and to compare the estimated region of ablation (34) shown on the simulated image (51) with the region to be treated (33).
20. Dispositif (10) selon la revendication 19 caractérisé en ce que ladite unité de contrôle (1 1 ) est en outre configurée pour vérifier une condition de validité qui est satisfaite si le contour de la région d’ablation estimée (34) englobe complètement le contour de la région à traiter (33), et si pour chaque point du contour de la région d'ablation estimée (34) la distance minimale entre ce point et le contour de la région à traiter (33) est comprise dans une plage de valeurs prédéterminée. 20. Device (10) according to claim 19 characterized in that said control unit (1 1) is further configured to verify a validity condition which is satisfied if the outline of the estimated ablation region (34) completely encompasses the contour of the region to be treated (33), and if for each point of the contour of the estimated ablation region (34) the minimum distance between this point and the contour of the region to be treated (33) is within a range of predetermined values.
21. Dispositif (10) selon la revendication 20 caractérisé en ce que ladite unité de contrôle21. Device (10) according to claim 20 characterized in that said control unit
(1 1 ) est en outre configurée pour déterminer un ou plusieurs nouveaux ensembles de paramètres de planification pour lesquels la condition de validité est satisfaite, et pour identifier, parmi ces nouveaux ensembles de paramètres de planification, un ensemble de paramètres de planification optimal pour lequel la région d’ablation estimée (34) présente des dimensions minimales. (1 1) is further configured to determine one or more new sets of schedule parameters for which the validity condition is satisfied, and to identify, among these new sets of schedule parameters, an optimal set of schedule parameters for which the estimated ablation region (34) has minimal dimensions.
EP20733842.7A 2019-06-27 2020-06-25 Method for planning tissue ablation based on deep learning Pending EP3965684A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1907000A FR3095332B1 (en) 2019-06-27 2019-06-27 Tissue ablation planning method based on deep learning
PCT/EP2020/067777 WO2020260433A1 (en) 2019-06-27 2020-06-25 Method for planning tissue ablation based on deep learning

Publications (1)

Publication Number Publication Date
EP3965684A1 true EP3965684A1 (en) 2022-03-16

Family

ID=67957128

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20733842.7A Pending EP3965684A1 (en) 2019-06-27 2020-06-25 Method for planning tissue ablation based on deep learning

Country Status (9)

Country Link
US (1) US20220233242A1 (en)
EP (1) EP3965684A1 (en)
JP (1) JP7455862B2 (en)
KR (1) KR20220026534A (en)
CN (1) CN114007538B (en)
CA (1) CA3138208A1 (en)
FR (1) FR3095332B1 (en)
IL (1) IL289162A (en)
WO (1) WO2020260433A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210038314A1 (en) * 2019-08-11 2021-02-11 phenoMapper, LLC Method and System for Personalized Treatment Planning in Ablation of Cancerous Tissue
FR3128051A1 (en) * 2021-10-07 2023-04-14 Quantum Surgical Device for predicting an optimal type of treatment for the percutaneous ablation of a lesion
CN114209419B (en) * 2021-12-14 2024-07-05 上海交通大学医学院附属瑞金医院 Ablation treatment equipment
CN115147022B (en) * 2022-09-05 2022-12-02 中国科学院地质与地球物理研究所 Engineering geological zoning method and system for complex mountain area long and large linear engineering
WO2024059693A2 (en) * 2022-09-14 2024-03-21 Mayo Foundation For Medical Education And Research Generating synthetic medical images, feature data for training image segmentation, and inpainted medical images using generative models
FR3143314A1 (en) * 2022-12-16 2024-06-21 Quantum Surgical Device to assist in planning a minimally invasive procedure
FR3143313A1 (en) * 2022-12-16 2024-06-21 Quantum Surgical Device to assist in planning a minimally invasive intervention on a bone

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5464013A (en) * 1984-05-25 1995-11-07 Lemelson; Jerome H. Medical scanning and treatment system and method
US20070053491A1 (en) * 2005-09-07 2007-03-08 Eastman Kodak Company Adaptive radiation therapy method with target detection
US20090238434A1 (en) * 2008-03-24 2009-09-24 Gilbert Feke Method for reproducing the spatial orientation of an immobilized subject in a multi-modal imaging system
US20070092864A1 (en) * 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
EP2124795B1 (en) * 2007-01-24 2017-05-31 Koninklijke Philips N.V. Rf ablation planner
US8267927B2 (en) * 2007-01-24 2012-09-18 Koninklijke Philips Electronics N.V. Advanced ablation planning
US20080287783A1 (en) * 2007-05-16 2008-11-20 General Electric Company System and method of tracking delivery of an imaging probe
CN101859341A (en) * 2009-04-13 2010-10-13 盛林 Image-guided ablation surgery planning device
CN102428495B (en) * 2009-05-05 2014-09-24 皇家飞利浦电子股份有限公司 Automatic assessment of confidence in imaging data
US10729499B2 (en) * 2011-07-28 2020-08-04 Koninklijke Philips N.V. Ablation planning system
US9277956B2 (en) * 2011-11-09 2016-03-08 Siemens Medical Solutions Usa, Inc. System for automatic medical ablation control
CA2903088C (en) * 2013-03-15 2022-03-08 Synaptive Medical (Barbados) Inc. Intermodal synchronization of surgical data
AU2014231346B2 (en) * 2013-03-15 2018-03-08 Synaptive Medical Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
US20150093007A1 (en) * 2013-09-30 2015-04-02 Median Technologies System and method for the classification of measurable lesions in images of the chest
WO2016088075A1 (en) * 2014-12-04 2016-06-09 Koninklijke Philips N.V. Shape based initialization and qa of progressive auto-planning
JP6858127B2 (en) 2015-02-17 2021-04-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Equipment and methods to support tissue ablation
JP6688536B2 (en) * 2016-09-07 2020-04-28 エレクタ、インク.Elekta, Inc. Systems and methods for learning models of radiation therapy treatment planning and predicting radiation therapy dose distributions
CN107049475A (en) * 2017-04-19 2017-08-18 纪建松 Liver cancer local ablation method and system
CN107545137A (en) * 2017-08-16 2018-01-05 强深智能医疗科技(昆山)有限公司 Tumour radiotherapy plan intelligent optimization method
CN107441637B (en) * 2017-08-30 2019-06-07 南方医科大学 Intensity modulated radiation therapy 3-dimensional dose is distributed in the works prediction technique and its application
US20190159823A1 (en) * 2017-11-28 2019-05-30 Metal Industries Research & Development Centre Pre-surgical planning apparatus and pre-surgical planning method
WO2019118640A1 (en) * 2017-12-13 2019-06-20 Washington University System and method for determining segments for ablation
CN109077804A (en) * 2018-08-19 2018-12-25 天津大学 A kind of Microwave Coagulation Therapy method of planning based on ct images
CN109166613A (en) * 2018-08-20 2019-01-08 北京东方瑞云科技有限公司 Radiotherapy treatment planning assessment system and method based on machine learning

Also Published As

Publication number Publication date
CN114007538A (en) 2022-02-01
CN114007538B (en) 2024-03-29
JP2022537875A (en) 2022-08-31
FR3095332B1 (en) 2023-07-21
CA3138208A1 (en) 2020-12-30
FR3095332A1 (en) 2020-10-30
US20220233242A1 (en) 2022-07-28
JP7455862B2 (en) 2024-03-26
WO2020260433A1 (en) 2020-12-30
KR20220026534A (en) 2022-03-04
IL289162A (en) 2022-02-01

Similar Documents

Publication Publication Date Title
WO2020260433A1 (en) Method for planning tissue ablation based on deep learning
JP6916866B2 (en) Methods for predicting age-related macular degeneration by image reconstruction, computer-readable memory for storing executable programs, and devices
EP4078464B1 (en) Method for automatically planning a trajectory for a medical intervention
JP2022527525A (en) Identification of lesion boundaries in image data
CA3176333A1 (en) Method for determining an ablation region based on deep learning
FR3082976A1 (en) DETECTION OF NERVES IN A SERIES OF ECHOGRAPHIC IMAGES BY DETERMINING REGIONS OF INTERESTS DEFINED BY DETECTION OF ARTERIES
Wu et al. Calibrate the inter-observer segmentation uncertainty via diagnosis-first principle
EP4154262A1 (en) Method for predicting the recurrence of a lesion by image analysis
KR20240019263A (en) A hierarchical workflow for generating annotated training data for machine learning-assisted image segmentation.
US20220414402A1 (en) Automatic localized evaluation of contours with visual feedback
EP3622478B1 (en) Method of segmentation of a three-dimensional image for generating a model of a myocardial wall for the detection of at least one singular zone of electrical circulation
Salah et al. A fast and accurate approach for the segmentation of the paranasal sinus
WO2020144034A1 (en) Method for predicting the risk of recurrence after radiation treatment of a tumour
FR3122939A1 (en) Rare medical image generation method for training deep learning algorithms
Allen Automated Segmentation of Temporal Bone Structures
FR3143313A1 (en) Device to assist in planning a minimally invasive intervention on a bone
FR3143314A1 (en) Device to assist in planning a minimally invasive procedure
KR20240011140A (en) Geographical atrophy progression prediction and differential gradient activation maps
EP4312841A1 (en) Heat treatment assembly
WO2014170491A1 (en) Method for producing data representing radiotherapy treatment constraints, devices and corresponding program
WO2012110737A1 (en) Method for modelling a part made of bone tissue

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211206

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230412