EP3928293A1 - Image-processing methods and systems - Google Patents

Image-processing methods and systems

Info

Publication number
EP3928293A1
EP3928293A1 EP20704054.4A EP20704054A EP3928293A1 EP 3928293 A1 EP3928293 A1 EP 3928293A1 EP 20704054 A EP20704054 A EP 20704054A EP 3928293 A1 EP3928293 A1 EP 3928293A1
Authority
EP
European Patent Office
Prior art keywords
image
dimensional digital
digital image
observation
intensity values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20704054.4A
Other languages
German (de)
French (fr)
Inventor
Romain BUTTIN
Pierre Roussouly
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMAIO SA
Original Assignee
Sylorus Robotics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sylorus Robotics SAS filed Critical Sylorus Robotics SAS
Publication of EP3928293A1 publication Critical patent/EP3928293A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • TITLE Image processing methods and systems
  • the present invention relates to methods and systems for processing images, particularly for planning a surgical operation.
  • CT-Scan computer-assisted tomography
  • Such methods can be used during surgical operations, for example to prepare and facilitate the placement of a surgical implant by a surgeon or by a surgical robot.
  • these methods can be used during an operation for the surgical treatment of the spine of a patient, during which one or more spinal implants are placed, for example to perform arthrodesis of a segment of several vertebrae.
  • Such spinal implants generally include pedicle screws, that is, screws placed in the pedicles of the patient's vertebrae.
  • pedicle screws that is, screws placed in the pedicles of the patient's vertebrae.
  • the surgical procedures necessary for the installation of these spinal implants, and more particularly for the installation of the pedicle screws, are difficult to carry out because of the small dimensions of the bone structures where the implants must be anchored, and because of the risks of damage to critical anatomical structures located nearby, such as the spinal cord.
  • the pixel values of the resulting image are representative of the material density of the target object that has been imaged.
  • the resulting image constructed from the acquired images makes it possible to immediately visualize the bone density of said structure, and in particular to visualize the contrast between areas of high bone density and areas of low bone density within the bone structure itself.
  • the bone density information allows an operator to more easily find the optimal cutting plane of each vertebra. Once this cutting plane has been identified, the operator can easily define a sighting mark indicating the direction of insertion of a pedicle screw.
  • the invention allows him in particular to find more easily and quickly where to place the target mark, for example when areas of high bone density must be favored.
  • such a process can incorporate one or more of the following characteristics, taken in isolation or in any technically acceptable combination:
  • the three-dimensional digital image is an X-ray image produced by a computer assisted tomography process, the voxel intensity values of the three-dimensional digital image being associated with the material density values of the target object.
  • the method further comprises steps consisting of:
  • the method further comprises calculating at least one target position of a surgical robot, or even a target trajectory of a surgical robot, from the acquired position of said virtual landmark.
  • the calculation of at least one target position or of a target trajectory includes the calculation of the coordinates of the virtual coordinate system in a geometric reference system linked to a surgical robot from the coordinates of said virtual coordinate system in a geometric frame specific to the digital image.
  • the method further comprises steps consisting of:
  • the first virtual frame of reference acquires the coordinates of an axis of symmetry defined on a portion of the two-dimensional digital image by the operator by means of the interface man-machine;
  • a calibration marker is placed in the field of view of the imaging device alongside the target object, at least a portion of the marker being made of a material with a predefined material density, so that a part of the generated three-dimensional digital fluoroscopic image includes the image of the calibration marker;
  • the method further comprising a calibration step in which are automatically associated with the intensity values of the pixels of the two-dimensional digital image, density values determined automatically from the intensity values of a subset of pixels of this same image associated with the portion of the marker produced in the material having the predefined material density.
  • a medical imaging system in particular for a robotic surgery installation, is configured to implement steps consisting of:
  • Figure 1 schematically shows a human vertebra in an axial sectional plane
  • FIG 2 schematically shows a computer system according to one embodiment of the invention comprising an image processing system and a surgical robot;
  • Figure 3 shows schematically a sighting mark positioned in a portion of human spine as well as images of said spine portion in anatomical section planes on which the sighting mark is displayed;
  • FIG 4 is a flow diagram of an image processing method according to embodiments of the invention.
  • Figure 5 shows schematically the construction of a resulting image from images acquired by tomography during the method of Figure 4;
  • Figure 6 illustrates an example of an image of a portion of human spine according to a front view reconstructed by means of the method of Figure 4 as well as images of said portion of spine in section planes anatomical on which the sight mark is displayed;
  • Figure 7 shows schematically a spacer forming part of the system of Figure 2;
  • FIG. 8 schematically shows a registration target
  • FIG. 9 is a flow diagram of a method of operating a surgical robot according to embodiments for delivering a surgical implant. The description which follows is given by way of example with reference to an operation for the surgical treatment of the spine of a patient during which one or more spinal implants are placed.
  • the invention is not limited to this example and other applications are possible, in particular orthopedic applications, such as surgery of the pelvis or, more generally, the placement of any surgical implant that must be at least partially anchored in a structure. bone of a human or animal patient, or the cutting or drilling of such a bone structure.
  • orthopedic applications such as surgery of the pelvis or, more generally, the placement of any surgical implant that must be at least partially anchored in a structure. bone of a human or animal patient, or the cutting or drilling of such a bone structure.
  • the description below can therefore be generalized and transposed to these other applications.
  • Figure 1 is shown a bone structure 2 in which is placed a surgical implant 4 in an implantation direction X4.
  • bone structure 2 is a human vertebra, here shown in an axial sectional plane.
  • Implant 4 here includes a pedicle screw inserted into vertebra 2 and aligned along the direction of implantation X4.
  • the vertebra 2 comprises a body 6 crossed by a channel 8, two pedicles 10, two transverse processes 12 and a spinous process 14.
  • the X4 direction of implantation extends along one of the pedicles 10.
  • Reference X4 defines a corresponding implantation direction for another pedicle screw 4 (not shown in Figure 1) and which extends along the other pedicle 10, generally symmetrically to the X4 direction.
  • a notable difficulty that arises during a surgical operation to place implants 4 consists in determining the directions of implantation X4 and X4 '.
  • the pedicle screws 4 should not be placed too close to the canal 8 nor too close to the outer edge of the body 6 so as not to damage the vertebra 2. They should not be inserted too deeply so as not to protrude from the anterior body, nor too short so as not to risk being accidentally expelled.
  • One of the aspects of the method described below makes it possible to facilitate this determination before placing the implants.
  • FIG. 2 is shown a robotic surgical installation 20 comprising a robotic surgical system 22 for operating on a patient 24.
  • the surgical installation 20 is for example placed in an operating theater.
  • the surgical robotic system 22 includes a robot arm carrying one or more effector tools, for example a bone piercing tool or a drilling tool. screwing. This system is simply called “surgical robot 22” in what follows.
  • the robot arm is attached to a surgical robot support table 22.
  • the support table is arranged near an operating table for receiving patient 24.
  • the surgical robot 22 comprises an electronic control circuit configured to automatically move the effector tool (s) using actuators as a function of a setpoint position or a setpoint trajectory.
  • Facility 20 includes a medical imaging system configured to acquire a three-dimensional digital fluoroscopic image of a target object, such as an anatomical region of patient 24.
  • the medical imaging system includes a medical imaging device 26, an image processing unit 28, and a human-machine interface 30.
  • apparatus 26 is a computer assisted x-ray tomography machine.
  • the image processing unit 28 is configured to drive the apparatus 26 and to generate the three-dimensional digital fluoroscopic image from radiological measurements taken by the apparatus 26.
  • the processing unit 28 comprises an electronic circuit or a computer programmed to automatically execute an image processing algorithm, for example by means of a microprocessor and of a software code recorded in a recording medium of computer readable data.
  • the man-machine interface 30 allows an operator to control and / or supervise the operation of the imaging system.
  • the interface 30 comprises a display screen and data entry means such as a keyboard and / or or a touch screen and / or a pointing device such as a mouse or a stylus or any other means. equivalent.
  • the installation 20 comprises an operating planning system comprising a man-machine interface 31, a planning unit 32 and a trajectory computer 34, this planning system here bearing the reference 36.
  • the man-machine interface 31 allows an operator to interact with the processing unit 32 and the computer 34, or even to control and / or supervise the operation of the surgical robot 22.
  • the man-machine interface 31 comprises a display screen and data entry means such as a keyboard and / or or a touch screen and / or a pointing device such as a mouse or a stylus. or any equivalent means.
  • the planning unit 32 is programmed to acquire position coordinates of one or more virtual landmarks defined by an operator by means of the man-machine interface 31 and, if necessary, to convert the coordinates of a geometric reference frame to another, for example from an image frame of reference to a robot 22 frame of reference.
  • the trajectory computer 34 is programmed to automatically calculate the coordinates of one or more target positions, for example to form a target trajectory, in particular as a function of the virtual benchmarks determined by the planning unit 32.
  • the trajectory computer 34 supplies positioning instructions to the robot 22 in order to correctly place the effector tool (s) in order to carry out all or part of the steps for placing the implants 4.
  • the planning unit 32 and the trajectory computer 34 comprise an electronic circuit or a computer comprising a microprocessor and software code stored in a computer readable data recording medium.
  • Figure 3 is shown a three-dimensional image 40 of a target object, such as an anatomical structure of the patient 24, preferably a bone structure, such as a portion of the patient's spine 24.
  • a target object such as an anatomical structure of the patient 24, preferably a bone structure, such as a portion of the patient's spine 24.
  • the three-dimensional image 40 is automatically reconstructed from raw data, in particular from a raw image generated by the imaging device 26, such as a digital image conforming to the DICOM standard ("Digital imaging and communications in medicine ”).
  • the reconstruction is for example carried out by a computer comprising a graphics processing unit or by one of the units 28 or 32.
  • the three-dimensional image 40 comprises a plurality of voxels distributed in a three-dimensional volume and which are each associated with a value representative of information on the local density of matter of the target object resulting from radiological measurements carried out by the device of imaging 26. These values are, for example, expressed on the Hounsfield scale.
  • High density regions of the target object are more opaque to x-rays than low density regions. According to one possible convention, high density regions are assigned a higher intensity value than low density regions.
  • the intensity values can be normalized based on a predefined pixel value scale, such as an encoding scale of type RGB ("Red-Green-Blue").
  • a predefined pixel value scale such as an encoding scale of type RGB ("Red-Green-Blue").
  • the normalized intensity is an integer between 0 and 255.
  • the three-dimensional image 40 is for example reconstructed from a plurality of two-dimensional images corresponding to section planes of the apparatus 26.
  • the distances between the voxels and between the section planes are known and can be stored in memory. .
  • the imaging unit 28 calculates and displays, on the interface 30, two-dimensional images 42 showing different anatomical section planes of the target object, such as a section. sagittal 42a, a frontal section 42b and an axial section 42c.
  • a virtual landmark 44 is illustrated on image 40 and may be superimposed on image 40 and on images 42a, 42b, 42c.
  • the virtual coordinate system 44 comprises, for example, a set of coordinates stored in memory and expressed in the geometric frame of reference specific to image 40.
  • An operator can change the orientation of the image 40 displayed on the interface 30, for example by rotating or tilting it, using the interface 31.
  • the operator can also modify the position of the virtual marker 44, as illustrated by the arrows 46.
  • the images 42a, 42b and 42c are then recalculated so that the marker 44 remains visible in each of the anatomical planes corresponding to the images 42a, 42b and 42c. This allows the operator to have a confirmation of the position of marker 44.
  • FIG 4 is shown an image processing method implemented automatically by the planning system 36.
  • a raw image of the target object is acquired by means of the medical imaging system.
  • the raw image is generated by the processing unit 28, from a set of radiological measurements taken by the imaging device 26 on the target object.
  • the digital image 40 is automatically reconstructed from the raw image acquired.
  • the raw image is transferred from the imaging system to the planning system 36 through interfaces 30 and 31.
  • an observation point is defined relative to the digital image 40, for example by choosing a particular orientation of the image 40 by means of the man-machine interface 31.
  • the coordinates of the observation point thus defined are for example stored in memory and expressed in the geometric frame of reference specific to image 40.
  • a plurality of viewing directions also called virtual rays, are defined in the three-dimensional image 40 as passing through the three-dimensional image 40 and emanating from the defined observation point.
  • diagram (a) represents an illustrative example in which an observation point 50 is defined from which two virtual rays 52 and 54 depart which go towards the three-dimensional image 40 and pass successively through a plurality of voxels of the three-dimensional image 40.
  • Virtual rays 52 and 54 are lines which diverge from observation point 50. They do not necessarily pass through the same voxels as they propagate in frame 40.
  • Step S104 can be implemented in a manner analogous to computer graphics methods known as ray tracing, except that the projection step used in ray tracing methods is not here not used.
  • the number of rays 52, 54 and the number of pixels may be different from that illustrated in this example.
  • a resulting value is calculated from the respective intensity values of the voxels of the digital image crossed by said ray.
  • diagram (b) represents the set 66 of the intensity values of the voxels encountered by the ray 52 during its path from the observation point 50.
  • the resulting value 68 is calculated at from the set 66 of intensity values.
  • diagram (c) represents the set 70 of the intensity values of the voxels encountered by the ray 52 during its path from the observation point 50.
  • the resulting value 72 is calculated from the set 70 intensity values.
  • the resulting value is calculated, for each direction of observation, as being equal to the product of the inverse of the intensity values of the voxels crossed.
  • the resultant is calculated using the following calculation formula:
  • the index "i” identifies the voxels crossed by the ray
  • "ISO” denotes the normalized intensity value associated with the i-th voxel
  • "Max” denotes the maximum length of the ray, for example imposed by the dimensions of the digital image 40.
  • a two-dimensional digital image is calculated from the calculated result values.
  • the resulting image can then be automatically displayed on the screen of interface 31.
  • the resulting image is a two-dimensional view of the three-dimensional image as seen from the chosen observation point.
  • the pixel intensity values of the resulting image correspond to the resulting values calculated during the various iterations of step S106.
  • the intensity values are preferably normalized to allow the resulting image to be displayed in grayscale on a screen.
  • the regions of low resultant are visually represented on the image with a darker tint than the regions corresponding to a high resultant.
  • Figure 6 a resulting image 80 constructed from image 40 showing a portion of a patient's spine 24.
  • the images 42a, 42b and 42c are also displayed alongside the resulting image 80 and are recalculated according to the orientation given to the image 40.
  • the method thus provides, through a guided process of human-machine interaction, a visual aid to a surgeon or an operator to define more easily the target position of a surgical implant by means of virtual sighting marks.
  • the preferred sectional plane for easily affixing the sighting marks corresponds to an antero-posterior view of vertebra 2.
  • the pedicles 10 are then aligned perpendicular to the section plane and are easily identifiable on the resulting image due to their greater density and the fact that their cross section, which is then aligned in the image plane, presents a easily identifiable specific shape, for example an oval shape, as evidenced by zone 82 in figure 6.
  • the resulting values are automatically calibrated against a scale of density values so as to associate a density value with each resulting value.
  • the density can be quantified and not just visually shown in image 80.
  • This registration is for example carried out with the help of a marker present in the field of vision of the device 26 during the radiological measurements used to construct the image 40, as will be understood from the description given below in reference to figure 8.
  • the marker is placed alongside the target object and at least a portion of the marker is made of a material with a predefined material density, so that part of the three-dimensional digital fluoroscopic image generated includes the image of the calibration marker.
  • the calibration are automatically associated with the intensity values of the pixels of image 80, density values determined automatically from the intensity values of a subset of pixels of this same image associated with the portion of the image. marker made in the material having the predefined material density.
  • the viewing angle of the resulting image can be changed and a new resulting image is then automatically calculated based on the new orientation selected.
  • a new position of the observation point is acquired, for example by means of the interface 31 in response to a selection by the operator.
  • Steps S104, S106, S108 are then repeated with the new position of the observation point, to define new directions of observation from which new result values are calculated to construct a new resultant image, which differs from the previous resultant image only in the position from which is seen the target object.
  • the resulting image 80 may be displayed in a specific area of the screen alternating with a two-dimensional image 42 showing the same region.
  • An operator can alternate between viewing the resulting image and the two-dimensional image 42, for example if he wishes to confirm an anatomical interpretation of the image.
  • FIG. 9 is shown a method for automatically planning a surgical operation, in particular an operation for placing a surgical implant, implemented by means of the installation 20.
  • a three-dimensional digital fluoroscopic image of a target object is acquired by means of the medical imaging system and then a resulting image 80 is automatically constructed and then displayed from the three-dimensional image 40 by means of a image processing method in accordance with one of the embodiments described above.
  • the operator defines the location of the virtual coordinate system using the input means of interface 31. For example, the operator places or draws a line segment defining a direction and positions of the virtual coordinate system. Alternatively, the operator can only point to a particular point, such as the center of the displayed cross section of pedicle 10.
  • the virtual landmark can be displayed on frame 80 and / or on frame 40 and / or frames. 42. Several virtual landmarks can thus be defined on the same image.
  • a step S122 is acquired, for example by the planning unit 32, the position of at least one virtual landmark 44 defined on the image 80 by an operator by means of a man-machine interface.
  • a step S124 after the acquisition of a position of a virtual frame of reference, called the first virtual frame of reference, of the coordinates of an axis of symmetry defined on a portion of the image 80 by the operator by means of the interface 31 are acquired.
  • the axis of symmetry is drawn on the image 80 by the operator by means of the interface 31. Then, the position of a second virtual coordinate system is automatically calculated by symmetry of the first virtual coordinate system with respect to the defined axis of symmetry.
  • the direction X4 can thus be determined automatically if the operator considers that the vertebra 2 is sufficiently symmetrical.
  • One or more other virtual landmarks may be defined analogously in the rest of the image once a virtual landmark has been defined, for example between several successive vertebrae of a portion of a spine.
  • At least one target position, or even a target trajectory of the surgical robot 22, is automatically calculated by the unit 34 from the acquired position of the previously acquired virtual landmark. This calculation can take into account robot control laws 22 or a pre-established surgical program.
  • this calculation comprises the calculation by unit 34 of the coordinates of the virtual coordinate system in a geometric frame of reference linked to the surgical robot 22 from the coordinates of said virtual frame of reference in a geometric frame of reference specific to the digital image.
  • the frame of reference of the robot 22 is mechanically linked without a degree of freedom to the geometric frame of reference of the digital image 40, for example immobilizing the patient 24 with the support table of the robot 22, which makes it possible to establish a correspondence between a geometric frame of reference for the surgical robot and a geometric frame of reference for the patient.
  • This immobilization is achieved here by means of spacers connected to the robot support table 22, as explained below.
  • the density values can be used when calculating the trajectory or programming parameters of the robot 22.
  • a bone drilling tool will have to apply a torque of higher piercing in areas of bone where higher bone density has been measured.
  • the position and / or trajectory coordinates can then be transmitted to the robot 22 to position a tool so as to perform a surgical operation, in particular for placing a surgical implant, or at least to assist a surgeon to perform this surgical operation.
  • FIG. 7 is shown an example of a surgical instrument 90 making it possible to immobilize the patient 24 with the support table of the robot 22 and comprising a retractor for pushing back the walls of an incision 92 made in the body 94 of the patient 24 comprising spreader arms 96 mounted on a frame 98.
  • Each spreader arm 96 has a spreader tool 100 mounted at one end of a bar 102 fixed to the frame 100 by means of a fixing device 104 adjustable by means of an adjustment knob 106.
  • the frame 98 has a fastening system by which it can be fixed integrally without a degree of freedom to the robot 22, preferably to the robot support table 22.
  • the frame 98 is here formed by assembling a plurality of bars, here of tubular shape, these bars comprising in particular a main bar 108 fixedly fixed without any degree of freedom to the robot support table 22, side bars 1 10 and a front bar 1 12 on which the spacer arms 96 are mounted.
  • the bars are fixed together at their respective ends by fixing devices 1 14 similar to devices 104.
  • the frame 98 is arranged so as to overhang the body 94 of the patient and here has an essentially rectangular shape.
  • the frame 98 and the spacer arms 96 are made of a radiolucent material, so as not to be visible on image 40.
  • the retractor 96 can be configured to immobilize the spine of the patient 24 made accessible by the incision 92, which makes it possible to link the patient even better to the reference frame of the robot 22 and to avoid any movement liable to induce a spatial shift. between the image and the actual position of the patient.
  • a calibration marker 1 16 made of a radiopaque material, that is to say a material opaque to X-rays, can be used in the installation 20.
  • the marker 116 can be attached to the instrument 90, for example held integral with the frame 98, although this is not necessary.
  • marker 1 16 can be attached to the end of the robot arm.
  • At least part of the marker 116 has a regular geometric shape, so as to be easily identifiable on images 40 and 80.
  • the marker 1 16 comprises a body 1 18, for example of cylindrical shape, and one or more parts 120, 122, 124 in the form of a disc or of a sphere, preferably having different diameters. For example, these diameters are greater than the dimensions of the body 1 18.
  • a spherical shape has the advantage of having the same appearance regardless of the viewing angle.
  • At least a portion of the marker 1 16, preferably those having a recognizable shape, in particular spherical, is made of a material with a predefined material density.
  • the density scale calibration is carried out by identifying this portion of the marker on the image 40 or 80, by automatic pattern recognition or by manual pointing of the shape on the image by the operator through interface 30.
  • the medical imaging system comprising the apparatus 26 and the unit 28 can be used independently of the surgical robot 22 and the planning system 36.
  • the image processing method described above can therefore be used independently of the imaging methods. surgical operation planning described above.
  • this image processing method can be used for non-destructive testing of mechanical parts using industrial imaging techniques.
  • the instrument 90 and the image processing method can be used independently of each other.
  • the instrument 90 may include a displacement sensor such as an inertial unit, bearing the reference 1 15 in FIG. 7, to measure movements of the patient 24 during the operation and to correct the calculated positions or trajectories accordingly.
  • a displacement sensor such as an inertial unit, bearing the reference 1 15 in FIG. 7, to measure movements of the patient 24 during the operation and to correct the calculated positions or trajectories accordingly.
  • sensor 115 is connected to unit 32 by a data link.
  • Unit 32 is programmed to record patient movements measured by sensor 115 and to automatically correct positions or trajectories of a robot arm based on the measured movements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

This image-processing method comprises steps of: - defining (S104), in a three-dimensional digital image (40) of a target object, a plurality of observation directions (52, 54) passing through the three-dimensional digital image and emanating from a predefined observation point (50); - for each observation direction (52, 54), calculating (S106) a resulting value from the respective brightness values of the voxels of the digital image that are passed through by said observation direction; - constructing (S108) a two-dimensional digital image (80) whose pixel brightness values correspond to the calculated resulting values.

Description

TITRE : Procédés et systèmes de traitement d’images TITLE: Image processing methods and systems
La présente invention concerne des procédés et des systèmes de traitement d’images, notamment pour planifier une opération chirurgicale. The present invention relates to methods and systems for processing images, particularly for planning a surgical operation.
Des techniques d’imagerie médicale par radiographie à trois dimensions, comme la tomographie assistée par ordinateur (« CT-Scan » en anglais), permettent de mesurer l’absorption de rayons X par des structures anatomiques d’un patient puis de reconstruire des images numériques pour visualiser lesdites structures. Three-dimensional radiographic medical imaging techniques, such as computer-assisted tomography ("CT-Scan"), make it possible to measure the absorption of X-rays by the anatomical structures of a patient and then to reconstruct images. digital to visualize said structures.
De telles méthodes peuvent être utilisées lors d’opérations chirurgicales, par exemple pour préparer et faciliter la pose d’un implant chirurgical par un chirurgien ou par un robot chirurgical. Such methods can be used during surgical operations, for example to prepare and facilitate the placement of a surgical implant by a surgeon or by a surgical robot.
Selon un exemple choisi à titre illustratif et non limitatif parmi de multiples applications possibles, ces méthodes peuvent être utilisées lors d’une opération de traitement chirurgical de la colonne vertébrale d’un patient, au cours de laquelle sont posés un ou plusieurs implants rachidiens, par exemple pour réaliser une arthrodèse d’un segment de plusieurs vertèbres. According to an example chosen by way of illustration and without limitation from among multiple possible applications, these methods can be used during an operation for the surgical treatment of the spine of a patient, during which one or more spinal implants are placed, for example to perform arthrodesis of a segment of several vertebrae.
De tels implants rachidiens incluent généralement des vis pédiculaires, c’est- à-dire des vis placées dans les pédicules des vertèbres du patient. Les gestes chirurgicaux nécessaires à la mise en place de ces implants rachidiens, et tout particulièrement à la pose des vis pédiculaires, sont difficiles à réaliser du fait des faibles dimensions des structures osseuses où doivent être ancrées les implants, et du fait des risques d’endommagement de structures anatomiques critiques situées à proximité, telles que la moelle épinière. Such spinal implants generally include pedicle screws, that is, screws placed in the pedicles of the patient's vertebrae. The surgical procedures necessary for the installation of these spinal implants, and more particularly for the installation of the pedicle screws, are difficult to carry out because of the small dimensions of the bone structures where the implants must be anchored, and because of the risks of damage to critical anatomical structures located nearby, such as the spinal cord.
En pratique, ces gestes chirurgicaux sont actuellement réalisés par des chirurgiens orthopédistes et neuro-orthopédistes qui, après avoir dégagé un accès postérieur aux vertèbres, utilisent sur ces dernières des outils ad hoc, notamment des outils de perçage osseux et des outils de vissage. In practice, these surgical procedures are currently performed by orthopedic and neuro-orthopedic surgeons who, after freeing posterior access to the vertebrae, use ad hoc tools on the latter, in particular bone drilling tools and screwing tools.
Pour faciliter ces gestes et réduire le risque d’endommagement des vertèbres ou des structures anatomiques environnantes, et pour placer l’implant au bon endroit, il est possible d’utiliser un système informatique de navigation peropératoire ou un robot chirurgical. To facilitate these procedures and reduce the risk of damage to the surrounding vertebrae or anatomical structures, and to place the implant in the right place, it is possible to use an intraoperative computer navigation system or a surgical robot.
Il est alors nécessaire de définir au préalable des repères de visée virtuels qui représentent, sur des images acquises par tomographie, une position cible devant être prise par chaque vis pédiculaire sur chaque vertèbre. Les repères de visée sont ensuite affichés par le système informatique de navigation pour guider le chirurgien, ou sont utilisés par le robot chirurgical pour définir une trajectoire d’un outil effecteur porté par un bras de robot. It is then necessary to define beforehand virtual sighting marks which represent, on images acquired by tomography, a target position to be taken by each pedicle screw on each vertebra. The sighting marks are then displayed by the computer navigation system to guide the surgeon, or are used by the surgical robot to define a path of an effector tool carried by a robot arm.
Toutefois, il est particulièrement difficile de placer manuellement un repère de visée pour chaque vertèbre à partir des images acquises par tomographie. Une des raisons est que cela demande d’identifier manuellement les plans de coupe les plus appropriés en les passant en revue de façon itérative. Les images acquises sont généralement affichées à destination d’un opérateur sous la forme d’images à deux dimensions correspondant à différents plans anatomiques de coupe. L’opérateur doit passer en revue un grand nombre d’images correspondant à des orientations différentes avant de pouvoir trouver une orientation spécifique qui lui procure un plan de coupe convenable à partir duquel définir un repère de visée approprié. However, it is particularly difficult to manually place an aiming mark for each vertebra from the images acquired by tomography. One reason is that it requires manually identifying the most appropriate cut planes by iteratively reviewing them. The acquired images are generally displayed to an operator in the form of two-dimensional images corresponding to different anatomical slice planes. The operator must go through a large number of images corresponding to different orientations before being able to find a specific orientation which gives him a suitable cutting plane from which to define an appropriate sight mark.
Cela nécessite beaucoup de temps et d’expérience et reste malgré tout sujet à des erreurs d’appréciation, d’autant plus que tout cela a lieu pendant l’opération chirurgicale, de sorte que le temps pouvant être consacré à cette tâche est limité. It takes a lot of time and experience and is still subject to misjudgment, especially since it all takes place during the surgery, so the time that can be spent on this task is limited.
Le problème est aggravé dans le cas où le patient souffre d’une pathologie de déformation de la colonne vertébrale selon plusieurs dimensions spatiales, telle qu’une scoliose, car la position des vertèbres peut alors varier considérablement d’une vertèbre à une autre, ce qui rend encore plus long et complexe le processus d’identification des plans de coupe adéquats. The problem is aggravated in the event that the patient suffers from a pathology of deformation of the spine in several spatial dimensions, such as scoliosis, since the position of the vertebrae can then vary considerably from one vertebra to another, this which makes the process of identifying suitable cutting plans even longer and more complex.
Ces problèmes ne sont pas exclusifs à la pose d’implants rachidiens et peuvent aussi survenir en lien avec la pose d’autres types d’implants chirurgicaux orthopédiques, par exemple pour la chirurgie du bassin ou, plus généralement, de tout implant chirurgical devant être au moins partiellement ancré dans une structure osseuse. These problems are not exclusive to the placement of spinal implants and may also arise in connection with the placement of other types of orthopedic surgical implants, for example for pelvic surgery or, more generally, of any surgical implant to be at least partially anchored in a bone structure.
Il existe donc un besoin pour des procédés et des systèmes de traitement d’image pour faciliter le positionnement de repères de visée dans des systèmes d’imagerie peropératoires en vue de la pose d’implants chirurgicaux. There is therefore a need for image processing methods and systems to facilitate the positioning of sightings in intraoperative imaging systems for the placement of surgical implants.
C’est à ces inconvénients que visent à remédier des aspects de l’invention, en proposant un procédé de planification automatique d’une opération chirurgicale conforme à la revendication 1 . It is these drawbacks that aspects of the invention seek to overcome by providing a method of automatically planning a surgical operation according to claim 1.
Grâce à l’invention, les valeurs de pixel de l’image résultante sont représentatives de la densité de matière de l’objet cible qui a été imagé. With the invention, the pixel values of the resulting image are representative of the material density of the target object that has been imaged.
Dans le cas où l’objet imagé est une structure osseuse, l’image résultante construite à partir des images acquises permet de visualiser immédiatement la densité osseuse de ladite structure, et notamment de visualiser le contraste entre des zones de densité osseuse élevée et des zones de faible densité osseuse à l’intérieur même de la structure osseuse. In the case where the imaged object is a bone structure, the resulting image constructed from the acquired images makes it possible to immediately visualize the bone density of said structure, and in particular to visualize the contrast between areas of high bone density and areas of low bone density within the bone structure itself.
Ainsi, il est plus facile et rapide pour un opérateur d’identifier une zone préférentielle pour l’insertion d’un implant chirurgical, notamment d’un implant chirurgical devant être au moins en partie ancré dans la structure osseuse. Thus, it is easier and faster for an operator to identify a preferred area for the insertion of a surgical implant, in particular a surgical implant that must be at least partially anchored in the bone structure.
En particulier, dans le cas où la structure osseuse est une vertèbre d’un patient, alors l’information de densité osseuse permet à un opérateur de trouver plus facilement le plan de coupe optimal de chaque vertèbre. Une fois ce plan de coupe identifié, l’opérateur peut facilement définir un repère de visée indiquant la direction d’insertion d’une vis pédiculaire. L’invention lui permet notamment de trouver plus facilement et rapidement où placer le repère de visée, par exemple lorsque des zones de forte densité osseuse doivent être privilégiées. In particular, in the case where the bone structure is a vertebra of a patient, then the bone density information allows an operator to more easily find the optimal cutting plane of each vertebra. Once this cutting plane has been identified, the operator can easily define a sighting mark indicating the direction of insertion of a pedicle screw. The invention allows him in particular to find more easily and quickly where to place the target mark, for example when areas of high bone density must be favored.
Selon des aspects avantageux mais non obligatoires, un tel procédé peut incorporer une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toute combinaison techniquement admissible : According to advantageous but not obligatory aspects, such a process can incorporate one or more of the following characteristics, taken in isolation or in any technically acceptable combination:
- L’image numérique tridimensionnelle est une image radiologique issue d’un procédé de tomographie assistée par ordinateur, les valeurs d’intensité de voxels de l’image numérique tridimensionnelle étant associés à des valeurs de densité de matière de l’objet cible. - The three-dimensional digital image is an X-ray image produced by a computer assisted tomography process, the voxel intensity values of the three-dimensional digital image being associated with the material density values of the target object.
- Le procédé comporte en outre des étapes consistant à : - The method further comprises steps consisting of:
- acquérir une nouvelle position du point d’observation ; - acquire a new position of the observation point;
- définir, dans l’image numérique tridimensionnelle acquise, une pluralité de nouvelles directions d’observation traversant l’image numérique tridimensionnelle et émanant depuis la nouvelle position du point d’observation ; - define, in the acquired three-dimensional digital image, a plurality of new observation directions crossing the three-dimensional digital image and emanating from the new position of the observation point;
- pour chaque direction d’observation, calculer une nouvelle valeur résultante à partir des valeurs d’intensité respectives des voxels de l’image numérique traversés par les nouvelles directions d’observation ; - for each direction of observation, calculate a new resulting value from the respective intensity values of the voxels of the digital image crossed by the new directions of observation;
- construire une nouvelle image numérique bidimensionnelle dont les valeurs d’intensité des pixels correspondent aux nouvelles valeurs résultantes calculées. - construct a new two-dimensional digital image whose pixel intensity values correspond to the new resulting calculated values.
- Le procédé comporte en outre le calcul d’au moins une position cible d’un robot chirurgical, voire d’une trajectoire cible d’un robot chirurgical, à partir de la position acquise dudit repère virtuel. - The method further comprises calculating at least one target position of a surgical robot, or even a target trajectory of a surgical robot, from the acquired position of said virtual landmark.
- Le calcul d’au moins une position cible ou d’une trajectoire cible comporte le calcul des coordonnées du repère virtuel dans un référentiel géométrique lié à un robot chirurgical à partir des coordonnées dudit repère virtuel dans un référentiel géométrique propre à l’image numérique. - The calculation of at least one target position or of a target trajectory includes the calculation of the coordinates of the virtual coordinate system in a geometric reference system linked to a surgical robot from the coordinates of said virtual coordinate system in a geometric frame specific to the digital image.
- Le procédé comporte en outre des étapes consistant à : - The method further comprises steps consisting of:
- postérieurement à l’acquisition d’une position d’un repère virtuel, dit premier repère virtuel, acquérir des coordonnées d’un axe de symétrie défini sur une portion de l’image numérique bidimensionnelle par l’opérateur au moyen de l’interface homme-machine ; - after the acquisition of a position of a virtual frame of reference, called the first virtual frame of reference, acquire the coordinates of an axis of symmetry defined on a portion of the two-dimensional digital image by the operator by means of the interface man-machine;
- calculer automatiquement la position d’un deuxième repère virtuel par symétrie du premier repère virtuel par rapport à l’axe de symétrie défini. - automatically calculate the position of a second virtual coordinate system by symmetry of the first virtual coordinate system with respect to the defined axis of symmetry.
- Un marqueur de calibration est placé dans le champ de vision de l’appareil d’imagerie aux côtés de l’objet cible, au moins une portion du marqueur étant réalisée en un matériau avec une densité de matière prédéfinie, de sorte qu’une partie de l’image numérique radioscopique tridimensionnelle générée inclut l’image du marqueur de calibration ; - A calibration marker is placed in the field of view of the imaging device alongside the target object, at least a portion of the marker being made of a material with a predefined material density, so that a part of the generated three-dimensional digital fluoroscopic image includes the image of the calibration marker;
le procédé comportant en outre une étape de calibration dans laquelle sont automatiquement associées aux valeurs d’intensité des pixels de l’image numérique bidimensionnelle, des valeurs de densité déterminées automatiquement à partir des valeurs d’intensité d’un sous-ensemble de pixels de cette même image associées à la portion du marqueur réalisée dans le matériau ayant la densité de matière prédéfinie. the method further comprising a calibration step in which are automatically associated with the intensity values of the pixels of the two-dimensional digital image, density values determined automatically from the intensity values of a subset of pixels of this same image associated with the portion of the marker produced in the material having the predefined material density.
Selon un autre aspect de l’invention, un système d’imagerie médicale, notamment pour une installation de chirurgie robotique, est configuré pour mettre en oeuvre des étapes consistant à : According to another aspect of the invention, a medical imaging system, in particular for a robotic surgery installation, is configured to implement steps consisting of:
acquérir une image numérique radioscopique tridimensionnelle d’un objet cible au moyen d’un appareil d’imagerie médicale ; acquire a three-dimensional digital fluoroscopic image of a target object using a medical imaging device;
construire une image numérique bidimensionnelle à partir de l’image numérique radioscopique tridimensionnelle au moyen d’un procédé de traitement d’image comportant des étapes consistant à : constructing a two-dimensional digital image from the three-dimensional digital fluoroscopic image by means of an image processing method comprising the steps of:
- définir dans l’image numérique tridimensionnelle une pluralité de directions d’observation traversant l’image numérique tridimensionnelle et émanant depuis un point d’observation prédéfini ; - define in the three-dimensional digital image a plurality of directions of observation crossing the three-dimensional digital image and emanating from a predefined observation point;
- pour chaque direction d’observation, calculer une valeur résultante à partir des valeurs d’intensité respectives des voxels de l’image numérique traversés par ladite direction d’observation, la valeur résultante étant calculée, pour chaque direction d’observation, comme étant égale au produit de l’inverse des valeurs d’intensité des voxels traversés ; - for each direction of observation, calculating a resulting value from the respective intensity values of the voxels of the digital image crossed by said direction of observation, the resulting value being calculated, for each direction of observation, as being equal to the product of the inverse of the intensity values of the voxels crossed;
- construire une image numérique bidimensionnelle dont les valeurs d’intensité des pixels correspondent aux valeurs résultantes calculées ; puis acquérir la position d’au moins un repère virtuel défini sur l’image numérique bidimensionnelle par un opérateur au moyen d’une interface homme-machine. - construct a two-dimensional digital image whose pixel intensity values correspond to the resulting calculated values; then acquire the position of at least one virtual landmark defined on the two-dimensional digital image by an operator using a human-machine interface.
L’invention sera mieux comprise et d’autres avantages de celle-ci apparaîtront plus clairement à la lumière de la description qui va suivre d’un mode de réalisation d’une méthode de traitement d’image donnée uniquement à titre d’exemple et faite en référence aux dessins annexés, dans lesquels : The invention will be better understood and other advantages thereof will emerge more clearly in the light of the following description of an embodiment of an image processing method given solely by way of example and made with reference to the accompanying drawings, in which:
[Fig 1] la figure 1 représente schématiquement une vertèbre humaine dans un plan de coupe axiale ; [Fig 1] Figure 1 schematically shows a human vertebra in an axial sectional plane;
[Fig 2] la figure 2 représente schématiquement un système informatique selon un mode de réalisation de l’invention comportant un système de traitement d’image et un robot chirurgical ; [Fig 2] Figure 2 schematically shows a computer system according to one embodiment of the invention comprising an image processing system and a surgical robot;
[Fig 3] la figure 3 représente schématiquement un repère de visée positionné dans une portion de colonne vertébrale humaine ainsi que des images de ladite portion de colonne vertébrale dans des plans de coupe anatomique sur lesquelles est affiché le repère de visée ; [Fig 3] Figure 3 shows schematically a sighting mark positioned in a portion of human spine as well as images of said spine portion in anatomical section planes on which the sighting mark is displayed;
[Fig 4] la figure 4 est un diagramme de flux d’un procédé de traitement d’image conforme à des modes de réalisation de l’invention ; [Fig 4] Figure 4 is a flow diagram of an image processing method according to embodiments of the invention;
[Fig 5] la figure 5 représente schématiquement la construction d’une image résultante à partir d’images acquises par tomographie au cours du procédé de la figure 4 ; [Fig 5] Figure 5 shows schematically the construction of a resulting image from images acquired by tomography during the method of Figure 4;
[Fig 6] la figure 6 illustre un exemple d’une image d’une portion de colonne vertébrale humaine selon une vue frontale reconstruite au moyen du procédé de la figure 4 ainsi que des images de ladite portion de colonne vertébrale dans des plans de coupe anatomique sur lesquelles est affiché le repère de visée ; [Fig 6] Figure 6 illustrates an example of an image of a portion of human spine according to a front view reconstructed by means of the method of Figure 4 as well as images of said portion of spine in section planes anatomical on which the sight mark is displayed;
[Fig 7] la figure 7 représente schématiquement un écarteur faisant partie du système de la figure 2 ; [Fig 7] Figure 7 shows schematically a spacer forming part of the system of Figure 2;
[Fig 8] la figure 8 représente schématiquement une cible de recalage ; [Fig 8] FIG. 8 schematically shows a registration target;
[Fig 9] la figure 9 est un diagramme de flux d’un procédé de fonctionnement d’un robot chirurgical selon des modes de réalisation pour poser un implant chirurgical. La description qui va suivre est faite à titre d’exemple en référence à une opération de traitement chirurgical de la colonne vertébrale d’un patient au cours de laquelle sont posés un ou plusieurs implants rachidiens. [Fig 9] Fig. 9 is a flow diagram of a method of operating a surgical robot according to embodiments for delivering a surgical implant. The description which follows is given by way of example with reference to an operation for the surgical treatment of the spine of a patient during which one or more spinal implants are placed.
L’invention n’est pas limitée à cet exemple et d’autres applications sont possibles, notamment des applications orthopédiques, telles que la chirurgie du bassin ou, plus généralement, la pose de tout implant chirurgical devant être au moins partiellement ancré dans une structure osseuse d’un patient humain ou animal, ou encore la découpe ou le perçage d’une telle structure osseuse. La description ci-dessous peut donc être généralisée et transposée à ces autres applications. The invention is not limited to this example and other applications are possible, in particular orthopedic applications, such as surgery of the pelvis or, more generally, the placement of any surgical implant that must be at least partially anchored in a structure. bone of a human or animal patient, or the cutting or drilling of such a bone structure. The description below can therefore be generalized and transposed to these other applications.
Sur la figure 1 est représentée une structure osseuse 2 dans laquelle est posé un implant chirurgical 4 selon une direction d’implantation X4. In Figure 1 is shown a bone structure 2 in which is placed a surgical implant 4 in an implantation direction X4.
Par exemple, la structure osseuse 2 est une vertèbre humaine, ici illustrée dans un dans un plan de coupe axiale. For example, bone structure 2 is a human vertebra, here shown in an axial sectional plane.
L’implant 4 inclut ici une vis pédiculaire insérée dans la vertèbre 2 et alignée le long de la direction d’implantation X4. Implant 4 here includes a pedicle screw inserted into vertebra 2 and aligned along the direction of implantation X4.
Cette vis pédiculaire porte la référence « 4 » dans ce qui suit. This pedicle screw bears the reference "4" in what follows.
La vertèbre 2 comporte un corps 6 traversé par un canal 8, deux pédicules 10, deux processus transverses 12 et un processus épineux 14. The vertebra 2 comprises a body 6 crossed by a channel 8, two pedicles 10, two transverse processes 12 and a spinous process 14.
La direction d’implantation X4 s’étend le long d’un des pédicules 10. The X4 direction of implantation extends along one of the pedicles 10.
La référence X4’ définit une direction d’implantation correspondante pour une autre vis pédiculaire 4 (non illustrée sur la figure 1 ) et qui s’étend le long de l’autre pédicule 10, généralement symétriquement à la direction X4. Reference X4 'defines a corresponding implantation direction for another pedicle screw 4 (not shown in Figure 1) and which extends along the other pedicle 10, generally symmetrically to the X4 direction.
Une difficulté notable survenant lors d’une opération chirurgicale de pose des implants 4 consiste à déterminer les directions d’implantation X4 et X4’. Les vis pédiculaires 4 ne doivent pas être posées trop près du canal 8 ni trop près du bord extérieur du corps 6 pour ne pas endommager la vertèbre 2. Elles ne doivent pas non plus être enfoncées trop profondément pour ne pas dépasser du corps antérieur, ni trop courtes pour ne pas risquer d’être accidentellement expulsée. Un des aspects du procédé décrit ci-après permet de faciliter cette détermination avant la pose des implants. A notable difficulty that arises during a surgical operation to place implants 4 consists in determining the directions of implantation X4 and X4 '. The pedicle screws 4 should not be placed too close to the canal 8 nor too close to the outer edge of the body 6 so as not to damage the vertebra 2. They should not be inserted too deeply so as not to protrude from the anterior body, nor too short so as not to risk being accidentally expelled. One of the aspects of the method described below makes it possible to facilitate this determination before placing the implants.
Sur la figure 2 est représentée une installation chirurgicale robotique 20 comportant un système robotique chirurgical 22 pour opérer un patient 24. In Figure 2 is shown a robotic surgical installation 20 comprising a robotic surgical system 22 for operating on a patient 24.
L’installation chirurgicale 20 est par exemple placée dans un bloc opératoire. The surgical installation 20 is for example placed in an operating theater.
Le système robotique chirurgical 22 comporte un bras de robot portant un ou plusieurs outils effecteurs, par exemple un outil de perçage osseux ou un outil de vissage. Ce système est simplement nommé « robot chirurgical 22 » dans ce qui suit. The surgical robotic system 22 includes a robot arm carrying one or more effector tools, for example a bone piercing tool or a drilling tool. screwing. This system is simply called “surgical robot 22” in what follows.
Le bras de robot est fixé à une table de support du robot chirurgical 22. The robot arm is attached to a surgical robot support table 22.
Par exemple, la table de support est disposée près d’une table d’opération destinée à recevoir le patient 24. For example, the support table is arranged near an operating table for receiving patient 24.
Le robot chirurgical 22 comporte un circuit électronique de commande configuré pour déplacer automatiquement le ou les outils effecteurs grâce à des actionneurs en fonction d’une position de consigne ou d’une trajectoire de consigne. The surgical robot 22 comprises an electronic control circuit configured to automatically move the effector tool (s) using actuators as a function of a setpoint position or a setpoint trajectory.
L’installation 20 comporte un système d’imagerie médicale configuré pour acquérir une image numérique radioscopique tridimensionnelle d’un objet cible, tel qu’une région anatomique du patient 24. Facility 20 includes a medical imaging system configured to acquire a three-dimensional digital fluoroscopic image of a target object, such as an anatomical region of patient 24.
Le système d’imagerie médicale comporte un appareil d’imagerie médicale 26, une unité de traitement d’image 28 et une interface homme-machine 30. The medical imaging system includes a medical imaging device 26, an image processing unit 28, and a human-machine interface 30.
Par exemple, l’appareil 26 est un appareil de tomographie à rayons X assistée par ordinateur. For example, apparatus 26 is a computer assisted x-ray tomography machine.
L’unité de traitement d’image 28 est configurée pour piloter l’appareil 26 et pour générer l’image numérique radioscopique tridimensionnelle à partir de mesures radiologiques effectuées par l’appareil 26. The image processing unit 28 is configured to drive the apparatus 26 and to generate the three-dimensional digital fluoroscopic image from radiological measurements taken by the apparatus 26.
Par exemple, l’unité de traitement 28 comporte un circuit électronique ou un ordinateur programmé pour exécuter automatiquement un algorithme de traitement d’image, par exemple au moyen d’un microprocesseur et d’un code logiciel enregistré dans un support d’enregistrement de données lisible par ordinateur. For example, the processing unit 28 comprises an electronic circuit or a computer programmed to automatically execute an image processing algorithm, for example by means of a microprocessor and of a software code recorded in a recording medium of computer readable data.
L’interface homme-machine 30 permet à un opérateur de piloter et/ou de superviser le fonctionnement du système d’imagerie. The man-machine interface 30 allows an operator to control and / or supervise the operation of the imaging system.
Par exemple, l’interface 30 comporte un écran d’affichage et des moyens de saisie de données tels qu’un clavier et/ou ou un écran tactile et/ou un dispositif de pointage tel qu’une souris ou un stylet ou tout moyen équivalent. For example, the interface 30 comprises a display screen and data entry means such as a keyboard and / or or a touch screen and / or a pointing device such as a mouse or a stylus or any other means. equivalent.
Par exemple, l’installation 20 comporte un système de planification opératoire comprenant une interface homme-machine 31 , une unité de planification 32 et un calculateur de trajectoire 34, ce système de planification portant ici la référence 36. For example, the installation 20 comprises an operating planning system comprising a man-machine interface 31, a planning unit 32 and a trajectory computer 34, this planning system here bearing the reference 36.
L’interface homme-machine 31 permet à un opérateur d’interagir avec l’unité de traitement 32 et le calculateur 34, voire de piloter et/ou de superviser le fonctionnement du robot chirurgical 22. The man-machine interface 31 allows an operator to interact with the processing unit 32 and the computer 34, or even to control and / or supervise the operation of the surgical robot 22.
Par exemple, l’interface homme-machine 31 comporte un écran d’affichage et des moyens de saisie de données tels qu’un clavier et/ou ou un écran tactile et/ou un dispositif de pointage tel qu’une souris ou un stylet ou tout moyen équivalent. L’unité de planification 32 est programmée pour acquérir des coordonnées de position d’un ou de plusieurs repères virtuels définies par un opérateur au moyen de l’interface homme-machine 31 et, si nécessaire, pour convertir les coordonnées d’un référentiel géométrique à un autre, par exemple depuis un référentiel de l’image vers un référentiel du robot 22. For example, the man-machine interface 31 comprises a display screen and data entry means such as a keyboard and / or or a touch screen and / or a pointing device such as a mouse or a stylus. or any equivalent means. The planning unit 32 is programmed to acquire position coordinates of one or more virtual landmarks defined by an operator by means of the man-machine interface 31 and, if necessary, to convert the coordinates of a geometric reference frame to another, for example from an image frame of reference to a robot 22 frame of reference.
Le calculateur de trajectoire 34 est programmé pour calculer automatiquement des coordonnées d’une ou de plusieurs positions cibles, par exemple pour former une trajectoire cible, notamment en fonction du ou des repères virtuels déterminés par l’unité de planification 32. The trajectory computer 34 is programmed to automatically calculate the coordinates of one or more target positions, for example to form a target trajectory, in particular as a function of the virtual benchmarks determined by the planning unit 32.
A partir de ces coordonnées, le calculateur de trajectoire 34 fournit des consignes de positionnement au robot 22 afin de placer correctement le ou les outils effecteurs en vue de réaliser tout ou partie des étapes de pose des implants 4. From these coordinates, the trajectory computer 34 supplies positioning instructions to the robot 22 in order to correctly place the effector tool (s) in order to carry out all or part of the steps for placing the implants 4.
L’unité de planification 32 et le calculateur de trajectoire 34 comprennent un circuit électronique ou un ordinateur comportant un microprocesseur et un code logiciel enregistré dans un support d’enregistrement de données lisible par ordinateur. The planning unit 32 and the trajectory computer 34 comprise an electronic circuit or a computer comprising a microprocessor and software code stored in a computer readable data recording medium.
Sur la figure 3 est représentée une image tridimensionnelle 40 d’un objet cible, tel qu’une structure anatomique du patient 24, de préférence une structure osseuse, telle qu’une portion de colonne vertébrale du patient 24. In Figure 3 is shown a three-dimensional image 40 of a target object, such as an anatomical structure of the patient 24, preferably a bone structure, such as a portion of the patient's spine 24.
Par exemple, l’image tridimensionnelle 40 est reconstruite automatiquement à partir de données brutes, notamment à partir d’une image brute générée par l’appareil d’imagerie 26, telle qu’une image numérique conforme au standard DICOM (« Digital imaging and communications in medicine »). La reconstruction est par exemple mise en oeuvre par un ordinateur comportant une unité de traitement graphique ou par l’une des unités 28 ou 32. For example, the three-dimensional image 40 is automatically reconstructed from raw data, in particular from a raw image generated by the imaging device 26, such as a digital image conforming to the DICOM standard ("Digital imaging and communications in medicine ”). The reconstruction is for example carried out by a computer comprising a graphics processing unit or by one of the units 28 or 32.
L’image tridimensionnelle 40 comporte une pluralité de voxels répartis dans un volume tridimensionnel et qui sont chacun associés à une valeur représentative d’une information sur la densité locale de matière de l’objet cible issue de mesures radiologiques effectuées par l’appareil d’imagerie 26. Ces valeurs sont par exemple exprimées sur l’échelle de Hounsfield. The three-dimensional image 40 comprises a plurality of voxels distributed in a three-dimensional volume and which are each associated with a value representative of information on the local density of matter of the target object resulting from radiological measurements carried out by the device of imaging 26. These values are, for example, expressed on the Hounsfield scale.
Les régions de l’objet cible de densité élevée sont plus opaques aux rayons X que des régions de faible densité. Selon une convention possible, on affecte aux régions de densité élevée une valeur d’intensité plus élevée que celle des régions de faible densité. High density regions of the target object are more opaque to x-rays than low density regions. According to one possible convention, high density regions are assigned a higher intensity value than low density regions.
En pratique, les valeurs d’intensité peuvent être normalisées en fonction d’une échelle de valeurs de pixels prédéfinie, telle qu’une échelle d’encodage de type RGB (« Red-Green-Blue »). Par exemple, l’intensité normalisée est un nombre entier compris entre 0 et 255. In practice, the intensity values can be normalized based on a predefined pixel value scale, such as an encoding scale of type RGB ("Red-Green-Blue"). For example, the normalized intensity is an integer between 0 and 255.
L’image tridimensionnelle 40 est par exemple reconstruite à partir d’une pluralité d’images bidimensionnelles correspondant à des plans de coupe de l’appareil 26. Les distances entre les voxels et entre les plans de coupe sont connues et peuvent être enregistrées en mémoire. The three-dimensional image 40 is for example reconstructed from a plurality of two-dimensional images corresponding to section planes of the apparatus 26. The distances between the voxels and between the section planes are known and can be stored in memory. .
Par exemple, à partir de l’image tridimensionnelle 40, l’unité d’imagerie 28 calcule et affiche, sur l’interface 30, des images bidimensionnelles 42 montrant différents plans de coupe anatomique de l’objet cible, telle qu’une coupe sagittale 42a, une coupe frontale 42b et une coupe axiale 42c. For example, from the three-dimensional image 40, the imaging unit 28 calculates and displays, on the interface 30, two-dimensional images 42 showing different anatomical section planes of the target object, such as a section. sagittal 42a, a frontal section 42b and an axial section 42c.
Un repère virtuel 44 est illustré sur l’image 40 et peut être affiché en surimpression sur l’image 40 et sur les images 42a, 42b, 42c. A virtual landmark 44 is illustrated on image 40 and may be superimposed on image 40 and on images 42a, 42b, 42c.
Le repère virtuel 44 comprend par exemple un ensemble de coordonnées enregistrées en mémoire et exprimées dans le référentiel géométrique propre à l’image 40. The virtual coordinate system 44 comprises, for example, a set of coordinates stored in memory and expressed in the geometric frame of reference specific to image 40.
Un opérateur peut modifier l’orientation de l’image 40 affichée sur l’interface 30, par exemple en la faisant tourner ou en l’inclinant, au moyen de l’interface 31 . An operator can change the orientation of the image 40 displayed on the interface 30, for example by rotating or tilting it, using the interface 31.
L’opérateur peut également modifier la position du repère virtuel 44, comme illustré par les flèches 46. De préférence, les images 42a, 42b et 42c sont alors recalculées afin que le repère 44 reste visible dans chacun des plans anatomiques correspondant aux images 42a, 42b et 42c. Cela permet à l’opérateur d’avoir une confirmation de la position du repère 44. The operator can also modify the position of the virtual marker 44, as illustrated by the arrows 46. Preferably, the images 42a, 42b and 42c are then recalculated so that the marker 44 remains visible in each of the anatomical planes corresponding to the images 42a, 42b and 42c. This allows the operator to have a confirmation of the position of marker 44.
Sur la figure 4 est représenté un procédé de traitement d’image mis en oeuvre automatiquement par le système de planification 36. In Figure 4 is shown an image processing method implemented automatically by the planning system 36.
Au préalable, une image brute de l’objet cible est acquise au moyen du système d’imagerie médicale. Beforehand, a raw image of the target object is acquired by means of the medical imaging system.
Par exemple, l’image brute est générée par l’unité de traitement 28, à partir d’un ensemble de mesures radiologiques effectuées par l’appareil d’imagerie 26 sur l’objet cible. For example, the raw image is generated by the processing unit 28, from a set of radiological measurements taken by the imaging device 26 on the target object.
Lors d’une étape S100, l’image numérique 40 est automatiquement reconstruite à partir de l’image brute acquise. During a step S100, the digital image 40 is automatically reconstructed from the raw image acquired.
Par exemple, l’image brute est transférée depuis le système d’imagerie vers le système de planification 36 par l’intermédiaire des interfaces 30 et 31. For example, the raw image is transferred from the imaging system to the planning system 36 through interfaces 30 and 31.
Puis, lors d’une étape S102, un point d’observation est défini par rapport à l’image numérique 40, par exemple en choisissant une orientation particulière de l’image 40 au moyen de l’interface homme-machine 31 . Les coordonnées du point d’observation ainsi défini sont par exemple stockées en mémoire et exprimées dans le référentiel géométrique propre à l’image 40. Then, during a step S102, an observation point is defined relative to the digital image 40, for example by choosing a particular orientation of the image 40 by means of the man-machine interface 31. The coordinates of the observation point thus defined are for example stored in memory and expressed in the geometric frame of reference specific to image 40.
Ensuite, lors d’une étape S104, une pluralité de directions d’observation, aussi nommées rayons virtuels, sont définis dans l’image tridimensionnelle 40 comme traversant l’image tridimensionnelle 40 et émanant depuis le point d’observation défini. Then, in a step S104, a plurality of viewing directions, also called virtual rays, are defined in the three-dimensional image 40 as passing through the three-dimensional image 40 and emanating from the defined observation point.
Sur la figure 5, le schéma (a) représente un exemple illustratif dans lequel est défini un point d’observation 50 depuis lequel partent deux rayons virtuels 52 et 54 qui se dirigent vers l’image tridimensionnelle 40 et traversent successivement une pluralité de voxels de l’image tridimensionnelle 40. In FIG. 5, diagram (a) represents an illustrative example in which an observation point 50 is defined from which two virtual rays 52 and 54 depart which go towards the three-dimensional image 40 and pass successively through a plurality of voxels of the three-dimensional image 40.
Seule une partie de l’image tridimensionnelle 40 est ici représentée, de façon simplifiée et à des fins d’illustration, sous la forme de coupes bidimensionnelles 56, 58 et 60 alignées le long d’une droite passant par le point d’observation 50 et contenant chacune des voxels 62 et 64 ici associés à des valeurs d’intensité différentes. Only a part of the three-dimensional image 40 is shown here, in a simplified manner and for illustrative purposes, in the form of two-dimensional sections 56, 58 and 60 aligned along a straight line passing through the observation point 50 and each containing voxels 62 and 64 here associated with different intensity values.
Les rayons virtuels 52 et 54 sont des droites qui divergent depuis le point d’observation 50. Ils ne traversent pas nécessairement les mêmes voxels lors de leur propagation dans l’image 40. Virtual rays 52 and 54 are lines which diverge from observation point 50. They do not necessarily pass through the same voxels as they propagate in frame 40.
L’étape S104 peut être implémentée de façon analogue à des méthodes informatiques graphiques dites de lancer de rayons (« ray tracing » en anglais), à la différence près que l’étape de projection utilisée dans des méthodes de lancer de rayons n’est ici pas utilisée. Step S104 can be implemented in a manner analogous to computer graphics methods known as ray tracing, except that the projection step used in ray tracing methods is not here not used.
En pratique, le nombre de rayons 52, 54 et le nombre de pixels peut être différent de celui illustré dans cet exemple. In practice, the number of rays 52, 54 and the number of pixels may be different from that illustrated in this example.
De retour à la figure 4, lors d’une étape S106, pour chaque rayon, une valeur résultante est calculée à partir des valeurs d’intensité respectives des voxels de l’image numérique traversés par ledit rayon. Returning to FIG. 4, during a step S106, for each ray, a resulting value is calculated from the respective intensity values of the voxels of the digital image crossed by said ray.
Dans l’exemple de la figure 5, le schéma (b) représente l’ensemble 66 des valeurs d’intensité des voxels rencontrés par le rayon 52 lors de son cheminement depuis le point d’observation 50. La valeur résultante 68 est calculée à partir de l’ensemble 66 des valeurs d’intensité. In the example of FIG. 5, diagram (b) represents the set 66 of the intensity values of the voxels encountered by the ray 52 during its path from the observation point 50. The resulting value 68 is calculated at from the set 66 of intensity values.
De façon analogue, le schéma (c) représente l’ensemble 70 des valeurs d’intensité des voxels rencontrés par le rayon 52 lors de son cheminement depuis le point d’observation 50. La valeur résultante 72 est calculée à partir de l’ensemble 70 des valeurs d’intensité. Avantageusement, la valeur résultante est calculée, pour chaque direction d’observation, comme étant égale au produit de l’inverse des valeurs d’intensité des voxels traversés. Similarly, diagram (c) represents the set 70 of the intensity values of the voxels encountered by the ray 52 during its path from the observation point 50. The resulting value 72 is calculated from the set 70 intensity values. Advantageously, the resulting value is calculated, for each direction of observation, as being equal to the product of the inverse of the intensity values of the voxels crossed.
Par exemple, pour chaque rayon, la résultante est calculée au moyen de la formule de calcul suivante : For example, for each radius, the resultant is calculated using the following calculation formula:
Dans cette formule de calcul, l’indice « i » identifie les voxels traversés par le rayon, « ISO, » désigne la valeur d’intensité normalisée associée au i-ième voxel et « Max » désigne la longueur maximale du rayon, par exemple imposée par les dimensions de l’image numérique 40. In this calculation formula, the index "i" identifies the voxels crossed by the ray, "ISO," denotes the normalized intensity value associated with the i-th voxel and "Max" denotes the maximum length of the ray, for example imposed by the dimensions of the digital image 40.
Avec cette méthode de calcul, une valeur résultante ainsi calculée sera d’autant plus faible que le rayon aura essentiellement traversé des régions de densité de matière élevée, et sera plus élevée si le rayon a essentiellement traversé des régions de densité faible. With this calculation method, a resulting value thus calculated will be smaller the more the ray has passed mainly through regions of high density of matter, and will be higher if the ray has mainly passed through regions of low density.
De retour à la figure 4, lors d’une étape S108, une image numérique bidimensionnelle, dite image résultante, est calculée à partir des valeurs résultantes calculées. Returning to FIG. 4, during a step S108, a two-dimensional digital image, called the resulting image, is calculated from the calculated result values.
L’image résultante peut ensuite être affichée automatiquement sur l’écran de l’interface 31. The resulting image can then be automatically displayed on the screen of interface 31.
En pratique, l’image résultante est une vue à deux dimensions de l’image tridimensionnelle telle qu’elle est vue depuis le point d’observation choisi. In practice, the resulting image is a two-dimensional view of the three-dimensional image as seen from the chosen observation point.
Les valeurs d’intensité des pixels de l’image résultante correspondent aux valeurs résultantes calculées lors des différentes itérations de l’étape S106. The pixel intensity values of the resulting image correspond to the resulting values calculated during the various iterations of step S106.
Les valeurs d’intensité sont de préférence normalisées afin de permettre l’affichage de l’image résultante en niveaux de gris sur un écran. The intensity values are preferably normalized to allow the resulting image to be displayed in grayscale on a screen.
Selon une convention possible (par exemple une échelle RGB), les régions de résultante faible sont représentées visuellement sur l’image avec une teinte plus foncée que les régions correspondant à une résultante élevée. According to one possible convention (for example an RGB scale), the regions of low resultant are visually represented on the image with a darker tint than the regions corresponding to a high resultant.
Sur la figure 6 est représentée une image résultante 80 construite à partir de l’image 40 montrant une portion de colonne vertébrale d’un patient 24. In Figure 6 is shown a resulting image 80 constructed from image 40 showing a portion of a patient's spine 24.
De préférence, sur l’interface homme-machine 31 , les images 42a, 42b et 42c sont également affichées aux côtés de l’image résultante 80 et sont recalculées en fonction de l’orientation donnée à l’image 40. Preferably, on the man-machine interface 31, the images 42a, 42b and 42c are also displayed alongside the resulting image 80 and are recalculated according to the orientation given to the image 40.
Le procédé fournit ainsi, au travers d’un processus guidé d’interaction homme- machine, une aide visuelle à un chirurgien ou à un opérateur pour définir plus facilement la position cible d’un implant chirurgical au moyen de repères virtuels de visée. The method thus provides, through a guided process of human-machine interaction, a visual aid to a surgeon or an operator to define more easily the target position of a surgical implant by means of virtual sighting marks.
Dans l’exemple de la chirurgie du rachis, le plan de coupe préférentiel pour facilement apposer les repères de visée correspond à une vue antéro-postérieure de la vertèbre 2. In the example of spine surgery, the preferred sectional plane for easily affixing the sighting marks corresponds to an antero-posterior view of vertebra 2.
Les pédicules 10 sont alors alignés perpendiculairement au plan de coupe et sont facilement repérables sur l’image résultante du fait de leur densité plus importante et du fait que leur section transverse, qui se trouve alors alignée dans le plan de l’image, présente une forme spécifique aisément identifiable, par exemple une forme ovale, comme mis en évidence par la zone 82 de la figure 6. The pedicles 10 are then aligned perpendicular to the section plane and are easily identifiable on the resulting image due to their greater density and the fact that their cross section, which is then aligned in the image plane, presents a easily identifiable specific shape, for example an oval shape, as evidenced by zone 82 in figure 6.
Grâce à cela, un opérateur peut trouver un plan de coupe préférentiel plus rapidement qu’en visualisant une séquence d’images à deux dimensions en changeant à chaque fois des paramètres d’orientation et en essayant de choisir une direction d’orientation à partir de ces seules vues en coupe. With this, an operator can find a preferential section plane faster than viewing a sequence of two-dimensional images by changing orientation parameters each time and trying to choose an orientation direction from these only sectional views.
Optionnellement, lors d’une étape S1 10, les valeurs résultantes sont automatiquement calibrées par rapport à une échelle de valeurs de densité de manière à associer une valeur de densité à chaque valeur résultante. Ainsi, la densité peut être quantifiée et pas seulement montrée visuellement dans l’image 80. Optionally, during a step S1 10, the resulting values are automatically calibrated against a scale of density values so as to associate a density value with each resulting value. Thus, the density can be quantified and not just visually shown in image 80.
Ce recalage est par exemple réalisé avec l’aide d’un marqueur présent dans le champ de vision de l’appareil 26 lors des mesures radiologiques servant à construire l’image 40, comme on le comprendra grâce à la description faite ci-après en référence à la figure 8. This registration is for example carried out with the help of a marker present in the field of vision of the device 26 during the radiological measurements used to construct the image 40, as will be understood from the description given below in reference to figure 8.
Par exemple, le marqueur est placé aux côtés de l’objet cible et au moins une portion du marqueur est réalisée en un matériau avec une densité de matière prédéfinie, de sorte qu’une partie de l’image numérique radioscopique tridimensionnelle générée inclut l’image du marqueur de calibration. Lors de la calibration sont automatiquement associées aux valeurs d’intensité des pixels de l’image 80, des valeurs de densité déterminées automatiquement à partir des valeurs d’intensité d’un sous-ensemble de pixels de cette même image associées à la portion du marqueur réalisée dans le matériau ayant la densité de matière prédéfinie. For example, the marker is placed alongside the target object and at least a portion of the marker is made of a material with a predefined material density, so that part of the three-dimensional digital fluoroscopic image generated includes the image of the calibration marker. During the calibration are automatically associated with the intensity values of the pixels of image 80, density values determined automatically from the intensity values of a subset of pixels of this same image associated with the portion of the image. marker made in the material having the predefined material density.
Optionnellement, l’angle de vue de l’image résultante peut être changé et une nouvelle l’image résultante est alors automatiquement calculée en fonction de la nouvelle orientation sélectionnée. A cette fin, lors d’une étape S1 12, une nouvelle position du point d’observation est acquise, par exemple au moyen de l’interface 31 en réponse à une sélection de l’opérateur. Les étapes S104, S106, S108 sont alors répétées avec la nouvelle position du point d’observation, pour définir de nouvelles directions d’observation à partir desquelles sont calculées des nouvelles valeurs résultantes pour construire une nouvelle image résultante, qui ne diffère de la précédente image résultante que par la position à partir de laquelle est vu l’objet cible. Optionally, the viewing angle of the resulting image can be changed and a new resulting image is then automatically calculated based on the new orientation selected. To this end, during a step S1 12, a new position of the observation point is acquired, for example by means of the interface 31 in response to a selection by the operator. Steps S104, S106, S108 are then repeated with the new position of the observation point, to define new directions of observation from which new result values are calculated to construct a new resultant image, which differs from the previous resultant image only in the position from which is seen the target object.
Optionnellement, sur l’interface homme machine 31 , l’image résultante 80 peut être affichée dans une zone spécifique de l’écran en alternance avec une image bidimensionnelle 42 montrant la même région. Un opérateur peut alterner entre la vue de l’image résultante et l’image 42 à deux dimensions, par exemple s’il souhaite confirmer une interprétation anatomique de l’image. Optionally, on the human machine interface 31, the resulting image 80 may be displayed in a specific area of the screen alternating with a two-dimensional image 42 showing the same region. An operator can alternate between viewing the resulting image and the two-dimensional image 42, for example if he wishes to confirm an anatomical interpretation of the image.
Sur la figure 9 est représenté un procédé de planification automatique d’une opération chirurgicale, notamment une opération de pose d’un implant chirurgical, mis en oeuvre au moyen de l’installation 20. In FIG. 9 is shown a method for automatically planning a surgical operation, in particular an operation for placing a surgical implant, implemented by means of the installation 20.
Lors d’une étape S120, une image numérique radioscopique tridimensionnelle d’un objet cible est acquise au moyen du système d’imagerie médicale puis une image résultante 80 est automatiquement construite puis affichée à partir de l’image tridimensionnelle 40 au moyen d’un procédé de traitement d’image conforme à l’un des modes de réalisation précédemment décrit. During a step S120, a three-dimensional digital fluoroscopic image of a target object is acquired by means of the medical imaging system and then a resulting image 80 is automatically constructed and then displayed from the three-dimensional image 40 by means of a image processing method in accordance with one of the embodiments described above.
Une fois qu’une image résultante 80 prise dans un plan de coupe approprié est affichée, l’opérateur définit l’emplacement du repère virtuel en utilisant les moyens de saisie de l’interface 31. Par exemple, l’opérateur place ou dessine un segment de droite définissant une direction et des positions du repère virtuel. En variante, l’opérateur peut seulement pointer un point particulier, tel que le centre de la section transverse affichée du pédicule 10. Le repère virtuel peut être affiché sur l’image 80 et/ou sur l’image 40 et/ou les images 42. Plusieurs repères virtuels peuvent être ainsi définis sur une même image. Once a resulting image 80 taken in an appropriate section plane is displayed, the operator defines the location of the virtual coordinate system using the input means of interface 31. For example, the operator places or draws a line segment defining a direction and positions of the virtual coordinate system. Alternatively, the operator can only point to a particular point, such as the center of the displayed cross section of pedicle 10. The virtual landmark can be displayed on frame 80 and / or on frame 40 and / or frames. 42. Several virtual landmarks can thus be defined on the same image.
Lors d’une étape S122 est acquise, par exemple par l’unité de planification 32, la position d’au moins un repère virtuel 44 défini sur l’image 80 par un opérateur au moyen d’une interface homme-machine. During a step S122 is acquired, for example by the planning unit 32, the position of at least one virtual landmark 44 defined on the image 80 by an operator by means of a man-machine interface.
Optionnellement, lors d’une étape S124, postérieurement à l’acquisition d’une position d’un repère virtuel, dit premier repère virtuel, des coordonnées d’un axe de symétrie défini sur une portion de l’image 80 par l’opérateur au moyen de l’interface 31 sont acquises. Optionally, during a step S124, after the acquisition of a position of a virtual frame of reference, called the first virtual frame of reference, of the coordinates of an axis of symmetry defined on a portion of the image 80 by the operator by means of the interface 31 are acquired.
Par exemple, l’axe de symétrie est tracé sur l’image 80 par l’opérateur au moyen de l’interface 31 . Ensuite, la position d’un deuxième repère virtuel est calculée automatiquement par symétrie du premier repère virtuel par rapport à l’axe de symétrie défini. For example, the axis of symmetry is drawn on the image 80 by the operator by means of the interface 31. Then, the position of a second virtual coordinate system is automatically calculated by symmetry of the first virtual coordinate system with respect to the defined axis of symmetry.
Dans le cas d’une vertèbre 2, une fois que la direction X4 a été définie, la direction X4’ peut ainsi être déterminée automatiquement si l’opérateur estime que la vertèbre 2 est suffisamment symétrique. In the case of a vertebra 2, once the direction X4 has been defined, the direction X4 ’can thus be determined automatically if the operator considers that the vertebra 2 is sufficiently symmetrical.
Un ou plusieurs autres repères virtuels peuvent être définis de manière analogue dans le reste de l’image une fois qu’un repère virtuel a été défini, par exemple entre plusieurs vertèbres successives d’une portion de colonne vertébrale. One or more other virtual landmarks may be defined analogously in the rest of the image once a virtual landmark has been defined, for example between several successive vertebrae of a portion of a spine.
Lors d’une étape S126, au moins une position cible, voire une trajectoire cible du robot chirurgical 22, est automatiquement calculée par l’unité 34 à partir de la position acquise du repère virtuel précédemment acquis. Ce calcul peut tenir compte de lois de commande du robot 22 ou d’un programme chirurgical préétabli. During a step S126, at least one target position, or even a target trajectory of the surgical robot 22, is automatically calculated by the unit 34 from the acquired position of the previously acquired virtual landmark. This calculation can take into account robot control laws 22 or a pre-established surgical program.
Par exemple, ce calcul comporte le calcul par l’unité 34 des coordonnées du repère virtuel dans un référentiel géométrique lié au robot chirurgical 22 à partir des coordonnées dudit repère virtuel dans un référentiel géométrique propre à l’image numérique. For example, this calculation comprises the calculation by unit 34 of the coordinates of the virtual coordinate system in a geometric frame of reference linked to the surgical robot 22 from the coordinates of said virtual frame of reference in a geometric frame of reference specific to the digital image.
Selon une possibilité, le référentiel du robot 22 est lié mécaniquement sans degré de liberté au référentiel géométrique de l’image numérique 40, par exemple immobilisant le patient 24 avec la table de support du robot 22, ce qui permet d’établir une correspondance entre un référentiel géométrique du robot chirurgical et un référentiel géométrique du patient. Cette immobilisation est ici réalisée grâce à des écarteurs connectés à la table de support du robot 22, comme expliqué ci- après. According to one possibility, the frame of reference of the robot 22 is mechanically linked without a degree of freedom to the geometric frame of reference of the digital image 40, for example immobilizing the patient 24 with the support table of the robot 22, which makes it possible to establish a correspondence between a geometric frame of reference for the surgical robot and a geometric frame of reference for the patient. This immobilization is achieved here by means of spacers connected to the robot support table 22, as explained below.
Optionnellement, lorsque l’étape de calibration S1 10 est mise en oeuvre, les valeurs de densité peuvent être utilisées lors du calcul de la trajectoire ou de paramètres de programmation du robot 22. Par exemple, un outil de perçage osseux devra appliquer un couple de perçage plus élevé dans des régions osseuses pour laquelle une densité osseuse plus élevée a été mesurée. Optionally, when the calibration step S1 10 is implemented, the density values can be used when calculating the trajectory or programming parameters of the robot 22. For example, a bone drilling tool will have to apply a torque of higher piercing in areas of bone where higher bone density has been measured.
Une fois calculées, les coordonnées de position et/ou de trajectoire peuvent ensuite être transmises au robot 22 pour positionner un outil de manière à réaliser une opération chirurgicale, notamment de pose d’un implant chirurgical, ou tout au moins à assister un chirurgien à réaliser cette opération chirurgicale. Once calculated, the position and / or trajectory coordinates can then be transmitted to the robot 22 to position a tool so as to perform a surgical operation, in particular for placing a surgical implant, or at least to assist a surgeon to perform this surgical operation.
Sur la figure 7 est représenté un exemple d’un instrument chirurgical 90 permettant d’immobiliser le patient 24 avec la table de support du robot 22 et comportant un écarteur pour repousser des parois d’une incision 92 pratiquée dans le corps 94 du patient 24 comportant des bras écarteurs 96 montés sur une armature 98. In FIG. 7 is shown an example of a surgical instrument 90 making it possible to immobilize the patient 24 with the support table of the robot 22 and comprising a retractor for pushing back the walls of an incision 92 made in the body 94 of the patient 24 comprising spreader arms 96 mounted on a frame 98.
Chaque bras écarteur 96 comporte un outil d’écartement 100 monté à une extrémité d’un barreau 102 fixé sur l’armature 100 grâce à un dispositif de fixation 104 réglable au moyen d’un bouton de réglage 106. Each spreader arm 96 has a spreader tool 100 mounted at one end of a bar 102 fixed to the frame 100 by means of a fixing device 104 adjustable by means of an adjustment knob 106.
L’armature 98 comporte un système de fixation grâce auquel elle peut être fixée solidairement sans degré de liberté au robot 22, de préférence à la table de support du robot 22. The frame 98 has a fastening system by which it can be fixed integrally without a degree of freedom to the robot 22, preferably to the robot support table 22.
L’armature 98 est ici formée par assemblage d’une pluralité de barreaux, ici de forme tubulaire, ces barreaux comportant notamment un barreau principal 108 fixé solidairement sans degré de liberté à la table de support du robot 22, des barreaux latéraux 1 10 et un barreau avant 1 12 sur lequel sont montés les bras écarteurs 96. Les barreaux sont fixés entre eux à leurs extrémités respectives par des dispositifs de fixation 1 14 semblables aux dispositifs 104. The frame 98 is here formed by assembling a plurality of bars, here of tubular shape, these bars comprising in particular a main bar 108 fixedly fixed without any degree of freedom to the robot support table 22, side bars 1 10 and a front bar 1 12 on which the spacer arms 96 are mounted. The bars are fixed together at their respective ends by fixing devices 1 14 similar to devices 104.
L’armature 98 est disposée de manière à surplomber le corps 94 du patient et présente ici une forme essentiellement rectangulaire. The frame 98 is arranged so as to overhang the body 94 of the patient and here has an essentially rectangular shape.
De préférence, l’armature 98 et les bras écarteurs 96 sont réalisés dans un matériau radio-transparent, de manière à ne pas être visibles sur l’image 40. Preferably, the frame 98 and the spacer arms 96 are made of a radiolucent material, so as not to be visible on image 40.
L’écarteur 96 peut être configuré pour immobiliser la colonne vertébrale du patient 24 rendue accessible par l’incision 92, ce qui permet de lier encore mieux le patient au référentiel du robot 22 et d’éviter tout mouvement susceptible d’induire un décalage spatial entre l’image et la position réelle du patient. The retractor 96 can be configured to immobilize the spine of the patient 24 made accessible by the incision 92, which makes it possible to link the patient even better to the reference frame of the robot 22 and to avoid any movement liable to induce a spatial shift. between the image and the actual position of the patient.
Optionnellement, comme illustré sur la figure 8, un marqueur de calibration 1 16 réalisé dans un matériau radio-opaque, c’est-à-dire un matériau opaque aux rayons X, peut être utilisé dans l’installation 20. Optionally, as illustrated in Figure 8, a calibration marker 1 16 made of a radiopaque material, that is to say a material opaque to X-rays, can be used in the installation 20.
Le marqueur 1 16 peut être fixé sur l’instrument 90, par exemple maintenu solidaire de l’armature 98, bien que ce ne soit pas nécessaire. Par exemple, le marqueur 1 16 peut être fixé en bout du bras de robot. The marker 116 can be attached to the instrument 90, for example held integral with the frame 98, although this is not necessary. For example, marker 1 16 can be attached to the end of the robot arm.
Au moins une partie du marqueur 1 16 présente une forme géométrique régulière, de manière à être aisément identifiable sur les images 40 et 80. At least part of the marker 116 has a regular geometric shape, so as to be easily identifiable on images 40 and 80.
Par exemple, le marqueur 1 16 comporte un corps 1 18, par exemple de forme cylindrique, et une ou plusieurs parties 120, 122, 124 en forme de disque ou de sphère, présentant de préférence des diamètres différents. Par exemple, ces diamètres sont supérieurs aux dimensions du corps 1 18. For example, the marker 1 16 comprises a body 1 18, for example of cylindrical shape, and one or more parts 120, 122, 124 in the form of a disc or of a sphere, preferably having different diameters. For example, these diameters are greater than the dimensions of the body 1 18.
Une forme sphérique présente l’avantage d’avoir le même aspect quel que soit l’angle d’observation. Au moins une portion du marqueur 1 16, de préférence celles ayant une forme reconnaissable, notamment sphérique, est réalisée en un matériau avec une densité de matière prédéfinie. Lors de l’étape de calibration S1 10, la calibration d’échelle de densité est réalisée en identifiant cette portion de marqueur sur l’image 40 ou 80, par reconnaissance automatique de formes ou par un pointage manuel de la forme sur l’image par l’opérateur grâce à l’interface 30. A spherical shape has the advantage of having the same appearance regardless of the viewing angle. At least a portion of the marker 1 16, preferably those having a recognizable shape, in particular spherical, is made of a material with a predefined material density. During the calibration step S1 10, the density scale calibration is carried out by identifying this portion of the marker on the image 40 or 80, by automatic pattern recognition or by manual pointing of the shape on the image by the operator through interface 30.
En variante, de nombreux autres modes de réalisation sont possibles. Alternatively, many other embodiments are possible.
Le système d’imagerie médicale comportant l’appareil 26 et l’unité 28 peut être utilisé indépendamment du robot chirurgical 22 et du système de planification 36. Le procédé de traitement d’image décrit ci-dessus peut donc être utilisé indépendamment des procédés de planification d’opération chirurgicale décrits ci- dessus. Par exemple, ce procédé de traitement d’image peut être utilisé pour un contrôle non-destructif de pièces mécaniques en utilisant des techniques d’imagerie industrielle. The medical imaging system comprising the apparatus 26 and the unit 28 can be used independently of the surgical robot 22 and the planning system 36. The image processing method described above can therefore be used independently of the imaging methods. surgical operation planning described above. For example, this image processing method can be used for non-destructive testing of mechanical parts using industrial imaging techniques.
L’instrument 90 et le procédé de traitement d’image peuvent être utilisés indépendamment l’un de l’autre. The instrument 90 and the image processing method can be used independently of each other.
L’instrument 90 peut comporter un capteur de déplacements tel qu’une centrale inertielle, portant la référence 1 15 sur la figure 7, pour mesurer des mouvements du patient 24 au cours de l’opération et corriger en conséquence les positions ou trajectoires calculées. The instrument 90 may include a displacement sensor such as an inertial unit, bearing the reference 1 15 in FIG. 7, to measure movements of the patient 24 during the operation and to correct the calculated positions or trajectories accordingly.
Par exemple, le capteur 1 15 est connecté à l’unité 32 par une liaison de données. L’unité 32 est programmée pour enregistrer les mouvements du patient mesurés par le capteur 1 15 et pour corriger automatiquement des positions ou trajectoires d’un bras de robot en fonction des mouvements mesurés. For example, sensor 115 is connected to unit 32 by a data link. Unit 32 is programmed to record patient movements measured by sensor 115 and to automatically correct positions or trajectories of a robot arm based on the measured movements.
Les modes de réalisation et les variantes envisagés ci-dessus peuvent être combinés entre eux pour générer de nouveaux modes de réalisation. The embodiments and the variants considered above can be combined with one another to generate new embodiments.

Claims

REVENDICATIONS
1. Procédé de planification automatique d’une opération chirurgicale, caractérisé en ce qu’il comporte des étapes consistant à : 1. A method of automatically planning a surgical operation, characterized in that it comprises the steps of:
construire une image numérique radioscopique tridimensionnelle (40) d’un objet cible au moyen d’un appareil d’imagerie médicale (26) ; constructing a three-dimensional digital fluoroscopic image (40) of a target object using a medical imaging device (26);
construire une image numérique bidimensionnelle (80) à partir de l’image numérique radioscopique tridimensionnelle (40) au moyen d’un procédé de traitement d’image ; constructing a two-dimensional digital image (80) from the three-dimensional digital fluoroscopic image (40) using an image processing method;
acquérir la position d’au moins un repère virtuel (44) défini sur l’image numérique bidimensionnelle (80) par un opérateur au moyen d’une interface homme-machine (30). acquiring the position of at least one virtual landmark (44) defined on the two-dimensional digital image (80) by an operator using a human-machine interface (30).
ledit procédé de traitement d’image comportant des étapes consistant à : said image processing method comprising steps consisting of:
définir (S104), dans une image numérique tridimensionnelle (40) d’un objet cible, une pluralité de directions d’observation (52, 54) traversant l’image numérique tridimensionnelle et émanant depuis un point d’observation (50) prédéfini ; defining (S104), in a three-dimensional digital image (40) of a target object, a plurality of viewing directions (52, 54) crossing the three-dimensional digital image and emanating from a predefined observation point (50);
pour chaque direction d’observation (52, 54), calculer (S106) une valeur résultante à partir des valeurs d’intensité respectives des voxels de l’image numérique traversés par ladite direction d’observation ; for each direction of observation (52, 54), calculating (S106) a resultant value from the respective intensity values of the voxels of the digital image crossed by said direction of observation;
construire (S108) une image numérique bidimensionnelle (80) dont les valeurs d’intensité des pixels correspondent aux valeurs résultantes calculées, et dans lequel la valeur résultante est calculée (S106), pour chaque direction d’observation, comme étant égale au produit de l’inverse des valeurs d’intensité des voxels traversés. construct (S108) a two-dimensional digital image (80) whose pixel intensity values correspond to the calculated result values, and in which the resulting value is calculated (S106), for each viewing direction, as being equal to the product of the inverse of the intensity values of the voxels crossed.
2. Procédé selon la revendication 1 , dans lequel l’image numérique tridimensionnelle (40) est une image radiologique issue d’un procédé de tomographie assistée par ordinateur, les valeurs d’intensité de voxels de l’image numérique tridimensionnelle étant associés à des valeurs de densité de matière de l’objet cible. 2. The method of claim 1, wherein the three-dimensional digital image (40) is a radiological image resulting from a computer-assisted tomography process, the voxel intensity values of the three-dimensional digital image being associated with material density values of the target object.
3. Procédé selon l’une quelconque des revendications précédentes, dans lequel le procédé de traitement d’image comporte en outre des étapes consistant à : 3. A method according to any preceding claim, wherein the image processing method further comprises the steps of:
acquérir une nouvelle position du point d’observation ; définir, dans l’image numérique tridimensionnelle acquise, une pluralité de nouvelles directions d’observation traversant l’image numérique tridimensionnelle et émanant depuis la nouvelle position du point d’observation ; acquire a new position of the observation point; defining, in the acquired three-dimensional digital image, a plurality of new directions of observation crossing the three-dimensional digital image and emanating from the new position of the observation point;
pour chaque direction d’observation, calculer une nouvelle valeur résultante à partir des valeurs d’intensité respectives des voxels de l’image numérique traversés par les nouvelles directions d’observation ; for each direction of observation, calculate a new resulting value from the respective intensity values of the voxels of the digital image crossed by the new directions of observation;
construire une nouvelle image numérique bidimensionnelle dont les valeurs d’intensité des pixels correspondent aux nouvelles valeurs résultantes calculées. construct a new two-dimensional digital image whose pixel intensity values correspond to the resulting new calculated values.
4. Procédé selon l’une quelconque des revendications précédentes, lequel comporte en outre le calcul (S126) d’au moins une position cible d’un robot chirurgical (22), voire d’une trajectoire cible d’un robot chirurgical (22), à partir de la position acquise dudit repère virtuel. 4. Method according to any one of the preceding claims, which further comprises calculating (S126) of at least one target position of a surgical robot (22), or even of a target trajectory of a surgical robot (22). ), from the acquired position of said virtual coordinate system.
5. Procédé selon l’une quelconque des revendications précédentes, dans lequel le calcul (S126) d’au moins une position cible ou d’une trajectoire cible comporte le calcul des coordonnées du repère virtuel dans un référentiel géométrique lié à un robot chirurgical (22) à partir des coordonnées dudit repère virtuel dans un référentiel géométrique propre à l’image numérique. 5. Method according to any one of the preceding claims, in which the calculation (S126) of at least one target position or of a target trajectory comprises the calculation of the coordinates of the virtual coordinate system in a geometric frame of reference linked to a surgical robot ( 22) from the coordinates of said virtual coordinate system in a geometric frame of reference specific to the digital image.
6. Procédé selon l’une quelconque des revendications précédentes, lequel comporte en outre des étapes (S124) consistant à : A method according to any preceding claim, which further comprises steps (S124) of:
- postérieurement à l’acquisition d’une position d’un repère virtuel, dit premier repère virtuel, acquérir des coordonnées d’un axe de symétrie défini sur une portion de l’image numérique bidimensionnelle par l’opérateur au moyen de l’interface homme-machine ; - after the acquisition of a position of a virtual frame of reference, called the first virtual frame of reference, acquire the coordinates of an axis of symmetry defined on a portion of the two-dimensional digital image by the operator by means of the interface man-machine;
- calculer automatiquement la position d’un deuxième repère virtuel par symétrie du premier repère virtuel par rapport à l’axe de symétrie défini. - automatically calculate the position of a second virtual coordinate system by symmetry of the first virtual coordinate system with respect to the defined axis of symmetry.
7. Procédé selon l’une quelconque des revendications précédentes, dans lequel un marqueur de calibration (1 16) est placé dans le champ de vision de l’appareil d’imagerie aux côtés de l’objet cible, au moins une portion du marqueur étant réalisée en un matériau avec une densité de matière prédéfinie, de sorte qu’une partie de l’image numérique radioscopique tridimensionnelle générée inclut l’image du marqueur de calibration ; 7. Method according to any one of the preceding claims, wherein a calibration marker (1 16) is placed in the field of view of the imaging device alongside the target object, at least a portion of the marker. being made of a material with a predefined material density, so that part of the generated three-dimensional digital fluoroscopic image includes the image of the calibration marker;
et dans lequel le procédé comporte en outre une étape de calibration (S1 10) dans laquelle sont automatiquement associées aux valeurs d’intensité des pixels de l’image numérique bidimensionnelle, des valeurs de densité déterminées automatiquement à partir des valeurs d’intensité d’un sous-ensemble de pixels de cette même image associées à la portion du marqueur réalisée dans le matériau ayant la densité de matière prédéfinie. and in which the method further comprises a calibration step (S1 10) in which are automatically associated with the intensity values of the pixels of the two-dimensional digital image, density values determined automatically from the intensity values of a subset of pixels of this same image associated with the portion of the marker produced in the material having the predefined material density.
8. Système d’imagerie médicale, notamment pour une installation de chirurgie robotique (20), caractérisé en ce qu’il est configuré pour mettre en oeuvre des étapes consistant à : 8. Medical imaging system, in particular for a robotic surgery installation (20), characterized in that it is configured to implement steps consisting of:
acquérir une image numérique radioscopique tridimensionnelle d’un objet cible au moyen d’un appareil d’imagerie médicale ; acquire a three-dimensional digital fluoroscopic image of a target object using a medical imaging device;
construire une image numérique bidimensionnelle à partir de l’image numérique radioscopique tridimensionnelle au moyen d’un procédé de traitement d’image comportant des étapes consistant à : constructing a two-dimensional digital image from the three-dimensional digital fluoroscopic image by means of an image processing method comprising the steps of:
- définir dans l’image numérique tridimensionnelle une pluralité de directions d’observation traversant l’image numérique tridimensionnelle et émanant depuis un point d’observation prédéfini ; - define in the three-dimensional digital image a plurality of directions of observation crossing the three-dimensional digital image and emanating from a predefined observation point;
- pour chaque direction d’observation, calculer une valeur résultante à partir des valeurs d’intensité respectives des voxels de l’image numérique traversés par ladite direction d’observation, la valeur résultante étant calculée (S106), pour chaque direction d’observation, comme étant égale au produit de l’inverse des valeurs d’intensité des voxels traversés ; - for each direction of observation, calculating a resulting value from the respective intensity values of the voxels of the digital image crossed by said direction of observation, the resulting value being calculated (S106), for each direction of observation , as being equal to the product of the inverse of the intensity values of the voxels crossed;
- construire une image numérique bidimensionnelle dont les valeurs d’intensité des pixels correspondent aux valeurs résultantes calculées ; puis acquérir la position d’au moins un repère virtuel défini sur l’image numérique bidimensionnelle par un opérateur au moyen d’une interface homme-machine. - construct a two-dimensional digital image whose pixel intensity values correspond to the resulting calculated values; then acquire the position of at least one virtual landmark defined on the two-dimensional digital image by an operator using a human-machine interface.
EP20704054.4A 2019-02-18 2020-02-17 Image-processing methods and systems Pending EP3928293A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1901615A FR3092748A1 (en) 2019-02-18 2019-02-18 Image processing methods and systems
PCT/EP2020/054055 WO2020169515A1 (en) 2019-02-18 2020-02-17 Image-processing methods and systems

Publications (1)

Publication Number Publication Date
EP3928293A1 true EP3928293A1 (en) 2021-12-29

Family

ID=67514741

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20704054.4A Pending EP3928293A1 (en) 2019-02-18 2020-02-17 Image-processing methods and systems

Country Status (4)

Country Link
US (1) US20220130509A1 (en)
EP (1) EP3928293A1 (en)
FR (1) FR3092748A1 (en)
WO (1) WO2020169515A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117316393B (en) * 2023-11-30 2024-02-20 北京维卓致远医疗科技发展有限责任公司 Method, apparatus, device, medium and program product for precision adjustment
CN118196356B (en) * 2024-05-16 2024-08-02 山东捷瑞数字科技股份有限公司 Reconstruction analysis method and system for irregular object image based on point cloud

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470207B1 (en) * 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
EP1173105B1 (en) * 1999-04-22 2004-10-27 Medtronic Surgical Navigation Technologies Apparatus and method for image guided surgery
US7194120B2 (en) * 2003-05-29 2007-03-20 Board Of Regents, The University Of Texas System Methods and systems for image-guided placement of implants
US20080119724A1 (en) * 2006-11-17 2008-05-22 General Electric Company Systems and methods for intraoperative implant placement analysis
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US9510771B1 (en) * 2011-10-28 2016-12-06 Nuvasive, Inc. Systems and methods for performing spine surgery
US8891847B2 (en) * 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
WO2014200017A1 (en) * 2013-06-11 2014-12-18 Tanji Atsushi Bone cutting assistance system, information processing device, image processing method, and image processing program
JP6437286B2 (en) * 2014-11-26 2018-12-12 株式会社東芝 Image processing apparatus, image processing program, image processing method, and treatment system
US10191615B2 (en) * 2016-04-28 2019-01-29 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US10561466B2 (en) * 2017-08-10 2020-02-18 Sectra Ab Automated planning systems for pedicle screw placement and related methods
US10892058B2 (en) * 2017-09-29 2021-01-12 K2M, Inc. Systems and methods for simulating spine and skeletal system pathologies

Also Published As

Publication number Publication date
FR3092748A1 (en) 2020-08-21
US20220130509A1 (en) 2022-04-28
WO2020169515A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
Suenaga et al. Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system: a pilot study
EP3145420B1 (en) Intra operative tracking method
KR101156306B1 (en) Method and apparatus for instrument tracking on a scrolling series of 2d fluoroscopic images
CN105916444B (en) The method for rebuilding 3-D view by two-dimensional x-ray images
EP2186479A1 (en) Measurement of geometrical magnitudes intrinsic in an anatomical system.
US8731643B2 (en) Imaging system and methods for medical needle procedures
JP2008093438A (en) System and method for calibration of endoscope
EP3928293A1 (en) Image-processing methods and systems
JP6767997B2 (en) Method for improving the image of the image data of the dental image generation system
Moratin et al. Head motion during cone-beam computed tomography: Analysis of frequency and influence on image quality
JP2021508549A (en) Methods and systems for calibrating X-ray imaging systems
CN116847799A (en) Computer-implemented method for augmented reality spinal rod planning and bending for navigation spinal surgery
CN118436438A (en) Method and system for projecting incision markers onto a patient
US20230196641A1 (en) Method and Device for Enhancing the Display of Features of interest in a 3D Image of an Anatomical Region of a Patient
FR3092746A1 (en) Surgical instrument for a robotic surgery facility
CA3212799A1 (en) Robot equipped with an ultrasound probe for time-real-time guidance in percutaneous interventions
JP7172086B2 (en) Surgery simulation device and surgery simulation program
Naik et al. Feature-based registration framework for pedicle screw trajectory registration between multimodal images
US20240197411A1 (en) System and method for lidar-based anatomical mapping
EP3931799B1 (en) Interventional device tracking
CN110313991B (en) Static virtual camera positioning
US20070248206A1 (en) Ct scanner with untracked markers
EP3547255B1 (en) Locating an opening of a body cavity
US20240225583A9 (en) Providing a 3d image dataset
CN117677358A (en) Augmented reality system and method for stereoscopic projection and cross-referencing of intra-operative field X-ray fluoroscopy and C-arm computed tomography imaging

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210813

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: S.M.A.I.O

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS