WO2013080871A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2013080871A1 WO2013080871A1 PCT/JP2012/080258 JP2012080258W WO2013080871A1 WO 2013080871 A1 WO2013080871 A1 WO 2013080871A1 JP 2012080258 W JP2012080258 W JP 2012080258W WO 2013080871 A1 WO2013080871 A1 WO 2013080871A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- tomographic image
- rotation angle
- probe
- image
- processing apparatus
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6843—Monitoring or controlling sensor contact pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/462—Displaying means of special interest characterised by constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
Definitions
- the present technology relates to an image processing device, an image processing method, and a program, and more particularly, to an image processing device, an image processing method, and a program capable of grasping an ultrasonic image with an intuitive and simple operation.
- an examination (hereinafter referred to as an ultrasonic examination) using an apparatus for imaging an ultrasonic image of an internal organ or the like (hereinafter referred to as an ultrasonic imaging apparatus) has been widely performed. That is, the ultrasonic imaging apparatus has a probe and a display, and doctors or the like check the ultrasonic image of the inspection target such as an organ displayed on the display while the probe is applied to the body of the subject. Then, an ultrasonic inspection is performed (see, for example, Patent Document 1).
- the probe and the display are physically separated and configured separately. For this reason, doctors etc., while facing the display as the posture, examine the body of the subject to which the probe is applied and the display on which the ultrasonic image to be inspected is displayed alternately. Check the status of. As a result, for doctors and the like, it is necessary to move the line of sight busy, which requires a great deal of labor for ultrasonic examination.
- an ultrasonic image (hereinafter referred to as a tomogram at an arbitrary position in the body) is shown. (Referred to as a tomographic image) can be displayed on the display.
- doctors and the like have to perform many complicated operations on the controller in order to display a tomographic image at a desired position in the body.
- This technology has been made in view of such a situation, and enables an ultrasonic image to be grasped by an intuitive and simple operation.
- An image processing apparatus includes a probe that generates an ultrasonic wave and receives a reflected wave reflected by a subject, a sensor unit that detects one or more physical quantities of the probe, and the probe that is received by the probe Based on the reflected wave, a display unit that displays a tomographic image showing a tomogram at a predetermined position of the subject, and sensor information detected by the sensor unit as a parameter, a tomogram that becomes a reference in conjunction with a change in the parameter
- a tomographic image generation unit that generates a tomographic image to be displayed on the display unit by converting the image
- a display control that controls the display unit to display the tomographic image generated by the tomographic image generation unit A part.
- the tomographic image generation unit obtains at least one variable element of the depth, rotation angle, and zoom rate of the tomographic image by calculating a predetermined function using at least a part of the sensor information as an input parameter,
- the tomographic image to be displayed can be generated by converting the reference tomographic image using the variable element.
- the sensor unit detects the pressure of the probe as the sensor information, and the tomographic image generation unit links the change in pressure with a change in depth from a predetermined position of the subject, Can be generated.
- the tomographic image generation unit can generate the tomographic image such that the stronger the pressure of the probe, the deeper the tomographic image is from the predetermined position of the subject.
- the sensor unit detects a rotation angle of the probe as the sensor information, and the tomographic image generation unit links the change in the rotation angle with at least one of the rotation angle and zoom rate of the tomographic image, and A tomographic image can be generated.
- the sensor information includes the rotation angles of the X axis, the Y axis, and the Z axis as the rotation angle
- the tomographic image generation unit determines a change in the rotation angle of the X axis as X of the tomographic image.
- the change in the rotation angle of the Y-axis is linked to the rotation angle of the Y-axis of the tomographic image
- the change in the rotation angle of the Z-axis is linked to the zoom rate of the tomographic image.
- the tomographic image can be generated.
- the tomographic image generation unit may generate the tomographic image such that the larger the rotation angle of the X axis or the rotation angle of the Y axis, the larger the rotation angle of the tomographic image.
- the tomographic image generation unit can generate the tomographic image so that the zoom rate of the tomographic image increases as the rotation angle of the Z-axis increases.
- the tomographic image generation unit acquires touch operation information on the touch panel as a parameter, and generates a tomographic image to be displayed on the display unit by converting a reference tomographic image in conjunction with the change of the parameter. Can be.
- the image processing method according to one aspect of the present technology is a method corresponding to the image processing apparatus according to one aspect of the present technology described above.
- the program according to one aspect of the present technology is a program corresponding to the image processing device according to one aspect of the present technology described above.
- a reflected wave that is generated by ultrasonic waves and reflected by a subject is received, one or more physical quantities are detected, and a predetermined object is determined based on the received reflected waves.
- a tomographic image showing the tomographic position is displayed, and the detected sensor information is used as a parameter, and the tomographic image to be displayed is generated by converting the reference tomographic image in conjunction with the change in the parameter.
- an ultrasonic image can be grasped by an intuitive and simple operation.
- FIG. 1 is a diagram for explaining the outline of the present technology.
- An image processing apparatus 1 to which the present technology is applied is an ultrasonic image apparatus in which a display unit such as a display and a probe are integrated, and is applied to, for example, an ultrasonic examination in the medical field.
- the surface on which the display unit is provided is referred to as a front surface
- the surface that is opposed to the front surface and on which the probe is provided is referred to as a back surface.
- the image processing apparatus 1 can be arranged at an arbitrary position, hereinafter, for the sake of simplicity, the direction from the front to the back of the image processing apparatus 1 is referred to as a downward direction.
- the direction from the front to the front is referred to as the upward direction.
- the back surface of the image processing apparatus 1 provided with the probe is a predetermined position on the surface of the body hb of the inspected person, that is, directly above the examination target such as the internal organs. It is pressed to the position.
- a tomographic image showing a tomography at an arbitrary position to be inspected is displayed in real time on the display unit provided in front of the image processing apparatus 1. Therefore, a person who conducts an ultrasonic examination such as a doctor (hereinafter referred to as an examiner) looks at the tomographic image of the examination target displayed on the display unit from directly above the front of the image processing apparatus 1, as if image processing is performed. A feeling as if looking into the inside of the body hb through the display unit of the device 1 can be obtained.
- the examiner changes the force with which the image processing apparatus 1 is pressed against the body hb, thereby changing the depth of the position in the body that appears in the tomographic image as the inspection target (that is, the image The distance from the back surface of the processing apparatus 1 can be changed.
- the examiner increases the pressure P pressing the image processing apparatus 1 against the body hb in the order of the pressures P1, P2, and P3, the depth from the surface of the body hb displayed as a tomographic image on the display unit.
- the depth increases in the order of depths d1, d2, and d3.
- the depth from the surface of the body hb displayed as a tomographic image on the display unit becomes deeper.
- the examiner makes an angle between the back surface (that is, the probe) of the image processing apparatus 1 pressed against the body hb and the surface of the body hb (hereinafter simply referred to as the angle of the image processing apparatus 1).
- the virtual viewpoint for imaging the inside of the body hb can be changed. That is, the virtual viewpoint is linked in conjunction with the change in the angle of the image processing apparatus 1. In this way, a tomographic image showing a state where the inside of the body hb is imaged from the virtual viewpoint according to the angle of the image processing apparatus 1 is displayed on the display unit of the image processing apparatus 1.
- the examiner can display the zoom-in or zoom-out tomographic image on the display unit by rotating the image processing apparatus 1 while pressing it against the body hb.
- FIG. 2 is a diagram for explaining the positional relationship among the examiner, the image processing apparatus 1, and the body hb.
- the image processing apparatus 1 is configured by integrating a display unit 11 and a probe 12.
- the display unit 11 is disposed in front of the housing 1C of the image processing apparatus 1. That is, more precisely, in this embodiment, the display unit 11 and the probe 12 are integrated by arranging the probe 12 on the back surface of the housing 1C.
- the line of sight of the examiner, the normal line of the display surface of the display unit 11, the radiation direction of the ultrasonic waves of the probe 12, and the substantially vertical direction of the front of the body hb of the examinee are substantially in a straight line.
- the image processing apparatus 1 is arranged.
- the probe 12 is in contact with the front surface of the body hb.
- the inspector can display and observe the ultrasonic image of the inspection target immediately below the position of the body hb against which the probe 12 is pressed on the display unit 11. it can.
- FIG. 3 is a front view, a rear view, and a side view showing an example of the external configuration of the image processing apparatus 1.
- FIG. 3A is a front view of the image processing apparatus 1.
- the display unit 11 is disposed in front of the image processing apparatus 1, that is, in front of the housing 1C.
- the display unit 11 displays a tomographic image to be examined inside the body hb.
- the display unit 11 may have a 2D (Dimensional) video display function or a 3D video display function.
- a glasses method using polarizing filter glasses or shutter glasses or a naked-eye method that does not use glasses such as a lenticular method may be employed.
- the size of the display unit 11 is arbitrary.
- FIG. 3B is a rear view of the image processing apparatus 1.
- the probe 12 is installed on the back of the image processing apparatus 1, that is, on the back of the housing 1C.
- the probe 12 includes a plurality of transducers (not shown).
- the image processing apparatus 1 (specifically, a main control unit 51 in the casing C1 to be described later) generates predetermined tomographic image data by performing predetermined processing on the received reflected wave.
- the probe 12 is used in contact with the body hb of the subject. Therefore, it is preferable that a soft and thick material that can conduct ultrasonic waves is used for the contact surface of the probe 12 with the body hb so that photographing can be performed regardless of the unevenness of the surface of the body hb.
- the transducer in the probe 12 is not particularly limited as long as it can photograph a two-dimensional plane.
- a transducer such as a two-dimensional array type or a one-dimensional array translation type can be adopted.
- a tomographic image parallel to the display surface is displayed on the display unit 11.
- a one-dimensional array type is adopted as the transducer in the probe 12
- a tomographic image perpendicular to the display surface is displayed. Therefore, in this case, it is possible to display a two-dimensional plane tomographic image by manually moving the probe 12 in parallel.
- FIG. 3C is a side view of the image processing apparatus 1.
- the image processing apparatus 1 is configured by integrating a housing 1 ⁇ / b> C including a display unit 11 and a probe 12.
- the sizes of the housing 1C and the probe 12 are arbitrary.
- FIG. 4 is a block diagram illustrating a configuration example of the image processing apparatus 1 to which the present technology is applied.
- the image processing apparatus 1 includes the display unit 11 disposed on the front surface of the housing 1C and the probe 12 disposed on the back surface of the housing 1C. Further, the image processing apparatus 1 is configured to include a main control unit 51, an input unit 52, an ultrasonic image storage unit 53, a sensor information storage unit 54, and a tomographic image storage unit 55 in the housing 1C.
- the probe 12 is configured to include an ultrasonic transmission / reception unit 21 and a detection unit 22.
- the ultrasonic transmission / reception unit 21 transmits / receives ultrasonic waves under the control of the ultrasonic control unit 61 of the main control unit 51 described later.
- the ultrasonic transmission / reception unit 21 is configured to include an ultrasonic generation unit 31 and an ultrasonic reception unit 32.
- the ultrasonic generator 31 generates ultrasonic waves under the control of the ultrasonic controller 61. More specifically, for example, the ultrasonic generator 31 oscillates a pulsed ultrasonic wave at a predetermined interval and scans the ultrasonic wave in a plane parallel to the probe 12.
- the ultrasonic wave receiver 32 When the ultrasonic wave generated by the ultrasonic wave generator 31 and reflected by the inspection target inside the body hb reaches the probe 12, the ultrasonic wave receiver 32 receives the ultrasonic wave as a reflected wave. Then, the ultrasonic receiving unit 32 measures the intensity of the received reflected wave, and for example, a data group (hereinafter referred to as ultrasonic measurement data) in which data indicating the intensity of the reflected wave is arranged in time series is described below. This is supplied to the ultrasonic image generation unit 62 of the control unit 51.
- ultrasonic measurement data a data group in which data indicating the intensity of the reflected wave is arranged in time series
- the probe 12 having such an ultrasonic transmission / reception unit 21 has the detection unit 22 as described above.
- the detection unit 22 detects the state (for example, position and orientation) of the probe 12.
- the detection unit 22 is configured to include an acceleration sensor 41, an angular velocity sensor 42, a geomagnetic sensor 43, and a pressure sensor 44 in order to detect a predetermined physical quantity regarding the probe 12.
- the acceleration sensor 41 detects the acceleration of the probe 12, for example.
- the angular velocity sensor 42 detects the inclination of the probe 12 by detecting the angular velocities of the probe 12 in the X-axis direction, the Y-axis direction, and the Z-axis direction, for example.
- the X-axis is a direction (horizontal direction) across the body hb of the subject
- the Y-axis is the height direction of the subject
- the Z-axis is the thickness direction of the body hb of the subject.
- the geomagnetic sensor 43 detects the orientation of the probe 12, for example.
- the pressure sensor 44 detects the pressure with which the probe 12 presses the body hb when the probe 12 is pressed against the body hb in order to take an ultrasonic image.
- the detection result of the detection unit 22 is supplied as sensor information to a sensor information acquisition unit 63 of the main control unit 51 described later.
- Such a probe 12 is controlled by the main control unit 51. That is, the main control unit 51 controls the overall operation of the image processing apparatus 1 including the probe 12.
- the main control unit 51 is configured to include an ultrasonic control unit 61, an ultrasonic image generation unit 62, a sensor information acquisition unit 63, a tomographic image generation unit 64, and a display control unit 65.
- the ultrasonic control unit 61 is operated by the ultrasonic generation unit 31 and the ultrasonic reception unit 32 of the probe 12 based on an instruction operation to the input unit 52 by the examiner and each sensor information supplied from the sensor information acquisition unit 63.
- the ultrasonic image generation unit 62 is a probe based on the ultrasonic measurement data supplied from the ultrasonic reception unit 32 according to any method known or will appear in the future as ultrasonic image data to be inspected. Data of a three-dimensional ultrasound image of the body hb immediately below 12 is generated and stored in the ultrasound image storage unit 53.
- the sensor information acquisition unit 63 acquires the sensor information supplied from the probe 12, stores the sensor information in the sensor information storage unit 54, and appropriately supplies it to the ultrasonic control unit 61. That is, when the state such as the position and orientation of the probe 12 changes, the distance from the probe 12 to the inspection object inside the body hb changes. Therefore, the sensor information acquisition unit 63 supplies sensor information to the ultrasonic control unit 61 so that the focus of the ultrasonic waves transmitted / received from the ultrasonic transmission / reception unit 21 can be adjusted in the new state of the probe 12. .
- the tomographic image generation unit 64 is based on the ultrasonic image data stored in the ultrasonic image storage unit 53 and the sensor information stored in the sensor information storage unit 54, that is, the tomographic image (that is, the body to be inspected). data of a predetermined position inside hb) is generated and stored in the tomographic image storage unit 55.
- the display control unit 65 controls the display unit 11 to display the tomographic image to be inspected based on the tomographic image data stored in the tomographic image storage unit 55.
- the display control unit 65 controls the display unit 11 to display the sensor information stored in the sensor information storage unit 54 as necessary.
- ultrasonic inspection result display processing Next, among the processes executed by the image processing apparatus 1, a series of processes until the tomographic image to be inspected based on the sensor information is displayed as a result of the ultrasonic inspection (hereinafter referred to as ultrasonic inspection result display). Will be described with reference to FIG.
- FIG. 5 is a flowchart for explaining the flow of the ultrasonic result display process.
- the ultrasonic result display process is started when an inspector inputs an instruction to start imaging to the input unit 52 or the like.
- step S1 the ultrasonic generator 31 generates ultrasonic waves under the control of the ultrasonic controller 61.
- step S ⁇ b> 2 the ultrasonic receiver 32 receives the reflected wave of the ultrasonic wave generated by the ultrasonic generator 31 under the control of the ultrasonic controller 61. Then, the ultrasonic receiver 32 measures the intensity of the received reflected wave, and supplies ultrasonic measurement data indicating the measurement result to the ultrasonic image generator 62.
- step S ⁇ b> 3 the ultrasonic image generation unit 62 generates three-dimensional ultrasonic image data of the body hb directly below the probe 12 based on the ultrasonic measurement data supplied from the ultrasonic reception unit 32.
- step S4 the ultrasonic image generation unit 62 stores the generated ultrasonic image data in the ultrasonic image storage unit 53.
- step S5 the sensor information acquisition unit 63 acquires sensor information supplied from each sensor of the probe 12.
- step S6 the sensor information acquisition unit 63 stores the acquired sensor information in the sensor information storage unit 54.
- step S ⁇ b> 7 the tomographic image generation unit 64 starts from a predetermined virtual viewpoint based on the three-dimensional ultrasonic image data read from the ultrasonic image storage unit 53 and the sensor information read from the sensor information storage unit 54. Data of a two-dimensional tomographic image showing a state of looking at the inspection object is generated. Specifically, the tomographic image generation unit 64 first generates reference data for a tomographic image. Then, the tomographic image generation unit 64 calculates a predetermined function using the acquired sensor information as an input parameter to obtain at least one variable element of the viewpoint depth, rotation angle, or zoom ratio of the tomographic image. .
- the tomographic image generation unit 64 generates tomographic image data by converting the reference data using a predetermined algorithm using the element. That is, when the depth, rotation angle, or zoom rate of the viewpoint of the tomographic image changes, the generated tomographic image data also changes. A method for generating tomographic image data will be described later.
- step S8 the tomographic image generation unit 64 stores the generated tomographic image data in the tomographic image storage unit 55.
- step S9 the display control unit 65 displays a tomographic image. Specifically, the display control unit 65 reads the tomographic image data from the tomographic image storage unit 55 and causes the display unit 11 to display the tomographic image based on the read tomographic image data.
- step S10 the input unit 52 determines whether the end of the ultrasonic examination is instructed.
- Step S10 If the end of the ultrasonic examination is not instructed, it is determined as NO in Step S10, the process is returned to Step S1, and the subsequent processes are repeated. That is, until the end of the ultrasonic inspection is instructed, the loop processing from step S1 to step S10 is repeated.
- Step S10 the ultrasonic inspection result display processing ends.
- step S7 in the ultrasonic examination result display processing will be specifically described below. That is, a method for generating tomographic image data in the process of step S7 will be specifically described.
- FIG. 6 is a diagram illustrating the relationship between the pressure P when the image processing apparatus 1 is pressed against the body hb and the depth of the viewpoint of the tomographic image.
- the depth of the viewpoint of the tomographic image is the vertical direction from the virtual viewpoint to the position of the inspection object (tomographic image) that appears in the tomographic image when the virtual viewpoint exists above the surface of the body hb (here, Z direction).
- the depth D of the viewpoint of the tomographic image g1 displayed on the display unit 11 is, for example, It is expressed as equation (1).
- the coefficient ⁇ is a parameter for adjustment and can be freely changed by the inspector.
- the sensor information acquisition unit 63 acquires sensor information including the detection result of the pressure sensor 44 in the detection unit 22 and stores the sensor information in the sensor information storage unit 54. Then, the tomographic image generation unit 64 substitutes the detection result of the pressure sensor 44 stored in the sensor information storage unit 54 for the pressure P that is an input parameter of the equation (1), and calculates the equation (1). Thus, the depth D of the viewpoint of the tomographic image is obtained.
- the tomographic image generation unit 64 generates tomographic image data indicating the state of the body hb at the position of the calculated depth D of the viewpoint of the tomographic image. In this way, the tomographic image generation unit 64 can generate tomographic image data in which the viewpoint depth D changes according to the strength of the pressure P.
- the tomographic image generator 64 obtains the viewpoint depth D of the tomographic image by expanding the change amount of the pressure P that presses the image processing device 1 against the body hb by ⁇ . That is, even if the pressure P is a small change, the depth D of the viewpoint of the tomographic image becomes a large change because the small change is amplified ⁇ times.
- FIG. 7 is a diagram specifically showing the processing result of FIG.
- the position When the image processing apparatus 1 is pressed against a predetermined position of the body hb, the position may be a painful affected part. In this case, if the pressure P that presses the image processing apparatus 1 against the body hb is too strong, there is a risk of causing pain to the subject. If the pressure P that presses the image processing apparatus 1 against the body hb is too strong, the body hb at the position where the image processing apparatus 1 is pressed may be deformed. In this case, there is a possibility that the ultrasonic inspection cannot be performed correctly. Therefore, as described above, even when the pressure P pressing the image processing apparatus 1 against the body hb is small, the depth D of the viewpoint changes greatly.
- FIG. 8 is a diagram for explaining the relationship between the angle at which the image processing apparatus 1 is rotated about the X axis and the tomographic image.
- a state in which the probe 12 on the back surface of the image processing apparatus 1 is arranged at a predetermined position parallel to the XY plane is referred to as a reference state.
- a tomographic image when the image processing apparatus 1 is in the reference state is referred to as a reference tomographic image. That is, the tomographic image corresponding to the above-described reference data is the reference tomographic image.
- a rotation angle when the image processing apparatus 1 is rotated from the reference state around the X axis is described as ⁇ x.
- the tomographic image g11 displayed on the display unit 11 has a rotation angle ⁇ x amplified by ⁇ times the actual rotation angle ⁇ x with respect to the reference tomographic image.
- the image is rotated about the X axis.
- the coefficient ⁇ is an adjustment parameter, and can be freely set and changed by the inspector.
- 8B is a diagram schematically showing the rotation angle ⁇ x of the image processing apparatus 1 and the rotation angle ⁇ x of the tomographic image g11 in A of FIG.
- the sensor information acquisition unit 63 acquires the rotation angle of the image processing apparatus 1 as one of the sensor information and stores it in the sensor information storage unit 54. Then, the tomographic image generation unit 64 substitutes the rotation angle around the X axis among the rotation angles for the input parameter ⁇ x, and calculates the following equation (2), thereby centering on the X axis with respect to the reference tomographic image.
- the rotation angle ⁇ x (that is, the inclination of the tomographic image) is determined.
- the tomographic image generation unit 64 generates tomographic image data rotated by the rotation angle ⁇ x about the X axis with respect to the reference tomographic image, that is, tomographic image data having a changed inclination.
- the tilted side is pressed.
- the tilted position may be a painful affected part.
- the rotation angle ⁇ x of the image processing device 1 is too large, the image processing device 1 is pressed against the body hb by that amount, which may cause pain to the subject.
- the rotation angle ⁇ x of the image processing device 1 is too large, the body hb at the position where the image processing device 1 is pressed may be deformed as a result of being tilted. In this case, there is a possibility that the ultrasonic inspection cannot be performed correctly. Therefore, as described above, even if the rotation angle ⁇ x of the image processing apparatus 1 is small, the rotation angle ⁇ x of the tomographic image changes greatly.
- FIG. 9 is a diagram illustrating a relationship between an angle at which the image processing apparatus 1 is rotated around the Y axis and a tomographic image. Note that the rotation angle when the image processing apparatus 1 is rotated around the Y axis from the reference state is described as ⁇ y.
- the image processing apparatus 1 is pressed against the body hb while being rotated by the rotation angle ⁇ y about the Y axis.
- the tomographic image g21 displayed on the display unit 11 has a rotation angle ⁇ y amplified by ⁇ times the actual rotation angle ⁇ y with respect to the reference tomographic image.
- the image is rotated around the Y axis.
- the coefficient ⁇ is an adjustment parameter and can be set and changed freely by the inspector.
- 9B is a diagram schematically illustrating the rotation angle ⁇ y of the image processing apparatus 1 and the rotation angle ⁇ y of the tomographic image g21 in FIG. 9A.
- the sensor information acquisition unit 63 acquires the rotation angle of the image processing apparatus 1 as one of the sensor information and stores it in the sensor information storage unit 54. Then, the tomographic image generation unit 64 substitutes the rotation angle around the Y axis among the rotation angles for the input parameter ⁇ y, and calculates the following expression (3), thereby centering on the Y axis with respect to the reference tomographic image.
- the rotation angle ⁇ y (inclination of the tomographic image) is calculated.
- the tomographic image generation unit 64 generates tomographic image data rotated by the rotation angle ⁇ y about the Y axis with respect to the reference tomographic image, that is, tomographic image data having a changed inclination.
- the tilted side is pressed.
- the tilted position may be a painful affected part.
- the rotation angle ⁇ y of the image processing apparatus 1 is too large, the image processing apparatus 1 will be pressed against the body hb by that amount, which may cause pain to the subject.
- the rotation angle ⁇ y of the image processing apparatus 1 is too large, the body hb at the position where the image processing apparatus 1 is pressed may be deformed as a result of being tilted. In this case, there is a possibility that the ultrasonic inspection cannot be performed correctly. Therefore, as described above, even if the rotation angle ⁇ y of the image processing apparatus 1 is small, the rotation angle ⁇ y of the tomographic image changes greatly.
- the rotation angles ⁇ x and ⁇ y from the reference tomographic image when the image processing apparatus 1 is tilted about the X axis or the Y axis are preferably within the range of ⁇ 90 degrees to 90 degrees. This is because if the angle of the viewpoint of the tomographic image is changed in a range larger than the range of angles of ⁇ 90 degrees to 90 degrees, ultrasonic inspection becomes difficult.
- FIG. 10 is a diagram specifically showing the processing result of FIG.
- the reference tomographic image g20 is displayed on the display unit 11.
- the image processing apparatus 1 is pressed against the body hb while being rotated by the rotation angle ⁇ y about the Y axis.
- the tomographic image displayed on the display unit 11 is a tomographic image rotated about the Y axis at a rotation angle ⁇ y amplified by ⁇ times the actual rotation angle ⁇ y with respect to the reference tomographic image indicated by the dotted line. g21.
- FIG. 11 is a diagram illustrating a relationship between an angle at which the image processing apparatus 1 is rotated around the Z axis and a tomographic image. Note that the rotation angle when the image processing apparatus 1 is rotated around the Z axis from the reference state is described as ⁇ z.
- the angle of view at the time of imaging the inspection object is the angle of view when the reference tomographic image indicated by the dotted line is imaged.
- the size is reduced to 1 / ( ⁇ ⁇ ⁇ z1) times the size (hereinafter referred to as a reference angle of view).
- the coefficient ⁇ is an adjustment parameter and can be set and changed freely by the inspector. In other words, a state in which the inspection object is zoomed in by ( ⁇ ⁇ ⁇ z1) times is shown in the tomographic image g41.
- the angle of view at the time of imaging the inspection object is 1 / ( ⁇ ⁇ ⁇ z2) times the reference angle of view. Further reduced to the size of In other words, a state in which the inspection object is further zoomed in by ( ⁇ ⁇ ⁇ z2) times is shown in the tomographic image g42.
- the angle of view (the range that appears in the tomographic image as the inspection object) at the time of imaging the inspection object is enlarged ( ⁇ ⁇ ⁇ z) times the reference angle of view.
- ⁇ ⁇ ⁇ z the angle of view
- a state in which the inspection target is zoomed out by 1 / ( ⁇ ⁇ ⁇ z) times is shown in the tomographic image.
- the sensor information acquisition unit 63 acquires the rotation angle of the image processing apparatus 1 as one of the sensor information and stores it in the sensor information storage unit 54. Then, the tomographic image generation unit 64 substitutes the rotation angle around the Z-axis among the rotation angles for the input parameter ⁇ z, calculates the following expression (4) if clockwise, and if counterclockwise, By calculating Expression (5), a change rate of the angle of view with respect to the reference angle of view (hereinafter referred to as zoom rate) Zoom is obtained.
- zoom rate a change rate of the angle of view with respect to the reference angle of view
- the tomographic image generation unit 64 generates tomographic image data in which the inspection object is captured at an angle of view whose size has been changed by Zoom times the reference angle of view, that is, tomographic image data that has been zoomed in or zoomed out.
- FIG. 12 is a diagram specifically showing the processing result of FIG.
- a reference tomographic image g40 is displayed on the display unit 11.
- image correction is performed so that the tomographic image displayed on the display unit 11 does not rotate even when the image processing apparatus 1 is rotated. This is because if the tomographic image is rotated together with the rotation of the image processing apparatus 1, ultrasonic inspection becomes difficult.
- the inspector when the examiner presses the image processing apparatus 1 against the body hb, the inspector is displayed on the display unit 11 with an intuitive and simple operation of changing the pressure P and the rotation angles ⁇ x, ⁇ y, and ⁇ z.
- the tomographic image can be easily switched.
- the tomographic image displayed on the display unit 11 is switched by changing the pressure P and the rotation angles ⁇ x, ⁇ y, ⁇ z.
- the method of switching the tomographic image displayed on the display unit 11 is not limited to the above example.
- the tomographic image may be switched by an operation on the touch panel by the examiner.
- the input unit 52 configured as a touch panel is stacked on the entire display screen of the display unit 11 to detect the coordinates of the position where the touch operation is performed, and the detection result is displayed as a tomogram.
- the touch operation refers to an operation of touching or approaching an object (for example, a user's finger or a touch pen) on the touch panel.
- the tomographic image generation unit 64 acquires the coordinates of the position of the touch operation on the touch panel as a parameter, and generates a tomographic image to be displayed on the display unit 11 by converting the reference tomographic image in conjunction with the change of the parameter. To do.
- FIG. 13 is a diagram illustrating an example of a display screen when an operation using the touch panel is performed.
- a slider SL1 for changing the rotation angle ⁇ x of rotation about the X axis of the tomographic image is arranged in the region near the right side surface of the display unit 11. Further, a slider SL2 for changing the rotation angle ⁇ y of rotation about the Y axis of the tomographic image is arranged in a region near the lower side surface of the display unit 11. In the upper right area of the display unit 11, a slider SL3 for changing the distance in the Z-axis direction of the tomographic image, that is, the depth D of the viewpoint is arranged.
- the rotation angle ⁇ y increases.
- the rotation angle ⁇ y of the tomographic image is displayed in the vicinity of the slider SL2.
- the depth D of the viewpoint of the tomographic image is displayed in the vicinity of the slider SL3.
- the inspector places the two fingers f1 and f2 on the touch panel and widens or narrows the distance between the fingers f1 and f2 (hereinafter, such touch operation).
- a pinch operation By performing the operation as a pinch operation), it is possible to instruct zoom-in or zoom-out of the tomographic image displayed on the display unit 11. That is, a pinch operation can be adopted as an alternative operation to the rotation operation around the Z axis of the image processing apparatus 1 described above.
- the tomographic image is zoomed in by a pinch operation that increases the interval between the fingers f1 and f2.
- the tomographic image is zoomed out by a pinch operation for narrowing the interval between the fingers f1 and f2.
- the zoom rate of the tomographic image is displayed in the upper left area of the display unit 11.
- FIG. 13 it can be seen that a tomographic image with a zoom rate of 100% is displayed on the display unit 11 as “ZoomZ100%” is displayed.
- FIG. 14 is a diagram illustrating another example of a display screen when an operation using the touch panel is performed.
- FIG. 14A shows an example in which the display of the tomographic image is switched corresponding to the number of times the button is pressed.
- buttons bt1 and bt2 for changing the zoom rate of the tomographic image, and the rotation angle of rotation about the X axis of the tomographic image Software buttons bt11 and bt12 for changing ⁇ x, software buttons bt21 and bt22 for changing the rotation angle ⁇ y of rotation about the Y axis of the tomographic image, and the distance in the Z-axis direction of the tomographic image, that is, the viewpoint
- Software buttons bt31 and bt32 for changing the depth D are arranged.
- the zoom rate increases as the number of times the software button bt1 is pressed increases, and the zoom rate decreases as the number of times the software button bt2 is pressed increases. Then, the zoom rate of the tomographic image, which changes corresponding to the number of times the software button bt1 or the software button bt2 is pressed, is displayed on the left side of the software button bt1.
- the rotation angle ⁇ x of the tomographic image is displayed on the left side of the software button bt11 corresponding to the number of times the software button bt11 or the software button bt12 is pressed.
- the rotation angle ⁇ y of the tomographic image is displayed on the left side of the software button bt21 corresponding to the number of times the software button bt21 or the software button bt22 is pressed.
- the viewpoint depth D increases, and as the number of times the software button bt32 is pressed increases, the viewpoint depth D approaches zero. Then, the viewpoint depth D of the tomographic image is displayed on the left side of the software button bt31 corresponding to the number of times the software button bt31 or the software button bt32 is pressed.
- FIG. 14B shows an example in which the display of the tomographic image is switched corresponding to the time when the button is pressed.
- a software button bt41 for changing the zoom rate of the tomographic image and a rotation angle ⁇ x of rotation about the X axis of the tomographic image are displayed in the lower right area of the display unit 11.
- a software button bt42 for changing, a software button bt43 for changing the rotation angle ⁇ y of rotation about the Y axis of the tomographic image, and a distance in the Z axis direction of the tomographic image, that is, the depth D of the viewpoint is changed.
- a software button bt44 is arranged.
- the zoom rate reaches a preset maximum value, the zoom rate is switched to a preset minimum value. Then, the zoom rate of the tomographic image, which changes in accordance with the pressing time of the software button bt41, is displayed on the left side of the software button bt41.
- the clockwise rotation angle ⁇ x reaches a preset maximum value, the clockwise rotation angle ⁇ x is switched to the minimum value. Then, the rotation angle ⁇ of the tomographic image that changes in accordance with the pressing time of the software button bt42 is displayed on the left side of the software button bt42.
- the longer the time the software button bt43 is pressed for example, the greater the clockwise rotation angle ⁇ y.
- the clockwise rotation angle ⁇ y reaches a preset maximum value, the clockwise rotation angle ⁇ y is switched to the minimum value. Then, the rotation angle ⁇ of the tomographic image that changes in accordance with the pressing time of the software button bt43 is displayed on the left side of the software button bt43.
- the viewpoint depth D becomes.
- the viewpoint depth D is switched to the minimum value, that is, 0 mm. Then, the depth D of the viewpoint of the tomographic image that changes corresponding to the pressing time of the software button bt44 is displayed on the left side of the software button bt44.
- the software buttons bt41 to bt44 may be displayed so that the radius of the circle is large in proportion to the pressing time.
- Tomographic image display method By the way, the method for displaying the tomographic image on the display unit 11 is not particularly limited. Hereinafter, an example of a tomographic image display method will be described with reference to FIGS. 15 and 16.
- FIG. 15 is a diagram showing a display example of a tomographic image.
- the tomographic image is displayed as the main image on the entire display unit 11, and the tomographic image at which position of the body hb indicates the tomographic image is displayed at the lower right corner of the display unit 11.
- the sub image r1 is displayed superimposed on the main image.
- a rectangular parallelepiped rs included in the sub-image r ⁇ b> 1 indicates a portion of the body hb immediately below the image processing apparatus 1.
- the plane rc displayed in the rectangular parallelepiped rs indicates the position of the tomogram of the body hb shown in the tomographic image displayed on the display unit 11.
- the examiner can intuitively grasp which section in the body corresponds to the part shown in the main image (that is, the tomographic image) by visually recognizing the sub-image r1.
- FIG. 16 is a diagram showing another display example of the tomographic image.
- the relative display size with respect to the display unit 11, that is, the occupancy rate of the tomographic image in the entire screen of the display unit 11 changes according to the depth D of the viewpoint of the tomographic image. Specifically, the occupancy rate of the tomographic image in the display unit 11 increases as the depth D of the viewpoint of the tomographic image decreases.
- a tomographic image in a state where the depth D of the viewpoint of the tomographic image is the shallowest, that is, a tomographic image displayed on the full screen on the display unit 11 is shown.
- the occupancy rate of the tomographic image in the display unit 11 decreases as shown on the right side of FIG. That is, the relative display size of the tomographic image on the display unit 11 becomes smaller.
- a technique that incorporates such a feature as a composition of a picture or photograph is a perspective method, and is applied as the technique of the example of FIG. For this reason, the examiner can grasp the imaging position in the body more intuitively.
- the mode in which the tomographic image changes using sensor information and the three-dimensional ultrasonic image of the body hb immediately below the position where the probe 12 is applied are displayed as they are according to the selection of the examiner. It is also possible to switch between two modes. In the case of the latter mode, the display control unit 65 uses the three-dimensional ultrasound image of the body hb immediately below the position where the probe 12 is applied based on the data of the three-dimensional ultrasound image stored in the ultrasound image 53. Control is performed to display an image on the display unit 11.
- the data of tomographic images was generated in conjunction with the change of.
- the change in pressure and the change in rotation angle are independent elements for generating the tomographic image data, only one of the elements may be used to generate the tomographic image.
- the image processing apparatus 1 is configured by physically integrating the housing 1C including the display unit 11 and the probe 12.
- the housing 1C and the probe 12 are electrically connected by wire or wirelessly, the physical positional relationship is not particularly limited.
- the probe 12 is physically separated from the housing 1C. May be. In this case, while the inspector holds the probe 12 and performs the inspection, the examinee can hold the casing 1C and observe the tomographic image displayed on the display unit 11.
- the tomographic image data captured by the image processing apparatus 1 may be transferred to another information processing apparatus, and the tomographic image may be displayed on the display unit of the other information processing apparatus.
- the transfer method of tomographic image data is not particularly limited.
- the image processing apparatus 1 displays the tomographic image in real time while capturing the ultrasonic image.
- the image processing apparatus 1 may generate the tomographic image data separately after recording the ultrasonic image. Good. That is, the image processing apparatus 1 may capture all of the ultrasonic images in advance and then display a tomographic image at an arbitrary timing. In this case, if the sensor information is stored together with the ultrasonic image data by the image processing apparatus 1, the photographer of the ultrasonic image and the inspector of the ultrasonic examination can be made different persons.
- the tomographic image at an arbitrary position in the subject's body can be freely viewed after the ultrasound image is captured, As a result, appropriate ultrasonic examination can be realized as part of telemedicine.
- the present technology can be used for both medical use and non-medical use.
- Non-medical applications include, for example, health care.
- the present technology can be widely used not only for human beings but also for taking a tomographic image of a subject by ultrasonic waves such as animals, plants, and artificial objects.
- the series of processes described above can be executed by hardware or can be executed by software.
- a program constituting the software is installed in the computer.
- the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
- FIG. 17 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input / output interface 105 is further connected to the bus 104.
- An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
- the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 107 includes a display, a speaker, and the like.
- the storage unit 108 includes a hard disk, a nonvolatile memory, and the like.
- the communication unit 109 includes a network interface or the like.
- the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
- the program executed by the computer (CPU 101) can be provided by being recorded in the removable medium 111 as a package medium, for example.
- the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
- the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
- Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
- the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
- each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
- the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
- this technique can also take the following structures.
- a probe for generating an ultrasonic wave and receiving a reflected wave reflected by the subject A sensor unit for detecting one or more physical quantities of the probe; Based on the reflected wave received by the probe, a display unit that displays a tomographic image showing a tomogram at a predetermined position of the subject; Using the sensor information detected by the sensor unit as a parameter, a tomographic image generation unit that generates a tomographic image to be displayed on the display unit by converting a reference tomographic image in conjunction with the change in the parameter;
- An image processing apparatus comprising: a display control unit that controls the display unit to display the tomographic image generated by the tomographic image generation unit.
- the tomographic image generation unit obtains at least one variable element of the depth, rotation angle, and zoom rate of the tomographic image by calculating a predetermined function using at least a part of the sensor information as an input parameter,
- the image processing apparatus according to (1), wherein the tomographic image to be displayed is generated by converting the reference tomographic image using the variable element.
- the sensor unit detects the pressure of the probe as the sensor information,
- the image processing device according to (1) or (2), wherein the tomographic image generation unit generates the tomographic image by linking the change in pressure with the change in depth of the subject from a predetermined position. .
- the tomographic image generation unit generates the tomographic image such that the stronger the pressure of the probe, the deeper the depth of the tomographic image from the predetermined position of the subject is.
- the image management apparatus according to any one of the above.
- the sensor unit detects a rotation angle of the probe as the sensor information,
- the tomographic image generation unit generates the tomographic image by linking a change in the rotation angle with at least one of a rotation angle of the tomographic image and a zoom rate. Any one of (1) to (4) Image processing apparatus.
- the sensor information includes each rotation angle of the X axis, the Y axis, and the Z axis as the rotation angle
- the tomographic image generation unit links the change in the rotation angle of the X-axis with the rotation angle of the X-axis of the tomographic image, and changes the change in the rotation angle of the Y-axis to the rotation angle of the Y-axis of the tomographic image.
- the image processing apparatus according to any one of (1) to (5), wherein the tomographic image is generated by interlocking and generating a tomographic image by interlocking a change in the rotation angle of the Z axis with a zoom rate of the tomographic image.
- the tomographic image generation unit generates the tomographic image so that the rotation angle of the tomographic image increases as the rotation angle of the X axis or the rotation angle of the Y axis increases.
- the information processing apparatus according to any one of the above.
- (8) The information according to any one of (1) to (7), wherein the tomographic image generation unit generates the tomographic image so that the zoom rate of the tomographic image increases as the rotation angle of the Z axis increases.
- Processing equipment (9)
- the tomographic image generation unit acquires touch operation information on the touch panel as a parameter, and generates a tomographic image to be displayed on the display unit by converting a reference tomographic image in conjunction with the change of the parameter.
- the image processing apparatus according to any one of (1) to (8). (10) In an image processing method of an image processing apparatus having a probe that generates an ultrasonic wave and receives a reflected wave reflected by a subject, The image processing apparatus is Detecting one or more physical quantities for the probe; Based on the reflected wave received by the probe, a tomographic image showing a tomogram at a predetermined position of the subject is displayed. Using the detected sensor information as a parameter, generating a tomographic image to be displayed by converting a reference tomographic image in conjunction with the change in the parameter, An image processing method including a step of controlling to display the generated tomographic image.
- a computer that controls an image processing apparatus having a probe that generates ultrasonic waves and receives reflected waves reflected by a subject. Detecting one or more physical quantities for the probe; Based on the reflected wave received by the probe, a tomographic image showing a tomogram at a predetermined position of the subject is displayed. Using the detected sensor information as a parameter, generating a tomographic image to be displayed by converting a reference tomographic image in conjunction with the change in the parameter, A computer-readable program for executing processing including a step of controlling to display the generated tomographic image.
- This technology can be applied to ultrasonic inspection equipment.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本技術は、超音波画像を直感的かつ簡便な操作で把握できるようにする画像処理装置、画像処理方法、およびプログラムに関する。 プローブは、超音波を発生させ被写体で反射された反射波を受信する。検出部は、プローブについての1以上の物理量を検出する。表示部は、プローブに受信された反射波に基づいて生成された被写体の超音波画像のうち、被写体の所定位置の断層を示す断層画像を表示する。センサ情報取得部は、センサ部による検出結果をセンサ情報として取得する。断層画像生成部は、センサ情報をパラメータとして、パラメータの変化に連動させて基準となる断層画像を変換することで、表示部の表示対象の断層画像を生成する。表示制御部は、生成された断層画像を表示させるように表示部を制御する。本技術は、超音波検査装置に適用することができる。
Description
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、超音波画像を直感的かつ簡便な操作で把握することができる、画像処理装置、画像処理方法、およびプログラムに関する。
近年、医療分野では、体内の臓器等の超音波画像を撮像する装置(以下、超音波画像装置と称する)を用いた検査(以下、超音波検査と称する)が、広く行われている。すなわち、超音波画像装置はプローブとディスプレイを有し、医者等は、プローブを被検査者の体に当てた状態で、ディスプレイに表示される臓器等の検査対象の超音波画像を確認することで、超音波検査を行う(例えば、特許文献1参照)。
しかしながら、従来の超音波画像装置においては、プローブとディスプレイは物理的に分離して別々に構成されている。このため、医者等は、姿勢としてはディスプレイに正対した状態で、プローブを当てている被検査者の体と、検査対象の超音波画像が表示されているディスプレイとを交互に見ながら、検査の状態を確認している。その結果、医者等にとっては、視線を忙しく動かす必要があるため、超音波検査に多大な労力を要している。
また、従来の超音波画像装置でも、プローブやディスプレイとは物理的に分離して設けられるコントローラに対して所定の操作がなされると、体内の任意の位置の断層を示す超音波画像(以下、断層画像と称する)をディスプレイに表示させることはできる。しかしながら、医者等は、体内の所望の位置の断層画像を表示させるために、コントローラに対して多くの煩雑な操作をしなければならない。さらに、医者等は、これらの多くの操作を単純にしただけでは、直感的に体内の撮像位置を把握することは困難である。
本技術は、このような状況に鑑みてなされたものであり、超音波画像を直感的かつ簡便な操作で把握することができるようにしたものである。
本技術の一側面の画像処理装置は、超音波を発生させ被写体で反射された反射波を受信するプローブと、前記プローブについての1以上の物理量を検出するセンサ部と、前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示する表示部と、前記センサ部により検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する断層画像生成部と、前記断層画像生成部により生成された前記断層画像を表示させるように前記表示部を制御する表示制御部とを備える。
前記断層画像生成部は、前記センサ情報の少なくとも一部を入力パラメータとして用いる所定の関数を演算することにより、前記断層画像の深さ、回転角度、及びズーム率の少なくとも1つの可変要素を求め、前記可変要素を用いて前記基準となる断層画像を変換することで、前記表示対象の断層画像を生成するようにすることができる。
前記センサ部は、前記プローブの圧力を前記センサ情報として検出し、前記断層画像生成部は、前記圧力の変化を、前記被写体の所定の位置からの深さの変化に連動させて、前記断層画像を生成するようにすることができる。
前記断層画像生成部は、前記プローブの圧力が強いほど、前記断層画像の前記被写体の所定の位置からの深さが深くなるように、前記断層画像を生成するようにすることができる。
前記センサ部は、前記プローブの回転角度を前記センサ情報として検出し、前記断層画像生成部は、前記回転角度の変化を、前記断層画像の回転角度とズーム率の少なくとも一方に連動させて、前記断層画像を生成するようにすることができる。
前記センサ情報は、前記回転角度として、X軸、Y軸、及びZ軸の各回転角度を含んでおり、前記断層画像生成部は、前記X軸の回転角度の変化を、前記断層画像のX軸の回転角度に連動させ、前記Y軸の回転角度の変化を、前記断層画像のY軸の回転角度に連動させ、前記Z軸の回転角度の変化を、前記断層画像のズーム率に連動させ、前記断層画像を生成するようにすることができる。
前記断層画像生成部は、前記X軸の回転角度または前記Y軸の回転角度が大きいほど、前記断層画像の回転角度が大きくなるように、前記断層画像を生成するようにすることができる。
前記断層画像生成部は、前記Z軸の回転角度が大きいほど、前記断層画像のズーム率が大きくなるように、前記断層画像を生成するようにすることができる。
前記断層画像生成部は、タッチパネルに対するタッチ操作情報をパラメータとして取得して、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成するようにすることができる。
本技術の一側面の画像処理方法は、上述した本技術の一側面の画像処理装置に対応する方法である。
本技術の一側面のプログラムは、上述した本技術の一側面の画像処理装置に対応するプログラムである。
本技術の一側面の画像処理装置及び方法においては、超音波を発生させ被写体で反射された反射波が受信され、1以上の物理量を検出され、受信された反射波に基づいて、被写体の所定位置の断層を示す断層画像が表示され、検出されたセンサ情報がパラメータとされて、そのパラメータの変化に連動されて基準となる断層画像が変換されることで、表示対象の断層画像が生成される。
以上のごとく、本技術によれば、超音波画像を直感的かつ簡便な操作で把握することができる。
[本技術の概略]
はじめに、本技術の理解を容易なものとすべく、本技術の概略について説明する。
はじめに、本技術の理解を容易なものとすべく、本技術の概略について説明する。
図1は、本技術の概略について説明する図である。本技術が適用される画像処理装置1は、ディスプレイ等の表示部とプローブとが一体化された超音波画像装置であって、例えば医療分野の超音波検査に適用される。ここで、画像処理装置1の面のうち、表示部が設けられた面を正面と称し、正面と対向する面であってプローブが設けられた面を背面と称する。なお、画像処理装置1は任意の位置に配置可能であるが、以下、説明の簡略上、画像処理装置1の正面から背面に向かう方向を下方向と称し、逆に、画像処理装置1の背面から正面に向かう方向を上方向と称する。
図1のAに示されるように、超音波検査中に、プローブが設けられた画像処理装置1の背面が、被検査者の体hbの表面の所定の位置、すなわち内臓等の検査対象の直上の位置に押し当てられる。このとき、画像処理装置1の正面に設けられた表示部には、検査対象の任意の位置の断層を示す断層画像がリアルタイムに表示される。したがって、医者等の超音波検査をする者(以下、検査者と称する)は、画像処理装置1の正面の真上から表示部に表示された検査対象の断層画像を見ることで、あたかも画像処理装置1の表示部越しに体hbの内部を覗いているかのような感覚を得ることができる。
さらに、図1のBに示されるように、検査者は、画像処理装置1を体hbに押し当てる力を変化させることにより、断層画像に検査対象として写る体内の位置の深さ(すなわち、画像処理装置1の背面からの距離)を変化させることができる。具体的には、検査者が、画像処理装置1を体hbに押し当てる圧力Pを、圧力P1,P2,P3の順に強くすると、表示部に断層画像として表示される体hbの表面からの深さは、深さd1,d2,d3の順に深くなっていく。このように、圧力Pの強さに連動して、表示部に断層画像として表示される体hbの表面からの深さは深くなっていく。
また、詳細については後述するが、検査者は、体hbに押し当てた画像処理装置1の背面(すなわち、プローブ)と、体hbの表面とのなす角度(以下、単に画像処理装置1の角度と称する)を変化させることにより、体hbの体内を撮像する仮想視点を変化させることができる。すなわち、画像処理装置1の角度の変化に連動して仮想視点も連動する。このようにして、画像処理装置1の角度に応じた仮想視点から体hbの体内を撮像した様子を示す断層画像が、画像処理装置1の表示部に表示される。
さらに、検査者は、画像処理装置1を体hbに押し当てながら回転させることで、ズームインまたはズームアウトされた断層画像を表示部に表示させることもできる。
[検査者、画像処理装置1、及び体hbの位置関係]
図2は、検査者、画像処理装置1、及び体hbの位置関係について説明する図である。
図2は、検査者、画像処理装置1、及び体hbの位置関係について説明する図である。
画像処理装置1は、表示部11とプローブ12とが一体化されて構成されている。なお、表示部11は、画像処理装置1の筺体1Cの正面に配置されている。すなわち、より正確には本実施形態では、筺体1Cの背面にプローブ12が配置されることで、表示部11とプローブ12とが一体化されている。
図2に示されるように、検査者の視線、表示部11の表示面の法線、プローブ12の超音波の放射方向、及び被検査者の体hbの正面の略垂直方向が略一直線上となるように、画像処理装置1が配置される。なお、実際にはプローブ12は、体hbの正面に接触している。
このように画像処理装置1が配置されることで、検査者は、プローブ12を押し当てた体hbの位置の直下の検査対象の超音波画像を、表示部11に表示させて観察することができる。
[外観構成例]
次に、このような画像処理装置1の外観構成例について説明する。
次に、このような画像処理装置1の外観構成例について説明する。
図3は、画像処理装置1の外観の構成例を示す、正面図、背面図、及び側面図である。
図3のAは、画像処理装置1の正面図である。図3のAに示されるように、画像処理装置1の正面、すなわちその筺体1Cの正面には、表示部11が配置される。表示部11には、体hbの内部の検査対象の断層画像が表示される。
なお、表示部11は、2D(Dimensional)映像の表示機能を有していても、また、3D映像の表示機能を有していてもよい。表示部11が、3D映像の表示機能を有している場合、偏光フィルタメガネやシャッタメガネを用いるメガネ方式と、レンチキュラー方式等のメガネを用いない裸眼方式とのどちらの方式が採用されてもよい。また、表示部11のサイズは任意である。
図3のBは、画像処理装置1の背面図である。図3のBに示されるように、画像処理装置1の背面、すなわち、筺体1Cの背面には、プローブ12が設置される。プローブ12内には複数の振動子(図示せず)が含まれる。これらの複数の振動子の各々から超音波が発信されると、これらの超音波は体hb内の被写体において反射され、その反射波が再びプローブ12で受信される。画像処理装置1(詳細には、後述する筺体C1内の主制御部51)は、受信した反射波に所定の処理を施すことによって、検査対象の断層画像のデータを生成する。
プローブ12は、被検査者の体hbに接触させて用いられる。したがって、体hbの表面の凹凸に依らず撮影が可能なように、プローブ12の体hbとの接触面は、超音波を伝導可能な、柔らかく厚みのある材質が採用されると好適である。
また、プローブ12内の振動子は、2次元平面が撮影できるものであれば特に限定されず、例えば、2次元アレイ型や1次元アレイ平行移動型等の振動子を採用することができる。これにより、表示面に平行な断層画像が表示部11に表示される。なお、プローブ12内の振動子として1次元アレイ型が採用された場合には、表示面に垂直な断層画像が表示される。したがって、この場合プローブ12を手動で平行移動させることにより、2次元平面の断層画像を表示させることが可能となる。
図3のCは、画像処理装置1の側面図である。図3のCに示されるように、画像処理装置1は、表示部11を含む筐体1Cとプローブ12とが一体化して構成される。なお、筐体1Cとプローブ12のサイズは任意である。
[画像処理装置1の構成例]
次に、画像処理装置1の構成例ついて説明する。
次に、画像処理装置1の構成例ついて説明する。
図4は、本技術を適用した画像処理装置1の構成例を示すブロック図である。
画像処理装置1は、上述したように、筺体1Cの正面に配置された表示部11と、当該筺体1Cの背面に配置されたプローブ12とを有している。さらに、画像処理装置1は、その筺体1C内に、主制御部51、入力部52、超音波画像記憶部53、センサ情報記憶部54、及び断層画像記憶部55を含むように構成される。
プローブ12は、超音波送受信部21及び検出部22を含むように構成される。
超音波送受信部21は、後述する主制御部51の超音波制御部61の制御の下、超音波を送受信する。具体的には、超音波送受信部21は、超音波発生部31及び超音波受信部32を含むように構成される。
超音波発生部31は、超音波制御部61の制御の下、超音波を発生する。より具体的には、超音波発生部31は、例えば、所定の間隔でパルス状の超音波を発振するとともに、プロ―プ12と平行な面内において超音波の走査を行う。
超音波受信部32は、超音波発生部31により発生されて体hbの内部の検査対象で反射した超音波がプローブ12に到達すると、当該超音波を反射波として受信する。そして、超音波受信部32は、受信した反射波の強度を測定し、例えば反射波の強度を示すデータを時系列に配列したデータ群(以下、超音波測定データと称する)を、後述する主制御部51の超音波画像生成部62に供給する。
このような超音波送受信部21を有するプローブ12は、上述したように検出部22を有する。検出部22は、プローブ12の状態(例えば、位置や向きなど)を検出する。検出部22は、プローブ12についての所定の物理量を検出するために、加速度センサ41、角速度センサ42、地磁気センサ43、及び圧力センサ44を含むように構成される。
加速度センサ41は、例えば、プローブ12の加速度を検出する。
角速度センサ42は、例えば、プローブ12のX軸方向、Y軸方向、及びZ軸方向の各方向の角速度を検出することによって、プローブ12の傾きを検出する。なお、以下では、X軸を被検査者の体hbを横切る方向(左右方向)、Y軸を被検査者の身長方向、Z軸を被検査者の体hbの厚み方向とする。
地磁気センサ43は、例えば、プローブ12の向きを検出する。
圧力センサ44は、超音波画像の撮影を行うために体hbにプローブ12を押し当てたときに、プローブ12が体hbを押す圧力を検出する。
なお、検出部22の検出結果は、後述する主制御部51のセンサ情報取得部63にセンサ情報として供給される。
このようなプローブ12は、主制御部51によって制御される。すなわち、主制御部51は、プローブ12を含む画像処理装置1全体の動作を制御する。詳細には、主制御部51は、超音波制御部61、超音波画像生成部62、センサ情報取得部63、断層画像生成部64、及び表示制御部65を含むように構成される。
超音波制御部61は、検査者による入力部52への指示操作や、センサ情報取得部63から供給される各センサ情報に基づいて、プローブ12の超音波発生部31及び超音波受信部32による超音波の送受信に関連する各種制御を行う。
超音波画像生成部62は、超音波受信部32から供給される超音波測定データに基づいて、検査対象の超音波画像のデータとして、公知又は今後登場するであろう任意の手法にしたがって、プローブ12の直下の体hbの3次元の超音波画像のデータを生成し、超音波画像記憶部53に記憶させる。
センサ情報取得部63は、プローブ12から供給されるセンサ情報を取得して、センサ情報記憶部54に記憶させるとともに、超音波制御部61にも適宜供給する。すなわち、プローブ12の位置や向き等の状態が変化した場合、プローブ12から体hbの内部の検査対象までの距離が変化する。したがって、センサ情報取得部63は、プローブ12の新たな状態において、超音波送受信部21から送受信される超音波の焦点が調整可能なように、超音波制御部61に対してセンサ情報を供給する。
断層画像生成部64は、超音波画像記憶部53に記憶されている超音波画像のデータ、及びセンサ情報記憶部54に記憶されているセンサ情報に基づいて、検査対象の断層画像(すなわち、体hbの内部の所定位置の断層を示す2次元画像)のデータを生成して、断層画像記憶部55に記憶させる。
表示制御部65は、断層画像記憶部55に記憶されている断層画像のデータに基づいて、検査対象の断層画像を表示部11に表示させるよう制御する。また、表示制御部65は、必要に応じて、センサ情報記憶部54に記憶されているセンサ情報を、表示部11に表示させるよう制御する。
[超音波結果表示処理]
次に、このような画像処理装置1が実行する処理のうち、超音波検査の結果として、センサ情報に基づいた検査対象の断層画像を表示するまでの一連の処理(以下、超音波検査結果表示処理と称する)について、図5を参照して説明する。
次に、このような画像処理装置1が実行する処理のうち、超音波検査の結果として、センサ情報に基づいた検査対象の断層画像を表示するまでの一連の処理(以下、超音波検査結果表示処理と称する)について、図5を参照して説明する。
図5は、超音波結果表示処理の流れを説明するフローチャートである。
超音波結果表示処理は、検査者によって、入力部52等へ撮影の開始の指示が入力されたときに開始される。
ステップS1において、超音波発生部31は、超音波制御部61の制御の下、超音波を発生する。
ステップS2において、超音波受信部32は、超音波制御部61の制御の下、超音波発生部31が発生させた超音波の反射波を受信する。そして、超音波受信部32は、受信した反射波の強度を測定し、測定結果を示す超音波測定データを超音波画像生成部62に供給する。
ステップS3において、超音波画像生成部62は、超音波受信部32から供給される超音波測定データに基づいて、プローブ12の直下の体hbの3次元の超音波画像のデータを生成する。
ステップS4において、超音波画像生成部62は、生成した超音波画像のデータを、超音波画像記憶部53に記憶する。
ステップS5において、センサ情報取得部63は、プローブ12の各センサから供給されるセンサ情報を取得する。
ステップS6において、センサ情報取得部63は、取得したセンサ情報をセンサ情報記憶部54に記憶する。
ステップS7において、断層画像生成部64は、超音波画像記憶部53から読み出した3次元の超音波画像のデータ、及び、センサ情報記憶部54から読み出したセンサ情報に基づいて、所定の仮想視点から検査対象を眺めた様子を示す2次元の断層画像のデータを生成する。具体的には、断層画像生成部64は、断層画像の基準データをまず生成する。そして、断層画像生成部64は、取得したセンサ情報を入力パラメータとする所定の関数を演算することによって、断層画像の視点の深さ、回転角度、またはズーム率の少なくとも1つの可変する要素を求める。そして、断層画像生成部64は、当該要素を用いて基準データを所定のアルゴリズムで変換することで、断層画像のデータを生成する。すなわち、断層画像の視点の深さ、回転角度、またはズーム率が変化すると、生成される断層画像のデータも変化する。なお、断層画像のデータの生成手法については後述する。
ステップS8において、断層画像生成部64は、生成した断層画像のデータを断層画像記憶部55に記憶する。
ステップS9において、表示制御部65は、断層画像を表示する。具体的には、表示制御部65は、断層画像のデータを断層画像記憶部55から読み出して、読み出した断層画像のデータに基づく断層画像を表示部11に表示させる。
ステップS10において、入力部52は、超音波検査の終了が指示されたかを判定する。
超音波検査の終了が指示されない場合、ステップS10においてNOであると判定されて、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、超音波検査の終了が指示されるまでの間、ステップS1乃至ステップS10のループ処理が繰り返される。
その後、超音波検査の終了が指示されると、ステップS10においてYESであると判定されて、超音波検査結果表示処理は終了する。
[圧力と断層画像との関係]
さらに以下、超音波検査結果表示処理のうち、ステップS7の処理について具体的に説明する。すなわち、ステップS7の処理における断層画像のデータの生成手法について具体的に説明する。
さらに以下、超音波検査結果表示処理のうち、ステップS7の処理について具体的に説明する。すなわち、ステップS7の処理における断層画像のデータの生成手法について具体的に説明する。
図6は、画像処理装置1が体hbに押し当てられた際の圧力Pと、断層画像の視点の深さとの関係を示す図である。ここで、断層画像の視点の深さとは、体hbの表面の上方向に仮想視点が存在した場合において、仮想視点から、断層画像に写る検査対象(断層)の位置までの上下方向(ここではZ方向)の距離をいう。
図6に示されるように、画像処理装置1をZ軸方向に所定の圧力Pで体hbに押し当てると、表示部11に表示される断層画像g1の視点の深さDは、例えば次の式(1)のように表される。
D=α×P ・・・(1)
式(1)において、係数αは調整用のパラメータであり、検査者が自由に設定変更することが可能である。
センサ情報取得部63は、検出部22のうち、圧力センサ44の検出結果を含むセンサ情報を取得し、センサ情報記憶部54に記憶させる。そして、断層画像生成部64は、センサ情報記憶部54に記憶された圧力センサ44の検出結果を、式(1)の入力パラメータである圧力Pに代入して、当該式(1)を演算することで、断層画像の視点の深さDを求める。そして、断層画像生成部64は、演算した断層画像の視点の深さDの位置の体hbの様子を示す断層画像のデータを生成する。このようにして、断層画像生成部64は、圧力Pの強さに応じて視点の深さDが変化する断層画像のデータを生成することができる。
ここで、断層画像生成部64は、画像処理装置1を体hbに押し当てる圧力Pの変化量をα倍に拡張して、断層画像の視点の深さDを求める。すなわち、圧力Pが小さな変化であっても、断層画像の視点の深さDは、その小さな変化がα倍に増幅され、大きな変化となる。
図7は、図6の処理結果を具体的に示す図である。
図7に示されるように、画像処理装置1を体hbに押し当てる圧力Pが圧力P1の場合には、表面からより浅い位置の断層画像g1が表示部11に表示される。また、画像処理装置1を体hbに押し当てる圧力Pが、圧力P1よりも強い圧力P2の場合には、断層画像g1よりも視点の深さDが深い断層画像g2が表示部11に表示される。
画像処理装置1を体hbの所定の位置に押し当てるとき、当該位置が痛みを伴う患部である場合もある。この場合、画像処理装置1を体hbに押し当てる圧力Pが強すぎると、被検査者に苦痛を与えるおそれがある。また、画像処理装置1を体hbに押し当てる圧力Pが強すぎると、画像処理装置1が押し当てられた位置の体hbが変形してしまう場合もある。この場合、超音波検査が正しくできなくなるおそれがある。したがって、上述したように、画像処理装置1を体hbに押し当てる圧力Pが小さなものであっても、視点の深さDが大きく変化するようになされている。
[X軸を中心に回転させる角度と断層画像との関係]
次に、画像処理装置1を体hbに押し当てる角度と断層画像との関係について説明する。
次に、画像処理装置1を体hbに押し当てる角度と断層画像との関係について説明する。
図8は、画像処理装置1をX軸を中心に回転させる角度と、断層画像との関係について説明する図である。
ここで、画像処理装置1の背面のプローブ12がXY平面に平行な所定位置に配置されている状態を基準状態と称する。また、画像処理装置1が基準状態に位置する場合の断層画像を、基準断層画像と称する。すなわち、上述した基準データに対応する断層画像が、基準断層画像である。そして、画像処理装置1を基準状態からX軸を中心に回転させた場合の回転角を、Δxと記述する。
図8のAの上側に示されるように、例えば、画像処理装置1が、X軸を中心に回転角Δxだけ回転させた状態で体hbに押し当てられたものとする。
この場合、図8のAの下側に示されるように、表示部11に表示される断層画像g11は、基準断層画像に対して、実際の回転角Δxよりもβ倍増幅された回転角θxでX軸を中心に回転された画像となる。なお、係数βは調整用のパラメータであり、検査者が自由に設定変更することが可能である。また、図8のBは、図8のAにおける画像処理装置1の回転角Δxと、断層画像g11の回転角θxとを模式的に表わした図である。
センサ情報取得部63は、画像処理装置1の回転角をセンサ情報の1つとして取得し、センサ情報記憶部54に記憶させる。そして、断層画像生成部64は、この回転角のうちX軸周りの回転角を入力パラメータΔxに代入して、次の式(2)を演算することで、基準断層画像に対するX軸を中心にする回転角θx(すなわち、断層画像の傾き)を求める。
θx=β×Δx ・・・(2)
そして、断層画像生成部64は、基準断層画像に対してX軸を中心に回転角θxだけ回転された断層画像のデータ、すなわち傾きが変化した断層画像のデータを生成する。
画像処理装置1を体hbの所定の位置に押し当てるときと同様に、画像処理装置1を傾けると(X軸を中心に回転させると)、傾けた方が押し当てられることになるが、その傾けた位置が痛みを伴う患部である場合もある。この場合、画像処理装置1の回転角Δxが大きすぎると、その分だけ画像処理装置1が体hbに押し付けられることになるので、被検査者に苦痛を与えるおそれがある。また、画像処理装置1の回転角Δxが大きすぎると、傾けられた結果として画像処理装置1が押し付けられた位置の体hbが変形してしまう場合もある。この場合、超音波検査が正しくできなくなるおそれがある。したがって、上述したように、画像処理装置1の回転角Δxが小さなものであっても、断層画像の回転角θxが大きく変化するようになされている。
[Y軸を中心に回転させる角度と断層画像との関係]
図9は、画像処理装置1をY軸を中心に回転させる角度と、断層画像との関係について説明する図である。なお、画像処理装置1を基準状態からY軸を中心に回転させた場合の回転角を、Δyと記述する。
図9は、画像処理装置1をY軸を中心に回転させる角度と、断層画像との関係について説明する図である。なお、画像処理装置1を基準状態からY軸を中心に回転させた場合の回転角を、Δyと記述する。
図9のAの上側に示されるように、例えば、画像処理装置1が、Y軸を中心に回転角Δyだけ回転させた状態で体hbに押し当てられたものとする。
この場合、図9のAの下側に示されるように、表示部11に表示される断層画像g21は、基準断層画像に対して、実際の回転角Δyよりもγ倍増幅された回転角θyでY軸を中心に回転された画像となる。なお、係数γは調整用のパラメータであり、検査者が自由に設定変更することが可能である。また、図9のBは、図9のAにおける画像処理装置1の回転角Δyと、断層画像g21の回転角θyとを模式的に表わした図である。
センサ情報取得部63は、画像処理装置1の回転角をセンサ情報の1つとして取得し、センサ情報記憶部54に記憶させる。そして、断層画像生成部64は、この回転角のうちY軸周りの回転角を入力パラメータΔyに代入して、次の式(3)を演算することで、基準断層画像に対するY軸を中心にする回転角θy(断層画像の傾き)を求める。
θy=γ×Δy ・・・(3)
そして、断層画像生成部64は、基準断層画像に対してY軸を中心に回転角θyだけ回転された断層画像のデータ、すなわち傾きが変化した断層画像のデータを生成する。
画像処理装置1を体hbの所定の位置に押し当てるときと同様に、画像処理装置1を傾けると(Y軸を中心に回転させると)、傾けた方が押し当てられることになるが、その傾けた位置が痛みを伴う患部である場合もある。この場合、画像処理装置1の回転角Δyが大きすぎると、その分だけ画像処理装置1が体hbに押し付けられることになるので、被検査者に苦痛を与えるおそれがある。また、画像処理装置1の回転角Δyが大きすぎると、傾けられた結果として画像処理装置1が押し付けられた位置の体hbが変形してしまう場合もある。この場合、超音波検査が正しくできなくなるおそれがある。したがって、上述したように、画像処理装置1の回転角Δyが小さなものであっても、断層画像の回転角θyが大きく変化するようになされている。
なお、画像処理装置1をX軸またはY軸を中心に傾けた場合の、基準断層画像からの回転角θx,θyは、-90度乃至90度の角度の範囲にとどめると好適である。-90度乃至90度の角度の範囲よりも大きな範囲で断層画像の視点の角度を変化させると、超音波検査が困難になるからである。
図10は、図9の処理結果を具体的に示す図である。
図10の左側に示されるように、画像処理装置1を基準状態で、体hbの所定の位置に押し当てた場合には、基準断層画像g20が表示部11に表示される。
この状態から、図10の右側に示されるように、画像処理装置1が、Y軸を中心に回転角Δyだけ回転させた状態で体hbに押し当てられたものとする。すると、表示部11に表示される断層画像は、点線で示される基準断層画像に対して、実際の回転角Δyよりもγ倍増幅された回転角θyでY軸を中心に回転された断層画像g21となる。
[Z軸を中心に回転させる角度と断層画像との関係]
図11は、画像処理装置1をZ軸を中心に回転させる角度と、断層画像との関係について説明する図である。なお、画像処理装置1を基準状態からZ軸を中心に回転させた場合の回転角を、Δzと記述する。
図11は、画像処理装置1をZ軸を中心に回転させる角度と、断層画像との関係について説明する図である。なお、画像処理装置1を基準状態からZ軸を中心に回転させた場合の回転角を、Δzと記述する。
図11の左上側に示されるように、例えば、画像処理装置1が、Z軸を中心に回転角Δz=Δz1だけ時計回りに回転させた状態で体hbに押し当てられたものとする。
すると、図11の下側に示されるように、検査対象を撮像する際の画角(検査対象として断層画像g41に写る範囲)は、点線で示される基準断層画像が撮像される際の画角(以下、基準画角と称する)に対して、1/(δ×Δz1)倍のサイズに縮小される。なお、係数δは調整用のパラメータであり、検査者が自由に設定変更することが可能である。換言すると、検査対象が(δ×Δz1)倍でズームインされた様子が断層画像g41に写ることになる。
さらに、図11の右上側に示されるように、例えば、画像処理装置1が、Z軸を中心に時計回りに回転されて、その回転角Δz=Δz2(>Δz1)になった状態で体hbに押し当てられたものとする。
すると、図11の下側に示されるように、検査対象を撮像する際の画角(検査対象として断層画像g42に写る範囲)は、基準画角に対して、1/(δ×Δz2)倍のサイズにさらに縮小される。換言すると、検査対象が(δ×Δz2)倍でさらにズームインされた様子が断層画像g42に写ることになる。
逆に、図示はしないが、画像処理装置1が、Z軸を中心に反時計回りに回転角Δzだけ回転された状態で体hbに押し当てられたものとする。
すると、検査対象を撮像する際の画角(検査対象として断層画像に写る範囲)は、基準画角に対して、(δ×Δz)倍に拡大される。換言すると、検査対象が1/(δ×Δz)倍でズームアウトされた様子が断層画像に写ることになる。
センサ情報取得部63は、画像処理装置1の回転角をセンサ情報の1つとして取得し、センサ情報記憶部54に記憶させる。そして、断層画像生成部64は、この回転角のうちZ軸周りの回転角を入力パラメータΔzに代入して、時計回りならば次の式(4)を演算し、反時計回りならば次の式(5)を演算することで、基準画角に対する画角のサイズの変更率(以下、ズーム率と称する)Zoomを求める。
Zoom=1/(δ×Δz) ・・・(4)
Zoom=(δ×Δz) ・・・(5)
Zoom=(δ×Δz) ・・・(5)
そして、断層画像生成部64は、基準画角に対しZoom倍だけサイズを変化させた画角で検査対象を写した断層画像のデータ、すなわちズームイン又はズームアウトした断層画像のデータを生成する。
図12は、図11の処理結果を具体的に示す図である。
図11の左側に示されるように、画像処理装置1を基準画角で、体hbの所定の位置に押し当てた場合には、基準断層画像g40が表示部11に表示される。
この状態から、図12の右側に示されるように、画像処理装置1が、Z軸を中心に回転角Δzだけ時計周りに回転させた状態で体hbに押し当てられたものとする。すると、表示部11に表示される断層画像g51は、点線で示される基準画角に対して、1/(δ×Δz)倍のサイズに縮小された断層画像g51となる。
また、画像処理装置1を回転させても、表示部11に表示される断層画像は回転しないように画像補正が施されると好適である。画像処理装置1の回転とともに断層画像が回転すると、超音波検査が困難になるからである。
このように、検査者は、画像処理装置1を体hbに押し当てる際に、圧力P、回転角Δx,Δy,Δzを変化させる、という直感的かつ簡便な操作で、表示部11に表示される断層画像を容易に切り換えることができる。
[変形例]
上述の例では、検査者が画像処理装置1を体hbに押し当てる際に、圧力P、回転角Δx,Δy,Δzを変化させることにより、表示部11に表示される断層画像を切り換えた。しかしながら、表示部11に表示される断層画像を切り換える手法は、上述の例に限定されない。例えば、画像処理装置1の入力部52として、表示部11の表示画面全体に積層されたタッチパネルが採用されている場合、検査者によるタッチパネルに対する操作により断層画像が切り換えられてもよい。
上述の例では、検査者が画像処理装置1を体hbに押し当てる際に、圧力P、回転角Δx,Δy,Δzを変化させることにより、表示部11に表示される断層画像を切り換えた。しかしながら、表示部11に表示される断層画像を切り換える手法は、上述の例に限定されない。例えば、画像処理装置1の入力部52として、表示部11の表示画面全体に積層されたタッチパネルが採用されている場合、検査者によるタッチパネルに対する操作により断層画像が切り換えられてもよい。
より具体的には、図示はしないが、タッチパネルとして構成される入力部52は、表示部11の表示画面全体に積層され、タッチ操作がなされた位置の座標を検出し、その検出結果を、断層画像生成部64に供給する。ここで、タッチ操作とは、タッチパネルに対する物体(例えば、ユーザの指やタッチペン等)の接触又は近接の操作をいう。断層画像生成部64は、タッチパネルに対するタッチ操作の位置の座標をパラメータとして取得して、当該パラメータの変化に連動させて基準断層画像を変換することで、表示部11の表示対象の断層画像を生成する。
[タッチパネルによる操作]
図13は、タッチパネルによる操作が行われる場合の表示画面の例を示す図である。
図13は、タッチパネルによる操作が行われる場合の表示画面の例を示す図である。
図13のAに示されるように、表示部11の右側面に近い領域には、断層画像のX軸を中心とした回転の回転角θxを変化させるためのスライダーSL1が配置される。また、表示部11の下辺面に近い領域には、断層画像のY軸を中心とした回転の回転角θyを変化させるためのスライダーSL2が配置される。また、表示部11の右上の領域には、断層画像のZ軸方向の距離、すなわち視点の深さDを変化させるためのスライダーSL3が配置される。
具体的には、スライダーSL1は、中心位置が回転角θx=0であり、上方向の位置に操作される程、例えば時計周りの回転角θxが大きくなり、下方向の位置に操作される程、例えば反時計回り回転角θxが大きくなる。そして、スライダーSL1の操作に対応して、断層画像の回転角θxがスライダーSL1の近傍に表示される。図13の例では、「Tilt +10°」と表示されているように、表示部11には、基準断層画像に対して、X軸を中心に時計回りに回転角θx=10度だけ回転された断層画像が表示されていることがわかる。
スライダーSL2は、中心位置が回転角θy=0であり、右方向の位置に操作される程、例えば時計周りの回転角θyが大きくなり、左方向の位置に操作される程、例えば反時計回り回転角θyが大きくなる。そして、スライダーSL2の操作に対応して、断層画像の回転角θyがスライダーSL2の近傍に表示される。図13の例では、「Roll -5°」と表示されているように、表示部11には、基準断層画像に対して、Y軸を中心に反時計回りに回転角θy=5度だけ回転された断層画像が表示されていることがわかる。
スライダーSL3は、右上位置が視点の深さD=0であり、左下方向の位置に操作される程、視点の深さDが大きくなる。そして、スライダーSL3の操作に対応して、断層画像の視点の深さDがスライダーSL3の近傍に表示される。図13の例では、「Depth 15mm」と表示されているように、表示部11には、視点の深さD=15mmの断層画像が表示されていることがわかる。
さらに、図13のBに示されるように、検査者は、2本の指f1,f2をタッチパネル上に載せ、指f1,f2の間隔を広げたり狭めたりするタッチ操作(以下、このようなタッチ操作をピンチ操作と称する)をすることにより、表示部11に表示される断層画像のズームインやズームアウトを指示することができる。すなわち、上述した画像処理装置1のZ軸を中心とした回転操作の代替操作として、ピンチ操作が採用可能である。
具体的には、指f1,f2の間隔を広げるピンチ操作により、断層画像はズームインされる。一方、指f1,f2の間隔を狭めるピンチ操作により、断層画像はズームアウトされる。そして、ピンチ操作に対応して、断層画像のズーム率が表示部11の左上の領域に表示される。図13の例では、「Zoom 100%」と表示されているように、表示部11には、ズーム率が100%の断層画像が表示されていることがわかる。
[タッチパネルによる操作の他の例]
図14は、タッチパネルによる操作が行われる場合の表示画面の他の例を示す図である。
図14は、タッチパネルによる操作が行われる場合の表示画面の他の例を示す図である。
図14のAは、ボタンを押下する回数に対応して断層画像の表示が切り換えられる例を示している。
図14のAに示されるように、表示部11の右下の領域には、断層画像のズーム率を変化させるためのソフトウェアボタンbt1,bt2、断層画像のX軸を中心とした回転の回転角θxを変化させるためのソフトウェアボタンbt11,bt12、断層画像のY軸を中心とした回転の回転角θyを変化させるためのソフトウェアボタンbt21,bt22、及び断層画像のZ軸方向の距離、すなわち視点の深さDを変化させるためのソフトウェアボタンbt31,bt32が配置される。
具体的には、ソフトウェアボタンbt1の押下回数が増加するほど、ズーム率が大きくなり、ソフトウェアボタンbt2の押下回数が増加するほど、ズーム率が小さくなる。そして、ソフトウェアボタンbt1またはソフトウェアボタンbt2の押下回数に対応して変化する、断層画像のズーム率がソフトウェアボタンbt1の左側に表示される。
また、ソフトウェアボタンbt11の押下回数が増加するほど、例えば時計周りの回転角θxが大きくなり、ソフトウェアボタンbt12の押下回数が増加するほど、例えば時計回りの回転角θxが小さくなる。そして、ソフトウェアボタンbt11またはソフトウェアボタンbt12の押下回数に対応して、断層画像の回転角θxがソフトウェアボタンbt11の左側に表示される。
また、ソフトウェアボタンbt21の押下回数が増加するほど、例えば時計周りの回転角θyが大きくなり、ソフトウェアボタンbt22の押下回数が増加するほど、例えば時計回りの回転角θyが小さくなる。そして、ソフトウェアボタンbt21またはソフトウェアボタンbt22の押下回数に対応して、断層画像の回転角θyがソフトウェアボタンbt21の左側に表示される。
また、ソフトウェアボタンbt31の押下回数が増加するほど、視点の深さDが大きくなり、ソフトウェアボタンbt32の押下回数が増加するほど、視点の深さDが0に近づく。そして、ソフトウェアボタンbt31またはソフトウェアボタンbt32の押下回数に対応して、断層画像の視点の深さDがソフトウェアボタンbt31の左側に表示される。
図14のBは、ボタンを押下する時間に対応して断層画像の表示が切り換えられる例を示している。
図14のBに示されるように、表示部11の右下の領域には、断層画像のズーム率を変化させるためのソフトウェアボタンbt41、断層画像のX軸を中心とした回転の回転角θxを変化させるためのソフトウェアボタンbt42、断層画像のY軸を中心とした回転の回転角θyを変化させるためのソフトウェアボタンbt43、及び断層画像のZ軸方向の距離、すなわち視点の深さDを変化させるためのソフトウェアボタンbt44が配置される。
具体的には、ソフトウェアボタンbt41の押下時間が長いほど、ズーム率が大きくなる。そして、ズーム率が予め設定された最大値に達すると、ズーム率は予め設定された最小値に切り換えられる。そして、ソフトウェアボタンbt41の押下時間に対応して変化する、断層画像のズーム率がソフトウェアボタンbt41の左側に表示される。
また、ソフトウェアボタンbt42の押下時間が長いほど、例えば時計周りの回転角θxが大きくなる。そして、時計周りの回転角θxが予め設定された最大値に達すると、時計回りの回転角θxの最小値に切り換えられる。そして、ソフトウェアボタンbt42の押下時間に対応して変化する、断層画像の回転角θがソフトウェアボタンbt42の左側に表示される。
また、ソフトウェアボタンbt43の押下時間が長いほど、例えば時計周りの回転角θyが大きくなる。そして、時計周りの回転角θyが予め設定された最大値に達すると、時計回りの回転角θyの最小値に切り換えられる。そして、ソフトウェアボタンbt43の押下時間に対応して変化する、断層画像の回転角θがソフトウェアボタンbt43の左側に表示される。
また、ソフトウェアボタンbt44の押下時間が長いほど、視点の深さDが大きくなる。そして、視点の深さDが予め設定された最大値に達すると、視点の深さDの最小値、すなわち0mmに切り換えられる。そして、ソフトウェアボタンbt44の押下時間に対応して変化する、断層画像の視点の深さDがソフトウェアボタンbt44の左側に表示される。
なお、ソフトウェアボタンbt41乃至bt44は、押下時間に比例して、円の半径が大きく表示されるようにしてもよい。
[断層画像の表示手法]
ところで、表示部11に断層画像を表示させる手法は特に限定されない。以下、図15と図16を用いて、断層画像の表示手法の例について説明する。
ところで、表示部11に断層画像を表示させる手法は特に限定されない。以下、図15と図16を用いて、断層画像の表示手法の例について説明する。
図15は断層画像の表示例を示す図である。
図15の例では、表示部11の全体に断層画像がメイン画像として表示され、表示部11の右下端部等に、当該断層画像が体hbの何れの位置の断層を示しているのかを示すサブ画像r1が、当該メイン画像に重畳されて表示される。サブ画像r1に含まれる直方体rsは、画像処理装置1の直下の体hbの部分を示している。また、直方体rs内に表示された平面rcは、表示部11に表示されている断層画像に写る体hbの断層の位置を示している。
このように、検査者は、サブ画像r1を視認することで、メイン画像(すなわち、断層画像)に写る部位は体内の何れの断層に該当するのかを直感的に把握することができる。
図16は、断層画像の他の表示例を示す図である。
図16の例では、断層画像の視点の深さDに応じて、表示部11に対する相対的な表示サイズ、すなわち表示部11の全画面における断層画像の占有率が変化する。具体的には、断層画像の視点の深さDが浅くなるほど、表示部11における断層画像の占有率は大きくなる。図16の左側においては、断層画像の視点の深さDが最も浅い状態での断層画像、すなわち、表示部11に全画面表示された断層画像が示されている。この状態から、断層画像の視点の深さDが深くなっていくと、図16の右側に示されるように、表示部11における断層画像の占有率が低下していく。すなわち、表示部11における断層画像の相対的な表示サイズが小さくなっていく。
すなわち、人が物体を見る場合の特徴として、近くにある物体は相対的に大きく視認されるのに対して、遠くにある物体は相対的に小さく視認される特徴が存在する。このような特徴を絵画や写真の構図として取り入れた手法が、遠近法であり、図16の例の手法として適用されている。このため、検査者は、より直感的に体内の撮像位置を把握することができる。
上述の超音波検査結果表示処理において、検査者の選択により、センサ情報を用いて断層画像が変化するモードと、プローブ12を当てた箇所の直下の体hbの3次元の超音波画像がそのまま表示されるモードの2つのモードが切り替えられるようにしてもよい。後者のモードの場合、表示制御部65は、超音波画像53に記憶されている3次元の超音波画像のデータに基づいて、プローブ12を当てた箇所の直下の体hbの3次元の超音波画像を表示部11に表示させるよう制御する。
また、上述の例では、画像処理装置1が体hbに押し当てられた際の圧力の変化と、画像処理装置1をX軸,Y軸,Z軸を中心とした回転角の変化との両方の変化に連動させて、断層画像のデータが生成された。しかしながら、圧力の変化と回転角の変化とは、断層画像のデータの生成にとってそれぞれ独立した要素であるため、何れか一方の要素のみが用いられて断層画像が生成されてもよい。
また、上述の例では、画像処理装置1は、表示部11を含む筐体1Cとプローブ12とが物理的に一体化されて構成されている。しかしながら、筐体1Cとプローブ12とが有線または無線で電気的に接続されていれば、物理的な位置関係は特に限定されず、例えばプローブ12は筐体1Cから物理的に分離されるようにしてもよい。この場合、検査者が、プローブ12を保持して検査をする一方で、被検査者が、筐体1Cを保持して、表示部11に表示される断層画像を観察することができる。
また、画像処理装置1により撮影された断層画像のデータを、他の情報処理装置に転送して、他の情報処理装置の表示部で当該断層画像を表示させてもよい。この場合、断層画像のデータの転送手法は特に限定されない。
また、上述の例では、画像処理装置1は、超音波画像を撮影しながら、リアルタイムに断層画像を表示させた。しかしながら、超音波画像の撮影と、断層画像のデータの生成とは独立した処理であるため、画像処理装置1は、超音波画像を録画した後に別途、断層画像のデータを生成するようにしてもよい。すなわち、画像処理装置1は、超音波画像の全てを予め撮影し、その後任意のタイミングで、断層画像を表示させるようにしてもよい。この場合、画像処理装置1によって、超音波画像のデータとともにセンサ情報が併せて記憶されれば、超音波画像の撮影者と、超音波検査の検査者とを別々の人とすることができる。例えば、検査者が、被検査者と遠隔の地にいる検査者であっても、超音波画像の撮影後に、被検査者の体内の任意の位置の断層画像を自在に視認することができ、その結果、遠隔医療の一環として適切な超音波検査が実現可能になる。
また、本技術は医療用途及び非医療用途のいずれにも用いることが可能である。非医療用途としては、例えば、健康管理等がある。この場合、超音波の周波数と強度が適切に調整できるようにすると好適である。
また、本技術は、人間だけでなく、例えば、動物や植物、人工物など、超音波により被写体の断層の撮影を行う場合に広く用いることが可能である。
[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロフォンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成もとることができる。
(1)
超音波を発生させ被写体で反射された反射波を受信するプローブと、
前記プローブについての1以上の物理量を検出するセンサ部と、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示する表示部と、
前記センサ部により検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する断層画像生成部と、
前記断層画像生成部により生成された前記断層画像を表示させるように前記表示部を制御する表示制御部と
を備える画像処理装置。
(2)
前記断層画像生成部は、前記センサ情報の少なくとも一部を入力パラメータとして用いる所定の関数を演算することにより、前記断層画像の深さ、回転角度、及びズーム率の少なくとも1つの可変要素を求め、前記可変要素を用いて前記基準となる断層画像を変換することで、前記表示対象の断層画像を生成する
前記(1)に記載の画像処理装置。
(3)
前記センサ部は、前記プローブの圧力を前記センサ情報として検出し、
前記断層画像生成部は、前記圧力の変化を、前記被写体の所定の位置からの深さの変化に連動させて、前記断層画像を生成する
前記(1)または(2)に記載の画像処理装置。
(4)
前記断層画像生成部は、前記プローブの圧力が強いほど、前記断層画像の前記被写体の所定の位置からの深さが深くなるように、前記断層画像を生成する
前記(1)乃至(3)のいずれかに記載の画像所理装置。
(5)
前記センサ部は、前記プローブの回転角度を前記センサ情報として検出し、
前記断層画像生成部は、前記回転角度の変化を、前記断層画像の回転角度とズーム率の少なくとも一方に連動させて、前記断層画像を生成する
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
前記センサ情報は、前記回転角度として、X軸、Y軸、及びZ軸の各回転角度を含んでおり、
前記断層画像生成部は、前記X軸の回転角度の変化を、前記断層画像のX軸の回転角度に連動させ、前記Y軸の回転角度の変化を、前記断層画像のY軸の回転角度に連動させ、前記Z軸の回転角度の変化を、前記断層画像のズーム率に連動させ、前記断層画像を生成する
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記断層画像生成部は、前記X軸の回転角度または前記Y軸の回転角度が大きいほど、前記断層画像の回転角度が大きくなるように、前記断層画像を生成する
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記断層画像生成部は、前記Z軸の回転角度が大きいほど、前記断層画像のズーム率が大きくなるように、前記断層画像を生成する
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記断層画像生成部は、タッチパネルに対するタッチ操作情報をパラメータとして取得して、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10)
超音波を発生させ被写体で反射された反射波を受信するプローブを有する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記プローブについての1以上の物理量を検出し、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示し、
検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、表示対象の断層画像を生成し、
生成された前記断層画像を表示させるように制御する
ステップを含む画像処理方法。
(11)
超音波を発生させ被写体で反射された反射波を受信するプローブを有する画像処理装置を制御するコンピュータに、
前記プローブについての1以上の物理量を検出し、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示し、
検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、表示対象の断層画像を生成し、
生成された前記断層画像を表示させるように制御する
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
(1)
超音波を発生させ被写体で反射された反射波を受信するプローブと、
前記プローブについての1以上の物理量を検出するセンサ部と、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示する表示部と、
前記センサ部により検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する断層画像生成部と、
前記断層画像生成部により生成された前記断層画像を表示させるように前記表示部を制御する表示制御部と
を備える画像処理装置。
(2)
前記断層画像生成部は、前記センサ情報の少なくとも一部を入力パラメータとして用いる所定の関数を演算することにより、前記断層画像の深さ、回転角度、及びズーム率の少なくとも1つの可変要素を求め、前記可変要素を用いて前記基準となる断層画像を変換することで、前記表示対象の断層画像を生成する
前記(1)に記載の画像処理装置。
(3)
前記センサ部は、前記プローブの圧力を前記センサ情報として検出し、
前記断層画像生成部は、前記圧力の変化を、前記被写体の所定の位置からの深さの変化に連動させて、前記断層画像を生成する
前記(1)または(2)に記載の画像処理装置。
(4)
前記断層画像生成部は、前記プローブの圧力が強いほど、前記断層画像の前記被写体の所定の位置からの深さが深くなるように、前記断層画像を生成する
前記(1)乃至(3)のいずれかに記載の画像所理装置。
(5)
前記センサ部は、前記プローブの回転角度を前記センサ情報として検出し、
前記断層画像生成部は、前記回転角度の変化を、前記断層画像の回転角度とズーム率の少なくとも一方に連動させて、前記断層画像を生成する
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
前記センサ情報は、前記回転角度として、X軸、Y軸、及びZ軸の各回転角度を含んでおり、
前記断層画像生成部は、前記X軸の回転角度の変化を、前記断層画像のX軸の回転角度に連動させ、前記Y軸の回転角度の変化を、前記断層画像のY軸の回転角度に連動させ、前記Z軸の回転角度の変化を、前記断層画像のズーム率に連動させ、前記断層画像を生成する
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記断層画像生成部は、前記X軸の回転角度または前記Y軸の回転角度が大きいほど、前記断層画像の回転角度が大きくなるように、前記断層画像を生成する
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記断層画像生成部は、前記Z軸の回転角度が大きいほど、前記断層画像のズーム率が大きくなるように、前記断層画像を生成する
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記断層画像生成部は、タッチパネルに対するタッチ操作情報をパラメータとして取得して、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10)
超音波を発生させ被写体で反射された反射波を受信するプローブを有する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記プローブについての1以上の物理量を検出し、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示し、
検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、表示対象の断層画像を生成し、
生成された前記断層画像を表示させるように制御する
ステップを含む画像処理方法。
(11)
超音波を発生させ被写体で反射された反射波を受信するプローブを有する画像処理装置を制御するコンピュータに、
前記プローブについての1以上の物理量を検出し、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示し、
検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、表示対象の断層画像を生成し、
生成された前記断層画像を表示させるように制御する
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
本技術は、超音波検査装置に適用することができる。
1 画像処理装置, 1C 筐体, 11 表示部, 12 プローブ, 21 超音波送受信部, 22 検出部, 31 超音波発生部, 32 超音波受信部, 41 加速度センサ, 42 角速度センサ, 43 地磁気センサ, 44 圧力センサ, 51 主制御部、 52 入力部, 53 超音波画像記憶部, 54 センサ情報記憶部, 55 断層画像記憶部, 61 超音波制御部, 62 超音波画像生成部, 63 センサ情報取得部, 64 断層画像生成部, 65 表示制御部
Claims (11)
- 超音波を発生させ被写体で反射された反射波を受信するプローブと、
前記プローブについての1以上の物理量を検出するセンサ部と、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示する表示部と、
前記センサ部により検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する断層画像生成部と、
前記断層画像生成部により生成された前記断層画像を表示させるように前記表示部を制御する表示制御部と
を備える画像処理装置。 - 前記断層画像生成部は、前記センサ情報の少なくとも一部を入力パラメータとして用いる所定の関数を演算することにより、前記断層画像の深さ、回転角度、及びズーム率の少なくとも1つの可変要素を求め、前記可変要素を用いて前記基準となる断層画像を変換することで、前記表示対象の断層画像を生成する
請求項1に記載の画像処理装置。 - 前記センサ部は、前記プローブの圧力を前記センサ情報として検出し、
前記断層画像生成部は、前記圧力の変化を、前記被写体の所定の位置からの深さの変化に連動させて、前記断層画像を生成する
請求項2に記載の画像処理装置。 - 前記断層画像生成部は、前記プローブの圧力が強いほど、前記断層画像の前記被写体の所定の位置からの深さが深くなるように、前記断層画像を生成する
請求項3に記載の画像所理装置。 - 前記センサ部は、前記プローブの回転角度を前記センサ情報として検出し、
前記断層画像生成部は、前記回転角度の変化を、前記断層画像の回転角度とズーム率の少なくとも一方に連動させて、前記断層画像を生成する
請求項2に記載の画像処理装置。 - 前記センサ情報は、前記回転角度として、X軸、Y軸、及びZ軸の各回転角度を含んでおり、
前記断層画像生成部は、前記X軸の回転角度の変化を、前記断層画像のX軸の回転角度に連動させ、前記Y軸の回転角度の変化を、前記断層画像のY軸の回転角度に連動させ、前記Z軸の回転角度の変化を、前記断層画像のズーム率に連動させ、前記断層画像を生成する
請求項5に記載の画像処理装置。 - 前記断層画像生成部は、前記X軸の回転角度または前記Y軸の回転角度が大きいほど、前記断層画像の回転角度が大きくなるように、前記断層画像を生成する
請求項6に記載の情報処理装置。 - 前記断層画像生成部は、前記Z軸の回転角度が大きいほど、前記断層画像のズーム率が大きくなるように、前記断層画像を生成する
請求項6に記載の情報処理装置。 - 前記断層画像生成部は、タッチパネルに対するタッチ操作情報をパラメータとして取得して、前記パラメータの変化に連動させて基準となる断層画像を変換することで、前記表示部の表示対象の断層画像を生成する
請求項1に記載の画像処理装置。 - 超音波を発生させ被写体で反射された反射波を受信するプローブを有する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記プローブについての1以上の物理量を検出し、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示し、
検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、表示対象の断層画像を生成し、
生成された前記断層画像を表示させるように制御する
ステップを含む画像処理方法。 - 超音波を発生させ被写体で反射された反射波を受信するプローブを有する画像処理装置を制御するコンピュータに、
前記プローブについての1以上の物理量を検出し、
前記プローブに受信された前記反射波に基づいて、前記被写体の所定位置の断層を示す断層画像を表示し、
検出されたセンサ情報をパラメータとして、前記パラメータの変化に連動させて基準となる断層画像を変換することで、表示対象の断層画像を生成し、
生成された前記断層画像を表示させるように制御する
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280057914.0A CN103957810A (zh) | 2011-12-01 | 2012-11-22 | 图像处理装置、图像处理方法和程序 |
US14/358,084 US10145946B2 (en) | 2011-12-01 | 2012-11-22 | Generating a tomographic image based on sensor information |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011263642A JP2013116138A (ja) | 2011-12-01 | 2011-12-01 | 画像処理装置及び方法 |
JP2011-263642 | 2011-12-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013080871A1 true WO2013080871A1 (ja) | 2013-06-06 |
Family
ID=48535330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/080258 WO2013080871A1 (ja) | 2011-12-01 | 2012-11-22 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10145946B2 (ja) |
JP (1) | JP2013116138A (ja) |
CN (1) | CN103957810A (ja) |
WO (1) | WO2013080871A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107638193A (zh) * | 2016-07-20 | 2018-01-30 | 三星麦迪森株式会社 | 超声成像设备及其控制方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102289393B1 (ko) * | 2014-07-11 | 2021-08-13 | 삼성메디슨 주식회사 | 영상 장치 및 그 제어방법 |
KR20160066928A (ko) * | 2014-12-03 | 2016-06-13 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법, 프로브의 초음파 송신 패턴 조절 장치 |
JP6711715B2 (ja) * | 2016-07-19 | 2020-06-17 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP7098342B2 (ja) * | 2018-02-06 | 2022-07-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
WO2019158618A1 (en) * | 2018-02-16 | 2019-08-22 | Koninklijke Philips N.V. | Ergonomic display and activation in handheld medical ultrasound imaging device |
JP6567124B2 (ja) * | 2018-04-13 | 2019-08-28 | キヤノン株式会社 | 被検体情報取得装置 |
KR20200099846A (ko) * | 2019-02-15 | 2020-08-25 | 삼성메디슨 주식회사 | 초음파 진단 장치 및 그 제어 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07124156A (ja) * | 1993-11-08 | 1995-05-16 | Ge Yokogawa Medical Syst Ltd | 超音波診断装置並びに超音波プローブの回転角検出方法及び超音波診断画像表示方法 |
JP2006167043A (ja) * | 2004-12-14 | 2006-06-29 | Toshiba Corp | 超音波画像診断装置 |
JP2007075589A (ja) * | 2005-09-14 | 2007-03-29 | Medison Co Ltd | 超音波映像を回転させる超音波診断システム及び方法 |
JP2009000148A (ja) * | 2007-06-19 | 2009-01-08 | Toshiba Corp | 超音波画像診断装置 |
JP2011143078A (ja) * | 2010-01-15 | 2011-07-28 | Konica Minolta Medical & Graphic Inc | 超音波診断装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100330855B1 (ko) * | 1999-02-09 | 2002-04-03 | 이민화 | 초단수신신호의 저장과 저장된 데이터의 재사용이 가능한 디지털 초음파영상장치 |
US6552841B1 (en) * | 2000-01-07 | 2003-04-22 | Imperium Advanced Ultrasonic Imaging | Ultrasonic imager |
BRPI0515007A (pt) * | 2004-08-12 | 2008-07-01 | Navotek Medical Ltd | sistema computadorizado para rastreamento e localização de fonte de ionização irradiada, sensor para direcionamento localizado em uma fonte de radiação ionizada, método para determinação da localização do dispositivo, método de fabricação de dispositivo de localização e uso de protetor de radiação ionizante |
WO2007017846A2 (en) * | 2005-08-11 | 2007-02-15 | Navotek Medical Ltd. | Localization of a radioactive source |
EP1815796A4 (en) * | 2004-11-17 | 2009-10-28 | Hitachi Medical Corp | ULTRASONOGRAPH AND ULTRASONIC IMAGE DISPLAY METHOD |
JP4772540B2 (ja) * | 2006-03-10 | 2011-09-14 | 株式会社東芝 | 超音波診断装置 |
JP4087420B2 (ja) * | 2006-06-28 | 2008-05-21 | シャープ株式会社 | 画像表示装置、画像データ送信装置、画像表示システム、画像表示方法、画像表示プログラムおよびその記録媒体、並びに、画像データ送信プログラムおよびその記録媒体 |
JP4712661B2 (ja) * | 2006-09-22 | 2011-06-29 | オリンパスイメージング株式会社 | 撮像装置 |
JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
US20090244097A1 (en) * | 2008-03-25 | 2009-10-01 | Leonardo William Estevez | System and Method for Providing Augmented Reality |
WO2009131029A1 (ja) * | 2008-04-25 | 2009-10-29 | 株式会社 日立メディコ | 超音波診断装置 |
WO2009131028A1 (ja) * | 2008-04-25 | 2009-10-29 | 株式会社 日立メディコ | 超音波診断装置 |
JP5294687B2 (ja) * | 2008-05-02 | 2013-09-18 | キヤノン株式会社 | 超音波測定装置およびその制御方法 |
JP5436533B2 (ja) * | 2009-02-24 | 2014-03-05 | 株式会社日立メディコ | 超音波診断装置及び弾性画像表示方法 |
JP5432697B2 (ja) * | 2009-12-21 | 2014-03-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5552820B2 (ja) | 2010-01-28 | 2014-07-16 | コニカミノルタ株式会社 | 超音波探触子および超音波診断装置 |
KR101175481B1 (ko) * | 2010-11-18 | 2012-08-20 | 삼성메디슨 주식회사 | 확대 영상을 제공하는 초음파 시스템 및 방법 |
EP2491865A1 (en) * | 2011-02-24 | 2012-08-29 | Samsung Medison Co., Ltd. | Ultrasound system for providing image indicator |
-
2011
- 2011-12-01 JP JP2011263642A patent/JP2013116138A/ja active Pending
-
2012
- 2012-11-22 CN CN201280057914.0A patent/CN103957810A/zh active Pending
- 2012-11-22 US US14/358,084 patent/US10145946B2/en not_active Expired - Fee Related
- 2012-11-22 WO PCT/JP2012/080258 patent/WO2013080871A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07124156A (ja) * | 1993-11-08 | 1995-05-16 | Ge Yokogawa Medical Syst Ltd | 超音波診断装置並びに超音波プローブの回転角検出方法及び超音波診断画像表示方法 |
JP2006167043A (ja) * | 2004-12-14 | 2006-06-29 | Toshiba Corp | 超音波画像診断装置 |
JP2007075589A (ja) * | 2005-09-14 | 2007-03-29 | Medison Co Ltd | 超音波映像を回転させる超音波診断システム及び方法 |
JP2009000148A (ja) * | 2007-06-19 | 2009-01-08 | Toshiba Corp | 超音波画像診断装置 |
JP2011143078A (ja) * | 2010-01-15 | 2011-07-28 | Konica Minolta Medical & Graphic Inc | 超音波診断装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107638193A (zh) * | 2016-07-20 | 2018-01-30 | 三星麦迪森株式会社 | 超声成像设备及其控制方法 |
CN107638193B (zh) * | 2016-07-20 | 2022-05-03 | 三星麦迪森株式会社 | 超声成像设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103957810A (zh) | 2014-07-30 |
US20140307522A1 (en) | 2014-10-16 |
JP2013116138A (ja) | 2013-06-13 |
US10145946B2 (en) | 2018-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013080871A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20200222027A1 (en) | Device and method for automatic pneumothorax detection | |
JP5284123B2 (ja) | 超音波診断装置および位置情報取得プログラム | |
WO2013129590A1 (ja) | 超音波診断装置、医用画像診断装置及び超音波診断装置制御プログラム | |
US20150327841A1 (en) | Tracking in ultrasound for imaging and user interface | |
JP6058283B2 (ja) | 超音波診断装置 | |
US20140114194A1 (en) | Ultrasound diagnosis apparatus and ultrasound probe controlling method | |
KR101462174B1 (ko) | 영상 표시 장치 및 영상 표시 방법 | |
WO2014129425A1 (ja) | 超音波診断装置及び医用画像処理装置 | |
JP5897674B2 (ja) | 超音波診断装置、画像処理装置及び画像処理プログラム | |
JP5950540B2 (ja) | 被検体情報取得装置、該装置の制御方法、及びプログラム | |
JP6968576B2 (ja) | 超音波診断装置及び超音波診断支援装置 | |
KR102258800B1 (ko) | 초음파 진단장치 및 그에 따른 초음파 진단 방법 | |
WO2020149092A1 (ja) | 超音波システムおよび超音波システムの制御方法 | |
KR101116925B1 (ko) | 초음파 영상을 정렬시키는 초음파 시스템 및 방법 | |
JP7416299B2 (ja) | 放射線撮影システム | |
JP6720001B2 (ja) | 超音波診断装置、及び医用画像処理装置 | |
US20240173018A1 (en) | System and apparatus for remote interaction with an object | |
JP2012170747A (ja) | 超音波診断装置、及び超音波診断プログラム | |
US10064603B2 (en) | Ultrasound diagnosis apparatus, method of controlling ultrasound diagnosis apparatus, and storage medium having the method recorded thereon | |
KR101120726B1 (ko) | 복수의 슬라이스 단면 영상을 제공하는 초음파 시스템 및 방법 | |
JP7234029B2 (ja) | 制御装置、放射線画像撮影システム、医用撮影システム、制御方法、及び制御プログラム | |
WO2021029117A1 (ja) | 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム | |
JP6538130B2 (ja) | 画像処理装置及びプログラム | |
JP2019081111A (ja) | 超音波画像診断装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12852558 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14358084 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12852558 Country of ref document: EP Kind code of ref document: A1 |