WO2022004898A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- WO2022004898A1 WO2022004898A1 PCT/JP2021/025373 JP2021025373W WO2022004898A1 WO 2022004898 A1 WO2022004898 A1 WO 2022004898A1 JP 2021025373 W JP2021025373 W JP 2021025373W WO 2022004898 A1 WO2022004898 A1 WO 2022004898A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- threshold value
- display
- surface data
- displayed
- image processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000605 extraction Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 abstract description 40
- 238000000034 method Methods 0.000 description 77
- 238000010586 diagram Methods 0.000 description 45
- 230000004048 modification Effects 0.000 description 37
- 238000012986 modification Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 33
- 238000012937 correction Methods 0.000 description 26
- 238000005259 measurement Methods 0.000 description 14
- 239000003086 colorant Substances 0.000 description 11
- 238000004040 coloring Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 241000949477 Toona ciliata Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
Definitions
- the present invention relates to an image processing apparatus, an image processing method and a program.
- the conventional technique when visualizing a surface-rendered object, it is not always easy to display it in various display forms according to a user's request.
- the formed triangular meshes are independent depending on the rendering method used.
- the triangular mesh is independent, it is difficult to deform the surface-rendered object because the triangular mesh of interest and the adjacent triangular mesh cannot be moved in conjunction with each other.
- the object of the present invention is to realize a technique for more appropriately visualizing a three-dimensional image.
- the image processing apparatus is A surface data acquisition means for acquiring surface data representing a surface shape specified based on the magnitude of the value from volume data composed of a plurality of points having a value.
- a threshold value setting means for setting a threshold value of the value for determining whether or not to display as the surface data, and a threshold value setting means.
- An intersection specifying means for specifying an intersection where a straight line passing through a position set as a viewpoint and a point specified by the user intersects the shape of the surface displayed according to the threshold value.
- a display control means for controlling the display of the surface shape represented by the surface data with the plane passing through the intersection as a reference, and a display control means. It is characterized by having.
- FIG. 1 is a block diagram showing a configuration of an image processing device 1 according to an embodiment of the present invention.
- the image processing device 1 is composed of, for example, an information processing device such as a PC (Personal Computer) or a tablet terminal.
- the image processing device 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, an input unit 14, and a display unit 15. It includes an image processing unit 16, a storage unit 17, and a communication unit 18.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 11 controls the entire image processing device 1 by executing various programs stored in the storage unit 17. For example, the CPU 11 executes a program for visualizing surface data generated from volume data (such as tomographic image data captured by CT or MRI) (hereinafter referred to as “object display process”). .. When executing the object display process, the CPU 11 assigns a task to the image processing unit 16 so as to be an efficient process as a whole, as will be described later. For example, the CPU 11 can flexibly execute various processes, while the image processing unit 16 can repeatedly perform similar operations at high speed. Therefore, the CPU 11 can perform the same operations at high speed. Executes the entire processing in cooperation with the image processing unit 16.
- a program for visualizing surface data generated from volume data such as tomographic image data captured by CT or MRI
- the CPU 11 By executing the program for the object display process, the CPU 11 is formed with a user interface control unit (UI control unit) 11a and a data management unit 11b as functional configurations.
- UI control unit user interface control unit
- data management unit 11b data management unit
- the UI control unit 11a controls the display of various input / output screens (hereinafter referred to as "UI screens") when the image processing device 1 executes various processes such as object display processing. For example, the UI control unit 11a displays the surface data generated from the volume data on the UI screen in various display forms. In the present embodiment, the UI control unit 11a displays an initial UI screen for displaying surface data, and by displaying a plurality of menus on the initial UI screen, the transition to a screen for displaying surface data in a specific display form is made. Accept. An example of the UI screen displayed by the image processing device 1 will be described later.
- the data management unit 11b stores the image data of the object displayed on the UI screen in the storage unit 17 in response to the user's instruction, or the object data (such as the server of the hospital system) from another device (such as a server of the hospital system). Volume data or surface data) is acquired.
- the RAM 13 is composed of a semiconductor memory such as a DRAM (Dynamic Random Access Memory), and stores data generated when the CPU 11 executes various processes.
- the input unit 14 is composed of an input device such as a keyboard, a mouse, or a touch sensor (touch panel), and receives input of various information to the image processing device 1 by a user.
- the display unit 15 is composed of a display device such as an LCD (Liquid Crystal Display) and displays various processing results of the image processing device 1.
- a display device such as an LCD (Liquid Crystal Display) and displays various processing results of the image processing device 1.
- the image processing unit 16 is configured by hardware (graphic accelerator or the like) equipped with a GPU (Graphics Processing Unit), and executes processing related to image display in the image processing device 1.
- the image processing unit 16 is provided with a local memory (not shown) for executing image processing. In the present embodiment, when the CPU 11 executes the object display process, the image processing unit 16 executes a specific process according to the instruction of the CPU 11.
- the image processing unit 16 is formed with an object data acquisition unit 16a and a rendering processing unit 16b as functional configurations.
- the object data acquisition unit 16a reads out the object data stored in the storage unit 17 in response to the instruction from the CPU 11.
- the rendering processing unit 16b performs rendering processing to display the object data read by the object data acquisition unit 16a on the UI screen in response to the instruction of the CPU 11, and rasterizes the result of the rendering processing (that is, for display).
- the data) is displayed on the display unit 15.
- the object data acquired by the object data acquisition unit 16a is the surface data generated from the volume data, and the triangular mesh in the surface data is the data connected to each other.
- the rendering processing unit 16b executes a process of rendering the volume data to the surface data, and the surface data to which the triangular mesh is connected is executed. To generate. For example, in the rendering processing unit 16b, when only the volume data of the object exists and the surface data is not generated, or when the object is virtually cut in the object display processing and a new surface is generated. Etc., the process of rendering the volume data to the surface data is executed.
- the rendering processing unit 16b when the rendering processing unit 16b renders the volume data on the surface data, the relationship between the voxels in the volume data and the vertices of the triangular mesh in the surface data is converted into table format data (hereinafter, "vertex position specifying table"). The process is performed while specifying at high speed using (referred to as).
- FIG. 2 is a schematic diagram showing an example of a vertex position specifying table.
- the number for identifying the voxel edge in the volume data is stored in the first row of the vertex position specifying table.
- a flag indicating whether or not the vertices of the triangular mesh exist on each edge of the first row (“1" if present, "0" if not present). ) Is stored.
- Whether or not the vertices of the triangular mesh are present on the edge is whether or not the values of the voxels located at both ends of the edge have a predetermined difference (a value equal to or greater than the threshold value for determining whether or not the surface is a surface). Can be determined by.
- the hash value in the third row is calculated by adding the hash value of the n-1st edge and the flag of the n-1st edge in the case of the nth (n is a natural number) edge.
- the hash value of the 0th edge is set to 0 here, but it may be set arbitrarily. As described above, since the hash value of the vertex position specifying table can be calculated by continuous addition processing, it can be processed at high speed by being executed by the image processing unit 16.
- vertex position specification table By referring to the third row of the vertex position specification table, it is possible to easily specify which edge the m-th (m is an integer of 0 or more) vertex (vertex of the triangular mesh) exists. , The process of generating surface data from volume data can be performed at higher speed.
- the storage unit 17 is composed of a non-volatile storage device such as a hard disk or a flash memory, and stores a program or the like for object display processing. Further, the storage unit 17 stores object data (volume data or surface data) and various processing results of the image processing device 1 (image data of a specific display form generated by the image processing unit 16 and the like).
- the communication unit 18 is provided with a communication interface that performs signal processing based on a predetermined communication standard such as a wired or wireless LAN (Local Area Network) or USB (Universal Serial Bus), and the image processing device 1 is connected to another device. Controls the communication performed by.
- a predetermined communication standard such as a wired or wireless LAN (Local Area Network) or USB (Universal Serial Bus)
- the UI screen has a function of displaying the data of the object rendered by the image processing unit 16 and receiving various instructions from the user (shift to a specific display form, changing the threshold value in displaying the object, etc.). There is.
- the initial UI screen is the home screen that is displayed when the object display process is executed.
- FIG. 3 is a schematic diagram showing an example of the initial UI screen. As shown in FIG. 3, on the initial UI screen, a screen (3D image display unit D1 and cross-sectional image display unit D2) on which the object to be displayed is displayed and a threshold value for displaying the object as a surface are set. A threshold setting unit D3 and an instruction unit D4 for calling a function such as displaying an object in a specific display form are included.
- a threshold setting unit D3 and an instruction unit D4 for calling a function such as displaying an object in a specific display form are included.
- the three-dimensional image display unit D1 displays a three-dimensional image of an object whose surface corresponds to the threshold value set by the threshold value setting unit D3.
- the cross-sectional image may be displayed on the 3D image display unit D1, the cross-sectional image display unit D2 or the like may be hidden, and the entire screen may be used as the 3D image display unit D1. May be good.
- a cross-sectional image of an object cut at a cross-section corresponding to a point specified on the three-dimensional image display unit D1 can also be displayed. ..
- the surface corresponding to the threshold value set by the threshold value setting unit D3 is represented.
- the rendering processing unit 16b identifies the intersection of the half line passing through the camera position (viewpoint) and the mouse cursor position with the triangular mesh of the surface data, and this intersection is the intersection of the 3D image. It is used as a reference point in the display or the display of the cross-sectional image.
- the rendering processing unit 16b can use the specified intersection as a center point when rotating the displayed object.
- the state of the displayed object (specifically, the display of the surface of the object) changes, but in this case, the part (body) that is not displayed. The surface, etc.) is treated as nonexistent, and the intersection with the currently displayed object is calculated as the "intersection".
- the threshold value is changed in the threshold value setting unit D3 and the state of the displayed object is changed, the state of the object is changed at high speed by specifying the vertices of the triangular mesh using the above-mentioned vertex position specifying table. Can be made to.
- the rendering processing unit 16b displays only the surface data (triangular mesh) on one side of the cross section (for example, above the cross section). It can be displayed and the surface data on the opposite side of the cross section (eg, below the cross section) can be hidden.
- the threshold value setting unit D3 constitutes a user interface for setting a threshold value to be displayed as a surface in an object, and can be in a form of continuously setting the threshold value by, for example, a slider. Further, in the present embodiment, the threshold value setting unit D3 can set a plurality of threshold values for displaying the object.
- FIG. 4 is a schematic diagram showing a specific form of the threshold value setting unit D3.
- one threshold value is set, and if it is less than the threshold value, it is displayed, and if it is more than the threshold value, it is not displayed.
- the threshold value setting unit D3 can also have such a display form.
- the threshold value setting unit D3 sets a plurality of (for example, two) threshold values and has a value between the plurality of threshold values. Only voxels can be displayed. As a result, the effective area of the threshold value can be set in the range sandwiched between specific values. It should be noted that more threshold values can be set, and two or more effective areas may be set.
- the instruction unit D4 displays icons for calling various menus related to the display or processing of objects that can be executed by the image processing device 1.
- the physical quantity measurement screen is a screen displayed when the "measurement" menu of the instruction unit D4 is called on the initial UI screen. On the physical quantity measurement screen, physical quantities such as distance and volume in the displayed object can be measured by operating the UI screen.
- FIG. 5 is a schematic diagram showing an example of a physical quantity measurement screen.
- the three-dimensional image display unit D1, the cross-sectional image display unit D2, and the threshold value setting unit D3 are displayed as in the initial UI screen, and the instruction unit D4 displays the initial UI screen.
- An icon for returning and an icon for saving the physical quantity measurement result on the physical quantity measurement screen are displayed.
- the physical quantity measurement screen shown in FIG. 5 the physical quantity in the object is measured (calculated) by designating a point, line segment, curve or range on the 3D image or the cross-sectional image, and the measurement result is displayed on the screen of the object. Will be done.
- FIG. 5 is a schematic diagram showing an example of a physical quantity measurement screen.
- the result of measuring the distance on the surface connecting the two points (the measurement result of the upper side in the three-dimensional image display unit D1) and the result of measuring the distance on the cross section connecting the two points (3).
- the lower measurement result in the three-dimensional image display unit D1) is shown.
- the attribute of the object to be measured can be changed by an operation method, for example, by left-clicking the mouse to specify a point on the surface of the object and right-clicking to specify a point on the cross section of the object.
- a distance on a cross section / a distance on a surface, an area or a volume on the surface (for example, a region surrounded by a closed curved surface such as a heart) or the like can be selected.
- the position display screen is displayed on the initial UI screen when the "position display" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed on the input unit 14, for example. It is a screen to be displayed. On the position display screen, it is possible to display at least in the cross-sectional image which of the objects the position of the specified voxel exists in.
- FIG. 6 is a schematic diagram showing an example of a position display screen.
- the three-dimensional image display unit D1, the cross-sectional image display unit D2, and the threshold setting unit D3 are displayed as in the initial UI screen, and the instruction unit D4 displays the initial UI screen.
- An icon for returning, an icon for designating a voxel, an icon for saving the display result of the voxel on the position display screen, and the like are displayed.
- the user specifies an arbitrary point on the object surface in the 3D image display unit D1
- the cross-sectional image displayed by the cross-sectional image display unit D2 is moved to the position of the designated voxel, and at least in the cross-sectional image, the designated voxel is located. It is supposed to show.
- the cross-sectional image display unit D2 when an arbitrary point on the cross-sectional image is specified in the cross-sectional image display unit D2, there is a possibility that the specified voxel cannot be displayed in the cross-sectional image other than the specified cross-sectional image or in the three-dimensional image display unit D1. .. Therefore, in the cross-sectional image display unit D2, the cross-sectional image is moved to the position of the designated voxel. In the 3D image display unit D1, when a voxel on the inside of the object or on the back side of the object is specified in the display on the 3D image display unit D1, the 3D image represented by the surface data may be displayed. , The specified voxel may not appear.
- the 3D image display unit D1 may move the cross section on the 3D image display unit D1 to a position that passes through the specified voxel. It is possible to always check the position. This makes it possible to easily recognize the voxel to be confirmed when it is desired to confirm a specific part of the object.
- the viewpoint switching screen is displayed on the initial UI screen when the "viewpoint switching" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed on the input unit 14, for example. It is a screen to be displayed.
- the viewpoint of the camera can be determined by switching between the third person viewpoint (view from the outside) and the first person viewpoint (subjective viewpoint / looking up, looking down, etc.).
- FIG. 7 is a schematic diagram showing an example of a viewpoint switching screen (in the case of a third person viewpoint).
- FIG. 8 is a schematic diagram showing an example of a viewpoint switching screen (in the case of a first person viewpoint).
- the viewpoint switching screen On the viewpoint switching screen, the three-dimensional image display unit D1, the cross-sectional image display unit D2, and the threshold setting unit D3 are displayed as in the initial UI screen, and the instruction unit D4 displays the initial UI screen.
- An icon for returning, an icon for switching the viewpoint, an icon for saving the display contents on the viewpoint switching screen, and the like are displayed. It should be noted that the parts other than the three-dimensional image display unit D1 may be hidden depending on the intended use.
- the third person viewpoint is used, and when observing the inside of the object of an organ (the display form is the same as that observed with an endoscope), 1 By making it a person's point of view, it becomes highly convenient.
- the part of the organ that was not continuous can be displayed while being continuous.
- FIG. 9 is a schematic diagram showing an example of a display form from a first-person viewpoint.
- the operation in the virtual camera (viewpoint) can be different depending on the angle between the traveling direction and the surface.
- the display can be controlled so that the virtual camera bounces on the surface of the object.
- the traveling direction of the virtual camera (viewpoint) and the normal of the triangular mesh (triangular polygon) are almost perpendicular to each other, the display can be controlled so as to proceed along the surface of the object.
- the area extraction screen is displayed on the initial UI screen when the "area extraction" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed in the input unit 14, for example. It is a screen to be displayed. On the area extraction screen, continuous areas can be extracted, identified, and displayed in the displayed object.
- FIG. 10 is a schematic view showing an example of displaying surface data of a human thoracic cavity.
- FIG. 11 is a schematic diagram showing an example of the area extraction screen.
- FIG. 12 is a schematic diagram showing how the threshold value is changed to change the display form of the object displayed on the three-dimensional image display unit D1.
- FIG. 13 is a schematic diagram showing a state in which a part of the object (here, the lung) displayed on the three-dimensional image display unit D1 is extracted as a continuous region.
- the instruction unit D4 displays the initial UI screen.
- An icon for returning, an icon for extracting a continuous area, an icon for saving the extraction result of the continuous area on the area extraction screen, and the like are displayed. It should be noted that the parts other than the three-dimensional image display unit D1 may be hidden depending on the intended use.
- the object shown in FIG. 10 when the user extracts a continuous area, the object is displayed on the three-dimensional image display unit D1 of the area extraction screen shown in FIG. Then, by operating the threshold value setting unit D3, the threshold value is adjusted so that a part of the object to be extracted as a continuous area is displayed (see FIG. 12).
- the rendering processing unit 16b is specified in the surface data as shown in FIG.
- the area continuous with the point triangular mesh
- the specified area is identified and displayed (coloring, emphasizing edges, displaying with high brightness, etc.).
- the area other than the specified area may be hidden, or only the specified area may be hidden.
- an integral part of the object can be easily extracted, and for example, how the organs are continuous can be displayed in an easy-to-understand manner.
- the region that is regarded as a "continuous portion” can be subject to continuity in a state of being displayed with a predetermined threshold value.
- the threshold value when extracting the "continuous portion” is not limited to one, and the continuous portion (for example, the heart in which the first threshold value is continuous) is obtained in each of the plurality of threshold values. And the lungs, etc. that are in a continuous state at the second threshold value), and then the extracted continuous region remains unchanged even if the threshold value is subsequently adjusted by the threshold value setting unit D3. You can also do it.
- the illustration display screen is displayed on the initial UI screen when the "illustration" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed in the input unit 14, for example. This is the screen.
- the complexity of the image can be eliminated and displayed or printed by a method (cell look, toon rendering, etc.) that makes the 3D image look like a 2D animation (illustration).
- FIG. 14 is a schematic diagram showing an example of an illustration display screen (a state in which a three-dimensional image is displayed).
- FIG. 15 is a schematic diagram showing an example of an illustration display screen (a state in which an illustrated image is displayed).
- a three-dimensional image display unit D1 and a threshold setting unit D3 are displayed, and further, an icon for returning to the initial UI screen is displayed on the instruction unit D4 to illustrate a three-dimensional image.
- An icon (or an icon for returning the illustrated image to a three-dimensional image) and an icon for saving the display result (illustrated image) on the illustration display screen are displayed.
- the cross-sectional image display unit D2 may be displayed on the illustration display screen, and the cross-sectional image can be illustrated. It should be noted that the parts other than the three-dimensional image display unit D1 may be hidden depending on the intended use.
- a three-dimensional image When a three-dimensional image is displayed or printed as it is (that is, a three-dimensional image is displayed or printed in a plane), the image may be complicated and difficult to understand. In particular, when a doctor shows a CT image or the like to explain to a patient, a lot of information other than necessary information is included, and it may be difficult to understand. Therefore, on the illustration display screen, the complexity of the image is eliminated by a method (cell look or toon rendering, etc.) that makes the 3D image look like a 2D animation (illustration), and the image is converted into a schematically shown image. indicate.
- the object can be displayed in a simple and easy-to-understand form.
- text information such as the names and comments of each part of an object on an image
- it is better to display it on an illustrated image than to display it on a three-dimensional image see FIG. 14).
- a three-dimensional image and an illustrated image may be recorded together in a medical record or the like.
- the object transformation screen is displayed on the initial UI screen when the "transformation" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed in the input unit 14, for example. This is the screen. On the object transformation screen, it is possible to simulate and display the result of applying a physical action such as transforming or cutting the displayed object.
- FIG. 16 is a schematic diagram showing an example of an object deformation screen.
- a three-dimensional image display unit D1 and a threshold setting unit D3 are displayed, and further, an icon for returning to the initial UI screen, an icon for transforming the object, and an object are displayed on the instruction unit D4.
- An icon for disconnecting the object, an icon for applying other physical actions to the object, an icon for returning the operation, an icon for saving the image of the operation result on the object transformation screen, and the like are displayed.
- the triangular mesh handles continuous surface data, it is easy to perform a simulation of applying a physical action such as deformation of an object.
- surface data representing the surface of the object can be generated at high speed by specifying the vertices of the triangular mesh using the vertex position specification table. Can be done.
- FIG. 17 is a flowchart illustrating a flow of object display processing executed by the image processing apparatus 1.
- the object display process is started in response to an instruction input to execute the object display process via the input unit 14.
- the UI control unit 11a displays the initial UI screen in step S1. On the initial UI screen, selection of object data to be displayed, selection of menu of display form, etc. are accepted. In step S2, the UI control unit 11a displays the object in the selected display form. For example, the UI control unit 11a shifts to each display screen in response to the selection of icons corresponding to various display forms such as a physical quantity measurement screen, a position display screen, and a viewpoint switching screen. Immediately after shifting to the display screen of each display form, the object is displayed according to the default parameters (viewpoint, threshold value, etc.).
- step S3 the UI control unit 11a shifts to a state of accepting changes in parameters (viewpoint, threshold value, cross-sectional position, etc.) by the user.
- step S4 the rendering processing unit 16b determines whether or not the parameter has been changed by the user. When the parameter is changed by the user, it is determined as YES in step S4, and the process proceeds to step S2. This updates the display of the object according to the changed parameters. At this time, the display can be updated at high speed by using the vertex position specifying table to update the display of the object. On the other hand, if the parameter has not been changed by the user, NO is determined in step S4, and the process proceeds to step S5.
- step S5 the UI control unit 11a determines whether or not the user has input an instruction to save the result displayed on the display screen. If no instruction for saving the result displayed on the display screen is input, NO is determined in step S5, and the process proceeds to step S7. On the other hand, when an instruction to save the result displayed on the display screen is input, YES is determined in step S5, and the process proceeds to step S6.
- step S6 the data management unit 11b stores the result displayed on the display screen in the storage unit 17.
- step S7 the UI control unit 11a determines whether or not the user has input an instruction to return to the initial UI screen. When the user inputs an instruction to return to the initial UI screen, it is determined as YES in step S7, and the process proceeds to step S1. On the other hand, if the user has not input an instruction to return to the initial UI screen, NO is determined in step S7, and the process proceeds to step S8.
- step S8 the UI control unit 11a determines whether or not an instruction to end the object display process has been input. If the instruction to end the object display process is not input, NO is determined in step S8, and the process proceeds to step S4. On the other hand, when the instruction to end the object display process is input, YES is determined in step S8, and the object display process ends.
- the image processing apparatus 1 can display the surface data generated from the volume data at high speed in various display forms capable of deforming and measuring the object. Therefore, according to the image processing apparatus 1, a three-dimensional image can be appropriately visualized.
- the vertex position specifying table can be modified in various ways as long as it can easily specify which edge the vertices of the triangular mesh are located on. For example, the number of edges extending in a predetermined direction (one of the vertical direction, the horizontal direction, and the front-back direction) from the top of the volume data (two for two-dimensional volume data and three for three-dimensional volume data). By treating these edges together according to the above, it is possible to identify at which edge the vertices of the triangular mesh exist at a higher speed.
- FIG. 18 is a schematic diagram showing a modified example of the vertex position specifying table.
- the number for identifying the voxel edge in the volume data is stored in the first row of the vertex position specifying table.
- the first flag indicating whether or not the vertices of the triangular mesh exist on each edge of the first row (“1" if present, if not present, if not present). "0" is stored.
- Whether or not the vertices of the triangular mesh are present on the edge is whether or not the values of the voxels located at both ends of the edge have a predetermined difference (a value equal to or greater than the threshold value for determining whether or not the surface is a surface). Can be determined by.
- the vertex position specifying table in this modification two edges are treated as one set. That is, two sets are set from the edge with the smallest edge number, and a second flag is set for each set. Specifically, in the third row of the vertex position specifying table, the result of adding the values of the first flags of these edges to each set of two from the edge with the smallest edge number is the common second second. Set as a flag.
- the hash value of the 4th row is the 1st set of the 2nd (n-1) th and the 2nd (n-1) + 1st set in the case of a pair of edges of the 2nd nth and the 2nd n + 1st (n is a natural number). It is calculated by adding the hash value of the edge and the second flag of the second (n-1) th and second (n-1) + 1st set of edges.
- the hash values of the edges of the 0th and 1st sets are the same as the 2nd flag of the 0th and 1st sets. As described above, since the hash value of the vertex position specifying table can be calculated by continuous addition processing, it can be processed at high speed by being executed by the image processing unit 16.
- the number of the edge set is set, which is a set of two from the edge having the smallest edge number.
- the number of this set of edges represents the number of the vertex of the volume data (Voxel ID (however, in FIG. 18, since it is an example of two-dimensional volume data, it is referred to as “Pixel ID”)).
- the mth (m is 0 or more) by referring to the hash value set in the 4th row. It is possible to easily identify which edge the vertex of (integer) is located on.
- the hash value set in the 4th row is a discontinuous value, but the place where the value is discontinuous is a set of two from the edge with the smallest edge number. This corresponds to the case where the vertices of the triangular mesh exist on both of the two edges in the case of. Therefore, among the hash values set in the 4th row of the vertex position specifying table, when referring to the vertex of the triangular mesh corresponding to the discontinuous value (for example, the kth (k is a natural number)), one is used. Of the set of edges to which the vertices with the smaller value (k-1st) belong, it can be specified that the edge has the larger number. By using such a vertex position identification table, even if the number of edges in the volume data increases, it is possible to identify the edge where the triangular mesh exists by retaining less data. It becomes.
- the value of the voxel adjacent to the apex of the triangular mesh is referred to, and the set condition (hereinafter referred to as "coloring standard voxel selection condition") is followed. It is assumed that the color corresponding to the selected voxel is set to the color of the apex of the triangular mesh and displayed. This makes it possible to correct the surface color by reflecting the object's attributes (internal voxel values). Therefore, when objects with greatly different voxel values are extracted with one threshold, the surface of different objects can be corrected. It can be displayed in a form that is easy to distinguish. In addition, even within the same object, it is possible to distinguish colors according to different voxel values.
- FIG. 19 is a schematic diagram showing a color correction method of the object surface in this modification.
- two-dimensional volume data whose surface is represented by a line segment is shown as an example, but in the case of three-dimensional volume data, the surface is represented by a triangular mesh. The same correction can be made for each vertex of the triangular mesh.
- one of the voxels sandwiching the apex of the triangular mesh (here, the voxel inside the object) is selected as the selection target according to the coloring standard voxel selection condition.
- each point shown in "(a) original data" represents a voxel, and the numerical value added to each point indicates a value possessed by the voxel.
- voxels belonging to the "bone” region are distributed around a value of about 1200, and voxels belonging to the "blood vessel” region are distributed around a value of about 400. ..
- the threshold value is set to 1000, the bone region is extracted with high accuracy, and the blood vessel region is not extracted.
- the threshold value is set to 300, the bone and blood vessel regions are extracted, but the bone region is extracted in a slightly swollen state as compared with the case where the threshold value is set to 1000.
- one threshold value is set as long as the difference is such that the vertices move on the same side of the triangular mesh. It is desirable to be able to simultaneously display the surface of the bone and blood vessel areas.
- a color is assigned to the voxels inside the object among the voxels sandwiching the vertices of the triangular mesh, and the color of this voxel is copied as the color of the vertices of the triangular mesh. That is, in the "(a) original data" of FIG. 19, when the threshold value is set to 300, the area where the voxel (pixel) value is 300 or more is defined as the inside of the object. Then, as shown in "(b) Assigning a color to the selected voxels" in FIG. 19, among the voxels sandwiching the vertices of the triangular mesh, the voxels inside the object (that is, a value larger than the set threshold value). Assign a color according to the value of the object to the voxel that has.
- FIG. 20 is a schematic diagram showing an example of comparison results when one threshold value is set and different objects are displayed at the same time by the color correction method of this modification.
- FIG. 20 shows a comparison between the original method of the present invention (the method of the first embodiment) and the method of the present modification when the object is displayed.
- the color correction method of Modification 2 even if a region having greatly different voxel values is extracted with one threshold value, the voxel values inside the object are reflected on the surface. It can be displayed as an object whose surface is represented by a different color to some extent.
- a color is assigned to the voxel with the value smaller than the threshold, and the color of this voxel is the vertex of the triangular mesh. You can copy it as the color of.
- Modification 3 According to the above-mentioned modification 2, even if a region having greatly different voxel values is extracted with one threshold value, the surface can be displayed as an object represented by a somewhat different color. On the other hand, if the boundaries of the objects in the volume data are not clearly visible between adjacent voxels, the colors of the different objects may be partially similar or the colors of the objects may be single, as shown in FIG. However, there is a possibility that it will be mosaic or striped.
- the color correction method of the object surface of the modification 2 is changed, and the voxel value is changed even if the boundary of the object is volume data that does not clearly appear between adjacent voxels.
- FIG. 21 is a schematic diagram showing a color correction method of the object surface of volume data in which the boundary of the object does not clearly appear between adjacent voxels.
- “(a) linearly interpolated surface color” in FIG. 21 is a state in which the color correction method shown in FIG. 19 is applied to the original volume data (“(d) linear interpolation of surface color”. State) is shown.
- “(a) Linearly interpolated surface color” in FIG. 21 there is a voxel having a value intermediate between the value of the voxel inside the object and the value of the voxel outside the object at the boundary of the object. In such cases, the presence of an object with an intermediate value results in a portion of color similar to the surface of a different object.
- one voxel group of a plurality of voxel groups sandwiching the vertices of the triangular mesh is selected as the selection target according to the coloring standard voxel selection condition, and the value of each voxel of the selected voxel group is the highest.
- the voxel with the largest (or smallest) value shall be selected. That is, in the voxel group in the first row of the example shown in "(a) Linearly interpolated surface color" in FIG. 21, if the voxels (pixels) are arranged such as 100, 1100, 1200, the boundary of the object.
- FIG. 22 is a schematic diagram showing an example of comparison results when one threshold value is set and different objects are displayed at the same time by the color correction method of this modification.
- FIG. 22 shows a comparison between the original method of the present invention (the method of the first embodiment) and the method of the present modification when the object is displayed.
- the color correction method of the modification 3 even if the volume data does not clearly show the boundary of the object between the adjacent voxels, one area where the voxel values are significantly different is one.
- the value of voxels inside the object is reflected more strongly on the surface, so that the surface can be displayed as an object expressed in different colors.
- FIG. 23 is a schematic diagram showing an example of a color correction method for selecting voxels around the vertices of a triangular mesh as selection targets according to the coloring standard voxel selection condition.
- the coloring standard voxel selection condition of the modification 3 after selecting up to two voxels adjacent to one direction, which is the coloring standard voxel selection condition of the modification 3, the direction intersecting one direction from the two voxels ahead (here, described above).
- An example is shown in which the voxels to be selected are further enlarged one by one in a direction orthogonal to one direction.
- the voxels in which the boundaries of the objects are adjacent are particularly adjacent.
- the referenced voxel may have a different value than the voxel inside the object. This causes a striped pattern (or discontinuous color at the corners) to appear on the surface of the object, and leaves room for improvement in displaying the surface of the object smoothly.
- Two voxels adjacent to the right side of the second row and two voxels adjacent to the top and bottom of the rightmost voxel of the second row are selected, and the voxel having the largest value of 1200 is selected.
- the color corresponding to the value of 1200 is copied to the apex of the triangular mesh of interest.
- FIG. 24 is a schematic diagram showing an example of comparison results when one threshold value is set and different objects are displayed at the same time by the color correction method of this modification.
- FIG. 24 shows a comparison between the original method of the present invention (the method of the first embodiment) and the method of the present modification when the object is displayed.
- the color correction method of the modification 4 even if the volume data does not clearly show the boundary of the object between the adjacent voxels, it is more appropriate among the voxels inside the object.
- the voxel value will be reflected on the surface. Therefore, when a region having greatly different voxel values is extracted with one threshold value, it is possible to display an object whose surface is represented by a different color more smoothly.
- the image processing device 1 configured as described above includes a UI control unit 11a and a rendering processing unit 16b.
- the rendering processing unit 16b acquires surface data (surface data) representing the shape of the surface specified based on the magnitude of the value from the volume data composed of a plurality of points having values.
- the UI control unit 11a sets a threshold value of a value for determining whether or not to display as surface data.
- the rendering processing unit 16b identifies an intersection where a straight line passing through a position set as a viewpoint and a point designated by the user intersects the shape of the surface displayed according to the threshold value.
- the rendering processing unit 16b controls the display of the surface shape represented by the surface data with reference to the plane passing through the intersection. As a result, the surface data generated from the volume data can be displayed at high speed in various display forms. Therefore, according to the image processing apparatus 1, a three-dimensional image can be appropriately visualized.
- the rendering processing unit 16b identifies based on the edge information for identifying the edge of the voxel in the volume data, the flag indicating whether or not the edge of the triangular mesh representing the surface data exists at the edge, the edge information, and the flag. Refer to the table data associated with the vertex identification information that identifies the vertices of the triangular mesh to be created, and acquire the surface data from the volume data. As a result, the process of acquiring surface data from the volume data can be performed at higher speed.
- the rendering processing unit 16b displays the surface data existing on one side of the plane passing through the intersection, and does not display the surface data existing on the other side. This makes it possible to easily generate a cross-sectional image.
- the rendering processing unit 16b calculates a physical quantity corresponding to the operation based on the surface data. This makes it possible to measure the physical quantity of the object represented by the surface data by manipulating the displayed surface data.
- the rendering processing unit 16b displays a cross-sectional image passing through the voxel. This makes it possible to easily recognize the voxel to be confirmed when it is desired to confirm a specific part of the object.
- the rendering processing unit 16b switches between a first display form in which the outside of the object represented by the volume data is a viewpoint and a second display form in which the inside of the object is a viewpoint, according to the user's operation. As a result, it is possible to switch between an appropriate viewpoint when observing the object from the outside and when observing the inside of the object, so that the convenience when displaying the object can be enhanced.
- the UI control unit 11a sets a first threshold value and a second threshold value for determining whether or not to display as surface data.
- the rendering processing unit 16b controls the display of surface data based on the value determined by the set first threshold value and the second threshold value. This makes it possible to set various threshold values and display surface data appropriately.
- the rendering processing unit 16b extracts a portion continuous with the specific point based on the surface data when an operation is performed on the specific point.
- an integral part of the object represented by the surface data can be easily extracted, and how the objects are continuous can be displayed in an easy-to-understand manner.
- the rendering processing unit 16b converts the displayed surface data into an illustrated two-dimensional image and displays it according to the user's instruction. As a result, the complexity of the image can be eliminated and an easy-to-understand image schematically shown can be displayed.
- the rendering processing unit 16b is an object represented by the volume data when one threshold value is set, and the surface of different objects displayed according to the threshold value is changed according to the value of the voxel inside each object. Display in different colors. As a result, even if areas with greatly different voxel values are extracted with one threshold value, the surface can be displayed as an object expressed in different colors, and even within the same object, the colors corresponding to the different voxel values can be displayed. You can make a distinction.
- the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like to the extent that the object of the present invention can be achieved are included in the present invention. That is, the present invention can be applied to various electronic devices having an image processing function.
- the series of processes described above can be executed by hardware or software.
- the functional configuration of FIG. 1 is merely an example and is not particularly limited. That is, it suffices if the image processing apparatus 1 is provided with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is not particularly limited.
- one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
- the functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is composed of various processing devices such as a single processor, a multiprocessor, and a multicore processor.
- the present invention includes a combination of these various processing devices and a processing circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
- a program constituting the software is installed in a computer or the like from a network or a recording medium.
- the computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
- the recording medium including such a program is not only composed of removable media distributed separately from the device main body in order to provide the program to the user, but is also provided to the user in a state of being preliminarily incorporated in the device main body. It is composed of recording media and the like.
- the removable media is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like.
- the optical disc is composed of, for example, a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versaille Disc), a Blu-ray (registered trademark) Disc (Blu-ray disc), or the like.
- the magneto-optical disk is composed of MD (Mini-Disc) or the like.
- the recording medium provided to the user in a state of being incorporated in the apparatus main body in advance is composed of, for example, a ROM (Read Only Memory) in which a program is recorded, a semiconductor memory included in the storage unit 20B, or the like.
- ROM Read Only Memory
- 1 image processing device 11 CPU, 11a UI control unit, 11b data management unit, 12 ROM, 13 RAM, 14 input unit, 15 display unit, 16 image processing unit, 16a object data acquisition unit, 16b rendering processing unit, 17 storage Department, 18 Communication Department
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Generation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
特に、CT(Computed Tomography)あるいはMRI(MagneticResonanceImaging)により取得された医用画像は、通常、縦、横及び高さの情報を有するボリュームデータによって構成されており、これらを表示するために、サーフェスレンダリング技術が広く用いられている。
なお、ボリュームデータのレンダリングに関する技術は、例えば、特許文献1に記載されている。
このように、従来の技術においては、3次元画像を適切に可視化することが困難であった。
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
を備えることを特徴とする。
[第1実施形態]
[構成]
図1は、本発明の一実施形態に係る画像処理装置1の構成を示すブロック図である。
画像処理装置1は、例えば、PC(Personal Computer)あるいはタブレット端末等の情報処理装置によって構成される。
図1に示すように、画像処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入力部14と、表示部15と、画像処理部16と、記憶部17と、通信部18とを備えている。
RAM13は、DRAM(Dynamic Random Access Memory)等の半導体メモリによって構成され、CPU11が各種処理を実行する際に生成されるデータを記憶する。
入力部14は、キーボードやマウス、または、タッチセンサ(タッチパネル)等の入力装置によって構成され、ユーザによる画像処理装置1への各種情報の入力を受け付ける。
レンダリング処理部16bは、CPU11の指示に応じて、オブジェクトデータ取得部16aによって読み出されたオブジェクトのデータをUI画面で表示するためにレンダリング処理し、レンダリング処理の結果(即ち、表示のためにラスタライズされたデータ)を表示部15に表示する。本実施形態において、オブジェクトデータ取得部16aが取得するオブジェクトのデータは、ボリュームデータから生成されたサーフェスデータとされており、サーフェスデータにおける三角形メッシュは互いに連結されたデータとなっている。ただし、レンダリング処理部16bは、CPU11からボリュームデータをサーフェスデータにレンダリング(サーフェスレンダリング)する指示が行われた場合、ボリュームデータをサーフェスデータにレンダリングする処理を実行し、三角形メッシュが連結されたサーフェスデータを生成する。例えば、レンダリング処理部16bは、オブジェクトのボリュームデータのみが存在し、サーフェスデータが生成されていない場合や、オブジェクト表示処理において、オブジェクトが仮想的に切断等されることにより、新しい表面が生成した場合等に、ボリュームデータをサーフェスデータにレンダリングする処理を実行する。
図2に示すように、頂点位置特定テーブルの第1行には、ボリュームデータにおけるボクセルのエッジを識別する番号が格納されている。
また、頂点位置特定テーブルの第2行には、第1行の各エッジ上に三角形メッシュの頂点が存在するか否かを示すフラグ(存在する場合は「1」、存在しない場合は「0」)が格納されている。エッジ上に三角形メッシュの頂点が存在するか否かは、エッジの両端に位置するボクセルの値が所定の差分(表面であるか否かを判定するための閾値以上の値)を有するか否かによって判定することができる。
次に、画像処理装置1において表示されるUI画面の具体例について説明する。
UI画面は、画像処理部16によってレンダリングされたオブジェクトのデータを表示すると共に、ユーザからの各種指示(特定の表示形態への移行、オブジェクトの表示における閾値の変更等)を受け付ける機能を有している。
初期UI画面は、オブジェクト表示処理が実行された場合に表示されるホーム画面である。
図3は、初期UI画面の一例を示す模式図である。
図3に示すように、初期UI画面には、表示対象のオブジェクトが表示される画面(3次元画像表示部D1及び断面画像表示部D2)と、オブジェクトにおいて表面として表示する閾値を設定するための閾値設定部D3と、オブジェクトを特定の表示形態で表示する等の機能を呼び出すための指示部D4とが含まれている。なお、図3においては、断面画像表示部D2に表示される断面画像の位置を調整するための「断面位置調整用スライダ」、及び、画像の塗りつぶしの透明度を調整するための「透明度変化用スライダ」が併せて示されている。
3次元画像表示部D1には、閾値設定部D3で設定された閾値に対応する表面が表されたオブジェクトの3次元画像が表示される。なお、ユーザの使用目的等に応じて、3次元画像表示部D1に断面画像を表示する設定としてもよいし、断面画像表示部D2等を非表示として、画面全体を3次元画像表示部D1としてもよい。
オブジェクトを3次元画像として表示する場合、レンダリング処理部16bは、カメラ位置(視点)及びマウスカーソル位置を通る半直線と、サーフェスデータの三角形メッシュとの交点を特定し、この交点を3次元画像の表示あるいは断面画像の表示における基準点とする。例えば、レンダリング処理部16bは、特定された交点を、表示されているオブジェクトを回転させる際の中心点として用いることができる。
なお、閾値設定部D3において閾値が変更され、表示されるオブジェクトの状態が変化される場合、上述の頂点位置特定テーブルを用いて三角形メッシュの頂点を特定することで、高速にオブジェクトの状態を変化させることができる。
このような表示形態とすることにより、ユーザが閾値を変化させて視認したい部分が現れたときに、現在視認しているオブジェクト上の点を中心に回転(あるいはこの点での断面表示等)させることができ、3次元的なオブジェクトを視認するための操作をより利便性が高いものにできる。
閾値設定部D3は、オブジェクトにおいて表面として表示する閾値を設定するユーザインターフェースを構成し、例えば、スライダにより閾値を連続的に設定する形態とすることができる。また、本実施形態において、閾値設定部D3では、オブジェクトを表示するための複数の閾値を設定することが可能となっている。
従来のCT画像等では、閾値を1つ設定し、閾値未満である場合は表示する、閾値以上である場合には表示しないといった表示形態が取られており、図4の「(A)1つの閾値を設定する場合」のように、閾値設定部D3においても、このような表示形態とすることが可能である。
これに対し、図4の「(B)2つの閾値を設定する場合」のように、閾値設定部D3においては、閾値を複数(例えば2つ)設定し、複数の閾値の間の値を有するボクセルのみを表示することができる。
これにより、閾値の有効領域を特定の値に挟まれた範囲に設定することができる。なお、より多くの閾値を設定可能とし、有効領域を2つ以上設定することとしてもよい。
図3に戻り、指示部D4には、画像処理装置1において実行可能なオブジェクトの表示あるいは処理に関する各種メニューを呼び出すためのアイコンが表示されている。
物理量計測画面は、初期UI画面において、指示部D4の「計測」メニューが呼び出された場合に表示される画面である。
物理量計測画面では、表示されているオブジェクトにおける距離や体積等の物理量をUI画面に対する操作によって計測することができる。
物理量計測画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン及び物理量計測画面における物理量の計測結果を保存するためのアイコンが表示されている。
図5に示す物理量計測画面において、3次元画像あるいは断面画像上で点、線分、曲線あるいは範囲を指定することで 、オブジェクトにおける物理量が計測(算出)され、計測結果がオブジェクトの画面上に表示される。図5に示す例では、2点間を結ぶ表面上の距離を計測した結果(3次元画像表示部D1における上側の計測結果)と、2点間を結ぶ断面上の距離を計測した結果(3次元画像表示部D1における下側の計測結果)が示されている。
このとき、例えば、マウスの左クリックでオブジェクトの表面上の点を指定し、右クリックでオブジェクトの断面上の点を指定する等、操作方法によって、計測する対象の属性を変化させることができる。
なお、計測可能な物理量としては、断面上の距離/表面上の距離、表面上の面積あるいは体積(例えば、心臓等の閉曲面で囲まれた領域等)等を選択することができる。
位置表示画面は、初期UI画面において、指示部D4の「位置表示」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
位置表示画面では、指定されたボクセルの位置がオブジェクトのいずれに存在するかを、少なくとも断面画像において表示することができる。
位置表示画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、ボクセルを指定するためのアイコン及び位置表示画面におけるボクセルの表示結果を保存するためのアイコン等が表示されている。
ユーザが3次元画像表示部D1においてオブジェクト表面上の任意の点を指定した場合に、断面画像表示部D2においては、指定したボクセルが現在表示されている断面上には存在していない可能性がある。
そこで、図6に示すように、位置表示画面においては、断面画像表示部D2で表示される断面画像を指定されたボクセルの位置に移動させ、少なくとも断面画像において、指定されたボクセルがいずれにあるかを示すこととしている。
これにより、オブジェクトにおける特定の部位を確認したい場合に、確認対象となるボクセルを容易に認識することができる。
視点切替画面は、初期UI画面において、指示部D4の「視点切替」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
視点切替画面では、3人称視点(外部からの視点)と、1人称視点(主観的な視点/見上げる・見下ろす等)とを切り替えてカメラの視点を決定することができる。
視点切替画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、視点を切り替えるためのアイコン及び視点切替画面における表示内容を保存するためのアイコン等が表示されている。なお、3次元画像表示部D1以外は用途に応じて非表示としてもよい。
オブジェクトの画像を表示する場合、例えば、臓器のオブジェクトを外部から観察する場合は3人称視点、臓器のオブジェクト内部を観察する(内視鏡での観察と同様の表示形態とする)場合には1人称視点にすることで、利便性が高いものとなる。
1人称視点とした場合、仮想的なカメラ(視点)の移動において、進行方向と表面との角度に応じて、仮想的なカメラ(視点)における動作を異なるものとすることができる。
例えば、仮想的なカメラ(視点)の進行方向と三角形メッシュ(三角形ポリゴン)の法線とがほぼ平行である場合、オブジェクトの表面で仮想的なカメラが跳ね返るように表示を制御することができる。また、仮想的なカメラ(視点)の進行方向と三角形メッシュ(三角形ポリゴン)の法線とがほぼ垂直である場合、オブジェクトの表面に沿って進むように表示を制御することができる。
これにより、オブジェクト内部を内視鏡で検査する状況等と同様の表示形態とすることができる。
領域抽出画面は、初期UI画面において、指示部D4の「領域抽出」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
領域抽出画面では、表示されているオブジェクトにおいて、連続している領域を抽出し、識別して表示することができる。
領域抽出画面においては、初期UI画面と同様に、3次元画像表示部D1と、断面画像表示部D2と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、連続領域を抽出するためのアイコン及び領域抽出画面における連続領域の抽出結果を保存するためのアイコン等が表示されている。なお、3次元画像表示部D1以外は用途に応じて非表示としてもよい。
そして、閾値設定部D3を操作することにより、連続領域として抽出しようとするオブジェクトの一部が表示されるよう閾値を調整する(図12参照)。
連続領域として抽出しようとするオブジェクトの一部が表示された状態において、そのオブジェクトの一部上の点を指定すると、図13に示すように、レンダリング処理部16bは、サーフェスデータにおいて、指定された点(三角形メッシュ)と連続している領域を特定し、特定した領域を識別表示(着色する、エッジを強調する、高輝度で表示する等)する。また、特定した領域以外を非表示としたり、特定した領域のみを非表示としたりしてもよい。
これにより、オブジェクトにおいて、一体的な部分を容易に抽出することができ、例えば、臓器がどのように連続しているか等をわかり易く表示することができる。
また、「連続している部分」を抽出する場合の閾値は1つに限らず、複数の閾値それぞれの場合に連続している部分(例えば、第1の閾値で連続している状態となる心臓と、第2の閾値で連続している状態となる肺等)を抽出した上で、当該抽出された連続領域は、その後閾値設定部D3によって閾値が調整されても変化せずに残るようにすることもできる。
イラスト表示画面は、初期UI画面において、指示部D4の「イラスト」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
イラスト表示画面では、3次元画像を2次元アニメーション(イラスト)のように見せる手法(セルルックあるいはトゥーンレンダリング等)で画像の複雑さを解消して表示あるいは印刷することができる。
イラスト表示画面においては、3次元画像表示部D1と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、3次元画像をイラスト化するためのアイコン(またはイラスト化された画像を3次元画像に戻すためのアイコン)及びイラスト表示画面における表示結果(イラスト化された画像)を保存するためのアイコン等が表示されている。なお、イラスト表示画面においても、初期UI画面と同様に、断面画像表示部D2を表示することとしてもよく、断面画像をイラスト化することも可能である。なお、3次元画像表示部D1以外は用途に応じて非表示としてもよい。
特に、医師が患者にCT画像等を示して説明する場合等には、必要な情報以外が多く含まれ、かえって解り難くなることがある。
そこで、イラスト表示画面においては、3次元画像を2次元アニメーション(イラスト)のように見せる手法(セルルックあるいはトゥーンレンダリング等)で画像の複雑さを解消し、模式的に示された画像に変換して表示する。
なお、カルテ等には、3次元画像とイラスト化された画像とを併せて記録することとしてもよい。
オブジェクト変形画面は、初期UI画面において、指示部D4の「変形」メニューが呼び出された場合に表示される画面、または、入力部14において例えばキーボードの特定のキーが押下されているときに表示される画面である。
オブジェクト変形画面では、表示されているオブジェクトを変形したり、切断したりする等、物理的作用を施した結果をシミュレーションして表示することができる。
オブジェクト変形画面においては、3次元画像表示部D1と、閾値設定部D3と、が表示され、さらに、指示部D4には、初期UI画面に戻るためのアイコン、オブジェクトを変形させるためのアイコン、オブジェクトを切断するためのアイコン、オブジェクトにその他の物理的作用を施すためのアイコン、操作を戻すためのアイコン及びオブジェクト変形画面における操作結果の画像を保存するためのアイコン等が表示されている。
画像処理装置1においては、三角形メッシュが連続したサーフェスデータを取り扱うことから、オブジェクトの変形等、物理的作用を施すシミュレーションを行うことが容易である。また、オブジェクトの変形等により、新たな表面が生成される場合等には、頂点位置特定テーブルを用いて三角形メッシュの頂点を特定することで、高速にオブジェクトの表面を表すサーフェスデータを生成することができる。
次に、画像処理装置1の動作を説明する。
[オブジェクト表示処理]
図17は、画像処理装置1で実行されるオブジェクト表示処理の流れを説明するフローチャートである。
オブジェクト表示処理は、入力部14を介して、オブジェクト表示処理の実行が指示入力されることに対応して開始される。
ステップS2において、UI制御部11aは、選択された表示形態でオブジェクトを表示する。例えば、UI制御部11aは、物理量計測画面、位置表示画面あるいは視点切替画面等の各種表示形態に対応するアイコンが選択されることに対応して、それぞれの表示画面に移行する。なお、各表示形態の表示画面に移行した直後は、デフォルトのパラメータ(視点あるいは閾値等)に従って、オブジェクトが表示される。
ステップS4において、レンダリング処理部16bは、ユーザによりパラメータが変更されたか否かの判定を行う。
ユーザによりパラメータが変更された場合、ステップS4においてYESと判定されて、処理はステップS2に移行する。これにより、変更されたパラメータに応じて、オブジェクトの表示が更新される。このとき、オブジェクトの表示を更新するために、頂点位置特定テーブルが用いられることで、高速に表示を更新することができる。
一方、ユーザによりパラメータが変更されていない場合、ステップS4においてNOと判定されて、処理はステップS5に移行する。
表示画面に表示された結果を保存する指示が入力されていない場合、ステップS5においてNOと判定されて、処理はステップS7に移行する。
一方、表示画面に表示された結果を保存する指示が入力された場合、ステップS5においてYESと判定されて、処理はステップS6に移行する。
ステップS7において、UI制御部11aは、ユーザにより、初期UI画面に戻る指示が入力されたか否かの判定を行う。
ユーザにより、初期UI画面に戻る指示が入力された場合、ステップS7においてYESと判定されて、処理はステップS1に移行する。
一方、ユーザにより、初期UI画面に戻る指示が入力されていない場合、ステップS7においてNOと判定されて、処理はステップS8に移行する。
オブジェクト表示処理を終了する指示が入力されていない場合、ステップS8においてNOと判定されて、処理はステップS4に移行する。
一方、オブジェクト表示処理を終了する指示が入力された場合、ステップS8においてYESと判定されて、オブジェクト表示処理は終了する。
したがって、画像処理装置1によれば、3次元画像を適切に可視化することができる。
上述の実施形態において、頂点位置特定テーブルとして、図2に示す形態を例に挙げて説明したが、これに限られない。
即ち、頂点位置特定テーブルは、三角形メッシュの頂点がいずれのエッジに存在するかを容易に特定することができるものであれば、種々の変形を行うことが可能である。例えば、ボリュームデータの頂点から所定方向(上下方向、左右方向、前後方向の各一方)に延びるエッジの数(2次元のボリュームデータの場合は2つ、3次元のボリュームデータの場合は3つ)に応じて、これらのエッジをまとめて取り扱うことで、より高速に三角形メッシュの頂点がいずれのエッジに存在するかを特定することができる。
なお、図18においては、説明を簡単にするため、ボリュームデータの頂点から所定方向に延びるエッジが2つである場合(2次元のボリュームデータ)を例に挙げて説明する。
図18に示すように、本変形例において、頂点位置特定テーブルの第1行には、ボリュームデータにおけるボクセルのエッジを識別する番号が格納されている。
また、頂点位置特定テーブルの第2行には、第1行の各エッジ上に三角形メッシュの頂点が存在するか否かを示す第1のフラグ(存在する場合は「1」、存在しない場合は「0」)が格納されている。エッジ上に三角形メッシュの頂点が存在するか否かは、エッジの両端に位置するボクセルの値が所定の差分(表面であるか否かを判定するための閾値以上の値)を有するか否かによって判定することができる。
具体的には、頂点位置特定テーブルの第3行には、エッジ番号の小さいエッジから2つずつを1組として、これらのエッジの第1のフラグの値を加算した結果が共通の第2のフラグとして設定される。
このような頂点位置特定テーブルから、三角形メッシュの頂点がいずれのエッジに存在するかを特定する場合、第4行に設定されているハッシュ値を参照することで、第m番目(mは0以上の整数)の頂点がいずれのエッジに存在するかを容易に特定することができる。
したがって、頂点位置特定テーブルの第4行に設定されているハッシュ値のうち、不連続な値に該当する三角形メッシュの頂点(例えば、第k番目(kは自然数))を参照する場合、1つ小さい値(第k-1番目)の頂点が属するエッジの組のうち、番号が大きい方のエッジに存在するものと特定できる。
このような頂点位置特定テーブルを用いることで、ボリュームデータにおけるエッジの数が増大した場合であっても、より少ないデータを保持しておくことで、三角形メッシュが存在するエッジを特定することが可能となる。
上述の実施形態において、オブジェクトのデータ(サーフェスデータ)を表示する場合、閾値設定部D3で設定された閾値に基づいて、サーフェスデータを構成する三角形メッシュの頂点の位置を特定し、三角形メッシュの集合で表される表面全体に特定の色(例えば、白または黒)を付してオブジェクトが表示される。
このとき、1つの閾値を設定することで、骨と血管等、ボクセルの値が大きく異なるオブジェクトを同時に表示できれば、比較的単純な処理で表面を表示することができることから、利便性が高いものとなる。
この結果、視点や断面の位置等の条件によっては、異なるオブジェクトの表面を区別し難くなる可能性がある。
これにより、オブジェクトの属性(内部のボクセルの値)を反映させて表面の色を補正することができるため、ボクセルの値が大きく異なるオブジェクトを1つの閾値で抽出した場合に、異なるオブジェクトの表面を区別し易い形態で表示することができる。また、同一オブジェクト内においても、異なるボクセルの値に応じた色の区別を行うことができる。
なお、図19においては、説明の便宜のため、表面が線分で表される2次元のボリュームデータを例として示しているが、3次元のボリュームデータの場合、表面は三角形メッシュで表され、三角形メッシュの各頂点について、同様に補正を行うことができる。また、図19に示す例では、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点を挟むボクセルの一方(ここでは、オブジェクトの内側のボクセル)を選択する場合を示している。
図19に示す例では、「骨」の領域に属するボクセルは、約1200程度の値を中心に分布し、「血管」の領域に属するボクセルは、約400程度の値を中心に分布している。
このとき、閾値を1000に設定すると、骨の領域が高精度に抽出され、血管の領域は抽出されないこととなる。
しかしながら、閾値を1000に設定した場合に比べて、骨の領域がやや膨らんだとしても、頂点が三角形メッシュの同じ辺の上を移動する程度の差の範囲であれば、1つの閾値を設定して、骨及び血管の領域の表面を同時に表示できることが望ましい。
即ち、図19の「(a)オリジナルデータ」において、閾値を300に設定した場合、ボクセル(ピクセル)の値が300以上の領域がオブジェクトの内側と定義される。
そして、図19の「(b)選択されたボクセルへの色の割り当て」に示すように、三角形メッシュの頂点を挟むボクセルのうち、オブジェクトの内側のボクセル(即ち、設定された閾値よりも大きい値を有する方のボクセル)に、オブジェクトの値に応じた色を割り当てる。
この後、図19の「(d)表面の色の線形補間」に示すように、三角形メッシュの頂点の色を基準に、頂点の間(表面)の色を線形補間することで、オブジェクトの表面に色が付される。
図20に示すように、変形例2の色補正方法によれば、ボクセルの値が大きく異なる領域を1つの閾値で抽出したとしても、オブジェクト内部のボクセルの値が表面に反映されることから、表面がある程度異なる色で表現されたオブジェクトとして表示することができる。
なお、設定された閾値よりもボクセルの値が小さい領域がオブジェクトの内側と定義される場合には、閾値よりも小さい値を有する方のボクセルに色を割り当て、このボクセルの色を三角形メッシュの頂点の色としてコピーすればよい。
上述の変形例2によれば、ボクセルの値が大きく異なる領域を1つの閾値で抽出したとしても、表面がある程度異なる色で表現されたオブジェクトとして表示することが可能となる。
一方、ボリュームデータにおけるオブジェクトの境界が、隣接するボクセルの間に明確に表れていない場合、図20に示すように、異なるオブジェクトの色が部分的に類似したり、オブジェクトの色が単一にならず、モザイク状や縞模様になったりする可能性が生じる。
図21の「(a)線形補間された表面の色」に示すように、オブジェクトの境界において、オブジェクトの内側のボクセルの値とオブジェクトの外側のボクセルの値との中間の値を有するボクセルが存在する場合等には、この中間の値を有するオブジェクトの存在により、異なるオブジェクトの表面に類似する色の部分が生じる。
即ち、図21の「(a)線形補間された表面の色」に示す例の第1行のボクセル群において、100,1100,1200のようなボクセル(ピクセル)の配置であれば、オブジェクトの境界が隣接するボクセルの間に明確に表れているといえるが、実際には100,350,1100のようになっており、オブジェクトの内側のボクセルの値1100とオブジェクトの外側のボクセルの値100との中間の値350を有するボクセルが存在している。
このようなボクセルの存在により、図21の「(a)線形補間された表面の色」に示す骨及び血管の領域の表面では、類似する色の部分が生じている。
そして、三角形メッシュの頂点に隣接する350の値を有するボクセル及び1100の値を有するボクセルのうち、大きい方の値を有するボクセルを選択し、1100の値に対応する色が三角形メッシュの頂点にコピーされる。
このような処理を各三角形メッシュの頂点に対して、行方向または列方向に実行し、オブジェクトの属性(内部のボクセルの値)を確実に反映させて、表面の色を補正する。
図22に示すように、変形例3の色補正方法によれば、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータであっても、ボクセルの値が大きく異なる領域を1つの閾値で抽出した場合に、オブジェクト内部のボクセルの値がより強く表面に反映されることから、表面が異なる色で表現されたオブジェクトとして表示することが可能となる。
変形例3の図21に示す例では、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点から一方向に隣接する2つ目までのボクセルを着色基準ボクセル選択条件による選択対象とする例について説明したが、より多くの隣接するボクセルを選択対象とすることとしてもよい。また、一方向に隣接するボクセルを選択対象とすることの他、三角形メッシュの頂点の周辺のボクセルを選択対象とすることも可能である。
図23においては、変形例3の着色基準ボクセル選択条件である一方向に隣接する2つ先のボクセルまでを選択した上で、2つ先のボクセルから一方向と交差する方向(ここでは前述の一方向と直交する方向とする。)に1つずつ、さらに選択対象のボクセルを拡大した例を示している。
即ち、図23の「(b)変形例4のオブジェクト表面の色補正方法の途中経過」に示す例の第2行の三角形メッシュの頂点に着目すると、この頂点については、左側の図に示すように、第2行の右側に隣接する2つのボクセル及び第2行の右端のボクセルの上下に隣接する2つのボクセルが選択対象となり、これらの中で最も大きい値である1200を有するボクセルが選択され、1200の値に対応する色が着目する三角形メッシュの頂点にコピーされる。
この様な処理が繰り返される結果、図23の「(c)変形例4のオブジェクト表面の色補正方法の一部」に示す例のように、1200の値を有するボクセルの周辺に位置するオブジェクト表面においては、全ての三角形メッシュの頂点に1200の値に対応する色がコピーされることとなる。
即ち、変形例4の色補正方法によれば、オブジェクト表面において特異な色が現れることを防止し、オブジェクトの表面をさらに滑らかに表示することが可能となる。
図24に示すように、変形例4の色補正方法によれば、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータであっても、オブジェクト内部のボクセルのうち、より適切なボクセルの値が表面に反映されることとなる。そのため、ボクセルの値が大きく異なる領域を1つの閾値で抽出した場合に、表面が異なる色で表現されたオブジェクトをより滑らかに表示することが可能となる。
レンダリング処理部16bは、値を有する複数の点によって構成されるボリュームデータから、値の大きさに基づいて特定される表面の形状を表す表面データ(サーフェスデータ)を取得する。
UI制御部11aは、表面データとして表示するか否かを決定するための値の閾値を設定する。
レンダリング処理部16bは、視点として設定された位置とユーザによって指定された点とを通る直線が、閾値に応じて表示される表面の形状と交差する交点を特定する。
レンダリング処理部16bは、交点を通る平面を基準として、表面データが表す表面の形状の表示を制御する。
これにより、ボリュームデータから生成されたサーフェスデータを種々の表示形態で、高速に表示することができる。
したがって、画像処理装置1によれば、3次元画像を適切に可視化することができる。
これにより、ボリュームデータから表面データを取得する処理をより高速に行うことができる。
これにより、断面画像を容易に生成することができる。
これにより、表示されている表面データに対する操作によって、表面データが表すオブジェクトの物理量を計測することが可能となる。
これにより、オブジェクトにおける特定の部位を確認したい場合に、確認対象となるボクセルを容易に認識することができる。
これにより、オブジェクトを外部から観察する場合と、オブジェクト内部を観察する場合とで適切な視点に切り替えることができるため、オブジェクトを表示する際の利便性を高めることができる。
レンダリング処理部16bは、設定された第1の閾値と第2の閾値とによって決定される値に基づいて、表面データの表示を制御する。
これにより、多様な閾値を設定して、適切に表面データを表示することが可能となる。
これにより、表面データが表すオブジェクトにおける一体的な部分を容易に抽出することができ、オブジェクトがどのように連続しているか等をわかり易く表示することができる。
これにより、画像の複雑さを解消し、模式的に示されたわかり易い画像を表示することができる。
これにより、ボクセルの値が大きく異なる領域を1つの閾値で抽出したとしても、表面が異なる色で表現されたオブジェクトとして表示することができる他、同一オブジェクト内でも異なるボクセルの値に応じた色の区別を行うことができる。
即ち、本発明は、画像処理機能を備える各種電子機器に対して適用することができる。
換言すると、図1の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
Claims (12)
- 値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
を備えることを特徴とする画像処理装置。 - 前記表面データ取得手段は、前記ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、前記エッジに前記表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、前記エッジ情報と、前記フラグとに基づいて特定される前記三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、前記ボリュームデータから前記表面データを取得することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、前記交点を通る平面に対し、一方の側に存在する前記表面データを表示し、他方の側に存在する前記表面データを表示しないことを特徴とする請求項1または2に記載の画像処理装置。
- 前記表示制御手段によって表示されている前記表面データにおいて、特定の操作が行われた場合に、前記表面データに基づいて、当該操作に対応する物理量を算出する物理量算出手段を備えることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記表面データにおけるボクセルが指定された場合に、当該ボクセルを通る断面画像を表示することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、ユーザの操作に応じて、前記ボリュームデータが表すオブジェクトの外部を視点とする第1の表示形態と、前記オブジェクトの内部を視点とする第2の表示形態とを切り替えることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記閾値設定手段は、前記表面データとして表示するか否かを決定するための第1の閾値と第2の閾値とを設定し、
前記表示制御手段は、設定された前記第1の閾値と前記第2の閾値とによって決定される前記値に基づいて、前記表面データの表示を制御することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 - 前記表示制御手段によって表示されている前記表面データにおいて、特定の点に対する操作が行われた場合に、前記表面データに基づいて、当該特定の点と連続する部分を抽出する抽出手段を備えることを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、ユーザの指示に応じて、表示されている前記表面データをイラスト化した2次元画像に変換して表示することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、1つの前記閾値が設定された場合に、前記ボリュームデータが表すオブジェクトであって、当該閾値に応じて表示される異なる前記オブジェクトの前記表面を、当該オブジェクトそれぞれの内部のボクセルの値に応じた色で表示することを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
- 値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得ステップと、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定ステップと、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定ステップと、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータに、
値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得機能と、
前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定機能と、
視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定機能と、
前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御機能と、
を実現させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21834498.4A EP4177844A4 (en) | 2020-07-03 | 2021-07-05 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
CA3184690A CA3184690A1 (en) | 2020-07-03 | 2021-07-05 | Image processing device, image processing method, and program |
JP2022534137A JP7279275B2 (ja) | 2020-07-03 | 2021-07-05 | 画像処理装置、画像処理方法及びプログラム |
US18/014,122 US20230260198A1 (en) | 2020-07-03 | 2021-07-05 | Image processing device, image processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020116005 | 2020-07-03 | ||
JP2020-116005 | 2020-07-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022004898A1 true WO2022004898A1 (ja) | 2022-01-06 |
Family
ID=79316394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/025373 WO2022004898A1 (ja) | 2020-07-03 | 2021-07-05 | 画像処理装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230260198A1 (ja) |
EP (1) | EP4177844A4 (ja) |
JP (1) | JP7279275B2 (ja) |
CA (1) | CA3184690A1 (ja) |
WO (1) | WO2022004898A1 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004230166A (ja) * | 2003-01-30 | 2004-08-19 | Ge Medical Systems Global Technology Co Llc | 被検体の再配向を用いてイメージングする方法及び装置 |
JP2008018016A (ja) * | 2006-07-12 | 2008-01-31 | Toshiba Corp | 医用画像処理装置及び医用画像処理方法 |
JP2009136665A (ja) * | 2007-11-16 | 2009-06-25 | Morita Mfg Co Ltd | X線画像表示方法、x線撮影装置、及びx線画像表示装置 |
JP2011010715A (ja) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | 超音波診断装置及び画像データ表示用制御プログラム |
JP2012239820A (ja) * | 2011-05-24 | 2012-12-10 | Toshiba Corp | 超音波診断装置及び画像処理装置 |
JP2013013650A (ja) * | 2011-07-06 | 2013-01-24 | Hitachi Aloka Medical Ltd | 超音波画像処理装置 |
JP2013236750A (ja) * | 2012-05-15 | 2013-11-28 | Denso Corp | 画像処理装置、撮像システム、およびプログラム |
JP2016202904A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 診断支援装置、診断支援システム、情報処理方法、及びプログラム |
WO2018159709A1 (ja) * | 2017-02-28 | 2018-09-07 | 富士フイルム株式会社 | 3次元画像処理装置および方法並びにプログラム |
JP2020014551A (ja) | 2018-07-23 | 2020-01-30 | ザイオソフト株式会社 | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004105256A (ja) * | 2002-09-13 | 2004-04-08 | Fuji Photo Film Co Ltd | 画像表示装置 |
WO2020097425A2 (en) * | 2018-11-09 | 2020-05-14 | Vida Diagnostics, Inc. | Cut-surface display of tubular structures |
-
2021
- 2021-07-05 WO PCT/JP2021/025373 patent/WO2022004898A1/ja active Search and Examination
- 2021-07-05 EP EP21834498.4A patent/EP4177844A4/en active Pending
- 2021-07-05 JP JP2022534137A patent/JP7279275B2/ja active Active
- 2021-07-05 CA CA3184690A patent/CA3184690A1/en active Pending
- 2021-07-05 US US18/014,122 patent/US20230260198A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004230166A (ja) * | 2003-01-30 | 2004-08-19 | Ge Medical Systems Global Technology Co Llc | 被検体の再配向を用いてイメージングする方法及び装置 |
JP2008018016A (ja) * | 2006-07-12 | 2008-01-31 | Toshiba Corp | 医用画像処理装置及び医用画像処理方法 |
JP2009136665A (ja) * | 2007-11-16 | 2009-06-25 | Morita Mfg Co Ltd | X線画像表示方法、x線撮影装置、及びx線画像表示装置 |
JP2011010715A (ja) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | 超音波診断装置及び画像データ表示用制御プログラム |
JP2012239820A (ja) * | 2011-05-24 | 2012-12-10 | Toshiba Corp | 超音波診断装置及び画像処理装置 |
JP2013013650A (ja) * | 2011-07-06 | 2013-01-24 | Hitachi Aloka Medical Ltd | 超音波画像処理装置 |
JP2013236750A (ja) * | 2012-05-15 | 2013-11-28 | Denso Corp | 画像処理装置、撮像システム、およびプログラム |
JP2016202904A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 診断支援装置、診断支援システム、情報処理方法、及びプログラム |
WO2018159709A1 (ja) * | 2017-02-28 | 2018-09-07 | 富士フイルム株式会社 | 3次元画像処理装置および方法並びにプログラム |
JP2020014551A (ja) | 2018-07-23 | 2020-01-30 | ザイオソフト株式会社 | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム |
Non-Patent Citations (3)
Title |
---|
HATAGUCHI RYO: "Improvement of representation for three-dimensional reconstruction and visualization of serial histological specimens", IEICE TECHNICAL REPORT, vol. 114, no. 482 (MI2014 53-118), 3 March 2015 (2015-03-03), JP, pages 125 - 128, XP009534018 * |
KAZUTAKA NAKAJIMA, HIROMI KOYAMA, TAKEO IGARASHI, TAKASHI IJIRI, SHIN INADA, KAZUO NAKAZAWA : "Interactive Deformation of Structurally Complex Heart Models Constructed from Medical Images", PREPRINTS OF VISUAL COMPUTING/GRAPHICS AND CAD JOINT SYMPOSIUM 2016; JUNE 18, 2016-JUNE 19, 2016,, 18 June 2016 (2016-06-18) - 19 June 2016 (2016-06-19), JP, pages 217 - 220, XP009534277 * |
See also references of EP4177844A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4177844A4 (en) | 2024-04-17 |
JPWO2022004898A1 (ja) | 2022-01-06 |
US20230260198A1 (en) | 2023-08-17 |
CA3184690A1 (en) | 2022-01-06 |
EP4177844A1 (en) | 2023-05-10 |
JP7279275B2 (ja) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8107701B2 (en) | Medical image display system and medical image display program | |
JP5866177B2 (ja) | 画像処理装置および画像処理方法 | |
US20050237336A1 (en) | Method and system for multi-object volumetric data visualization | |
KR20020041290A (ko) | 3차원 슬랩 렌더링 시스템 및 그 방법 | |
JP2009034521A (ja) | 医学的な画像診断におけるデータを体積レンダリングするシステムと方法ならびにコンピュータ読み出し可能記憶媒体 | |
US9053574B2 (en) | Calibrated natural size views for visualizations of volumetric data sets | |
JP2007222629A (ja) | 仮想切開を用いたインコンテキストボリューム視覚化のためのシステムおよび方法 | |
JP6261301B2 (ja) | 医用画像表示装置およびその制御方法 | |
CN111430012B (zh) | 使用实时边缘感知刷来半自动地分割3d医学图像的***和方法 | |
JP2013192940A (ja) | 医用画像処理装置及び医用画像処理方法 | |
JP2006326312A (ja) | 多分岐された血管および該血管の周囲環境を単一のイメージに同時に投影する方法 | |
Huang et al. | 3D reconstruction and visualization from 2D CT images | |
JP2017537363A (ja) | 生体構造のボリュメトリック画像を視覚化すること | |
US9092902B2 (en) | Visualization of a rendered multi-dimensional dataset | |
US20230390032A1 (en) | Method for determining object area from three-dimensional model, and three-dimensional model processing device | |
EP3828836B1 (en) | Method and data processing system for providing a two-dimensional unfolded image of at least one tubular structure | |
WO2022004898A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012085833A (ja) | 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム | |
JP2010131315A (ja) | 医用画像処理装置及び医用画像処理プログラム | |
JP2001101451A (ja) | 三次元画像高速表示装置および該高速表示装置を用いて三次元空間内の座標を三次元画像上で対話的に指定する方法 | |
US20150320507A1 (en) | Path creation using medical imaging for planning device insertion | |
US20080144901A1 (en) | Cartoon-like exaggeration of medical images to emphasize abnormalities | |
JP4536176B2 (ja) | カラー画像表示装置およびその方法 | |
JP2006055402A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2020000863A (ja) | 医用画像処理システム、医用画像処理方法および医用画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21834498 Country of ref document: EP Kind code of ref document: A1 |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
ENP | Entry into the national phase |
Ref document number: 2022534137 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 3184690 Country of ref document: CA |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021834498 Country of ref document: EP Effective date: 20230203 |