WO2022004898A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2022004898A1
WO2022004898A1 PCT/JP2021/025373 JP2021025373W WO2022004898A1 WO 2022004898 A1 WO2022004898 A1 WO 2022004898A1 JP 2021025373 W JP2021025373 W JP 2021025373W WO 2022004898 A1 WO2022004898 A1 WO 2022004898A1
Authority
WO
WIPO (PCT)
Prior art keywords
threshold value
display
surface data
displayed
image processing
Prior art date
Application number
PCT/JP2021/025373
Other languages
English (en)
French (fr)
Inventor
拡史 瀬尾
Original Assignee
拡史 瀬尾
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 拡史 瀬尾 filed Critical 拡史 瀬尾
Priority to EP21834498.4A priority Critical patent/EP4177844A4/en
Priority to CA3184690A priority patent/CA3184690A1/en
Priority to JP2022534137A priority patent/JP7279275B2/ja
Priority to US18/014,122 priority patent/US20230260198A1/en
Publication of WO2022004898A1 publication Critical patent/WO2022004898A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Definitions

  • the present invention relates to an image processing apparatus, an image processing method and a program.
  • the conventional technique when visualizing a surface-rendered object, it is not always easy to display it in various display forms according to a user's request.
  • the formed triangular meshes are independent depending on the rendering method used.
  • the triangular mesh is independent, it is difficult to deform the surface-rendered object because the triangular mesh of interest and the adjacent triangular mesh cannot be moved in conjunction with each other.
  • the object of the present invention is to realize a technique for more appropriately visualizing a three-dimensional image.
  • the image processing apparatus is A surface data acquisition means for acquiring surface data representing a surface shape specified based on the magnitude of the value from volume data composed of a plurality of points having a value.
  • a threshold value setting means for setting a threshold value of the value for determining whether or not to display as the surface data, and a threshold value setting means.
  • An intersection specifying means for specifying an intersection where a straight line passing through a position set as a viewpoint and a point specified by the user intersects the shape of the surface displayed according to the threshold value.
  • a display control means for controlling the display of the surface shape represented by the surface data with the plane passing through the intersection as a reference, and a display control means. It is characterized by having.
  • FIG. 1 is a block diagram showing a configuration of an image processing device 1 according to an embodiment of the present invention.
  • the image processing device 1 is composed of, for example, an information processing device such as a PC (Personal Computer) or a tablet terminal.
  • the image processing device 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, an input unit 14, and a display unit 15. It includes an image processing unit 16, a storage unit 17, and a communication unit 18.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 controls the entire image processing device 1 by executing various programs stored in the storage unit 17. For example, the CPU 11 executes a program for visualizing surface data generated from volume data (such as tomographic image data captured by CT or MRI) (hereinafter referred to as “object display process”). .. When executing the object display process, the CPU 11 assigns a task to the image processing unit 16 so as to be an efficient process as a whole, as will be described later. For example, the CPU 11 can flexibly execute various processes, while the image processing unit 16 can repeatedly perform similar operations at high speed. Therefore, the CPU 11 can perform the same operations at high speed. Executes the entire processing in cooperation with the image processing unit 16.
  • a program for visualizing surface data generated from volume data such as tomographic image data captured by CT or MRI
  • the CPU 11 By executing the program for the object display process, the CPU 11 is formed with a user interface control unit (UI control unit) 11a and a data management unit 11b as functional configurations.
  • UI control unit user interface control unit
  • data management unit 11b data management unit
  • the UI control unit 11a controls the display of various input / output screens (hereinafter referred to as "UI screens") when the image processing device 1 executes various processes such as object display processing. For example, the UI control unit 11a displays the surface data generated from the volume data on the UI screen in various display forms. In the present embodiment, the UI control unit 11a displays an initial UI screen for displaying surface data, and by displaying a plurality of menus on the initial UI screen, the transition to a screen for displaying surface data in a specific display form is made. Accept. An example of the UI screen displayed by the image processing device 1 will be described later.
  • the data management unit 11b stores the image data of the object displayed on the UI screen in the storage unit 17 in response to the user's instruction, or the object data (such as the server of the hospital system) from another device (such as a server of the hospital system). Volume data or surface data) is acquired.
  • the RAM 13 is composed of a semiconductor memory such as a DRAM (Dynamic Random Access Memory), and stores data generated when the CPU 11 executes various processes.
  • the input unit 14 is composed of an input device such as a keyboard, a mouse, or a touch sensor (touch panel), and receives input of various information to the image processing device 1 by a user.
  • the display unit 15 is composed of a display device such as an LCD (Liquid Crystal Display) and displays various processing results of the image processing device 1.
  • a display device such as an LCD (Liquid Crystal Display) and displays various processing results of the image processing device 1.
  • the image processing unit 16 is configured by hardware (graphic accelerator or the like) equipped with a GPU (Graphics Processing Unit), and executes processing related to image display in the image processing device 1.
  • the image processing unit 16 is provided with a local memory (not shown) for executing image processing. In the present embodiment, when the CPU 11 executes the object display process, the image processing unit 16 executes a specific process according to the instruction of the CPU 11.
  • the image processing unit 16 is formed with an object data acquisition unit 16a and a rendering processing unit 16b as functional configurations.
  • the object data acquisition unit 16a reads out the object data stored in the storage unit 17 in response to the instruction from the CPU 11.
  • the rendering processing unit 16b performs rendering processing to display the object data read by the object data acquisition unit 16a on the UI screen in response to the instruction of the CPU 11, and rasterizes the result of the rendering processing (that is, for display).
  • the data) is displayed on the display unit 15.
  • the object data acquired by the object data acquisition unit 16a is the surface data generated from the volume data, and the triangular mesh in the surface data is the data connected to each other.
  • the rendering processing unit 16b executes a process of rendering the volume data to the surface data, and the surface data to which the triangular mesh is connected is executed. To generate. For example, in the rendering processing unit 16b, when only the volume data of the object exists and the surface data is not generated, or when the object is virtually cut in the object display processing and a new surface is generated. Etc., the process of rendering the volume data to the surface data is executed.
  • the rendering processing unit 16b when the rendering processing unit 16b renders the volume data on the surface data, the relationship between the voxels in the volume data and the vertices of the triangular mesh in the surface data is converted into table format data (hereinafter, "vertex position specifying table"). The process is performed while specifying at high speed using (referred to as).
  • FIG. 2 is a schematic diagram showing an example of a vertex position specifying table.
  • the number for identifying the voxel edge in the volume data is stored in the first row of the vertex position specifying table.
  • a flag indicating whether or not the vertices of the triangular mesh exist on each edge of the first row (“1" if present, "0" if not present). ) Is stored.
  • Whether or not the vertices of the triangular mesh are present on the edge is whether or not the values of the voxels located at both ends of the edge have a predetermined difference (a value equal to or greater than the threshold value for determining whether or not the surface is a surface). Can be determined by.
  • the hash value in the third row is calculated by adding the hash value of the n-1st edge and the flag of the n-1st edge in the case of the nth (n is a natural number) edge.
  • the hash value of the 0th edge is set to 0 here, but it may be set arbitrarily. As described above, since the hash value of the vertex position specifying table can be calculated by continuous addition processing, it can be processed at high speed by being executed by the image processing unit 16.
  • vertex position specification table By referring to the third row of the vertex position specification table, it is possible to easily specify which edge the m-th (m is an integer of 0 or more) vertex (vertex of the triangular mesh) exists. , The process of generating surface data from volume data can be performed at higher speed.
  • the storage unit 17 is composed of a non-volatile storage device such as a hard disk or a flash memory, and stores a program or the like for object display processing. Further, the storage unit 17 stores object data (volume data or surface data) and various processing results of the image processing device 1 (image data of a specific display form generated by the image processing unit 16 and the like).
  • the communication unit 18 is provided with a communication interface that performs signal processing based on a predetermined communication standard such as a wired or wireless LAN (Local Area Network) or USB (Universal Serial Bus), and the image processing device 1 is connected to another device. Controls the communication performed by.
  • a predetermined communication standard such as a wired or wireless LAN (Local Area Network) or USB (Universal Serial Bus)
  • the UI screen has a function of displaying the data of the object rendered by the image processing unit 16 and receiving various instructions from the user (shift to a specific display form, changing the threshold value in displaying the object, etc.). There is.
  • the initial UI screen is the home screen that is displayed when the object display process is executed.
  • FIG. 3 is a schematic diagram showing an example of the initial UI screen. As shown in FIG. 3, on the initial UI screen, a screen (3D image display unit D1 and cross-sectional image display unit D2) on which the object to be displayed is displayed and a threshold value for displaying the object as a surface are set. A threshold setting unit D3 and an instruction unit D4 for calling a function such as displaying an object in a specific display form are included.
  • a threshold setting unit D3 and an instruction unit D4 for calling a function such as displaying an object in a specific display form are included.
  • the three-dimensional image display unit D1 displays a three-dimensional image of an object whose surface corresponds to the threshold value set by the threshold value setting unit D3.
  • the cross-sectional image may be displayed on the 3D image display unit D1, the cross-sectional image display unit D2 or the like may be hidden, and the entire screen may be used as the 3D image display unit D1. May be good.
  • a cross-sectional image of an object cut at a cross-section corresponding to a point specified on the three-dimensional image display unit D1 can also be displayed. ..
  • the surface corresponding to the threshold value set by the threshold value setting unit D3 is represented.
  • the rendering processing unit 16b identifies the intersection of the half line passing through the camera position (viewpoint) and the mouse cursor position with the triangular mesh of the surface data, and this intersection is the intersection of the 3D image. It is used as a reference point in the display or the display of the cross-sectional image.
  • the rendering processing unit 16b can use the specified intersection as a center point when rotating the displayed object.
  • the state of the displayed object (specifically, the display of the surface of the object) changes, but in this case, the part (body) that is not displayed. The surface, etc.) is treated as nonexistent, and the intersection with the currently displayed object is calculated as the "intersection".
  • the threshold value is changed in the threshold value setting unit D3 and the state of the displayed object is changed, the state of the object is changed at high speed by specifying the vertices of the triangular mesh using the above-mentioned vertex position specifying table. Can be made to.
  • the rendering processing unit 16b displays only the surface data (triangular mesh) on one side of the cross section (for example, above the cross section). It can be displayed and the surface data on the opposite side of the cross section (eg, below the cross section) can be hidden.
  • the threshold value setting unit D3 constitutes a user interface for setting a threshold value to be displayed as a surface in an object, and can be in a form of continuously setting the threshold value by, for example, a slider. Further, in the present embodiment, the threshold value setting unit D3 can set a plurality of threshold values for displaying the object.
  • FIG. 4 is a schematic diagram showing a specific form of the threshold value setting unit D3.
  • one threshold value is set, and if it is less than the threshold value, it is displayed, and if it is more than the threshold value, it is not displayed.
  • the threshold value setting unit D3 can also have such a display form.
  • the threshold value setting unit D3 sets a plurality of (for example, two) threshold values and has a value between the plurality of threshold values. Only voxels can be displayed. As a result, the effective area of the threshold value can be set in the range sandwiched between specific values. It should be noted that more threshold values can be set, and two or more effective areas may be set.
  • the instruction unit D4 displays icons for calling various menus related to the display or processing of objects that can be executed by the image processing device 1.
  • the physical quantity measurement screen is a screen displayed when the "measurement" menu of the instruction unit D4 is called on the initial UI screen. On the physical quantity measurement screen, physical quantities such as distance and volume in the displayed object can be measured by operating the UI screen.
  • FIG. 5 is a schematic diagram showing an example of a physical quantity measurement screen.
  • the three-dimensional image display unit D1, the cross-sectional image display unit D2, and the threshold value setting unit D3 are displayed as in the initial UI screen, and the instruction unit D4 displays the initial UI screen.
  • An icon for returning and an icon for saving the physical quantity measurement result on the physical quantity measurement screen are displayed.
  • the physical quantity measurement screen shown in FIG. 5 the physical quantity in the object is measured (calculated) by designating a point, line segment, curve or range on the 3D image or the cross-sectional image, and the measurement result is displayed on the screen of the object. Will be done.
  • FIG. 5 is a schematic diagram showing an example of a physical quantity measurement screen.
  • the result of measuring the distance on the surface connecting the two points (the measurement result of the upper side in the three-dimensional image display unit D1) and the result of measuring the distance on the cross section connecting the two points (3).
  • the lower measurement result in the three-dimensional image display unit D1) is shown.
  • the attribute of the object to be measured can be changed by an operation method, for example, by left-clicking the mouse to specify a point on the surface of the object and right-clicking to specify a point on the cross section of the object.
  • a distance on a cross section / a distance on a surface, an area or a volume on the surface (for example, a region surrounded by a closed curved surface such as a heart) or the like can be selected.
  • the position display screen is displayed on the initial UI screen when the "position display" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed on the input unit 14, for example. It is a screen to be displayed. On the position display screen, it is possible to display at least in the cross-sectional image which of the objects the position of the specified voxel exists in.
  • FIG. 6 is a schematic diagram showing an example of a position display screen.
  • the three-dimensional image display unit D1, the cross-sectional image display unit D2, and the threshold setting unit D3 are displayed as in the initial UI screen, and the instruction unit D4 displays the initial UI screen.
  • An icon for returning, an icon for designating a voxel, an icon for saving the display result of the voxel on the position display screen, and the like are displayed.
  • the user specifies an arbitrary point on the object surface in the 3D image display unit D1
  • the cross-sectional image displayed by the cross-sectional image display unit D2 is moved to the position of the designated voxel, and at least in the cross-sectional image, the designated voxel is located. It is supposed to show.
  • the cross-sectional image display unit D2 when an arbitrary point on the cross-sectional image is specified in the cross-sectional image display unit D2, there is a possibility that the specified voxel cannot be displayed in the cross-sectional image other than the specified cross-sectional image or in the three-dimensional image display unit D1. .. Therefore, in the cross-sectional image display unit D2, the cross-sectional image is moved to the position of the designated voxel. In the 3D image display unit D1, when a voxel on the inside of the object or on the back side of the object is specified in the display on the 3D image display unit D1, the 3D image represented by the surface data may be displayed. , The specified voxel may not appear.
  • the 3D image display unit D1 may move the cross section on the 3D image display unit D1 to a position that passes through the specified voxel. It is possible to always check the position. This makes it possible to easily recognize the voxel to be confirmed when it is desired to confirm a specific part of the object.
  • the viewpoint switching screen is displayed on the initial UI screen when the "viewpoint switching" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed on the input unit 14, for example. It is a screen to be displayed.
  • the viewpoint of the camera can be determined by switching between the third person viewpoint (view from the outside) and the first person viewpoint (subjective viewpoint / looking up, looking down, etc.).
  • FIG. 7 is a schematic diagram showing an example of a viewpoint switching screen (in the case of a third person viewpoint).
  • FIG. 8 is a schematic diagram showing an example of a viewpoint switching screen (in the case of a first person viewpoint).
  • the viewpoint switching screen On the viewpoint switching screen, the three-dimensional image display unit D1, the cross-sectional image display unit D2, and the threshold setting unit D3 are displayed as in the initial UI screen, and the instruction unit D4 displays the initial UI screen.
  • An icon for returning, an icon for switching the viewpoint, an icon for saving the display contents on the viewpoint switching screen, and the like are displayed. It should be noted that the parts other than the three-dimensional image display unit D1 may be hidden depending on the intended use.
  • the third person viewpoint is used, and when observing the inside of the object of an organ (the display form is the same as that observed with an endoscope), 1 By making it a person's point of view, it becomes highly convenient.
  • the part of the organ that was not continuous can be displayed while being continuous.
  • FIG. 9 is a schematic diagram showing an example of a display form from a first-person viewpoint.
  • the operation in the virtual camera (viewpoint) can be different depending on the angle between the traveling direction and the surface.
  • the display can be controlled so that the virtual camera bounces on the surface of the object.
  • the traveling direction of the virtual camera (viewpoint) and the normal of the triangular mesh (triangular polygon) are almost perpendicular to each other, the display can be controlled so as to proceed along the surface of the object.
  • the area extraction screen is displayed on the initial UI screen when the "area extraction" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed in the input unit 14, for example. It is a screen to be displayed. On the area extraction screen, continuous areas can be extracted, identified, and displayed in the displayed object.
  • FIG. 10 is a schematic view showing an example of displaying surface data of a human thoracic cavity.
  • FIG. 11 is a schematic diagram showing an example of the area extraction screen.
  • FIG. 12 is a schematic diagram showing how the threshold value is changed to change the display form of the object displayed on the three-dimensional image display unit D1.
  • FIG. 13 is a schematic diagram showing a state in which a part of the object (here, the lung) displayed on the three-dimensional image display unit D1 is extracted as a continuous region.
  • the instruction unit D4 displays the initial UI screen.
  • An icon for returning, an icon for extracting a continuous area, an icon for saving the extraction result of the continuous area on the area extraction screen, and the like are displayed. It should be noted that the parts other than the three-dimensional image display unit D1 may be hidden depending on the intended use.
  • the object shown in FIG. 10 when the user extracts a continuous area, the object is displayed on the three-dimensional image display unit D1 of the area extraction screen shown in FIG. Then, by operating the threshold value setting unit D3, the threshold value is adjusted so that a part of the object to be extracted as a continuous area is displayed (see FIG. 12).
  • the rendering processing unit 16b is specified in the surface data as shown in FIG.
  • the area continuous with the point triangular mesh
  • the specified area is identified and displayed (coloring, emphasizing edges, displaying with high brightness, etc.).
  • the area other than the specified area may be hidden, or only the specified area may be hidden.
  • an integral part of the object can be easily extracted, and for example, how the organs are continuous can be displayed in an easy-to-understand manner.
  • the region that is regarded as a "continuous portion” can be subject to continuity in a state of being displayed with a predetermined threshold value.
  • the threshold value when extracting the "continuous portion” is not limited to one, and the continuous portion (for example, the heart in which the first threshold value is continuous) is obtained in each of the plurality of threshold values. And the lungs, etc. that are in a continuous state at the second threshold value), and then the extracted continuous region remains unchanged even if the threshold value is subsequently adjusted by the threshold value setting unit D3. You can also do it.
  • the illustration display screen is displayed on the initial UI screen when the "illustration" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed in the input unit 14, for example. This is the screen.
  • the complexity of the image can be eliminated and displayed or printed by a method (cell look, toon rendering, etc.) that makes the 3D image look like a 2D animation (illustration).
  • FIG. 14 is a schematic diagram showing an example of an illustration display screen (a state in which a three-dimensional image is displayed).
  • FIG. 15 is a schematic diagram showing an example of an illustration display screen (a state in which an illustrated image is displayed).
  • a three-dimensional image display unit D1 and a threshold setting unit D3 are displayed, and further, an icon for returning to the initial UI screen is displayed on the instruction unit D4 to illustrate a three-dimensional image.
  • An icon (or an icon for returning the illustrated image to a three-dimensional image) and an icon for saving the display result (illustrated image) on the illustration display screen are displayed.
  • the cross-sectional image display unit D2 may be displayed on the illustration display screen, and the cross-sectional image can be illustrated. It should be noted that the parts other than the three-dimensional image display unit D1 may be hidden depending on the intended use.
  • a three-dimensional image When a three-dimensional image is displayed or printed as it is (that is, a three-dimensional image is displayed or printed in a plane), the image may be complicated and difficult to understand. In particular, when a doctor shows a CT image or the like to explain to a patient, a lot of information other than necessary information is included, and it may be difficult to understand. Therefore, on the illustration display screen, the complexity of the image is eliminated by a method (cell look or toon rendering, etc.) that makes the 3D image look like a 2D animation (illustration), and the image is converted into a schematically shown image. indicate.
  • the object can be displayed in a simple and easy-to-understand form.
  • text information such as the names and comments of each part of an object on an image
  • it is better to display it on an illustrated image than to display it on a three-dimensional image see FIG. 14).
  • a three-dimensional image and an illustrated image may be recorded together in a medical record or the like.
  • the object transformation screen is displayed on the initial UI screen when the "transformation" menu of the instruction unit D4 is called, or when a specific key on the keyboard is pressed in the input unit 14, for example. This is the screen. On the object transformation screen, it is possible to simulate and display the result of applying a physical action such as transforming or cutting the displayed object.
  • FIG. 16 is a schematic diagram showing an example of an object deformation screen.
  • a three-dimensional image display unit D1 and a threshold setting unit D3 are displayed, and further, an icon for returning to the initial UI screen, an icon for transforming the object, and an object are displayed on the instruction unit D4.
  • An icon for disconnecting the object, an icon for applying other physical actions to the object, an icon for returning the operation, an icon for saving the image of the operation result on the object transformation screen, and the like are displayed.
  • the triangular mesh handles continuous surface data, it is easy to perform a simulation of applying a physical action such as deformation of an object.
  • surface data representing the surface of the object can be generated at high speed by specifying the vertices of the triangular mesh using the vertex position specification table. Can be done.
  • FIG. 17 is a flowchart illustrating a flow of object display processing executed by the image processing apparatus 1.
  • the object display process is started in response to an instruction input to execute the object display process via the input unit 14.
  • the UI control unit 11a displays the initial UI screen in step S1. On the initial UI screen, selection of object data to be displayed, selection of menu of display form, etc. are accepted. In step S2, the UI control unit 11a displays the object in the selected display form. For example, the UI control unit 11a shifts to each display screen in response to the selection of icons corresponding to various display forms such as a physical quantity measurement screen, a position display screen, and a viewpoint switching screen. Immediately after shifting to the display screen of each display form, the object is displayed according to the default parameters (viewpoint, threshold value, etc.).
  • step S3 the UI control unit 11a shifts to a state of accepting changes in parameters (viewpoint, threshold value, cross-sectional position, etc.) by the user.
  • step S4 the rendering processing unit 16b determines whether or not the parameter has been changed by the user. When the parameter is changed by the user, it is determined as YES in step S4, and the process proceeds to step S2. This updates the display of the object according to the changed parameters. At this time, the display can be updated at high speed by using the vertex position specifying table to update the display of the object. On the other hand, if the parameter has not been changed by the user, NO is determined in step S4, and the process proceeds to step S5.
  • step S5 the UI control unit 11a determines whether or not the user has input an instruction to save the result displayed on the display screen. If no instruction for saving the result displayed on the display screen is input, NO is determined in step S5, and the process proceeds to step S7. On the other hand, when an instruction to save the result displayed on the display screen is input, YES is determined in step S5, and the process proceeds to step S6.
  • step S6 the data management unit 11b stores the result displayed on the display screen in the storage unit 17.
  • step S7 the UI control unit 11a determines whether or not the user has input an instruction to return to the initial UI screen. When the user inputs an instruction to return to the initial UI screen, it is determined as YES in step S7, and the process proceeds to step S1. On the other hand, if the user has not input an instruction to return to the initial UI screen, NO is determined in step S7, and the process proceeds to step S8.
  • step S8 the UI control unit 11a determines whether or not an instruction to end the object display process has been input. If the instruction to end the object display process is not input, NO is determined in step S8, and the process proceeds to step S4. On the other hand, when the instruction to end the object display process is input, YES is determined in step S8, and the object display process ends.
  • the image processing apparatus 1 can display the surface data generated from the volume data at high speed in various display forms capable of deforming and measuring the object. Therefore, according to the image processing apparatus 1, a three-dimensional image can be appropriately visualized.
  • the vertex position specifying table can be modified in various ways as long as it can easily specify which edge the vertices of the triangular mesh are located on. For example, the number of edges extending in a predetermined direction (one of the vertical direction, the horizontal direction, and the front-back direction) from the top of the volume data (two for two-dimensional volume data and three for three-dimensional volume data). By treating these edges together according to the above, it is possible to identify at which edge the vertices of the triangular mesh exist at a higher speed.
  • FIG. 18 is a schematic diagram showing a modified example of the vertex position specifying table.
  • the number for identifying the voxel edge in the volume data is stored in the first row of the vertex position specifying table.
  • the first flag indicating whether or not the vertices of the triangular mesh exist on each edge of the first row (“1" if present, if not present, if not present). "0" is stored.
  • Whether or not the vertices of the triangular mesh are present on the edge is whether or not the values of the voxels located at both ends of the edge have a predetermined difference (a value equal to or greater than the threshold value for determining whether or not the surface is a surface). Can be determined by.
  • the vertex position specifying table in this modification two edges are treated as one set. That is, two sets are set from the edge with the smallest edge number, and a second flag is set for each set. Specifically, in the third row of the vertex position specifying table, the result of adding the values of the first flags of these edges to each set of two from the edge with the smallest edge number is the common second second. Set as a flag.
  • the hash value of the 4th row is the 1st set of the 2nd (n-1) th and the 2nd (n-1) + 1st set in the case of a pair of edges of the 2nd nth and the 2nd n + 1st (n is a natural number). It is calculated by adding the hash value of the edge and the second flag of the second (n-1) th and second (n-1) + 1st set of edges.
  • the hash values of the edges of the 0th and 1st sets are the same as the 2nd flag of the 0th and 1st sets. As described above, since the hash value of the vertex position specifying table can be calculated by continuous addition processing, it can be processed at high speed by being executed by the image processing unit 16.
  • the number of the edge set is set, which is a set of two from the edge having the smallest edge number.
  • the number of this set of edges represents the number of the vertex of the volume data (Voxel ID (however, in FIG. 18, since it is an example of two-dimensional volume data, it is referred to as “Pixel ID”)).
  • the mth (m is 0 or more) by referring to the hash value set in the 4th row. It is possible to easily identify which edge the vertex of (integer) is located on.
  • the hash value set in the 4th row is a discontinuous value, but the place where the value is discontinuous is a set of two from the edge with the smallest edge number. This corresponds to the case where the vertices of the triangular mesh exist on both of the two edges in the case of. Therefore, among the hash values set in the 4th row of the vertex position specifying table, when referring to the vertex of the triangular mesh corresponding to the discontinuous value (for example, the kth (k is a natural number)), one is used. Of the set of edges to which the vertices with the smaller value (k-1st) belong, it can be specified that the edge has the larger number. By using such a vertex position identification table, even if the number of edges in the volume data increases, it is possible to identify the edge where the triangular mesh exists by retaining less data. It becomes.
  • the value of the voxel adjacent to the apex of the triangular mesh is referred to, and the set condition (hereinafter referred to as "coloring standard voxel selection condition") is followed. It is assumed that the color corresponding to the selected voxel is set to the color of the apex of the triangular mesh and displayed. This makes it possible to correct the surface color by reflecting the object's attributes (internal voxel values). Therefore, when objects with greatly different voxel values are extracted with one threshold, the surface of different objects can be corrected. It can be displayed in a form that is easy to distinguish. In addition, even within the same object, it is possible to distinguish colors according to different voxel values.
  • FIG. 19 is a schematic diagram showing a color correction method of the object surface in this modification.
  • two-dimensional volume data whose surface is represented by a line segment is shown as an example, but in the case of three-dimensional volume data, the surface is represented by a triangular mesh. The same correction can be made for each vertex of the triangular mesh.
  • one of the voxels sandwiching the apex of the triangular mesh (here, the voxel inside the object) is selected as the selection target according to the coloring standard voxel selection condition.
  • each point shown in "(a) original data" represents a voxel, and the numerical value added to each point indicates a value possessed by the voxel.
  • voxels belonging to the "bone” region are distributed around a value of about 1200, and voxels belonging to the "blood vessel” region are distributed around a value of about 400. ..
  • the threshold value is set to 1000, the bone region is extracted with high accuracy, and the blood vessel region is not extracted.
  • the threshold value is set to 300, the bone and blood vessel regions are extracted, but the bone region is extracted in a slightly swollen state as compared with the case where the threshold value is set to 1000.
  • one threshold value is set as long as the difference is such that the vertices move on the same side of the triangular mesh. It is desirable to be able to simultaneously display the surface of the bone and blood vessel areas.
  • a color is assigned to the voxels inside the object among the voxels sandwiching the vertices of the triangular mesh, and the color of this voxel is copied as the color of the vertices of the triangular mesh. That is, in the "(a) original data" of FIG. 19, when the threshold value is set to 300, the area where the voxel (pixel) value is 300 or more is defined as the inside of the object. Then, as shown in "(b) Assigning a color to the selected voxels" in FIG. 19, among the voxels sandwiching the vertices of the triangular mesh, the voxels inside the object (that is, a value larger than the set threshold value). Assign a color according to the value of the object to the voxel that has.
  • FIG. 20 is a schematic diagram showing an example of comparison results when one threshold value is set and different objects are displayed at the same time by the color correction method of this modification.
  • FIG. 20 shows a comparison between the original method of the present invention (the method of the first embodiment) and the method of the present modification when the object is displayed.
  • the color correction method of Modification 2 even if a region having greatly different voxel values is extracted with one threshold value, the voxel values inside the object are reflected on the surface. It can be displayed as an object whose surface is represented by a different color to some extent.
  • a color is assigned to the voxel with the value smaller than the threshold, and the color of this voxel is the vertex of the triangular mesh. You can copy it as the color of.
  • Modification 3 According to the above-mentioned modification 2, even if a region having greatly different voxel values is extracted with one threshold value, the surface can be displayed as an object represented by a somewhat different color. On the other hand, if the boundaries of the objects in the volume data are not clearly visible between adjacent voxels, the colors of the different objects may be partially similar or the colors of the objects may be single, as shown in FIG. However, there is a possibility that it will be mosaic or striped.
  • the color correction method of the object surface of the modification 2 is changed, and the voxel value is changed even if the boundary of the object is volume data that does not clearly appear between adjacent voxels.
  • FIG. 21 is a schematic diagram showing a color correction method of the object surface of volume data in which the boundary of the object does not clearly appear between adjacent voxels.
  • “(a) linearly interpolated surface color” in FIG. 21 is a state in which the color correction method shown in FIG. 19 is applied to the original volume data (“(d) linear interpolation of surface color”. State) is shown.
  • “(a) Linearly interpolated surface color” in FIG. 21 there is a voxel having a value intermediate between the value of the voxel inside the object and the value of the voxel outside the object at the boundary of the object. In such cases, the presence of an object with an intermediate value results in a portion of color similar to the surface of a different object.
  • one voxel group of a plurality of voxel groups sandwiching the vertices of the triangular mesh is selected as the selection target according to the coloring standard voxel selection condition, and the value of each voxel of the selected voxel group is the highest.
  • the voxel with the largest (or smallest) value shall be selected. That is, in the voxel group in the first row of the example shown in "(a) Linearly interpolated surface color" in FIG. 21, if the voxels (pixels) are arranged such as 100, 1100, 1200, the boundary of the object.
  • FIG. 22 is a schematic diagram showing an example of comparison results when one threshold value is set and different objects are displayed at the same time by the color correction method of this modification.
  • FIG. 22 shows a comparison between the original method of the present invention (the method of the first embodiment) and the method of the present modification when the object is displayed.
  • the color correction method of the modification 3 even if the volume data does not clearly show the boundary of the object between the adjacent voxels, one area where the voxel values are significantly different is one.
  • the value of voxels inside the object is reflected more strongly on the surface, so that the surface can be displayed as an object expressed in different colors.
  • FIG. 23 is a schematic diagram showing an example of a color correction method for selecting voxels around the vertices of a triangular mesh as selection targets according to the coloring standard voxel selection condition.
  • the coloring standard voxel selection condition of the modification 3 after selecting up to two voxels adjacent to one direction, which is the coloring standard voxel selection condition of the modification 3, the direction intersecting one direction from the two voxels ahead (here, described above).
  • An example is shown in which the voxels to be selected are further enlarged one by one in a direction orthogonal to one direction.
  • the voxels in which the boundaries of the objects are adjacent are particularly adjacent.
  • the referenced voxel may have a different value than the voxel inside the object. This causes a striped pattern (or discontinuous color at the corners) to appear on the surface of the object, and leaves room for improvement in displaying the surface of the object smoothly.
  • Two voxels adjacent to the right side of the second row and two voxels adjacent to the top and bottom of the rightmost voxel of the second row are selected, and the voxel having the largest value of 1200 is selected.
  • the color corresponding to the value of 1200 is copied to the apex of the triangular mesh of interest.
  • FIG. 24 is a schematic diagram showing an example of comparison results when one threshold value is set and different objects are displayed at the same time by the color correction method of this modification.
  • FIG. 24 shows a comparison between the original method of the present invention (the method of the first embodiment) and the method of the present modification when the object is displayed.
  • the color correction method of the modification 4 even if the volume data does not clearly show the boundary of the object between the adjacent voxels, it is more appropriate among the voxels inside the object.
  • the voxel value will be reflected on the surface. Therefore, when a region having greatly different voxel values is extracted with one threshold value, it is possible to display an object whose surface is represented by a different color more smoothly.
  • the image processing device 1 configured as described above includes a UI control unit 11a and a rendering processing unit 16b.
  • the rendering processing unit 16b acquires surface data (surface data) representing the shape of the surface specified based on the magnitude of the value from the volume data composed of a plurality of points having values.
  • the UI control unit 11a sets a threshold value of a value for determining whether or not to display as surface data.
  • the rendering processing unit 16b identifies an intersection where a straight line passing through a position set as a viewpoint and a point designated by the user intersects the shape of the surface displayed according to the threshold value.
  • the rendering processing unit 16b controls the display of the surface shape represented by the surface data with reference to the plane passing through the intersection. As a result, the surface data generated from the volume data can be displayed at high speed in various display forms. Therefore, according to the image processing apparatus 1, a three-dimensional image can be appropriately visualized.
  • the rendering processing unit 16b identifies based on the edge information for identifying the edge of the voxel in the volume data, the flag indicating whether or not the edge of the triangular mesh representing the surface data exists at the edge, the edge information, and the flag. Refer to the table data associated with the vertex identification information that identifies the vertices of the triangular mesh to be created, and acquire the surface data from the volume data. As a result, the process of acquiring surface data from the volume data can be performed at higher speed.
  • the rendering processing unit 16b displays the surface data existing on one side of the plane passing through the intersection, and does not display the surface data existing on the other side. This makes it possible to easily generate a cross-sectional image.
  • the rendering processing unit 16b calculates a physical quantity corresponding to the operation based on the surface data. This makes it possible to measure the physical quantity of the object represented by the surface data by manipulating the displayed surface data.
  • the rendering processing unit 16b displays a cross-sectional image passing through the voxel. This makes it possible to easily recognize the voxel to be confirmed when it is desired to confirm a specific part of the object.
  • the rendering processing unit 16b switches between a first display form in which the outside of the object represented by the volume data is a viewpoint and a second display form in which the inside of the object is a viewpoint, according to the user's operation. As a result, it is possible to switch between an appropriate viewpoint when observing the object from the outside and when observing the inside of the object, so that the convenience when displaying the object can be enhanced.
  • the UI control unit 11a sets a first threshold value and a second threshold value for determining whether or not to display as surface data.
  • the rendering processing unit 16b controls the display of surface data based on the value determined by the set first threshold value and the second threshold value. This makes it possible to set various threshold values and display surface data appropriately.
  • the rendering processing unit 16b extracts a portion continuous with the specific point based on the surface data when an operation is performed on the specific point.
  • an integral part of the object represented by the surface data can be easily extracted, and how the objects are continuous can be displayed in an easy-to-understand manner.
  • the rendering processing unit 16b converts the displayed surface data into an illustrated two-dimensional image and displays it according to the user's instruction. As a result, the complexity of the image can be eliminated and an easy-to-understand image schematically shown can be displayed.
  • the rendering processing unit 16b is an object represented by the volume data when one threshold value is set, and the surface of different objects displayed according to the threshold value is changed according to the value of the voxel inside each object. Display in different colors. As a result, even if areas with greatly different voxel values are extracted with one threshold value, the surface can be displayed as an object expressed in different colors, and even within the same object, the colors corresponding to the different voxel values can be displayed. You can make a distinction.
  • the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like to the extent that the object of the present invention can be achieved are included in the present invention. That is, the present invention can be applied to various electronic devices having an image processing function.
  • the series of processes described above can be executed by hardware or software.
  • the functional configuration of FIG. 1 is merely an example and is not particularly limited. That is, it suffices if the image processing apparatus 1 is provided with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is not particularly limited.
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is composed of various processing devices such as a single processor, a multiprocessor, and a multicore processor.
  • the present invention includes a combination of these various processing devices and a processing circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • a program constituting the software is installed in a computer or the like from a network or a recording medium.
  • the computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
  • the recording medium including such a program is not only composed of removable media distributed separately from the device main body in order to provide the program to the user, but is also provided to the user in a state of being preliminarily incorporated in the device main body. It is composed of recording media and the like.
  • the removable media is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like.
  • the optical disc is composed of, for example, a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versaille Disc), a Blu-ray (registered trademark) Disc (Blu-ray disc), or the like.
  • the magneto-optical disk is composed of MD (Mini-Disc) or the like.
  • the recording medium provided to the user in a state of being incorporated in the apparatus main body in advance is composed of, for example, a ROM (Read Only Memory) in which a program is recorded, a semiconductor memory included in the storage unit 20B, or the like.
  • ROM Read Only Memory
  • 1 image processing device 11 CPU, 11a UI control unit, 11b data management unit, 12 ROM, 13 RAM, 14 input unit, 15 display unit, 16 image processing unit, 16a object data acquisition unit, 16b rendering processing unit, 17 storage Department, 18 Communication Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】３次元画像をより適切に可視化するための技術を実現する。 【解決手段】画像処理装置１は、ＵＩ制御部１１ａと、レンダリング処理部１６ｂと、を備える。レンダリング処理部１６ｂは、値を有する複数の点によって構成されるボリュームデータから、値の大きさに基づいて特定される表面の形状を表す表面データ（サーフェスデータ）を取得する。ＵＩ制御部１１ａは、表面データとして表示するか否かを決定するための値の閾値を設定する。レンダリング処理部１６ｂは、視点として設定された位置とユーザによって指定された点とを通る直線が、閾値に応じて表示される表面の形状と交差する交点を特定する。レンダリング処理部１６ｂは、交点を通る平面を基準として、表面データが表す表面の形状の表示を制御する。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラムに関する。
　従来、３次元画像のデータを表示するための種々の技術が提案されている。
　特に、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）あるいはＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）により取得された医用画像は、通常、縦、横及び高さの情報を有するボリュームデータによって構成されており、これらを表示するために、サーフェスレンダリング技術が広く用いられている。
　なお、ボリュームデータのレンダリングに関する技術は、例えば、特許文献１に記載されている。
特開２０２０－０１４５５１号公報
　しかしながら、従来の技術においては、サーフェスレンダリングされたオブジェクトを可視化する場合、ユーザの要求に応じた種々の表示形態で表示することが必ずしも容易ではない。例えば、サーフェスレンダリングを行った場合、使用するレンダリング手法によっては、形成される三角形メッシュが、それぞれ独立したものとなる。三角形メッシュが独立した状態では、注目する三角形メッシュと、これに隣接する三角形メッシュとを連動して動かすことができないため、サーフェスレンダリングされたオブジェクトを変形すること等が困難である。
　このように、従来の技術においては、３次元画像を適切に可視化することが困難であった。
　本発明の課題は、３次元画像をより適切に可視化するための技術を実現することである。
　上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、
　値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
　前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
　視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
　前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
　を備えることを特徴とする。
　本発明によれば、３次元画像をより適切に可視化するための技術を実現することができる。
本発明の一実施形態に係る画像処理装置１の構成を示すブロック図である。 頂点位置特定テーブルの一例を示す模式図である。 初期ＵＩ画面の一例を示す模式図である。 閾値設定部Ｄ３の具体的形態を示す模式図である。 物理量計測画面の一例を示す模式図である。 位置表示画面の一例を示す模式図である。 視点切替画面の一例（３人称視点の場合）を示す模式図である。 視点切替画面の一例（１人称視点の場合）を示す模式図である。 １人称視点における表示形態例を示す模式図である。 人の胸腔部のサーフェスデータの表示例を示す模式図である。 領域抽出画面の一例を示す模式図である。 閾値を変化させて、３次元画像表示部Ｄ１に表示されるオブジェクトの表示形態を変化させる様子を示す模式図である。 ３次元画像表示部Ｄ１に表示されたオブジェクトの一部（ここでは、肺）が連続領域として抽出された状態を示す模式図である。 イラスト表示画面の一例（３次元画像が表示された状態）を示す模式図である。 イラスト表示画面の一例（イラスト化された画像が表示された状態）を示す模式図である。 オブジェクト変形画面の一例を示す模式図である。 画像処理装置１で実行されるオブジェクト表示処理の流れを説明するフローチャートである。 頂点位置特定テーブルの変形例を示す模式図である。 変形例２におけるオブジェクト表面の色補正方法を示す模式図である。 変形例２の色補正方法によって、１つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。 変形例３におけるオブジェクト表面の色補正方法を示す模式図である。 変形例３の色補正方法によって、１つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。 着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点の周辺のボクセルを選択する色補正方法の一例を示す模式図である。 変形例４の色補正方法によって、１つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。
　以下、本発明の実施形態について、図面を参照して説明する。
［第１実施形態］
［構成］
　図１は、本発明の一実施形態に係る画像処理装置１の構成を示すブロック図である。
　画像処理装置１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）あるいはタブレット端末等の情報処理装置によって構成される。
　図１に示すように、画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、入力部１４と、表示部１５と、画像処理部１６と、記憶部１７と、通信部１８とを備えている。
　ＣＰＵ１１は、記憶部１７に記憶された各種プログラムを実行することにより、画像処理装置１全体を制御する。例えば、ＣＰＵ１１は、ボリュームデータ（ＣＴあるいはＭＲＩにより撮像された断層画像のデータ等）から生成されたサーフェスデータを可視化する処理（以下、「オブジェクト表示処理」と称する。）のためのプログラムを実行する。オブジェクト表示処理を実行する場合、ＣＰＵ１１は、後述するように、全体として効率的な処理となるよう画像処理部１６にタスクを割り当てる。例えば、ＣＰＵ１１は、多様な処理を柔軟に実行することが可能である一方、画像処理部１６は、同様の演算を高速に繰り返し行うことが可能であることから、処理の種類に応じて、ＣＰＵ１１は画像処理部１６と連携して全体の処理を実行する。
　オブジェクト表示処理のためのプログラムを実行することにより、ＣＰＵ１１には、機能的構成として、ユーザインターフェース制御部（ＵＩ制御部）１１ａと、データ管理部１１ｂと、が形成される。
　ＵＩ制御部１１ａは、オブジェクト表示処理等、画像処理装置１が各種処理を実行する際の各種入出力画面（以下、「ＵＩ画面」と称する。）の表示を制御する。例えば、ＵＩ制御部１１ａは、ボリュームデータから生成されたサーフェスデータを各種表示形態でＵＩ画面に表示する。本実施形態において、ＵＩ制御部１１ａは、サーフェスデータを表示する初期ＵＩ画面を表示し、初期ＵＩ画面に複数のメニューを表示することにより、特定の表示形態でサーフェスデータを表示する画面への移行を受け付ける。なお、画像処理装置１で表示されるＵＩ画面の例については後述する。
　データ管理部１１ｂは、ユーザの指示に応じて、ＵＩ画面に表示されているオブジェクトの画像のデータを記憶部１７に記憶したり、他の装置（病院内システムのサーバ等）からオブジェクトのデータ（ボリュームデータあるいはサーフェスデータ）を取得したりする。
　ＲＯＭ１２には、画像処理装置１を制御するための各種システムプログラムが予め書き込まれている。
　ＲＡＭ１３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の半導体メモリによって構成され、ＣＰＵ１１が各種処理を実行する際に生成されるデータを記憶する。
　入力部１４は、キーボードやマウス、または、タッチセンサ（タッチパネル）等の入力装置によって構成され、ユーザによる画像処理装置１への各種情報の入力を受け付ける。
　表示部１５は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示装置によって構成され、画像処理装置１の各種処理結果を表示する。
　画像処理部１６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を備えたハードウェア（グラフィックアクセラレータ等）によって構成され、画像処理装置１における画像の表示に関する処理を実行する。なお、画像処理部１６には、画像処理を実行するためのローカルメモリ（不図示）が備えられている。本実施形態において、画像処理部１６は、ＣＰＵ１１がオブジェクト表示処理を実行する際に、ＣＰＵ１１の指示に従って、特定の処理を実行する。
　オブジェクト表示処理のためのプログラムがＣＰＵ１１に実行されることにより、画像処理部１６には、機能的構成として、オブジェクトデータ取得部１６ａと、レンダリング処理部１６ｂと、が形成される。
　オブジェクトデータ取得部１６ａは、ＣＰＵ１１の指示に応じて、記憶部１７に記憶されているオブジェクトのデータを読み出す。
　レンダリング処理部１６ｂは、ＣＰＵ１１の指示に応じて、オブジェクトデータ取得部１６ａによって読み出されたオブジェクトのデータをＵＩ画面で表示するためにレンダリング処理し、レンダリング処理の結果（即ち、表示のためにラスタライズされたデータ）を表示部１５に表示する。本実施形態において、オブジェクトデータ取得部１６ａが取得するオブジェクトのデータは、ボリュームデータから生成されたサーフェスデータとされており、サーフェスデータにおける三角形メッシュは互いに連結されたデータとなっている。ただし、レンダリング処理部１６ｂは、ＣＰＵ１１からボリュームデータをサーフェスデータにレンダリング（サーフェスレンダリング）する指示が行われた場合、ボリュームデータをサーフェスデータにレンダリングする処理を実行し、三角形メッシュが連結されたサーフェスデータを生成する。例えば、レンダリング処理部１６ｂは、オブジェクトのボリュームデータのみが存在し、サーフェスデータが生成されていない場合や、オブジェクト表示処理において、オブジェクトが仮想的に切断等されることにより、新しい表面が生成した場合等に、ボリュームデータをサーフェスデータにレンダリングする処理を実行する。
　本実施形態において、レンダリング処理部１６ｂがボリュームデータをサーフェスデータにレンダリングする場合、ボリュームデータにおけるボクセルと、サーフェスデータにおける三角形メッシュの頂点との関係をテーブル形式のデータ（以下、「頂点位置特定テーブル」と称する。）を用いて、高速に特定しながら処理が行われる。
　図２は、頂点位置特定テーブルの一例を示す模式図である。
　図２に示すように、頂点位置特定テーブルの第１行には、ボリュームデータにおけるボクセルのエッジを識別する番号が格納されている。
　また、頂点位置特定テーブルの第２行には、第１行の各エッジ上に三角形メッシュの頂点が存在するか否かを示すフラグ（存在する場合は「１」、存在しない場合は「０」）が格納されている。エッジ上に三角形メッシュの頂点が存在するか否かは、エッジの両端に位置するボクセルの値が所定の差分（表面であるか否かを判定するための閾値以上の値）を有するか否かによって判定することができる。
　さらに、頂点位置特定テーブルの第３行には、第１行のエッジを識別する番号及びそのエッジに対応する第２行のフラグに基づいて特定されるハッシュ値が格納されている。第３行のハッシュ値は、第ｎ番目（ｎは自然数）のエッジの場合、第ｎ－１番目のエッジのハッシュ値と、第ｎ－１番目のエッジのフラグとを加算することで算出される。なお、第０番目のエッジのハッシュ値は、ここでは０とするが、任意に設定してもよい。このように、頂点位置特定テーブルのハッシュ値は、加算処理の連続によって算出することができるため、画像処理部１６が実行することで、高速に処理することができる。
　頂点位置特定テーブルの第３行を参照することで、第ｍ番目（ｍは０以上の整数）の頂点（三角形メッシュの頂点）がいずれのエッジに存在するかを容易に特定することができるため、ボリュームデータからサーフェスデータを生成する処理をより高速に行うことができる。
　図１に戻り、記憶部１７は、ハードディスクまたはフラッシュメモリ等の不揮発性の記憶装置によって構成され、オブジェクト表示処理のためのプログラム等を記憶する。また、記憶部１７は、オブジェクトのデータ（ボリュームデータあるいはサーフェスデータ）や、画像処理装置１の各種処理結果（画像処理部１６によって生成された特定の表示形態の画像データ等）を記憶する。
　通信部１８は、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等、所定の通信規格に基づいて信号処理を行う通信インターフェースを備え、画像処理装置１が他の装置との間で行う通信を制御する。
［ＵＩ画面の具体例］
　次に、画像処理装置１において表示されるＵＩ画面の具体例について説明する。
　ＵＩ画面は、画像処理部１６によってレンダリングされたオブジェクトのデータを表示すると共に、ユーザからの各種指示（特定の表示形態への移行、オブジェクトの表示における閾値の変更等）を受け付ける機能を有している。
［初期ＵＩ画面］
　初期ＵＩ画面は、オブジェクト表示処理が実行された場合に表示されるホーム画面である。
　図３は、初期ＵＩ画面の一例を示す模式図である。
　図３に示すように、初期ＵＩ画面には、表示対象のオブジェクトが表示される画面（３次元画像表示部Ｄ１及び断面画像表示部Ｄ２）と、オブジェクトにおいて表面として表示する閾値を設定するための閾値設定部Ｄ３と、オブジェクトを特定の表示形態で表示する等の機能を呼び出すための指示部Ｄ４とが含まれている。なお、図３においては、断面画像表示部Ｄ２に表示される断面画像の位置を調整するための「断面位置調整用スライダ」、及び、画像の塗りつぶしの透明度を調整するための「透明度変化用スライダ」が併せて示されている。
　３次元画像表示部Ｄ１には、閾値設定部Ｄ３で設定された閾値に対応する表面が表されたオブジェクトの３次元画像が表示される。なお、ユーザの使用目的等に応じて、３次元画像表示部Ｄ１に断面画像を表示する設定としてもよいし、断面画像表示部Ｄ２等を非表示として、画面全体を３次元画像表示部Ｄ１としてもよい。
　断面画像表示部Ｄ２には、ボリュームデータの任意の場所の三面図を表示できることに加え、３次元画像表示部Ｄ１上で指定された点に対応する断面で切断されたオブジェクトの断面画像も表示できる。断面画像表示部Ｄ２に表示された断面画像においても、閾値設定部Ｄ３で設定された閾値に対応する表面が表された状態となっている。
　オブジェクトを３次元画像として表示する場合、レンダリング処理部１６ｂは、カメラ位置（視点）及びマウスカーソル位置を通る半直線と、サーフェスデータの三角形メッシュとの交点を特定し、この交点を３次元画像の表示あるいは断面画像の表示における基準点とする。例えば、レンダリング処理部１６ｂは、特定された交点を、表示されているオブジェクトを回転させる際の中心点として用いることができる。
　このとき、閾値設定部Ｄ３において閾値が変更された場合に、表示されているオブジェクトの状態（具体的には、オブジェクトの表面の表示）が変化するが、この場合、表示されていない部分（体表面等）は存在しないものとして取り扱い、「交点」としては、現在表示されているオブジェクトとの交点が算出される。
　なお、閾値設定部Ｄ３において閾値が変更され、表示されるオブジェクトの状態が変化される場合、上述の頂点位置特定テーブルを用いて三角形メッシュの頂点を特定することで、高速にオブジェクトの状態を変化させることができる。
　このような表示形態とすることにより、ユーザが閾値を変化させて視認したい部分が現れたときに、現在視認しているオブジェクト上の点を中心に回転（あるいはこの点での断面表示等）させることができ、３次元的なオブジェクトを視認するための操作をより利便性が高いものにできる。
　また、レンダリング処理部１６ｂは、３次元画像表示部Ｄ１においてユーザが断面となる平面を指定した場合、断面に対して一方の側（例えば、断面より上側）にある表面データ（三角形メッシュ）のみを表示し、断面に対して反対側（例えば、断面より下側）にある表面データを非表示とすることができる。
　閾値設定部Ｄ３は、オブジェクトにおいて表面として表示する閾値を設定するユーザインターフェースを構成し、例えば、スライダにより閾値を連続的に設定する形態とすることができる。また、本実施形態において、閾値設定部Ｄ３では、オブジェクトを表示するための複数の閾値を設定することが可能となっている。
　図４は、閾値設定部Ｄ３の具体的形態を示す模式図である。
　従来のＣＴ画像等では、閾値を１つ設定し、閾値未満である場合は表示する、閾値以上である場合には表示しないといった表示形態が取られており、図４の「（Ａ）１つの閾値を設定する場合」のように、閾値設定部Ｄ３においても、このような表示形態とすることが可能である。
　これに対し、図４の「（Ｂ）２つの閾値を設定する場合」のように、閾値設定部Ｄ３においては、閾値を複数（例えば２つ）設定し、複数の閾値の間の値を有するボクセルのみを表示することができる。
　これにより、閾値の有効領域を特定の値に挟まれた範囲に設定することができる。なお、より多くの閾値を設定可能とし、有効領域を２つ以上設定することとしてもよい。
　また、スライダにより閾値を設定する場合、スライダの移動範囲の大きさに対して、より詳細な範囲での閾値の設定を行うために、図４の「（Ｃ）補助的なスライダを表示する場合」のように、限られた範囲の目盛りが表示される補助的なスライダを表示することとしてもよい。
　図３に戻り、指示部Ｄ４には、画像処理装置１において実行可能なオブジェクトの表示あるいは処理に関する各種メニューを呼び出すためのアイコンが表示されている。
［物理量計測画面］
　物理量計測画面は、初期ＵＩ画面において、指示部Ｄ４の「計測」メニューが呼び出された場合に表示される画面である。
　物理量計測画面では、表示されているオブジェクトにおける距離や体積等の物理量をＵＩ画面に対する操作によって計測することができる。
　図５は、物理量計測画面の一例を示す模式図である。
　物理量計測画面においては、初期ＵＩ画面と同様に、３次元画像表示部Ｄ１と、断面画像表示部Ｄ２と、閾値設定部Ｄ３と、が表示され、さらに、指示部Ｄ４には、初期ＵＩ画面に戻るためのアイコン及び物理量計測画面における物理量の計測結果を保存するためのアイコンが表示されている。
　図５に示す物理量計測画面において、３次元画像あるいは断面画像上で点、線分、曲線あるいは範囲を指定することで 、オブジェクトにおける物理量が計測（算出）され、計測結果がオブジェクトの画面上に表示される。図５に示す例では、２点間を結ぶ表面上の距離を計測した結果（３次元画像表示部Ｄ１における上側の計測結果）と、２点間を結ぶ断面上の距離を計測した結果（３次元画像表示部Ｄ１における下側の計測結果）が示されている。
　このとき、例えば、マウスの左クリックでオブジェクトの表面上の点を指定し、右クリックでオブジェクトの断面上の点を指定する等、操作方法によって、計測する対象の属性を変化させることができる。
　なお、計測可能な物理量としては、断面上の距離／表面上の距離、表面上の面積あるいは体積（例えば、心臓等の閉曲面で囲まれた領域等）等を選択することができる。
［位置表示画面］
　位置表示画面は、初期ＵＩ画面において、指示部Ｄ４の「位置表示」メニューが呼び出された場合に表示される画面、または、入力部１４において例えばキーボードの特定のキーが押下されているときに表示される画面である。
　位置表示画面では、指定されたボクセルの位置がオブジェクトのいずれに存在するかを、少なくとも断面画像において表示することができる。
　図６は、位置表示画面の一例を示す模式図である。
　位置表示画面においては、初期ＵＩ画面と同様に、３次元画像表示部Ｄ１と、断面画像表示部Ｄ２と、閾値設定部Ｄ３と、が表示され、さらに、指示部Ｄ４には、初期ＵＩ画面に戻るためのアイコン、ボクセルを指定するためのアイコン及び位置表示画面におけるボクセルの表示結果を保存するためのアイコン等が表示されている。
　ユーザが３次元画像表示部Ｄ１においてオブジェクト表面上の任意の点を指定した場合に、断面画像表示部Ｄ２においては、指定したボクセルが現在表示されている断面上には存在していない可能性がある。
　そこで、図６に示すように、位置表示画面においては、断面画像表示部Ｄ２で表示される断面画像を指定されたボクセルの位置に移動させ、少なくとも断面画像において、指定されたボクセルがいずれにあるかを示すこととしている。
　また、断面画像表示部Ｄ２において断面画像上の任意の点を指定した場合に、指定した断面画像以外の断面や、３次元画像表示部Ｄ１においては、指定したボクセルを表示出来ない可能性がある。そこで、断面画像表示部Ｄ２においては、断面画像を指定されたボクセルの位置に移動させる。３次元画像表示部Ｄ１においては、オブジェクトの内部や、３次元画像表示部Ｄ１での表示においてオブジェクトの裏側にあるボクセルが指定された場合等には、サーフェスデータで表される３次元画像には、指定されたボクセルが現れないことがあり、この場合は、３次元画像表示部Ｄ１上での断面を、指定されたボクセルを通る位置に移動させること等により、３次元画像表示部Ｄ１にて常に位置を確認することが可能である。
　これにより、オブジェクトにおける特定の部位を確認したい場合に、確認対象となるボクセルを容易に認識することができる。
［視点切替画面］
　視点切替画面は、初期ＵＩ画面において、指示部Ｄ４の「視点切替」メニューが呼び出された場合に表示される画面、または、入力部１４において例えばキーボードの特定のキーが押下されているときに表示される画面である。
　視点切替画面では、３人称視点（外部からの視点）と、１人称視点（主観的な視点／見上げる・見下ろす等）とを切り替えてカメラの視点を決定することができる。
　図７は、視点切替画面の一例（３人称視点の場合）を示す模式図である。また、図８は、視点切替画面の一例（１人称視点の場合）を示す模式図である。
　視点切替画面においては、初期ＵＩ画面と同様に、３次元画像表示部Ｄ１と、断面画像表示部Ｄ２と、閾値設定部Ｄ３と、が表示され、さらに、指示部Ｄ４には、初期ＵＩ画面に戻るためのアイコン、視点を切り替えるためのアイコン及び視点切替画面における表示内容を保存するためのアイコン等が表示されている。なお、３次元画像表示部Ｄ１以外は用途に応じて非表示としてもよい。
　オブジェクトの画像を表示する場合、例えば、臓器のオブジェクトを外部から観察する場合は３人称視点、臓器のオブジェクト内部を観察する（内視鏡での観察と同様の表示形態とする）場合には１人称視点にすることで、利便性が高いものとなる。
　このとき、１人称視点で臓器内部を観察しながら、閾値設定部Ｄ３において閾値を逐次変化させることで、連続していなかった臓器の部分を連続させながら表示させることができる。また、このように閾値を変化させて連続的に表示させた結果を用いて、臓器の一体的な部分のデータを作成することが可能となる。
　また、図９は、１人称視点における表示形態例を示す模式図である。
　１人称視点とした場合、仮想的なカメラ（視点）の移動において、進行方向と表面との角度に応じて、仮想的なカメラ（視点）における動作を異なるものとすることができる。
　例えば、仮想的なカメラ(視点)の進行方向と三角形メッシュ（三角形ポリゴン）の法線とがほぼ平行である場合、オブジェクトの表面で仮想的なカメラが跳ね返るように表示を制御することができる。また、仮想的なカメラ(視点)の進行方向と三角形メッシュ（三角形ポリゴン）の法線とがほぼ垂直である場合、オブジェクトの表面に沿って進むように表示を制御することができる。
　これにより、オブジェクト内部を内視鏡で検査する状況等と同様の表示形態とすることができる。
［領域抽出画面］
　領域抽出画面は、初期ＵＩ画面において、指示部Ｄ４の「領域抽出」メニューが呼び出された場合に表示される画面、または、入力部１４において例えばキーボードの特定のキーが押下されているときに表示される画面である。
　領域抽出画面では、表示されているオブジェクトにおいて、連続している領域を抽出し、識別して表示することができる。
　図１０は、人の胸腔部のサーフェスデータの表示例を示す模式図である。また、図１１は、領域抽出画面の一例を示す模式図である。また、図１２は、閾値を変化させて、３次元画像表示部Ｄ１に表示されるオブジェクトの表示形態を変化させる様子を示す模式図である。また、図１３は、３次元画像表示部Ｄ１に表示されたオブジェクトの一部（ここでは、肺）が連続領域として抽出された状態を示す模式図である。
　領域抽出画面においては、初期ＵＩ画面と同様に、３次元画像表示部Ｄ１と、断面画像表示部Ｄ２と、閾値設定部Ｄ３と、が表示され、さらに、指示部Ｄ４には、初期ＵＩ画面に戻るためのアイコン、連続領域を抽出するためのアイコン及び領域抽出画面における連続領域の抽出結果を保存するためのアイコン等が表示されている。なお、３次元画像表示部Ｄ１以外は用途に応じて非表示としてもよい。
　図１０に示すオブジェクトにおいて、ユーザが連続領域を抽出する場合、図１１に示す領域抽出画面の３次元画像表示部Ｄ１にオブジェクトを表示させる。
　そして、閾値設定部Ｄ３を操作することにより、連続領域として抽出しようとするオブジェクトの一部が表示されるよう閾値を調整する（図１２参照）。
　連続領域として抽出しようとするオブジェクトの一部が表示された状態において、そのオブジェクトの一部上の点を指定すると、図１３に示すように、レンダリング処理部１６ｂは、サーフェスデータにおいて、指定された点（三角形メッシュ）と連続している領域を特定し、特定した領域を識別表示（着色する、エッジを強調する、高輝度で表示する等）する。また、特定した領域以外を非表示としたり、特定した領域のみを非表示としたりしてもよい。
　これにより、オブジェクトにおいて、一体的な部分を容易に抽出することができ、例えば、臓器がどのように連続しているか等をわかり易く表示することができる。
　なお、連続領域を抽出する際に、「連続している部分」とされる領域は、所定の閾値で表示されている状態での連続性を条件とすることができる。
　また、「連続している部分」を抽出する場合の閾値は１つに限らず、複数の閾値それぞれの場合に連続している部分（例えば、第１の閾値で連続している状態となる心臓と、第２の閾値で連続している状態となる肺等）を抽出した上で、当該抽出された連続領域は、その後閾値設定部Ｄ３によって閾値が調整されても変化せずに残るようにすることもできる。
［イラスト表示画面］
　イラスト表示画面は、初期ＵＩ画面において、指示部Ｄ４の「イラスト」メニューが呼び出された場合に表示される画面、または、入力部１４において例えばキーボードの特定のキーが押下されているときに表示される画面である。
　イラスト表示画面では、３次元画像を２次元アニメーション（イラスト）のように見せる手法（セルルックあるいはトゥーンレンダリング等）で画像の複雑さを解消して表示あるいは印刷することができる。
　図１４は、イラスト表示画面の一例（３次元画像が表示された状態）を示す模式図である。また、図１５は、イラスト表示画面の一例（イラスト化された画像が表示された状態）を示す模式図である。
　イラスト表示画面においては、３次元画像表示部Ｄ１と、閾値設定部Ｄ３と、が表示され、さらに、指示部Ｄ４には、初期ＵＩ画面に戻るためのアイコン、３次元画像をイラスト化するためのアイコン（またはイラスト化された画像を３次元画像に戻すためのアイコン）及びイラスト表示画面における表示結果（イラスト化された画像）を保存するためのアイコン等が表示されている。なお、イラスト表示画面においても、初期ＵＩ画面と同様に、断面画像表示部Ｄ２を表示することとしてもよく、断面画像をイラスト化することも可能である。なお、３次元画像表示部Ｄ１以外は用途に応じて非表示としてもよい。
　３次元画像をそのまま表示あるいは印刷（即ち、立体画像を平面的に表示あるいは印刷）した場合、画像が複雑でわかり難くなる場合がある。
　特に、医師が患者にＣＴ画像等を示して説明する場合等には、必要な情報以外が多く含まれ、かえって解り難くなることがある。
　そこで、イラスト表示画面においては、３次元画像を２次元アニメーション（イラスト）のように見せる手法（セルルックあるいはトゥーンレンダリング等）で画像の複雑さを解消し、模式的に示された画像に変換して表示する。
　このとき、オブジェクトの表面と内側（例えば、心臓の表面と内側）等を識別して表示するようにすれば、単純かつわかり易い形態で表示できる。また、オブジェクトの各部の名称やコメント等の文字情報を画像上に表示する場合、３次元画像上に表示するよりも（図１４参照）、イラスト化された画像上に表示した方が（図１５参照）、文字情報を識別し易いものとなる。
　なお、カルテ等には、３次元画像とイラスト化された画像とを併せて記録することとしてもよい。
［オブジェクト変形画面］
　オブジェクト変形画面は、初期ＵＩ画面において、指示部Ｄ４の「変形」メニューが呼び出された場合に表示される画面、または、入力部１４において例えばキーボードの特定のキーが押下されているときに表示される画面である。
　オブジェクト変形画面では、表示されているオブジェクトを変形したり、切断したりする等、物理的作用を施した結果をシミュレーションして表示することができる。
　図１６は、オブジェクト変形画面の一例を示す模式図である。
　オブジェクト変形画面においては、３次元画像表示部Ｄ１と、閾値設定部Ｄ３と、が表示され、さらに、指示部Ｄ４には、初期ＵＩ画面に戻るためのアイコン、オブジェクトを変形させるためのアイコン、オブジェクトを切断するためのアイコン、オブジェクトにその他の物理的作用を施すためのアイコン、操作を戻すためのアイコン及びオブジェクト変形画面における操作結果の画像を保存するためのアイコン等が表示されている。
　画像処理装置１においては、三角形メッシュが連続したサーフェスデータを取り扱うことから、オブジェクトの変形等、物理的作用を施すシミュレーションを行うことが容易である。また、オブジェクトの変形等により、新たな表面が生成される場合等には、頂点位置特定テーブルを用いて三角形メッシュの頂点を特定することで、高速にオブジェクトの表面を表すサーフェスデータを生成することができる。
［動作］
　次に、画像処理装置１の動作を説明する。
［オブジェクト表示処理］
　図１７は、画像処理装置１で実行されるオブジェクト表示処理の流れを説明するフローチャートである。
　オブジェクト表示処理は、入力部１４を介して、オブジェクト表示処理の実行が指示入力されることに対応して開始される。
　オブジェクト表示処理が開始されると、ステップＳ１において、ＵＩ制御部１１ａは、初期ＵＩ画面を表示する。初期ＵＩ画面において、表示対象となるオブジェクトデータの選択や、表示形態のメニューの選択等が受け付けられる。
　ステップＳ２において、ＵＩ制御部１１ａは、選択された表示形態でオブジェクトを表示する。例えば、ＵＩ制御部１１ａは、物理量計測画面、位置表示画面あるいは視点切替画面等の各種表示形態に対応するアイコンが選択されることに対応して、それぞれの表示画面に移行する。なお、各表示形態の表示画面に移行した直後は、デフォルトのパラメータ（視点あるいは閾値等）に従って、オブジェクトが表示される。
　ステップＳ３において、ＵＩ制御部１１ａは、ユーザによるパラメータ（視点、閾値、断面位置等）の変更を受け付ける状態に移行する。
　ステップＳ４において、レンダリング処理部１６ｂは、ユーザによりパラメータが変更されたか否かの判定を行う。
　ユーザによりパラメータが変更された場合、ステップＳ４においてＹＥＳと判定されて、処理はステップＳ２に移行する。これにより、変更されたパラメータに応じて、オブジェクトの表示が更新される。このとき、オブジェクトの表示を更新するために、頂点位置特定テーブルが用いられることで、高速に表示を更新することができる。
　一方、ユーザによりパラメータが変更されていない場合、ステップＳ４においてＮＯと判定されて、処理はステップＳ５に移行する。
　ステップＳ５において、ＵＩ制御部１１ａは、ユーザにより、表示画面に表示された結果を保存する指示が入力された否かの判定を行う。
　表示画面に表示された結果を保存する指示が入力されていない場合、ステップＳ５においてＮＯと判定されて、処理はステップＳ７に移行する。
　一方、表示画面に表示された結果を保存する指示が入力された場合、ステップＳ５においてＹＥＳと判定されて、処理はステップＳ６に移行する。
　ステップＳ６において、データ管理部１１ｂは、表示画面に表示された結果を記憶部１７に記憶する。
　ステップＳ７において、ＵＩ制御部１１ａは、ユーザにより、初期ＵＩ画面に戻る指示が入力されたか否かの判定を行う。
　ユーザにより、初期ＵＩ画面に戻る指示が入力された場合、ステップＳ７においてＹＥＳと判定されて、処理はステップＳ１に移行する。
　一方、ユーザにより、初期ＵＩ画面に戻る指示が入力されていない場合、ステップＳ７においてＮＯと判定されて、処理はステップＳ８に移行する。
　ステップＳ８において、ＵＩ制御部１１ａは、オブジェクト表示処理を終了する指示が入力されたか否かの判定を行う。
　オブジェクト表示処理を終了する指示が入力されていない場合、ステップＳ８においてＮＯと判定されて、処理はステップＳ４に移行する。
　一方、オブジェクト表示処理を終了する指示が入力された場合、ステップＳ８においてＹＥＳと判定されて、オブジェクト表示処理は終了する。
　このような処理により、画像処理装置１においては、ボリュームデータから生成されたサーフェスデータを、オブジェクトの変形や計測等が可能な種々の表示形態で、高速に表示することができる。
　したがって、画像処理装置１によれば、３次元画像を適切に可視化することができる。
［変形例１］
　上述の実施形態において、頂点位置特定テーブルとして、図２に示す形態を例に挙げて説明したが、これに限られない。
　即ち、頂点位置特定テーブルは、三角形メッシュの頂点がいずれのエッジに存在するかを容易に特定することができるものであれば、種々の変形を行うことが可能である。例えば、ボリュームデータの頂点から所定方向（上下方向、左右方向、前後方向の各一方）に延びるエッジの数（２次元のボリュームデータの場合は２つ、３次元のボリュームデータの場合は３つ）に応じて、これらのエッジをまとめて取り扱うことで、より高速に三角形メッシュの頂点がいずれのエッジに存在するかを特定することができる。
　図１８は、頂点位置特定テーブルの変形例を示す模式図である。
　なお、図１８においては、説明を簡単にするため、ボリュームデータの頂点から所定方向に延びるエッジが２つである場合（２次元のボリュームデータ）を例に挙げて説明する。
　図１８に示すように、本変形例において、頂点位置特定テーブルの第１行には、ボリュームデータにおけるボクセルのエッジを識別する番号が格納されている。
　また、頂点位置特定テーブルの第２行には、第１行の各エッジ上に三角形メッシュの頂点が存在するか否かを示す第１のフラグ（存在する場合は「１」、存在しない場合は「０」）が格納されている。エッジ上に三角形メッシュの頂点が存在するか否かは、エッジの両端に位置するボクセルの値が所定の差分（表面であるか否かを判定するための閾値以上の値）を有するか否かによって判定することができる。
　本変形例における頂点位置特定テーブルでは、２つのエッジが１組として取り扱われる。即ち、エッジ番号の小さいエッジから２つずつを１組とし、これらの組ごとに、第２のフラグが設定される。
　具体的には、頂点位置特定テーブルの第３行には、エッジ番号の小さいエッジから２つずつを１組として、これらのエッジの第１のフラグの値を加算した結果が共通の第２のフラグとして設定される。
　さらに、頂点位置特定テーブルの第４行には、第１行のエッジを識別する番号及びそのエッジに対応する第３行の第２のフラグに基づいて特定されるハッシュ値が格納されている。第４行のハッシュ値は、第２ｎ番目及び第２ｎ＋１番目（ｎは自然数）の１組のエッジの場合、第２（ｎ－１）番目及び第２（ｎ－１）＋１番目の１組のエッジのハッシュ値と、第２（ｎ－１）番目及び第２（ｎ－１）＋１番目の１組のエッジの第２のフラグとを加算することで算出される。第０番目及び第１番目の組のエッジのハッシュ値は第０番目及び第１番目の組の第２のフラグと同じ値である。このように、頂点位置特定テーブルのハッシュ値は、加算処理の連続によって算出することができるため、画像処理部１６が実行することで、高速に処理することができる。
　なお、頂点位置特定テーブルの第５行には、エッジ番号の小さいエッジから２つずつを１組としたエッジの組の番号が設定されている。このエッジの組の番号は、ボリュームデータの頂点の番号（Ｖｏｘｅｌ　ＩＤ（ただし、図１８では２次元のボリュームデータの例であるため「Ｐｉｘｅｌ　ＩＤ」と表記する。））を表している。
　このような頂点位置特定テーブルから、三角形メッシュの頂点がいずれのエッジに存在するかを特定する場合、第４行に設定されているハッシュ値を参照することで、第ｍ番目（ｍは０以上の整数）の頂点がいずれのエッジに存在するかを容易に特定することができる。
　なお、頂点位置特定テーブルにおいて、第４行に設定されているハッシュ値は不連続な値となっているが、値が不連続となる箇所は、エッジ番号の小さいエッジから２つずつを１組とした場合の２つのエッジ共に三角形メッシュの頂点が存在している場合に該当する。
　したがって、頂点位置特定テーブルの第４行に設定されているハッシュ値のうち、不連続な値に該当する三角形メッシュの頂点（例えば、第ｋ番目（ｋは自然数））を参照する場合、１つ小さい値（第ｋ－１番目）の頂点が属するエッジの組のうち、番号が大きい方のエッジに存在するものと特定できる。
　このような頂点位置特定テーブルを用いることで、ボリュームデータにおけるエッジの数が増大した場合であっても、より少ないデータを保持しておくことで、三角形メッシュが存在するエッジを特定することが可能となる。
　［変形例２］
　上述の実施形態において、オブジェクトのデータ（サーフェスデータ）を表示する場合、閾値設定部Ｄ３で設定された閾値に基づいて、サーフェスデータを構成する三角形メッシュの頂点の位置を特定し、三角形メッシュの集合で表される表面全体に特定の色（例えば、白または黒）を付してオブジェクトが表示される。
　このとき、１つの閾値を設定することで、骨と血管等、ボクセルの値が大きく異なるオブジェクトを同時に表示できれば、比較的単純な処理で表面を表示することができることから、利便性が高いものとなる。
　しかしながら、１つの閾値を設定して、ボクセルの値が大きく異なるオブジェクトを同時に表示する場合、いずれのオブジェクトの表面も、設定された閾値が共通することから、同一の色で表示されることとなる。
　この結果、視点や断面の位置等の条件によっては、異なるオブジェクトの表面を区別し難くなる可能性がある。
　そこで、本変形例においては、オブジェクト表面の色を付す際に、三角形メッシュの頂点に隣接するボクセルの値を参照し、設定された条件（以下、「着色基準ボクセル選択条件」と称する。）に従って選択されたボクセルに対応する色を三角形メッシュの頂点の色に設定して表示するものとする。
　これにより、オブジェクトの属性（内部のボクセルの値）を反映させて表面の色を補正することができるため、ボクセルの値が大きく異なるオブジェクトを１つの閾値で抽出した場合に、異なるオブジェクトの表面を区別し易い形態で表示することができる。また、同一オブジェクト内においても、異なるボクセルの値に応じた色の区別を行うことができる。
　図１９は、本変形例におけるオブジェクト表面の色補正方法を示す模式図である。
　なお、図１９においては、説明の便宜のため、表面が線分で表される２次元のボリュームデータを例として示しているが、３次元のボリュームデータの場合、表面は三角形メッシュで表され、三角形メッシュの各頂点について、同様に補正を行うことができる。また、図１９に示す例では、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点を挟むボクセルの一方（ここでは、オブジェクトの内側のボクセル）を選択する場合を示している。
　図１９において、「（ａ）オリジナルデータ」に示される各点はボクセルを表し、各点に付記された数値はボクセルが有する値を示している。
　図１９に示す例では、「骨」の領域に属するボクセルは、約１２００程度の値を中心に分布し、「血管」の領域に属するボクセルは、約４００程度の値を中心に分布している。
　このとき、閾値を１０００に設定すると、骨の領域が高精度に抽出され、血管の領域は抽出されないこととなる。
　一方、閾値を３００に設定した場合、骨及び血管の領域が抽出されるものの、閾値を１０００に設定した場合に比べて、骨の領域がやや膨らんだ状態で抽出される。
　しかしながら、閾値を１０００に設定した場合に比べて、骨の領域がやや膨らんだとしても、頂点が三角形メッシュの同じ辺の上を移動する程度の差の範囲であれば、１つの閾値を設定して、骨及び血管の領域の表面を同時に表示できることが望ましい。
　そこで、本変形例においては、三角形メッシュの頂点を挟むボクセルのうち、オブジェクトの内側のボクセルに色を割り当て、このボクセルの色を三角形メッシュの頂点の色としてコピーする。
　即ち、図１９の「（ａ）オリジナルデータ」において、閾値を３００に設定した場合、ボクセル（ピクセル）の値が３００以上の領域がオブジェクトの内側と定義される。
　そして、図１９の「（ｂ）選択されたボクセルへの色の割り当て」に示すように、三角形メッシュの頂点を挟むボクセルのうち、オブジェクトの内側のボクセル（即ち、設定された閾値よりも大きい値を有する方のボクセル）に、オブジェクトの値に応じた色を割り当てる。
　さらに、図１９の「（ｃ）頂点への色のコピー」に示すように、オブジェクトの内側のボクセルに割り当てられた色を三角形メッシュの頂点の色としてコピーする。
　この後、図１９の「（ｄ）表面の色の線形補間」に示すように、三角形メッシュの頂点の色を基準に、頂点の間（表面）の色を線形補間することで、オブジェクトの表面に色が付される。
　図２０は、本変形例の色補正方法によって、１つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。なお、図２０においては、本願発明のオリジナルの手法（第１実施形態の手法）と、本変形例の手法とでオブジェクトを表示した場合の例を比較して示している。
　図２０に示すように、変形例２の色補正方法によれば、ボクセルの値が大きく異なる領域を１つの閾値で抽出したとしても、オブジェクト内部のボクセルの値が表面に反映されることから、表面がある程度異なる色で表現されたオブジェクトとして表示することができる。
　なお、設定された閾値よりもボクセルの値が小さい領域がオブジェクトの内側と定義される場合には、閾値よりも小さい値を有する方のボクセルに色を割り当て、このボクセルの色を三角形メッシュの頂点の色としてコピーすればよい。
［変形例３］
　上述の変形例２によれば、ボクセルの値が大きく異なる領域を１つの閾値で抽出したとしても、表面がある程度異なる色で表現されたオブジェクトとして表示することが可能となる。
　一方、ボリュームデータにおけるオブジェクトの境界が、隣接するボクセルの間に明確に表れていない場合、図２０に示すように、異なるオブジェクトの色が部分的に類似したり、オブジェクトの色が単一にならず、モザイク状や縞模様になったりする可能性が生じる。
　そこで、本変形例においては、変形例２のオブジェクト表面の色補正方法に変更を加え、オブジェクトの境界が、隣接するボクセルの間に明確に表れていないボリュームデータであっても、ボクセルの値が大きく異なる領域を１つの閾値で抽出した場合に、表面が異なる色で表現されたオブジェクトとして表示する方法を実現する。
　図２１は、オブジェクトの境界が、隣接するボクセルの間に明確に表れていないボリュームデータのオブジェクト表面の色補正方法を示す模式図である。なお、図２１の「（ａ）線形補間された表面の色」は、オリジナルのボリュームデータに対して、図１９に示す色補正方法が施された状態（「（ｄ）表面の色の線形補間」の状態）を示している。
　図２１の「（ａ）線形補間された表面の色」に示すように、オブジェクトの境界において、オブジェクトの内側のボクセルの値とオブジェクトの外側のボクセルの値との中間の値を有するボクセルが存在する場合等には、この中間の値を有するオブジェクトの存在により、異なるオブジェクトの表面に類似する色の部分が生じる。
　そこで、本変形例においては、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点を挟む複数のボクセル群の一方のボクセル群を選択し、選択したボクセル群の各ボクセルの値の中で最も大きい（または最も小さい）値を有するボクセルを選択するものとする。
　即ち、図２１の「（ａ）線形補間された表面の色」に示す例の第１行のボクセル群において、１００,１１００,１２００のようなボクセル（ピクセル）の配置であれば、オブジェクトの境界が隣接するボクセルの間に明確に表れているといえるが、実際には１００,３５０,１１００のようになっており、オブジェクトの内側のボクセルの値１１００とオブジェクトの外側のボクセルの値１００との中間の値３５０を有するボクセルが存在している。
　このようなボクセルの存在により、図２１の「（ａ）線形補間された表面の色」に示す骨及び血管の領域の表面では、類似する色の部分が生じている。
　これに対し、図２１の「（ｂ）変形例３のオブジェクト表面の色補正方法」では、第１行のボクセル群において、三角形メッシュの頂点に隣接する３５０の値を有するボクセルに加え、さらに１つ先に隣接している１１００の値を有するボクセルも着色基準ボクセル選択条件による選択対象とされる。
　そして、三角形メッシュの頂点に隣接する３５０の値を有するボクセル及び１１００の値を有するボクセルのうち、大きい方の値を有するボクセルを選択し、１１００の値に対応する色が三角形メッシュの頂点にコピーされる。
　このような処理を各三角形メッシュの頂点に対して、行方向または列方向に実行し、オブジェクトの属性（内部のボクセルの値）を確実に反映させて、表面の色を補正する。
　図２２は、本変形例の色補正方法によって、１つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。なお、図２２においては、本願発明のオリジナルの手法（第１実施形態の手法）と、本変形例の手法とでオブジェクトを表示した場合の例を比較して示している。
　図２２に示すように、変形例３の色補正方法によれば、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータであっても、ボクセルの値が大きく異なる領域を１つの閾値で抽出した場合に、オブジェクト内部のボクセルの値がより強く表面に反映されることから、表面が異なる色で表現されたオブジェクトとして表示することが可能となる。
［変形例４］
　変形例３の図２１に示す例では、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点から一方向に隣接する２つ目までのボクセルを着色基準ボクセル選択条件による選択対象とする例について説明したが、より多くの隣接するボクセルを選択対象とすることとしてもよい。また、一方向に隣接するボクセルを選択対象とすることの他、三角形メッシュの頂点の周辺のボクセルを選択対象とすることも可能である。
　図２３は、着色基準ボクセル選択条件による選択対象として、三角形メッシュの頂点の周辺のボクセルを選択する色補正方法の一例を示す模式図である。
　図２３においては、変形例３の着色基準ボクセル選択条件である一方向に隣接する２つ先のボクセルまでを選択した上で、２つ先のボクセルから一方向と交差する方向（ここでは前述の一方向と直交する方向とする。）に１つずつ、さらに選択対象のボクセルを拡大した例を示している。
　図２３の「（ａ）変形例３のオブジェクト表面の色補正方法の一部」に示す例のように、変形例３の色補正方法を用いたとしても、特に、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータの場合、参照されるボクセルがオブジェクト内部のボクセルとは異なる値を有するものとなることがある。これは、オブジェクト表面に縞模様（あるいは角部分の不連続な色）が現れる原因となる等、オブジェクト表面を滑らかに表示する上で改善の余地を残すものとなる。
　そこで、本変形例においては、三角形メッシュの頂点から一方向に隣接する２つ先のボクセルまでを選択した上で、２つ先のボクセルから一方向と交差する方向（直交する方向）に１つずつ、さらに選択対象のボクセルを拡大する。
　即ち、図２３の「（ｂ）変形例４のオブジェクト表面の色補正方法の途中経過」に示す例の第２行の三角形メッシュの頂点に着目すると、この頂点については、左側の図に示すように、第２行の右側に隣接する２つのボクセル及び第２行の右端のボクセルの上下に隣接する２つのボクセルが選択対象となり、これらの中で最も大きい値である１２００を有するボクセルが選択され、１２００の値に対応する色が着目する三角形メッシュの頂点にコピーされる。
　次に、図２３の「（ｂ）変形例４のオブジェクト表面の色補正方法の途中経過」に示す例の第３行の三角形メッシュの頂点に着目すると、この頂点についても、右側の図に示すように、第３行の右側に隣接する２つのボクセル及び第３行の右端のボクセルの上下に隣接する２つのボクセルが選択対象となり、これらの中で最も大きい値である１２００を有するボクセルが選択され、１２００の値に対応する色が着目する三角形メッシュの頂点にコピーされる。
　この様な処理が繰り返される結果、図２３の「（ｃ）変形例４のオブジェクト表面の色補正方法の一部」に示す例のように、１２００の値を有するボクセルの周辺に位置するオブジェクト表面においては、全ての三角形メッシュの頂点に１２００の値に対応する色がコピーされることとなる。
　そのため、図２３の「（ａ）変形例３のオブジェクト表面の色補正方法（一部抜粋）」に示す例の場合に比べて、オブジェクト表面に縞模様（あるいは角部分の不連続な色）が現れることが抑制されている。
　即ち、変形例４の色補正方法によれば、オブジェクト表面において特異な色が現れることを防止し、オブジェクトの表面をさらに滑らかに表示することが可能となる。
　図２４は、本変形例の色補正方法によって、１つの閾値を設定して異なるオブジェクトを同時に表示した場合の比較結果の一例を示す模式図である。なお、図２４においては、本願発明のオリジナルの手法（第１実施形態の手法）と、本変形例の手法とでオブジェクトを表示した場合の例を比較して示している。
　図２４に示すように、変形例４の色補正方法によれば、オブジェクトの境界が隣接するボクセルの間に明確に表れていないボリュームデータであっても、オブジェクト内部のボクセルのうち、より適切なボクセルの値が表面に反映されることとなる。そのため、ボクセルの値が大きく異なる領域を１つの閾値で抽出した場合に、表面が異なる色で表現されたオブジェクトをより滑らかに表示することが可能となる。
　以上のように構成される画像処理装置１は、ＵＩ制御部１１ａと、レンダリング処理部１６ｂと、を備える。
　レンダリング処理部１６ｂは、値を有する複数の点によって構成されるボリュームデータから、値の大きさに基づいて特定される表面の形状を表す表面データ（サーフェスデータ）を取得する。
　ＵＩ制御部１１ａは、表面データとして表示するか否かを決定するための値の閾値を設定する。
　レンダリング処理部１６ｂは、視点として設定された位置とユーザによって指定された点とを通る直線が、閾値に応じて表示される表面の形状と交差する交点を特定する。
　レンダリング処理部１６ｂは、交点を通る平面を基準として、表面データが表す表面の形状の表示を制御する。
　これにより、ボリュームデータから生成されたサーフェスデータを種々の表示形態で、高速に表示することができる。
　したがって、画像処理装置１によれば、３次元画像を適切に可視化することができる。
　レンダリング処理部１６ｂは、ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、エッジに表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、エッジ情報と、フラグとに基づいて特定される三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、ボリュームデータから表面データを取得する。
　これにより、ボリュームデータから表面データを取得する処理をより高速に行うことができる。
　レンダリング処理部１６ｂは、交点を通る平面に対し、一方の側に存在する表面データを表示し、他方の側に存在する表面データを表示しない。
　これにより、断面画像を容易に生成することができる。
　レンダリング処理部１６ｂは、表示されている表面データにおいて、特定の操作が行われた場合に、表面データに基づいて、当該操作に対応する物理量を算出する。
　これにより、表示されている表面データに対する操作によって、表面データが表すオブジェクトの物理量を計測することが可能となる。
　レンダリング処理部１６ｂは、表面データにおけるボクセルが指定された場合に、当該ボクセルを通る断面画像を表示する。
　これにより、オブジェクトにおける特定の部位を確認したい場合に、確認対象となるボクセルを容易に認識することができる。
　レンダリング処理部１６ｂは、ユーザの操作に応じて、ボリュームデータが表すオブジェクトの外部を視点とする第１の表示形態と、オブジェクトの内部を視点とする第２の表示形態とを切り替える。
　これにより、オブジェクトを外部から観察する場合と、オブジェクト内部を観察する場合とで適切な視点に切り替えることができるため、オブジェクトを表示する際の利便性を高めることができる。
　ＵＩ制御部１１ａは、表面データとして表示するか否かを決定するための第１の閾値と第２の閾値とを設定する。
　レンダリング処理部１６ｂは、設定された第１の閾値と第２の閾値とによって決定される値に基づいて、表面データの表示を制御する。
　これにより、多様な閾値を設定して、適切に表面データを表示することが可能となる。
　レンダリング処理部１６ｂは、表示されている表面データにおいて、特定の点に対する操作が行われた場合に、表面データに基づいて、当該特定の点と連続する部分を抽出する。
　これにより、表面データが表すオブジェクトにおける一体的な部分を容易に抽出することができ、オブジェクトがどのように連続しているか等をわかり易く表示することができる。
　レンダリング処理部１６ｂは、ユーザの指示に応じて、表示されている前記表面データをイラスト化した２次元画像に変換して表示する。
　これにより、画像の複雑さを解消し、模式的に示されたわかり易い画像を表示することができる。
　レンダリング処理部１６ｂは、１つの閾値が設定された場合に、ボリュームデータが表すオブジェクトであって、当該閾値に応じて表示される異なるオブジェクトの表面を、当該オブジェクトそれぞれの内部のボクセルの値に応じた色で表示する。
　これにより、ボクセルの値が大きく異なる領域を１つの閾値で抽出したとしても、表面が異なる色で表現されたオブジェクトとして表示することができる他、同一オブジェクト内でも異なるボクセルの値に応じた色の区別を行うことができる。
　なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　即ち、本発明は、画像処理機能を備える各種電子機器に対して適用することができる。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
　換言すると、図１の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
　また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
　本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
　一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
　このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）や、記憶部２０Ｂに含まれる半導体メモリ等で構成される。
　以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１　画像処理装置、１１　ＣＰＵ、１１ａ　ＵＩ制御部、１１ｂ　データ管理部、１２　ＲＯＭ、１３　ＲＡＭ、１４　入力部、１５　表示部、１６　画像処理部、１６ａ　オブジェクトデータ取得部、１６ｂ　レンダリング処理部、１７　記憶部、１８　通信部

Claims (12)

  1. 　値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得手段と、
    　前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定手段と、
    　視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定手段と、
    　前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記表面データ取得手段は、前記ボリュームデータにおけるボクセルのエッジを識別するエッジ情報と、前記エッジに前記表面データを表す三角形メッシュの頂点が存在するか否かを表すフラグと、前記エッジ情報と、前記フラグとに基づいて特定される前記三角形メッシュの頂点を識別する頂点識別情報とが対応付けられたテーブルデータを参照し、前記ボリュームデータから前記表面データを取得することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記表示制御手段は、前記交点を通る平面に対し、一方の側に存在する前記表面データを表示し、他方の側に存在する前記表面データを表示しないことを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記表示制御手段によって表示されている前記表面データにおいて、特定の操作が行われた場合に、前記表面データに基づいて、当該操作に対応する物理量を算出する物理量算出手段を備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記表示制御手段は、前記表面データにおけるボクセルが指定された場合に、当該ボクセルを通る断面画像を表示することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記表示制御手段は、ユーザの操作に応じて、前記ボリュームデータが表すオブジェクトの外部を視点とする第１の表示形態と、前記オブジェクトの内部を視点とする第２の表示形態とを切り替えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記閾値設定手段は、前記表面データとして表示するか否かを決定するための第１の閾値と第２の閾値とを設定し、
    　前記表示制御手段は、設定された前記第１の閾値と前記第２の閾値とによって決定される前記値に基づいて、前記表面データの表示を制御することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記表示制御手段によって表示されている前記表面データにおいて、特定の点に対する操作が行われた場合に、前記表面データに基づいて、当該特定の点と連続する部分を抽出する抽出手段を備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記表示制御手段は、ユーザの指示に応じて、表示されている前記表面データをイラスト化した２次元画像に変換して表示することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記表示制御手段は、１つの前記閾値が設定された場合に、前記ボリュームデータが表すオブジェクトであって、当該閾値に応じて表示される異なる前記オブジェクトの前記表面を、当該オブジェクトそれぞれの内部のボクセルの値に応じた色で表示することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得ステップと、
    　前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定ステップと、
    　視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定ステップと、
    　前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御ステップと、
    　を含むことを特徴とする画像処理方法。
  12. 　コンピュータに、
    　値を有する複数の点によって構成されるボリュームデータから、前記値の大きさに基づいて特定される表面の形状を表す表面データを取得する表面データ取得機能と、
    　前記表面データとして表示するか否かを決定するための前記値の閾値を設定する閾値設定機能と、
    　視点として設定された位置とユーザによって指定された点とを通る直線が、前記閾値に応じて表示される前記表面の形状と交差する交点を特定する交点特定機能と、
    　前記交点を通る平面を基準として、前記表面データが表す表面の形状の表示を制御する表示制御機能と、
    　を実現させることを特徴とするプログラム。
PCT/JP2021/025373 2020-07-03 2021-07-05 画像処理装置、画像処理方法及びプログラム WO2022004898A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21834498.4A EP4177844A4 (en) 2020-07-03 2021-07-05 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
CA3184690A CA3184690A1 (en) 2020-07-03 2021-07-05 Image processing device, image processing method, and program
JP2022534137A JP7279275B2 (ja) 2020-07-03 2021-07-05 画像処理装置、画像処理方法及びプログラム
US18/014,122 US20230260198A1 (en) 2020-07-03 2021-07-05 Image processing device, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020116005 2020-07-03
JP2020-116005 2020-07-03

Publications (1)

Publication Number Publication Date
WO2022004898A1 true WO2022004898A1 (ja) 2022-01-06

Family

ID=79316394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025373 WO2022004898A1 (ja) 2020-07-03 2021-07-05 画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20230260198A1 (ja)
EP (1) EP4177844A4 (ja)
JP (1) JP7279275B2 (ja)
CA (1) CA3184690A1 (ja)
WO (1) WO2022004898A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004230166A (ja) * 2003-01-30 2004-08-19 Ge Medical Systems Global Technology Co Llc 被検体の再配向を用いてイメージングする方法及び装置
JP2008018016A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2009136665A (ja) * 2007-11-16 2009-06-25 Morita Mfg Co Ltd Ｘ線画像表示方法、ｘ線撮影装置、及びｘ線画像表示装置
JP2011010715A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 超音波診断装置及び画像データ表示用制御プログラム
JP2012239820A (ja) * 2011-05-24 2012-12-10 Toshiba Corp 超音波診断装置及び画像処理装置
JP2013013650A (ja) * 2011-07-06 2013-01-24 Hitachi Aloka Medical Ltd 超音波画像処理装置
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
JP2016202904A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 診断支援装置、診断支援システム、情報処理方法、及びプログラム
WO2018159709A1 (ja) * 2017-02-28 2018-09-07 富士フイルム株式会社 ３次元画像処理装置および方法並びにプログラム
JP2020014551A (ja) 2018-07-23 2020-01-30 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004105256A (ja) * 2002-09-13 2004-04-08 Fuji Photo Film Co Ltd 画像表示装置
WO2020097425A2 (en) * 2018-11-09 2020-05-14 Vida Diagnostics, Inc. Cut-surface display of tubular structures

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004230166A (ja) * 2003-01-30 2004-08-19 Ge Medical Systems Global Technology Co Llc 被検体の再配向を用いてイメージングする方法及び装置
JP2008018016A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2009136665A (ja) * 2007-11-16 2009-06-25 Morita Mfg Co Ltd Ｘ線画像表示方法、ｘ線撮影装置、及びｘ線画像表示装置
JP2011010715A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 超音波診断装置及び画像データ表示用制御プログラム
JP2012239820A (ja) * 2011-05-24 2012-12-10 Toshiba Corp 超音波診断装置及び画像処理装置
JP2013013650A (ja) * 2011-07-06 2013-01-24 Hitachi Aloka Medical Ltd 超音波画像処理装置
JP2013236750A (ja) * 2012-05-15 2013-11-28 Denso Corp 画像処理装置、撮像システム、およびプログラム
JP2016202904A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 診断支援装置、診断支援システム、情報処理方法、及びプログラム
WO2018159709A1 (ja) * 2017-02-28 2018-09-07 富士フイルム株式会社 ３次元画像処理装置および方法並びにプログラム
JP2020014551A (ja) 2018-07-23 2020-01-30 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HATAGUCHI RYO: "Improvement of representation for three-dimensional reconstruction and visualization of serial histological specimens", IEICE TECHNICAL REPORT, vol. 114, no. 482 (MI2014 53-118), 3 March 2015 (2015-03-03), JP, pages 125 - 128, XP009534018 *
KAZUTAKA NAKAJIMA, HIROMI KOYAMA, TAKEO IGARASHI, TAKASHI IJIRI, SHIN INADA, KAZUO NAKAZAWA : "Interactive Deformation of Structurally Complex Heart Models Constructed from Medical Images", PREPRINTS OF VISUAL COMPUTING/GRAPHICS AND CAD JOINT SYMPOSIUM 2016; JUNE 18, 2016-JUNE 19, 2016,, 18 June 2016 (2016-06-18) - 19 June 2016 (2016-06-19), JP, pages 217 - 220, XP009534277 *
See also references of EP4177844A4

Also Published As

Publication number Publication date
EP4177844A4 (en) 2024-04-17
JPWO2022004898A1 (ja) 2022-01-06
US20230260198A1 (en) 2023-08-17
CA3184690A1 (en) 2022-01-06
EP4177844A1 (en) 2023-05-10
JP7279275B2 (ja) 2023-05-23

Similar Documents

Publication Publication Date Title
US8107701B2 (en) Medical image display system and medical image display program
JP5866177B2 (ja) 画像処理装置および画像処理方法
US20050237336A1 (en) Method and system for multi-object volumetric data visualization
KR20020041290A (ko) 3차원 슬랩 렌더링 시스템 및 그 방법
JP2009034521A (ja) 医学的な画像診断におけるデータを体積レンダリングするシステムと方法ならびにコンピュータ読み出し可能記憶媒体
US9053574B2 (en) Calibrated natural size views for visualizations of volumetric data sets
JP2007222629A (ja) 仮想切開を用いたインコンテキストボリューム視覚化のためのシステムおよび方法
JP6261301B2 (ja) 医用画像表示装置およびその制御方法
CN111430012B (zh) 使用实时边缘感知刷来半自动地分割3d医学图像的***和方法
JP2013192940A (ja) 医用画像処理装置及び医用画像処理方法
JP2006326312A (ja) 多分岐された血管および該血管の周囲環境を単一のイメージに同時に投影する方法
Huang et al. 3D reconstruction and visualization from 2D CT images
JP2017537363A (ja) 生体構造のボリュメトリック画像を視覚化すること
US9092902B2 (en) Visualization of a rendered multi-dimensional dataset
US20230390032A1 (en) Method for determining object area from three-dimensional model, and three-dimensional model processing device
EP3828836B1 (en) Method and data processing system for providing a two-dimensional unfolded image of at least one tubular structure
WO2022004898A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012085833A (ja) ３次元医用画像データの画像処理システム、その画像処理方法及びプログラム
JP2010131315A (ja) 医用画像処理装置及び医用画像処理プログラム
JP2001101451A (ja) 三次元画像高速表示装置および該高速表示装置を用いて三次元空間内の座標を三次元画像上で対話的に指定する方法
US20150320507A1 (en) Path creation using medical imaging for planning device insertion
US20080144901A1 (en) Cartoon-like exaggeration of medical images to emphasize abnormalities
JP4536176B2 (ja) カラー画像表示装置およびその方法
JP2006055402A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2020000863A (ja) 医用画像処理システム、医用画像処理方法および医用画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21834498

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2022534137

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3184690

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021834498

Country of ref document: EP

Effective date: 20230203