WO2021181731A1 - 表示制御装置、表示制御方法、及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
WO2021181731A1
WO2021181731A1 PCT/JP2020/036595 JP2020036595W WO2021181731A1 WO 2021181731 A1 WO2021181731 A1 WO 2021181731A1 JP 2020036595 W JP2020036595 W JP 2020036595W WO 2021181731 A1 WO2021181731 A1 WO 2021181731A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
given
tomographic image
tomographic
computer
Prior art date
Application number
PCT/JP2020/036595
Other languages
English (en)
French (fr)
Inventor
純一 石垣
栄一 今道
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022505744A priority Critical patent/JP7510495B2/ja
Publication of WO2021181731A1 publication Critical patent/WO2021181731A1/ja
Priority to US17/819,358 priority patent/US11983801B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present disclosure relates to a display control device, a display control method, and a display control program.
  • diagnostic imaging has been performed using medical three-dimensional images taken by imaging devices such as CT (Computed Tomography) devices and MRI (Magnetic Resonance Imaging) devices.
  • imaging devices such as CT (Computed Tomography) devices and MRI (Magnetic Resonance Imaging) devices.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • Such a three-dimensional image includes tomographic images at a plurality of different tomographic positions.
  • image diagnosis using a three-dimensional image by a doctor a plurality of tomographic images are switched and displayed.
  • a technique for displaying a slider bar for designating a tomographic position corresponding to each of the plurality of tomographic images has been proposed (see Japanese Patent Application Laid-Open No. 2004-173910).
  • a slider is displayed on the slider bar, the user specifies a tomographic position by moving the slider, and a tomographic image corresponding to the specified tomographic position is displayed.
  • the computer diagnosis result is included in the tomographic position corresponding to the tomographic image including the result of the image diagnosis executed by the computer such as the abnormal shadow candidate (hereinafter referred to as "computer diagnosis result").
  • a mark indicating that is displayed next to the slider bar is displayed next to the slider bar.
  • the given information such as the computer diagnosis result described in Japanese Patent Application Laid-Open No. 2004-173910 means that the given information given to each tomographic image and the mark corresponding to the given information are linked one-to-one. So, it is the information given unique to each tomographic image.
  • the user grasps whether or not unique imparted information is assigned to the tomographic image corresponding to the tomographic position specified on the slider bar. It was sometimes difficult to do.
  • the technique described in Japanese Patent No. 6419441 is merely a technique for displaying a label of an organ name included in a tomographic image corresponding to a designated tomographic position. Therefore, even in the technique described in Japanese Patent No. 6419441, unique imparted information is added to the tomographic image corresponding to the tomographic position specified on the slider bar, as in Japanese Patent Application Laid-Open No. 2004-173910. In some cases, it was difficult for the user to know whether or not it was present.
  • the given information given to the tomographic image described in Japanese Patent No. 6419441 is given information corresponding to the organ, and the given information given to each tomographic image and the label are one-to-one. It is not the information given to each tomographic image that is associated with it. For example, even if the designation of the tomographic position is changed on the slider bar, the given information given to each tomographic image is the same as long as the same organ is shown in each tomographic image of the tomographic position before and after the change. Therefore, the label with the same organ name will be displayed. This means that one label is associated with a plurality of imparted information given to a plurality of tomographic images containing the same organ. Therefore, as described above, even in the technique described in Japanese Patent No.
  • This disclosure has been made in view of the above circumstances, and it is easy for the user to grasp whether or not unique imparted information is assigned to the tomographic image corresponding to the tomographic position specified by the designated object. It is an object of the present invention to provide a display control device, a display control method, and a display control program.
  • the display control device of the present disclosure is a display control device including at least one processor, and the processor is for designating a tomographic position corresponding to each of a plurality of medical tomographic images obtained by photographing a subject. Controls to display a designated object and a tomographic image corresponding to a designated tomographic position, and includes at least one of a user-granted information given by a user and a computer-granted information given by a computer, and a plurality of faults. A tomographic image unique to each image and to which the given information set to be given for each tomographic image is given is a mark indicating the given information, and one tomographic image is given by one mark.
  • the depth direction means the depth direction of a plurality of tomographic images.
  • the designated object may include a slider bar.
  • the designated object may include a schema.
  • the display control device of the present disclosure controls the processor to display the slider bar in different colors from one end of the slider bar to the specified fault position and from the other end to the specified fault position. May be done.
  • the given information includes the computer-granted information
  • the processor gives a mark indicating the computer-granted information given to the undisplayed tomographic image and a computer given to the displayed tomographic image. Control may be performed to display the mark representing the given information in an identifiable manner.
  • the display control device of the present disclosure accepts an input indicating whether or not the computer-assigned information is correct, and the processor accepts an input indicating that the computer-assigned information is incorrect.
  • control may be performed to change the color of the mark representing the computer-assigned information from the current display color to a color close to the background color.
  • the grant information includes the computer grant information
  • the processor accepts an input for switching between display and non-display of the computer grant information, and a mark representing the computer grant information according to the received input. You may control to switch the display and non-display of.
  • the processor controls to display the computer-assigned information on the tomographic image for the tomographic image to which the computer-assigned information is added, and the computer-assigned information is given according to the received input. Control may be performed to switch the display / non-display of both the mark representing the mark and the computer-assigned information on the tomographic image.
  • the imparted information includes the contour of the region of interest in the tomographic image as computer-assigned information, and the processor assigns the contour of the region of interest to the tomographic image corresponding to the designated tomographic position. If so, the contour of the region of interest is controlled to be displayed on the tomographic image, and the contour of the region of interest is given to any of the other tomographic images in which the same region of interest as the display target region is detected. May be controlled to display.
  • the display control device of the present disclosure may control the processor to display the maximum contour of the contours of the region of interest given to other tomographic images.
  • the computer-assigned information is represented by a computer extracting a tomographic image group showing the same object from a plurality of tomographic images and extracting the tomographic image group.
  • a tomographic image may be selected and include information to be given to the selected tomographic image.
  • the user-supplied information includes information given by the user to a tomographic image that is a representative of a tomographic image group in which the same object is captured among a plurality of tomographic images. May be good.
  • the display control method of the present disclosure includes a designated object for designating a tomographic position corresponding to each of a plurality of medical tomographic images obtained by photographing a subject, and a tomographic image corresponding to the designated tomographic position.
  • Controls to display the image and includes at least one of the user-granted information given by the user and the computer-granted information given by the computer, which is unique to each of a plurality of tomographic images and is given to each tomographic image.
  • a mark representing the given information and a mark that can identify one tomographic image by one mark is given to the tomographic image.
  • the processing to be controlled is executed by the processor included in the display control device.
  • the display control program of the present disclosure includes a designated object for designating a tomographic position corresponding to each of a plurality of medical tomographic images obtained by photographing a subject, and a tomographic image corresponding to the designated tomographic position.
  • Controls to display the image and includes at least one of the user-granted information given by the user and the computer-granted information given by the computer, which is unique to each of a plurality of tomographic images and is given to each tomographic image.
  • a mark representing the given information and a mark that can identify one tomographic image by one mark is given to the tomographic image.
  • the diagnostic support system 10 includes a display control device 12, a photographing device 14, and an image storage device 16.
  • the display control device 12, the photographing device 14, and the image storage device 16 are each connected to the network N, and can communicate with each other via the network N.
  • the imaging device 14 is an apparatus that generates a three-dimensional medical image representing the site by photographing the site to be diagnosed of the subject.
  • the three-dimensional medical image taken by the imaging device 14 includes a plurality of tomographic images.
  • a CT device is applied as the photographing device 14
  • the present invention is not limited to this.
  • a device that generates a three-dimensional medical image other than a CT device such as an MRI device or a PET (Positron Emission Tomography) device may be applied.
  • a tomographic image of an axial cross section is applied as a tomographic image constituting a three-dimensional medical image
  • the present invention is not limited to this.
  • a tomographic image constituting a three-dimensional medical image a tomographic image of a cross section other than the axial cross section such as a sagittal cross section and a coronal cross section may be applied.
  • the image storage device 16 is a computer that stores and manages medical images, and includes a storage device for storing medical images and the like.
  • the image storage device 16 transmits / receives a medical image generated by the imaging device 14 between the display control device 12 and the imaging device 14 via the network N.
  • the storage format of medical images and communication between each device via network N are based on a predetermined protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • Examples of the display control device 12 include a personal computer, a server computer, and the like.
  • the display control device 12 may be a cloud server.
  • the display control device 12 includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a non-volatile storage unit 22. Further, the display control device 12 includes a display 23 such as a liquid crystal display, an input unit 24 such as a keyboard and a mouse, and a network I / F (InterFace) 25 connected to the network N.
  • the CPU 20, the memory 21, the storage unit 22, the display 23, the input unit 24, and the network I / F 25 are connected to the bus 26.
  • the storage unit 22 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the display control program 30 is stored in the storage unit 22 as a storage medium.
  • the CPU 20 reads the display control program 30 from the storage unit 22, expands it into the memory 21, and executes the expanded display control program 30.
  • the display control device 12 includes a reception unit 40 and a display control unit 42.
  • the CPU 20 executes the display control program 30, it functions as the reception unit 40 and the display control unit 42.
  • the reception unit 40 receives various instructions input by the user via the input unit 24. Details of various instructions by this user will be described later.
  • the display control unit 42 has a slider bar SB for designating a tomographic position corresponding to each of a plurality of medical tomographic images obtained by photographing the subject, and a designated tomographic position.
  • the tomographic image corresponding to the above is controlled to be displayed on the display 23.
  • the plurality of medical tomographic images obtained by photographing the subject constitute a three-dimensional medical image designated as a display target among the three-dimensional medical images stored in the image storage device 16. It is a tomographic image group.
  • the screen displayed on the display 23 includes a display area A1 for displaying the slider bar SB and a display area A2 for displaying the tomographic image.
  • the user-granted information given by the user and the computer-granted information given by the computer are set to be given to each tomographic image.
  • the given information means the given information unique to each tomographic image in which the given information given to each tomographic image and the mark to be described later corresponding to the given information are linked one-to-one. ..
  • Examples of the user-assigned information include bookmarks given by the user as markers for the tomographic image that the user wants to see later, and annotations such as information on the region of interest (ROI) included in the tomographic image.
  • examples of the computer-aided information include information on the region of interest detected by CAD (Computer-Aided Diagnosis) or information on the region of interest detected by AI (Artificial Intelligence) diagnostic imaging.
  • the area of interest here means an area of interest to the user, such as an area of a lesion such as a tumor.
  • examples of information regarding the region of interest include the contour, position, area, and the like of the region of interest.
  • the number of computers to which the computer-assigned information is given may be one or a plurality of computers.
  • the computer to which the computer-assigned information is given may be the display control device 12, the control device included in the photographing device 14, or the image storage device 16. Further, a computer such as an external image processing device of the diagnosis support system 10 may be used.
  • FIG. 5 shows only the display area A1 out of the display area A1 and the display area A2 shown in FIG.
  • the display control unit 42 controls to display the slider SD at a position along the longitudinal direction of the slider bar SB corresponding to the designated fault position.
  • the “H” surrounded by the rectangle represents the head side of the subject
  • the “F” surrounded by the rectangle represents the foot side. That is, the position of the slider SD on the slider bar SB represents the tomographic position on the cranial side as it approaches "H” among the tomographic positions of each tomographic image constituting the three-dimensional medical image, and as it approaches "F". It represents the fault position on the foot side.
  • FIG. 5 shows only the display area A1 out of the display area A1 and the display area A2 shown in FIG.
  • the display control unit 42 controls to display the slider SD at a position along the longitudinal direction of the slider bar SB corresponding to the designated fault position.
  • the “H” surrounded by the rectangle represents the head side of the subject
  • the slider bar SB and the slider SD are examples of designated objects for designating tomographic positions corresponding to each of a plurality of tomographic images.
  • the display control unit 42 attaches a mark indicating the given information to the tomographic image to which the given information is given, and a mark that can identify one tomographic image by one mark is given to the tomographic image. Control is performed to display at the position of the slider bar SB corresponding to the tomographic position of the image.
  • the display control unit 42 controls the display control unit 42 to display the mark BM representing the bookmark at the position of the slider bar SB corresponding to the tomographic position of the assigned tomographic image for the tomographic image to which the bookmark is attached. I do. Further, the display control unit 42 controls that the annotated tomographic image is displayed with the mark AN representing the annotation at the position of the slider bar SB corresponding to the tomographic position of the annotated tomographic image. Further, the display control unit 42 displays a mark CD representing the computer-assigned information at the position of the slider bar SB corresponding to the tomographic position of the assigned tomographic image for the tomographic image to which the computer-assigned information is added. Take control.
  • the display control unit 42 controls to display each mark at the position of the slider bar SB corresponding to the fault position by shifting the mark along the direction orthogonal to the longitudinal direction of the slider bar SB (that is, the longitudinal direction of the slider SD). conduct. As a result, even if there are multiple marks at the same fault position, the marks do not overlap.
  • the display control unit 42 controls to display the button BT for accepting the input for switching the display and non-display of the computer-assigned information by the user.
  • the user specifies the tomographic position of the tomographic image to be displayed via the input unit 24. For example, the user specifies the tomographic position by dragging the slider SD to the tomographic position of the tomographic image to be displayed on the slider bar SB. Further, for example, the user specifies the tomographic position of the tomographic image to be displayed on the slider bar SB by scrolling the mouse wheel.
  • the display control unit 42 controls to highlight the mark indicating the given information when the given information is given to the tomographic image corresponding to the designated tomographic position. For example, as shown in FIG. 6, the display control unit 42 highlights the outline of the mark corresponding to the designated fault position by displaying it thicker than the mark corresponding to the undesignated fault position. I do.
  • FIG. 6 shows an example in which bookmarks, annotations, and computer-assigned information are added to the tomographic image corresponding to the specified tomographic position.
  • the display control unit 42 controls to highlight the color of the outline of the mark corresponding to the designated fault position by making it different from the color of the outline of the mark corresponding to the non-designated fault position. You may go. Further, for example, the display control unit 42 may control highlighting by blinking only the mark corresponding to the designated fault position. The form of such highlighting is an example, and other forms may be used.
  • the display control unit 42 includes a mark CD (indicated as “undisplayed” on the left side of FIG. 7) representing computer-assigned information assigned to the undisplayed tomographic image, and the displayed tomographic image. Control is performed to identifiablely display the mark CD (indicated as "displayed” on the right side of FIG. 7) representing the computer-assigned information given to the image. Specifically, for example, when the background color is black, the display control unit 42 fills the mark CD representing the computer-assigned information given to the undisplayed tomographic image with a relatively bright color (for example, orange). To display.
  • a relatively bright color for example, orange
  • the color of the mark CD given to the displayed tomographic image is changed to a color close to the background color (for example,). Change to light gray) and display.
  • the user can grasp at a glance whether or not the computer-assigned information has been confirmed, that is, whether or not the region of interest detected by the computer has been confirmed.
  • the display control unit 42 controls to display the computer-assigned information on the tomographic image for the tomographic image to which the computer-assigned information is added. Specifically, for example, the display control unit 42 controls to display the region of interest represented by the computer-assigned information in a state of being filled with a color different from other regions (for example, orange). In addition, the computer-assigned information is displayed without a contour line in the initial state.
  • the display control unit 42 controls to display the annotation on the tomographic image with respect to the tomographic image to which the annotation is added. Specifically, for example, the display control unit 42 controls to display the outline of the region of interest represented by the annotation in a color (for example, white) different from the region of interest represented by the computer-assigned information. Therefore, the user can grasp whether the region of interest displayed on the tomographic image is detected by the user operation or by the computer.
  • the outline of the region of interest represented by the annotation, and the outline of the white solid line is represented by a broken line.
  • a button designated by the user when the computer-assigned information is correct (“agree” button in the example of FIG. 8).
  • control to display a button specified by the user (“disagree” button in the example of FIG. 8) when the computer-assigned information is incorrect.
  • the case where the computer-assigned information is correct or incorrect means a case where the user determines that the information is correct or incorrect.
  • the outline of the region of interest represented by the computer-assigned information is correct, the user specifies an "agree” button via the input unit 24.
  • the outline of the region of interest represented by the computer-assigned information is incorrect, the user specifies a "disagree” button via the input unit 24.
  • the display control unit 42 When the reception unit 40 receives an input indicating that the computer-assigned information is incorrect, that is, when the "disagree" button is specified, the display control unit 42 performs the following control. In this case, as shown in FIG. 9, the display control unit 42 controls to change the color of the mark CD representing the computer-assigned information from the current display color to a color close to the background color. Specifically, the display control unit 42 controls to change the color of the mark CD from gray, which indicates that the mark CD has been displayed, to dark gray, which is close to black, which is the background color. As a result, although the information is given by the computer, the information unnecessary for the user can be made inconspicuous.
  • the display control unit 42 When the reception unit 40 receives an input indicating that the computer-assigned information is correct, that is, when the "agree" button is specified, the display control unit 42 performs the following control. In this case, the display control unit 42 controls to add annotations to the tomographic image to which the computer-assigned information designated as correct is added. Therefore, the outline of the region of interest represented by the computer-assigned information designated as correct is displayed as an annotation, for example, in white. In this case, since the computer-granted information is still given, the user determines whether the area of interest is not detected by the computer and is specified by the user, or is the area of interest detected by the computer and determined to be correct by the computer. Can be grasped.
  • Computer detection may detect a large number of areas of interest. Therefore, the user may want to hide the computer-assigned information in the image diagnosis.
  • the user wants to switch the display / non-display of the computer-assigned information, the user specifies the button BT via the input unit 24.
  • the display control unit 42 displays a mark CD representing the computer-assigned information according to the received input, as shown in FIG. And control to switch between non-display. Further, in the present embodiment, as shown in FIG. 11, the display control unit 42 also controls to switch the display / non-display of the computer-assigned information on the tomographic image in addition to the mark CD.
  • the display control process is executed, for example, when the user inputs an execution instruction and identification information capable of identifying a tomographic image group constituting a three-dimensional medical image to be displayed via the input unit 24.
  • the display control unit 42 acquires a tomographic image group specified according to the input identification information from the image storage device 16, and displays an initial screen on the display 23 based on the acquired tomographic image group. Take control. Specifically, as described above, the display control unit 42 includes a slider bar SB for designating the tomographic position corresponding to each of the acquired tomographic image groups, a tomographic image corresponding to the designated tomographic image group, and the tomographic image. Is controlled to be displayed on the display 23. Further, as described above, the display control unit 42 controls to display the slider SD at a position along the longitudinal direction of the slider bar SB corresponding to the designated fault position.
  • the fault position on the foot side may be applied or the central fault position may be applied as the specified fault position.
  • the display control unit 42 corresponds to the tomographic position of the tomographic image to which the tomographic image is given, with the mark indicating the given information for the tomographic image to which the tomographic image is given. Controls the display at the position of the slider bar SB. In addition, the display control unit 42 controls the display of the button BT for accepting the input for switching the display and non-display of the computer-assigned information by the user.
  • step S10 the screen shown in FIG. 4 is displayed on the display 23 as an example.
  • step S10 is executed from the second time onward, the display control unit 42 takes over the latest display state.
  • step S12 the reception unit 40 waits until the instruction input by the user via the input unit 24 is received.
  • the determination in step S12 becomes an affirmative determination, and the process proceeds to step S14.
  • step S14 the reception unit 40 determines whether or not the instruction received in step S12 is an instruction to end the display. If this determination is a negative determination, the process proceeds to step S16.
  • step S16 the display control unit 42 controls to switch the display according to the instruction received in step S12. When the process of step S16 is completed, the process returns to step S12. On the other hand, if the determination in step S14 is a negative determination, the display control process ends.
  • the display state of each display object displayed in the display area A1 and the display area A2 at the time when the display control process is completed is stored in the image storage device 16 in association with the tomographic image group, and is stored for the second time.
  • step S10 is subsequently executed, the display state is inherited.
  • step S12 If the instruction received in step S12 is an instruction to specify the fault position by dragging the slider SD or scrolling the mouse wheel, the processing routine shown in FIG. 13 is executed in step S16.
  • step S20 of FIG. 13 the display control unit 42 controls to move the slider SD to the position of the slider bar SB corresponding to the fault position designated by the user operation.
  • step S22 the display control unit 42 controls to switch the tomographic image of the display area A2 to the tomographic image at the designated tomographic position.
  • step S24 the display control unit 42 determines whether or not the given information is given to the tomographic image of the designated tomographic position. If this determination is affirmative, the process proceeds to step S26. In step S26, the display control unit 42 determines whether or not a bookmark is added to the tomographic image at the designated tomographic position. If this determination is affirmative, the process proceeds to step S28.
  • step S28 the display control unit 42 controls to highlight the mark BM representing the bookmark attached to the tomographic image at the designated tomographic position. If the determination in step S26 is a negative determination, the process in step S28 is not executed and the process proceeds to step S30.
  • step S30 the display control unit 42 determines whether or not the tomographic image at the designated tomographic position is annotated. If this determination is affirmative, the process proceeds to step S32. In step S32, the display control unit 42 controls to highlight the mark AN representing the annotation attached to the tomographic image at the designated tomographic position. In step S34, the display control unit 42 controls to display the annotation on the tomographic image as described above. If the determination in step S30 is a negative determination, the processes from step S32 to step S34 are not executed and the process proceeds to step S36.
  • step S36 the display control unit 42 determines whether or not the computer-assigned information is added to the tomographic image of the designated tomographic position. If this determination is affirmative, the process proceeds to step S38.
  • step S38 the display control unit 42 controls to highlight the mark CD representing the computer-assigned information given to the tomographic image at the designated tomographic position.
  • step S40 as described above, the display control unit 42 changes the color of the mark CD representing the computer-assigned information given to the tomographic image of the designated tomographic position to a color indicating that it has been displayed. ..
  • step S42 the display control unit 42 controls to display the computer-assigned information on the tomographic image as described above.
  • step S42 When the process of step S42 is completed, the process routine shown in FIG. 13 ends. If the determination in step S36 is a negative determination, the processing routines shown in FIG. 13 are terminated without executing the processes from step S38 to step S42. If the determination in step S24 is a negative determination, the processing routines shown in FIG. 13 are terminated without executing the processes from step S26 to step S42.
  • step S12 If the instruction received in step S12 is an instruction indicating whether the computer-granted information specified by the "agree” button or the "disagree” button is correct or incorrect, the processing routine shown in FIG. 14 is executed in step S16. ..
  • step S50 of FIG. 14 the reception unit 40 determines whether or not the received instruction is an input indicating that the computer-assigned information is correct, that is, whether or not the "agree" button is specified. If this determination is affirmative, the process proceeds to step S52. If the instruction received by the reception unit 40 is an input indicating that the computer-assigned information is incorrect, that is, if the "disagree" button is specified, the determination in step S50 becomes a negative determination, and the process proceeds to step S54. Transition.
  • step S52 the display control unit 42 controls to add annotations to the tomographic image to which the computer-assigned information designated as correct is added.
  • step S54 the display control unit 42 controls to change the color of the mark CD representing the computer-assigned information from the current display color to a color close to the background color.
  • step S12 If the instruction received in step S12 is an instruction to switch the display / non-display of the computer-assigned information by designating the button BT, the processing routine shown in FIG. 15 is executed in step S16.
  • step S60 of FIG. 15 the reception unit 40 determines whether or not the received instruction is an instruction for displaying computer-assigned information. If this determination is affirmative, the process proceeds to step S62. If the instruction received by the reception unit 40 is an instruction to hide the computer-assigned information, the determination in step S60 becomes a negative determination, and the process proceeds to step S64.
  • step S62 the display control unit 42 controls to hide the mark CD representing the computer-assigned information and hide the computer-assigned information on the tomographic image.
  • step S64 the display control unit 42 controls to display the mark CD representing the computer-assigned information and to display the computer-assigned information on the tomographic image.
  • one tomographic image can be specified by one mark, and it corresponds to a designated tomographic position.
  • the mark indicating the given information is highlighted. Therefore, it is easy for the user to grasp whether or not unique addition information is added to the tomographic image corresponding to the tomographic position designated on the slider bar SB.
  • the display control unit 42 is designated from one end of the slider bar SB to the designated fault position and from the other end without displaying the slider SD. Control may be performed to display the slider bar SB in a different color from that up to the fault position. In this case, it is not necessary to display the slider SD, which is a dedicated object for designating the fault position. However, in this case, the slider SD may also be displayed as in the above embodiment.
  • the display control unit 42 has the outline of the region of interest represented by the computer-assigned information given to the tomographic image with respect to the tomographic image to which the computer-assigned information is added.
  • control may be performed to further display the contour O2 of the region of interest.
  • the display control unit 42 controls the contour O2 to display the contour of the region of interest represented by the computer-assigned information assigned to any of the other tomographic images in which the same region of interest is detected.
  • the display control unit 42 sets the maximum contour of the contour of the region of interest represented by the computer-assigned information given to any of the other tomographic images in which the same region of interest is detected as the contour O2. Control the display.
  • Examples of the maximum contour referred to here include a contour having the largest area, a contour having the longest contour length, and the like.
  • a computer extracts a tomographic image group showing the same object (for example, a region of interest) from a plurality of tomographic images constituting a three-dimensional medical image, and the extracted tomographic image group A representative tomographic image may be selected from the images, and computer-assigned information may be added only to the selected tomographic image.
  • the computer in this case, for example, in a continuous tomographic image, the computer has a first value in which the absolute value of the difference in the position of the center of gravity of the detected region of interest is equal to or less than a predetermined first threshold value and the absolute value of the difference in area is predetermined. Areas of interest below two thresholds are identified as the same area of interest.
  • the first threshold value and the second threshold value in this case, preset values can be applied as the upper limit values of the differences between the same regions of interest in continuous tomographic images.
  • the computer uses a tomographic image in which the region of interest having the largest area or the longest contour length is detected from the extracted tomographic image group as a representative tomographic image. Extract.
  • the computer in this case may be a display control device 12, a control device included in the photographing device 14, an image storage device 16, or a computer outside the diagnosis support system 10.
  • the process selected as the tomographic image to which the given information is given by the computer may be performed by the user via the input unit 24 in the same manner.
  • the user-granted information in this case is information given by the user to a tomographic image that is a representative of a tomographic image group in which the same object is captured, among a plurality of tomographic images.
  • a schema SM and a slider SD may be applied as a designated object for designating a tomographic position corresponding to each of a plurality of tomographic images.
  • the schema SM referred to here means a schematic diagram schematically showing a part of the human body.
  • FIG. 19 shows an example in which a plurality of medical tomographic images obtained by tomosynthesis imaging using a mammography apparatus are applied as a plurality of tomographic images. The upper part of FIG.
  • FIG. 19 shows a tomographic image obtained by performing MLO (Medio-Lateral Oblique) imaging on the right breast, and the lower part shows CC (Cranio-Caudal) imaging on the right breast.
  • the tomographic image obtained by is shown.
  • the depth direction of the tomographic image that is, the moving direction of the slider SD is indicated by a broken double arrow.
  • the user specifies the tomographic position by dragging the slider SD to the tomographic position of the tomographic image to be displayed on the schema SM.
  • the mark indicating the given information is highlighted.
  • the mark AN and the mark CD may be displayed in the schema SM so that the two-dimensional arrangement when the breast is viewed from the front can be seen.
  • both the slider SD and the slider bar SB shown in FIGS. 4 and 5 and the schema SM and the slider SD shown in FIG. 19 may be displayed in the display area A1. Further, in this embodiment, the operation performed on one of these may be reflected in conjunction with the other.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • Dedicated electricity which is a processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose configuration can be changed. Circuits and the like are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of a combination). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • a processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the display control program 30 is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory. May be good. Further, the display control program 30 may be downloaded from an external device via a network.
  • a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory. May be good.
  • the display control program 30 may be downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

表示制御装置は、複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示し、ユーザ付与情報及びコンピュータ付与情報を含み、断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、付与情報を表すマークを、付与されている断層画像の断層位置に対応するスライダバーの位置に表示し、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示する制御を行う。

Description

表示制御装置、表示制御方法、及び表示制御プログラム
　本開示は、表示制御装置、表示制御方法、及び表示制御プログラムに関する。
　近年、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の撮影装置により撮影された医用の３次元画像を用いての画像診断が行われている。このような３次元画像には、異なる複数の断層位置での断層画像が含まれる。医師による３次元画像を用いた画像診断では、複数の断層画像を切り替えて表示することが行われる。
　複数の断層画像を切り替えて表示する技術として、複数の断層画像それぞれに対応する断層位置を指定するためのスライダバーを表示する技術が提案されている（特開２００４－１７３９１０号公報参照）。この技術では、スライダバー上にスライダを表示し、ユーザはスライダを動かすことによって断層位置を指定し、指定された断層位置に対応する断層画像が表示される。また、この技術では、例えば、異常陰影候補等のコンピュータによって実行された画像診断の結果（以下、「コンピュータ診断結果」という）が含まれる断層画像に対応する断層位置に、コンピュータ診断結果が含まれることを表すマークがスライダバーの横に表示される。
　また、スライダバーによって指定された断層位置に対応する断層画像に含まれる臓器の名称を示すラベルを表示する技術が提案されている（特許第６４１９４４１号公報参照）。
　特開２００４－１７３９１０号公報に記載の技術では、スライダバーの横に単にマークを表示するだけでは、指定されている断層位置の断層画像にコンピュータ診断結果等の付与情報が付与されているか否かをユーザが把握しにくい場合があった。特に断層数が多数の場合、ユーザがスライダによって指定した断層位置の断層画像に付与情報が付与されているか、又は隣接する断層画像に付与情報が付与されているかが把握しにくい。というのも、断層数が多く、かつ、近接した断層位置の複数の断層画像のそれぞれに付与情報が付与されている場合、スライダバーの横において、各付与情報に対応する複数のマーク同士が密集する結果、複数のマークが重なり合ってしまうためである。ここで、特開２００４－１７３９１０号公報に記載のコンピュータ診断結果等の付与情報は、各断層画像に付与された付与情報と付与情報に対応するマークとが１対１で結び付けられているという意味で、各断層画像に固有な付与情報である。このように、特開２００４－１７３９１０号公報に記載の技術では、スライダバー上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しにくい場合があった。
　また、特許第６４１９４４１号公報に記載の技術は、指定された断層位置に対応する断層画像に含まれる臓器の名称のラベルを表示する技術にすぎない。そのため、特許第６４１９４４１号公報に記載の技術でも、特開２００４－１７３９１０号公報と同様に、スライダバー上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しにくい場合があった。
　なお、特許第６４１９４４１号公報に記載の断層画像に付与される付与情報は、臓器に対応して付与される付与情報であり、各断層画像に付与された付与情報とラベルとが１対１で結び付けられている、各断層画像に固有な付与情報ではない。例えば、スライダバー上において断層位置の指定を変更しても、変更前と変更後の断層位置のそれぞれの断層画像において同じ臓器が写っている限り、各断層画像に付与される付与情報は同じであるため、同じ臓器名のラベルが表示されることになる。これは、１つのラベルが、同じ臓器を含んだ複数の断層画像に付与されている複数の付与情報と結び付けられていることを意味する。そのため、上述のとおり、特許第６４１９４４１号公報に記載の技術でも、特開２００４－１７３９１０号公報と同様に、スライダバー上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しにくい場合があった。
　本開示は、以上の事情を鑑みてなされたものであり、指定オブジェクトで指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすい表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
　本開示の表示制御装置は、少なくとも一つのプロセッサを備える表示制御装置であって、プロセッサは、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含み、複数の断層画像の各々に固有で、かつ断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、付与情報を表すマークであって、１つのマークによって１枚の断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示する制御を行う表示制御装置である。深さ方向とは、複数の断層画像の深さ方向を意味する。
　なお、本開示の表示制御装置は、指定オブジェクトが、スライダバーを含んでいてもよい。
　また、本開示の表示制御装置は、指定オブジェクトが、シェーマを含んでいてもよい。
　また、本開示の表示制御装置は、プロセッサが、スライダバーの一端から指定されている断層位置までと、他端から指定されている断層位置までとの色を異ならせてスライダバーを表示する制御を行ってもよい。
　また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報を含み、プロセッサが、未表示の断層画像に付与されたコンピュータ付与情報を表すマークと、表示済みの断層画像に付与されたコンピュータ付与情報を表すマークとを識別可能に表示する制御を行ってもよい。
　また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報を含み、プロセッサが、コンピュータ付与情報が正しいか否かを表す入力を受け付け、コンピュータ付与情報が正しくないことを表す入力を受け付けた場合、コンピュータ付与情報を表すマークの色を、現在の表示色から背景色に近い色に変更する制御を行ってもよい。
　また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報を含み、プロセッサが、コンピュータ付与情報の表示及び非表示を切り替える入力を受け付け、受け付けた入力に応じて、コンピュータ付与情報を表すマークの表示及び非表示を切り替える制御を行ってもよい。
　また、本開示の表示制御装置は、プロセッサが、コンピュータ付与情報が付与されている断層画像については、断層画像上にコンピュータ付与情報を表示する制御を行い、受け付けた入力に応じて、コンピュータ付与情報を表すマークと断層画像上のコンピュータ付与情報との双方の表示及び非表示を切り替える制御を行ってもよい。
　また、本開示の表示制御装置は、付与情報が、コンピュータ付与情報として断層画像における関心領域の輪郭を含み、プロセッサが、指定されている断層位置に対応する断層画像に関心領域の輪郭が付与されている場合、断層画像上に関心領域の輪郭を表示する制御を行い、更に、表示対象の関心領域と同じ関心領域が検出された他の断層画像の何れかに付与されている関心領域の輪郭を表示する制御を行ってもよい。
　また、本開示の表示制御装置は、プロセッサが、他の断層画像に付与されている関心領域の輪郭のうち、最大の輪郭を表示する制御を行ってもよい。
　また、本開示の表示制御装置は、コンピュータ付与情報は、コンピュータが、複数の断層画像の中から、同じ対象が写っている断層画像群を抽出し、抽出した断層画像群の中から代表となる断層画像を選択し、選択した断層画像に対して付与する情報を含んでいてもよい。
　また、本開示の表示制御装置は、ユーザ付与情報が、複数の断層画像のうち、同じ対象が写っている断層画像群の代表となる断層画像に対してユーザによって付与された情報を含んでいてもよい。
　また、本開示の表示制御方法は、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含み、複数の断層画像の各々に固有で、かつ断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、付与情報を表すマークであって、１つのマークによって１枚の断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示する制御を行う処理を表示制御装置が備えるプロセッサが実行するものである。
　また、本開示の表示制御プログラムは、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含み、複数の断層画像の各々に固有で、かつ断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、付与情報を表すマークであって、１つのマークによって１枚の断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示する制御を行う処理を表示制御装置が備えるプロセッサに実行させるためのものである。
　本開示によれば、指定オブジェクトで指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすくすることができる。
診断支援システムの構成の一例を示すブロック図である。 表示制御装置のハードウェア構成の一例を示すブロック図である。 表示制御装置の機能的な構成の一例を示すブロック図である。 スライダバー及び断層画像の表示画面の一例を示す図である。 スライダバーを説明するための図である。 付与情報を表すマークが強調された状態の一例を示す図である。 表示済み及び未表示それぞれのコンピュータ付与情報を表すマークの一例を示す図である。 断層画像上に表示されたコンピュータ付与情報及びユーザ付与情報のひとつであるアノテーションの一例を示す図である。 正しくないと判断されたコンピュータ付与情報を表すマークの一例を示す図である。 コンピュータ付与情報を表すマークの表示及び非表示の切り替えを説明するための図である。 断層画像上のコンピュータ付与情報の表示及び非表示の切り替えを説明するための図である。 表示制御処理の一例を示すフローチャートである。 断層位置が指定された場合の処理ルーチンの一例を示すフローチャートである。 コンピュータ付与情報に対するユーザの判断が行われた場合の処理ルーチンの一例を示すフローチャートである。 コンピュータ付与情報の表示及び非表示を切り替える処理ルーチンの一例を示すフローチャートである。 変形例に係るスライダバーの一例を示す図である。 変形例に係るコンピュータ付与情報の表示状態の一例を示す図である。 変形例に係るコンピュータ付与情報の付与処理を説明するための図である。 変形例に係るシェーマ及び断層画像の表示画面の一例を示す図である。
　以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
　まず、図１を参照して、本実施形態に係る診断支援システム１０の構成を説明する。図１に示すように、診断支援システム１０は、表示制御装置１２、撮影装置１４、及び画像保管装置１６を含む。表示制御装置１２、撮影装置１４、及び画像保管装置１６は、それぞれネットワークＮに接続され、ネットワークＮを介して互いに通信が可能とされる。
　撮影装置１４は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元の医用画像を生成する装置である。撮影装置１４により撮影された３次元の医用画像は、複数の断層画像を含んで構成される。本実施形態では、撮影装置１４として、ＣＴ装置を適用した例を説明するが、これに限定されない。例えば、撮影装置１４として、ＭＲＩ装置又はＰＥＴ（Positron Emission Tomography）装置等のＣＴ装置以外の３次元の医用画像を生成する装置を適用してもよい。また、本実施形態では、３次元の医用画像を構成する断層画像として、アキシャル断面の断層画像を適用した例を説明するが、これに限定されない。３次元の医用画像を構成する断層画像として、サジタル断面及びコロナル断面等のアキシャル断面以外の断面の断層画像を適用してもよい。
　画像保管装置１６は、医用画像の保存及び管理をするコンピュータであり、医用画像が記憶される記憶装置等を備える。画像保管装置１６は、ネットワークＮを介して、表示制御装置１２及び撮影装置１４との間で、撮影装置１４により生成された医用画像を送受信する。なお、医用画像の格納形式及びネットワークＮ経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等の予め定められたプロトコルに基づいている。
　次に、図２を参照して、本実施形態に係る表示制御装置１２のハードウェア構成を説明する。表示制御装置１２の例としては、パーソナルコンピュータ又はサーバコンピュータ等が挙げられる。表示制御装置１２は、クラウドサーバであってもよい。
　図２に示すように、表示制御装置１２は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、表示制御装置１２は、液晶ディスプレイ等のディスプレイ２３、キーボードとマウス等の入力部２４、及びネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、ディスプレイ２３、入力部２４、及びネットワークＩ／Ｆ２５は、バス２６に接続される。
　記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、表示制御プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から表示制御プログラム３０を読み出してからメモリ２１に展開し、展開した表示制御プログラム３０を実行する。
　次に、図３を参照して、本実施形態に係る表示制御装置１２の機能的な構成について説明する。図３に示すように、表示制御装置１２は、受付部４０及び表示制御部４２を含む。ＣＰＵ２０が表示制御プログラム３０を実行することで、受付部４０及び表示制御部４２として機能する。
　受付部４０は、ユーザによって入力部２４を介して入力された各種指示を受け付ける。このユーザによる各種指示の詳細は後述する。
　表示制御部４２は、図４に示すように、被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するためのスライダバーＳＢと、指定されている断層位置に対応する断層画像と、をディスプレイ２３に表示する制御を行う。この被検体を撮影して得られた医用の複数の断層画像とは、画像保管装置１６に保存されている３次元の医用画像のうち、表示対象として指定された３次元の医用画像を構成する断層画像群である。図４に示すように、ディスプレイ２３に表示される画面は、スライダバーＳＢを表示する表示領域Ａ１、及び断層画像を表示する表示領域Ａ２を含んで構成される。
　本実施形態では、断層画像毎に、ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報が付与されるべく設定されている。以下では、ユーザ付与情報及びコンピュータ付与情報を区別することなく総称する場合は「付与情報」という。また、本実施形態において付与情報とは、各断層画像に付与された付与情報と付与情報に対応する後述するマークとが１対１で結び付けられている、断層画像毎に固有な付与情報をいう。ユーザ付与情報の例としては、ユーザが後から見たい断層画像の目印として付与したブックマーク、及び断層画像に含まれる関心領域（ＲＯＩ：Region of Interest）に関する情報等のアノテーションが挙げられる。また、コンピュータ付与情報の例としては、ＣＡＤ（Computer-Aided Diagnosis）によって検出された関心領域に関する情報、又はＡＩ（Artificial Intelligence）画像診断によって検出された関心領域に関する情報が挙げられる。ここでいう関心領域とは、腫瘤等の病変の領域等のユーザが注目する領域を意味する。また、関心領域に関する情報の例としては、関心領域の輪郭、位置、及び面積等が挙げられる。また、コンピュータ付与情報を付与するコンピュータは、１台でもよいし複数台でもよい。また、コンピュータ付与情報を付与するコンピュータは、表示制御装置１２でもよいし、撮影装置１４が備える制御装置でもよいし、画像保管装置１６でもよい。また、診断支援システム１０の外部の画像処理装置などのコンピュータでもよい。
　図５には、図４に示した表示領域Ａ１及び表示領域Ａ２のうち、表示領域Ａ１のみが示されている。表示制御部４２は、指定されている断層位置に対応するスライダバーＳＢの長手方向に沿った位置に、スライダＳＤを表示する制御を行う。図５における矩形に囲まれた「Ｈ」は被検体の頭側を表し、矩形に囲まれた「Ｆ」は足側を表す。すなわち、スライダバーＳＢ上のスライダＳＤの位置は、３次元の医用画像を構成する断層画像それぞれの断層位置のうち、「Ｈ」に近づくほど頭側の断層位置を表し、「Ｆ」に近づくほど足側の断層位置を表している。図５では、３次元の医用画像を構成する断層画像それぞれの断層位置のうち、最も頭側の断層位置が指定された例を示している。スライダバーＳＢ及びスライダＳＤが複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトの一例である。
　また、表示制御部４２は、付与情報が付与されている断層画像については、付与情報を表すマークであって、１つのマークによって１枚の断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応するスライダバーＳＢの位置に表示する制御を行う。
　具体的には、表示制御部４２は、ブックマークが付与されている断層画像については、ブックマークを表すマークＢＭを、付与されている断層画像の断層位置に対応するスライダバーＳＢの位置に表示する制御を行う。また、表示制御部４２は、アノテーションが付与されている断層画像については、アノテーションを表すマークＡＮを、付与されている断層画像の断層位置に対応するスライダバーＳＢの位置に表示する制御を行う。また、表示制御部４２は、コンピュータ付与情報が付与されている断層画像については、コンピュータ付与情報を表すマークＣＤを、付与されている断層画像の断層位置に対応するスライダバーＳＢの位置に表示する制御を行う。
　表示制御部４２は、各マークを、断層位置に対応するスライダバーＳＢの位置に、スライダバーＳＢの長手方向に直交する方向（すなわち、スライダＳＤの長手方向）に沿ってずらして表示する制御を行う。これにより、同じ断層位置に複数のマークがあっても、各マークが重ならない。
　また、表示制御部４２は、ユーザによるコンピュータ付与情報の表示及び非表示を切り替える入力を受け付けるためのボタンＢＴを表示する制御を行う。
　ユーザは、入力部２４を介して表示したい断層画像の断層位置を指定する。例えば、ユーザは、スライダバーＳＢ上の表示したい断層画像の断層位置にスライダＳＤをドラッグすることによって断層位置を指定する。また、例えば、ユーザは、マウスのホイールをスクロールすることによってスライダバーＳＢ上の表示したい断層画像の断層位置を指定する。
　また、表示制御部４２は、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示する制御を行う。例えば、図６に示すように、表示制御部４２は、指定されている断層位置に対応するマークの輪郭を、指定されていない断層位置に対応するマークよりも太く表示することによって強調表示する制御を行う。図６では、指定されている断層位置に対応する断層画像にブックマーク、アノテーション、及びコンピュータ付与情報が付与されている例を示している。
　なお、例えば、表示制御部４２は、指定されている断層位置に対応するマークの輪郭の色を、指定されていない断層位置に対応するマークの輪郭の色と異ならせることによって強調表示する制御を行ってもよい。また、例えば、表示制御部４２は、指定されている断層位置に対応するマークのみを点滅表示させることによって強調表示する制御を行ってもよい。こうした強調表示の形態は例示であって、これら以外の形態でもよい。
　また、図７に示すように、表示制御部４２は、未表示の断層画像に付与されたコンピュータ付与情報を表すマークＣＤ（図７の左側において「未表示」と示す）と、表示済みの断層画像に付与されたコンピュータ付与情報を表すマークＣＤ（図７の右側において「表示済」と示す）とを識別可能に表示する制御を行う。具体的には、例えば、背景色を黒色とした場合、表示制御部４２は、未表示の断層画像に付与されたコンピュータ付与情報を表すマークＣＤを比較的明るい色（例えば、オレンジ色）で塗り潰して表示する。一方、その断層画像に対応する断層位置が指定され、断層画像が表示されて表示済みとなった場合、表示済みの断層画像に付与されたマークＣＤの色を、背景色に近い色（例えば、明るめの灰色）に変更して表示する。これにより、ユーザは、コンピュータ付与情報を確認したか否か、すなわち、コンピュータにより検出された関心領域を確認したか否かを一目で把握することができる。
　また、図８に示すように、表示制御部４２は、コンピュータ付与情報が付与されている断層画像については、断層画像上にコンピュータ付与情報を表示する制御を行う。具体的には、例えば、表示制御部４２は、コンピュータ付与情報が表す関心領域を、他の領域とは異なる色（例えば、オレンジ色）で塗りつぶした状態で表示する制御を行う。また、コンピュータ付与情報は、初期状態においては輪郭線が無い状態で表示される。
　また、図８に示すように、表示制御部４２は、アノテーションが付与されている断層画像については、断層画像上にアノテーションを表示する制御を行う。具体的には、例えば、表示制御部４２は、アノテーションが表す関心領域の輪郭を、コンピュータ付与情報が表す関心領域とは異なる色（例えば、白色）で表示する制御を行う。従って、ユーザは、断層画像に表示された関心領域が、ユーザ操作によって検出されたものであるか、又はコンピュータによって検出されたものであるかを把握することができる。なお、図８では、分かり易くするために、アノテーションが表す関心領域の輪郭であって、白色の実線の輪郭を破線で表している。
　また、図８に示すように、表示制御部４２は、断層画像上にコンピュータ付与情報を表示する場合、コンピュータ付与情報が正しい場合にユーザが指定するボタン（図８の例では「agree」ボタン）、及びコンピュータ付与情報が正しくない場合にユーザが指定するボタン（図８の例では「disagree」ボタン）を表示する制御を行う。ここで、コンピュータ付与情報が正しい又は正しくない場合とは、より正確にはユーザが正しい又は正しくないと判断した場合を意味する。ユーザは、コンピュータ付与情報が表す関心領域の輪郭が正しい場合は、入力部２４を介して「agree」ボタンを指定する。一方、ユーザは、コンピュータ付与情報が表す関心領域の輪郭が正しくない場合は、入力部２４を介して「disagree」ボタンを指定する。
　受付部４０が、コンピュータ付与情報が正しくないことを表す入力を受け付けた場合、すなわち、「disagree」ボタンが指定された場合、表示制御部４２は以下の制御を行う。この場合、表示制御部４２は、図９に示すように、コンピュータ付与情報を表すマークＣＤの色を、現在の表示色から背景色に近い色に変更する制御を行う。具体的には、表示制御部４２は、マークＣＤの色を、表示済みであることを表す灰色から、背景色である黒色に近い濃い灰色に変更する制御を行う。これにより、コンピュータが付与した情報ではあるが、ユーザにとって不要な情報を目立たなくすることができる。
　受付部４０が、コンピュータ付与情報が正しいことを表す入力を受け付けた場合、すなわち、「agree」ボタンが指定された場合、表示制御部４２は以下の制御を行う。この場合、表示制御部４２は、正しいと指定されたコンピュータ付与情報が付与されている断層画像に対して、アノテーションを追加する制御を行う。従って、正しいと指定されたコンピュータ付与情報が表す関心領域の輪郭が、アノテーションとして、例えば、白色で表示される。この場合、コンピュータ付与情報は付与されたままなので、ユーザは、コンピュータが検出せず、自身で指定した関心領域であるか、又はコンピュータが検出し、自身が正しいと判断した関心領域であるかを把握することができる。
　コンピュータによる検出では、多数の関心領域を検出する場合もある。そこで、ユーザは、画像診断にあたり、コンピュータ付与情報を非表示としたい場合もある。ユーザは、コンピュータ付与情報の表示及び非表示を切り替えたい場合、ボタンＢＴを入力部２４を介して指定する。
　受付部４０が、コンピュータ付与情報の表示及び非表示を切り替える入力を受け付けた場合、表示制御部４２は、図１０に示すように、受け付けた入力に応じて、コンピュータ付与情報を表すマークＣＤの表示及び非表示を切り替える制御を行う。更に、本実施形態では、表示制御部４２は、図１１に示すように、マークＣＤに加えて、断層画像上のコンピュータ付与情報の表示及び非表示を切り替える制御も行う。
　次に、図１２を参照して、本実施形態に係る表示制御装置１２の作用を説明する。ＣＰＵ２０が表示制御プログラム３０を実行することによって、図１２に示す表示制御処理が実行される。表示制御処理は、例えば、ユーザによって入力部２４を介して実行指示及び表示対象の３次元医用画像を構成する断層画像群を特定可能な識別情報が入力された場合に実行される。
　図１２のステップＳ１０で、表示制御部４２は、入力された識別情報に従って特定される断層画像群を画像保管装置１６から取得し、取得した断層画像群に基づいて初期画面をディスプレイ２３に表示する制御を行う。具体的には、表示制御部４２は、前述したように、取得した断層画像群それぞれに対応する断層位置を指定するためのスライダバーＳＢと、指定されている断層位置に対応する断層画像と、をディスプレイ２３に表示する制御を行う。また、表示制御部４２は、前述したように、指定されている断層位置に対応するスライダバーＳＢの長手方向に沿った位置に、スライダＳＤを表示する制御を行う。なお、初期画面では、指定されている断層位置として、最も頭側の断層位置を適用した例を説明するが、これに限定されない。初期画面では、指定されている断層位置として、最も足側の断層位置を適用してもよいし、中央の断層位置を適用してもよい。
　また、表示制御部４２は、前述したように、断層画像群のそれぞれについて、付与情報が付与されている断層画像については、付与情報を表すマークを、付与されている断層画像の断層位置に対応するスライダバーＳＢの位置に表示する制御を行う。また、表示制御部４２は、ユーザによるコンピュータ付与情報の表示及び非表示を切り替える入力を受け付けるためのボタンＢＴを表示する制御を行う。ステップＳ１０の処理により、一例として図４に示す画面がディスプレイ２３に表示される。なお、表示制御部４２は、２回目以降にステップＳ１０が実行される場合は、直近の表示状態を引き継いだ状態とする。
　ステップＳ１２で、受付部４０は、ユーザによって入力部２４を介して入力された指示を受け付けるまで待機する。ユーザによって入力部２４を介して指示が入力されると、ステップＳ１２の判定が肯定判定となり、処理はステップＳ１４に移行する。ステップＳ１４で、受付部４０は、ステップＳ１２で受け付けた指示が、表示終了の指示であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１６に移行する。ステップＳ１６で、表示制御部４２は、ステップＳ１２で受け付けられた指示に応じて表示を切り替える制御を行う。ステップＳ１６の処理が終了すると、処理はステップＳ１２に戻る。一方、ステップＳ１４の判定が否定判定となった場合、表示制御処理が終了する。この表示制御処理が終了する時点での表示領域Ａ１及び表示領域Ａ２に表示されている各表示オブジェクトの表示状態は、例えば、断層画像群に対応付けられて画像保管装置１６に保存され、２回目以降にステップＳ１０が実行される場合に表示状態が引き継がれる。
　ステップＳ１２で受け付けられた指示が、スライダＳＤのドラッグ操作又はマウスホイールのスクロール操作等による断層位置を指定する指示の場合、ステップＳ１６において図１３に示す処理ルーチンが実行される。
　図１３のステップＳ２０で、表示制御部４２は、ユーザ操作により指定された断層位置に対応するスライダバーＳＢの位置に、スライダＳＤを移動させる制御を行う。ステップＳ２２で、表示制御部４２は、表示領域Ａ２の断層画像を、指定された断層位置の断層画像に切り替える制御を行う。
　ステップＳ２４で、表示制御部４２は、指定された断層位置の断層画像に付与情報が付与されているか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ２６に移行する。ステップＳ２６で、表示制御部４２は、指定された断層位置の断層画像にブックマークが付与されているか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ２８に移行する。
　ステップＳ２８で、表示制御部４２は、指定された断層位置の断層画像に付与されているブックマークを表すマークＢＭを強調表示する制御を行う。ステップＳ２６の判定が否定判定となった場合、ステップＳ２８の処理は実行されずに処理はステップＳ３０に移行する。
　ステップＳ３０で、表示制御部４２は、指定された断層位置の断層画像にアノテーションが付与されているか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ３２に移行する。ステップＳ３２で、表示制御部４２は、指定された断層位置の断層画像に付与されているアノテーションを表すマークＡＮを強調表示する制御を行う。ステップＳ３４で、表示制御部４２は、前述したように、断層画像上にアノテーションを表示する制御を行う。ステップＳ３０の判定が否定判定となった場合、ステップＳ３２からステップＳ３４までの処理は実行されずに処理はステップＳ３６に移行する。
　ステップＳ３６で、表示制御部４２は、指定された断層位置の断層画像にコンピュータ付与情報が付与されているか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ３８に移行する。ステップＳ３８で、表示制御部４２は、指定された断層位置の断層画像に付与されているコンピュータ付与情報を表すマークＣＤを強調表示する制御を行う。ステップＳ４０で、表示制御部４２は、前述したように、指定された断層位置の断層画像に付与されているコンピュータ付与情報を表すマークＣＤの色を、表示済みであることを表す色に変更する。なお、このマークＣＤの色が、既に表示済みであることを表す色又はコンピュータ付与情報が正しくないことを表す色の場合、表示制御部４２は、マークＣＤの色は変更しない。ステップＳ４２で、表示制御部４２は、前述したように、断層画像上にコンピュータ付与情報を表示する制御を行う。
　ステップＳ４２の処理が終了すると、図１３に示す処理ルーチンが終了する。また、ステップＳ３６の判定が否定判定となった場合、ステップＳ３８からステップＳ４２までの処理は実行されずに図１３に示す処理ルーチンが終了する。また、ステップＳ２４の判定が否定判定となった場合、ステップＳ２６からステップＳ４２までの処理は実行されずに図１３に示す処理ルーチンが終了する。
　ステップＳ１２で受け付けられた指示が、「agree」ボタン又は「disagree」ボタンの指定によるコンピュータ付与情報が正しいか又は正しくないかを表す指示の場合、ステップＳ１６において図１４に示す処理ルーチンが実行される。
　図１４のステップＳ５０で、受付部４０は、受け付けた指示が、コンピュータ付与情報が正しいことを表す入力であるか否か、すなわち、「agree」ボタンが指定されたか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ５２に移行する。受付部４０が受け付けた指示が、コンピュータ付与情報が正しくないことを表す入力である場合、すなわち、「disagree」ボタンが指定された場合は、ステップＳ５０の判定が否定判定となり、処理はステップＳ５４に移行する。
　ステップＳ５２で、表示制御部４２は、前述したように、正しいと指定されたコンピュータ付与情報が付与されている断層画像に対して、アノテーションを追加する制御を行う。ステップＳ５２の処理が終了すると、図１４に示す処理ルーチンが終了する。ステップＳ５４で、表示制御部４２は、前述したように、コンピュータ付与情報を表すマークＣＤの色を、現在の表示色から背景色に近い色に変更する制御を行う。ステップＳ５４の処理が終了すると、図１４に示す処理ルーチンが終了する。
　ステップＳ１２で受け付けられた指示が、ボタンＢＴの指定によるコンピュータ付与情報の表示及び非表示を切り替える指示の場合、ステップＳ１６において図１５に示す処理ルーチンが実行される。
　図１５のステップＳ６０で、受付部４０は、受け付けた指示が、コンピュータ付与情報を表示する指示であるか否かを判定する。この判定が肯定判定となった場合、処理はステップＳ６２に移行する。受付部４０が受け付けた指示が、コンピュータ付与情報を非表示とする指示である場合は、ステップＳ６０の判定が否定判定となり、処理はステップＳ６４に移行する。
　ステップＳ６２で、表示制御部４２は、前述したように、コンピュータ付与情報を表すマークＣＤを非表示とし、かつ断層画像上のコンピュータ付与情報を非表示とする制御を行う。ステップＳ６２の処理が終了すると、図１５に示す処理ルーチンが終了する。ステップＳ６４で、表示制御部４２は、前述したように、コンピュータ付与情報を表すマークＣＤを表示し、かつ断層画像上のコンピュータ付与情報を表示する制御を行う。ステップＳ６４の処理が終了すると、図１５に示す処理ルーチンが終了する。
　以上説明したように、本実施形態によれば、断層画像毎に固有の付与情報が付与可能とされ、１つのマークによって１枚の断層画像が特定可能であり、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークを強調表示している。従って、スライダバーＳＢ上で指定された断層位置に対応する断層画像に対して、固有の付与情報が付与されているか否かをユーザが把握しやすい。
　なお、上記実施形態において、図１６に示すように、表示制御部４２は、スライダＳＤを表示せずに、スライダバーＳＢの一端から指定されている断層位置までと、他端から指定されている断層位置までとの色を異ならせてスライダバーＳＢを表示する制御を行ってもよい。この場合、断層位置を指定するための専用のオブジェクトであるスライダＳＤを表示しなくてもよくなる。但し、この場合に、上記実施形態と同様にスライダＳＤも表示してもよい。
　また、上記実施形態において、図１７に示すように、表示制御部４２は、コンピュータ付与情報が付与されている断層画像については、その断層画像に付与されているコンピュータ付与情報が表す関心領域の輪郭Ｏ１に加え、関心領域の輪郭Ｏ２を更に表示する制御を行ってもよい。この場合、例えば、表示制御部４２は、輪郭Ｏ２として、同じ関心領域が検出された他の断層画像の何れかに付与されているコンピュータ付与情報が表す関心領域の輪郭を表示する制御を行う。具体的には、表示制御部４２は、輪郭Ｏ２として、同じ関心領域が検出された他の断層画像の何れかに付与されているコンピュータ付与情報が表す関心領域の輪郭のうち、最大の輪郭を表示する制御を行う。ここでいう最大の輪郭の例としては、面積が最大の輪郭又は輪郭の長さが最長の輪郭等が挙げられる。
　また、上記実施形態では、コンピュータが関心領域を検出した全ての断層画像に、コンピュータ付与情報を付与する場合について説明したが、これに限定されない。図１８に示すように、コンピュータが、３次元医用画像を構成する複数の断層画像の中から、同じ対象（例えば、関心領域）が写っている断層画像群を抽出し、抽出した断層画像群の中から代表となる断層画像を選択し、選択した断層画像に対してのみ、コンピュータ付与情報を付与してもよい。この場合、例えば、コンピュータは、連続する断層画像において、検出した関心領域の重心位置の差の絶対値が予め定められた第１閾値以下で、かつ面積の差の絶対値が予め定められた第２閾値以下の関心領域を、同じ関心領域と特定する。この場合の第１閾値及び第２閾値としては、連続する断層画像において同じ関心領域のそれぞれの差の上限値として予め設定された値を適用することができる。また、この場合、例えば、コンピュータは、抽出した断層画像群の中から、面積が最大であるか、又は輪郭の長さが最長の関心領域が検出された断層画像を、代表となる断層画像として抽出する。この場合におけるコンピュータは、表示制御装置１２でもよいし、撮影装置１４が備える制御装置でもよいし、画像保管装置１６でもよいし、診断支援システム１０の外部のコンピュータでもよい。
　また、この場合におけるコンピュータが付与情報を付与する断層画像として選択した処理を、同じようにユーザが入力部２４を介して行ってもよい。この場合におけるユーザ付与情報は、複数の断層画像のうち、同じ対象が写っている断層画像群の代表となる断層画像に対してユーザによって付与された情報となる。
　また、上記実施形態では、複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトとして、スライダバーＳＢ及びスライダＳＤを適用した場合について説明したが、これに限定されない。例えば、図１９に示すように、複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトとして、シェーマＳＭ及びスライダＳＤを適用する形態としてもよい。ここでいうシェーマＳＭとは、人体の一部を模式的に示した模式図を意味する。図１９では、複数の断層画像として、マンモグラフィ装置を用いたトモシンセシス撮影によって得られた医用の複数の断層画像を適用した例を示している。図１９の上段は、右側の***に対してＭＬＯ（Medio-Lateral Oblique）撮影を行うことによって得られた断層画像を示し、下段は右側の***に対してＣＣ（Cranio-Caudal）撮影を行うことによって得られた断層画像を示している。また、図１９では、断層画像の深さ方向、すなわち、スライダＳＤの移動方向を破線の両矢印で示している。この形態例でも、例えば、ユーザは、シェーマＳＭ上の表示したい断層画像の断層位置にスライダＳＤをドラッグすることによって断層位置を指定する。また、この場合、指定されている断層位置に対応する断層画像に付与情報が付与されている場合、付与情報を表すマークが強調表示される。また、この形態例において、マークＡＮ及びマークＣＤを、***を正面視したときの２次元的な配置が分かるように、シェーマＳＭ内に表示してもよい。
　また、図４及び図５に示したスライダＳＤ及びスライダバーＳＢと、図１９に示したシェーマＳＭ及びスライダＳＤの双方を表示領域Ａ１に表示する形態としてもよい。また、この形態例において、これらの何れか一方に対して行った操作を他方に連動して反映させてもよい。
　また、上記実施形態において、例えば、受付部４０及び表示制御部４２といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　また、上記実施形態では、表示制御プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。表示制御プログラム３０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　２０２０年３月９日に出願された日本国特許出願２０２０－０４０３５９号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (14)

  1. 　少なくとも一つのプロセッサを備える表示制御装置であって、
    　前記プロセッサは、
    　被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、
    　ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含み、前記複数の断層画像の各々に固有で、かつ前記断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、前記付与情報を表すマークであって、１つの前記マークによって１枚の前記断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、
    　指定されている断層位置に対応する断層画像に前記付与情報が付与されている場合、前記付与情報を表すマークを強調表示する制御を行う
    　表示制御装置。
  2. 　前記指定オブジェクトは、スライダバーを含む
    　請求項１に記載の表示制御装置。
  3. 　前記指定オブジェクトは、シェーマを含む
    　請求項１に記載の表示制御装置。
  4. 　前記プロセッサは、前記スライダバーの一端から指定されている断層位置までと、他端から前記指定されている断層位置までとの色を異ならせて前記スライダバーを表示する制御を行う
    　請求項２に記載の表示制御装置。
  5. 　前記付与情報は、前記コンピュータ付与情報を含み、
    　前記プロセッサは、未表示の断層画像に付与されたコンピュータ付与情報を表すマークと、表示済みの断層画像に付与されたコンピュータ付与情報を表すマークとを識別可能に表示する制御を行う
    　請求項１から請求項４の何れか１項に記載の表示制御装置。
  6. 　前記付与情報は、前記コンピュータ付与情報を含み、
    　前記プロセッサは、前記コンピュータ付与情報が正しいか否かを表す入力を受け付け、
    　前記コンピュータ付与情報が正しくないことを表す入力を受け付けた場合、前記コンピュータ付与情報を表すマークの色を、現在の表示色から背景色に近い色に変更する制御を行う
    　請求項１から請求項５の何れか１項に記載の表示制御装置。
  7. 　前記付与情報は、前記コンピュータ付与情報を含み、
    　前記プロセッサは、前記コンピュータ付与情報の表示及び非表示を切り替える入力を受け付け、
    　受け付けた入力に応じて、前記コンピュータ付与情報を表すマークの表示及び非表示を切り替える制御を行う
    　請求項１から請求項６の何れか１項に記載の表示制御装置。
  8. 　前記プロセッサは、前記コンピュータ付与情報が付与されている断層画像については、断層画像上に前記コンピュータ付与情報を表示する制御を行い、
    　受け付けた入力に応じて、前記コンピュータ付与情報を表すマークと前記断層画像上の前記コンピュータ付与情報との双方の表示及び非表示を切り替える制御を行う
    　請求項７に記載の表示制御装置。
  9. 　前記付与情報は、前記コンピュータ付与情報として前記断層画像における関心領域の輪郭を含み、
    　前記プロセッサは、指定されている断層位置に対応する断層画像に前記関心領域の輪郭が付与されている場合、前記断層画像上に前記関心領域の輪郭を表示する制御を行い、
    　更に、表示対象の前記関心領域と同じ関心領域が検出された他の断層画像の何れかに付与されている前記関心領域の輪郭を表示する制御を行う
    　請求項１から請求項８の何れか１項に記載の表示制御装置。
  10. 　前記プロセッサは、前記他の断層画像に付与されている前記関心領域の輪郭のうち、最大の輪郭を表示する制御を行う
    　請求項９に記載の表示制御装置。
  11. 　前記コンピュータ付与情報は、
    　前記コンピュータが、
    　前記複数の断層画像の中から、同じ対象が写っている断層画像群を抽出し、
    　抽出した断層画像群の中から代表となる断層画像を選択し、
    　選択した断層画像に対して付与する情報を含む
    　請求項１から請求項１０の何れか１項に記載の表示制御装置。
  12. 　前記ユーザ付与情報は、前記複数の断層画像のうち、同じ対象が写っている断層画像群の代表となる断層画像に対してユーザによって付与された情報を含む
    　請求項１から請求項１１の何れか１項に記載の表示制御装置。
  13. 　被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、
    　ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含み、前記複数の断層画像の各々に固有で、かつ前記断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、前記付与情報を表すマークであって、１つの前記マークによって１枚の前記断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、
    　指定されている断層位置に対応する断層画像に前記付与情報が付与されている場合、前記付与情報を表すマークを強調表示する制御を行う
    　処理を表示制御装置が備えるプロセッサが実行する表示制御方法。
  14. 　被検体を撮影して得られた医用の複数の断層画像それぞれに対応する断層位置を指定するための指定オブジェクトと、指定されている断層位置に対応する断層画像と、を表示する制御を行い、
    　ユーザによって付与されたユーザ付与情報及びコンピュータによって付与されたコンピュータ付与情報の少なくとも一方を含み、前記複数の断層画像の各々に固有で、かつ前記断層画像毎に付与されるべく設定されている付与情報が付与されている断層画像については、前記付与情報を表すマークであって、１つの前記マークによって１枚の前記断層画像が特定可能なマークを、付与されている断層画像の断層位置に対応する指定オブジェクトの深さ方向の位置に表示する制御を行い、
    　指定されている断層位置に対応する断層画像に前記付与情報が付与されている場合、前記付与情報を表すマークを強調表示する制御を行う
    　処理を表示制御装置が備えるプロセッサに実行させるための表示制御プログラム。
PCT/JP2020/036595 2020-03-09 2020-09-28 表示制御装置、表示制御方法、及び表示制御プログラム WO2021181731A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022505744A JP7510495B2 (ja) 2020-03-09 2020-09-28 表示制御装置、表示制御方法、及び表示制御プログラム
US17/819,358 US11983801B2 (en) 2020-03-09 2022-08-12 Display control apparatus, display control method, and display control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-040359 2020-03-09
JP2020040359 2020-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/819,358 Continuation US11983801B2 (en) 2020-03-09 2022-08-12 Display control apparatus, display control method, and display control program

Publications (1)

Publication Number Publication Date
WO2021181731A1 true WO2021181731A1 (ja) 2021-09-16

Family

ID=77671511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036595 WO2021181731A1 (ja) 2020-03-09 2020-09-28 表示制御装置、表示制御方法、及び表示制御プログラム

Country Status (3)

Country Link
US (1) US11983801B2 (ja)
JP (1) JP7510495B2 (ja)
WO (1) WO2021181731A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023048268A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006187A (ja) * 2006-06-30 2008-01-17 Fujifilm Corp 医用画像表示処理装置、及び、医用画像表示処理プログラム
US20100141654A1 (en) * 2008-12-08 2010-06-10 Neemuchwala Huzefa F Device and Method for Displaying Feature Marks Related to Features in Three Dimensional Images on Review Stations
WO2014203940A1 (ja) * 2013-06-18 2014-12-24 キヤノン株式会社 トモシンセシス撮影の制御装置、撮影装置、撮影システム、制御方法および当該制御方法をコンピュータに実行させるためのプログラム
JP2015198928A (ja) * 2014-03-31 2015-11-12 株式会社東芝 医用画像処理装置、および医用画像処理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173910A (ja) 2002-11-27 2004-06-24 Fuji Photo Film Co Ltd 画像表示装置
WO2008001928A1 (fr) 2006-06-30 2008-01-03 Fujifilm Corporation Appareil d'affichage d'image médicale et programme d'affichage d'image médicale
JP6419441B2 (ja) 2014-03-11 2018-11-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
US11344371B2 (en) * 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006187A (ja) * 2006-06-30 2008-01-17 Fujifilm Corp 医用画像表示処理装置、及び、医用画像表示処理プログラム
US20100141654A1 (en) * 2008-12-08 2010-06-10 Neemuchwala Huzefa F Device and Method for Displaying Feature Marks Related to Features in Three Dimensional Images on Review Stations
WO2014203940A1 (ja) * 2013-06-18 2014-12-24 キヤノン株式会社 トモシンセシス撮影の制御装置、撮影装置、撮影システム、制御方法および当該制御方法をコンピュータに実行させるためのプログラム
JP2015198928A (ja) * 2014-03-31 2015-11-12 株式会社東芝 医用画像処理装置、および医用画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023048268A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
US20220392124A1 (en) 2022-12-08
JP7510495B2 (ja) 2024-07-03
US11983801B2 (en) 2024-05-14
JPWO2021181731A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
US11139067B2 (en) Medical image display device, method, and program
US8244010B2 (en) Image processing device and a control method and control program thereof
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
WO2021181731A1 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
JP6843785B2 (ja) 診断支援システム、診断支援方法、及びプログラム
JP2024029172A (ja) 表示制御装置
US10324582B2 (en) Medical image display apparatus, method for controlling the same
JP2024038203A (ja) 画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラム
JP7148633B2 (ja) 医用画像表示制御装置、方法及びプログラム
US20220020475A1 (en) Multimodality hanging protocols
JP7431317B2 (ja) 文書作成支援装置、方法およびプログラム
JP6711675B2 (ja) 読影支援装置
US20210353360A1 (en) Craniotomy simulation device, method, and program
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム
WO2023048267A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
JP7497422B2 (ja) 画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラム
WO2023048268A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230143966A1 (en) Image processing apparatus and non-transitory computer readable medium
WO2022220081A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
WO2022270151A1 (ja) 画像処理装置、方法およびプログラム
US20230225681A1 (en) Image display apparatus, method, and program
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022505744

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20924557

Country of ref document: EP

Kind code of ref document: A1