WO2012008299A1 - 画像合成システム - Google Patents
画像合成システム Download PDFInfo
- Publication number
- WO2012008299A1 WO2012008299A1 PCT/JP2011/064793 JP2011064793W WO2012008299A1 WO 2012008299 A1 WO2012008299 A1 WO 2012008299A1 JP 2011064793 W JP2011064793 W JP 2011064793W WO 2012008299 A1 WO2012008299 A1 WO 2012008299A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display form
- parent
- child
- display
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
- A61B1/00022—Operational features of endoscopes provided with data storages removable
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to an image composition system that composes and displays a plurality of images as parent-child images.
- a parent-child image in which one is a parent image prioritized and the other image is a child image subordinate to the parent image.
- the sub-images to be displayed in a subordinate manner cannot be displayed in an appropriate size.
- the child image is displayed in the remaining vacant display area of the display area of the parent image in the display device.
- the number of pixels of the image sensor that determines the size of the child image is low. (Small), a small display area occupying only a part of the vacant display area.
- the present invention has been made in view of the above-described points.
- a priority display form such as a parent-child image
- the plurality of images do not overlap and are displayed in a subordinate manner. It is an object of the present invention to provide an image composition system that can generate an image that is close to the maximum size.
- the present invention is an image composition system for outputting a composite image of a plurality of images input from a plurality of image signal output means, Image-related information acquisition means for acquiring image-related information of the plurality of images; First image instruction means for instructing to display a first image from the plurality of input images; Second image instruction means for instructing to display a second image from the plurality of input images; First image display form instruction means for instructing the display form of the first image instructed by the first image instruction means in preference to the second image; Based on the image related information of the second image acquired by the image related information acquisition means and the display form of the first image instructed by the first image display form instruction means, the second image Second image display form determining means for determining a display form; First image processing means for processing the first image corresponding to an instruction by the first image display form instruction means; Second image processing means for processing the second image corresponding to the determination by the second image display form determination means; The first image processed by the first image processing means based on the instruction by the first image display form instruction means and the determination by the
- FIG. 1 is a diagram showing an overall configuration of an image composition system according to a first embodiment of the present invention.
- FIG. 2 is a diagram illustrating an internal configuration of the processor and the light source device in FIG. 1.
- FIG. 3 is a block diagram showing a detailed configuration of an image signal processing unit in FIG.
- FIG. 4 is a diagram illustrating an arrangement example of a parent image and related data.
- FIG. 5A is an explanatory diagram showing a state in which an endoscopic image cut out to include an endoscopic image in the case of a large endoscopic image is reduced and arranged as a child image in the child image region. .
- FIG. 1 is a diagram showing an overall configuration of an image composition system according to a first embodiment of the present invention.
- FIG. 2 is a diagram illustrating an internal configuration of the processor and the light source device in FIG. 1.
- FIG. 3 is a block diagram showing a detailed configuration of an image signal processing unit in FIG.
- FIG. 4 is a diagram illustrating an arrangement example of a
- FIG. 5B is an explanatory diagram showing a state in which, in the case of an endoscopic image having a small size, an endoscopic image cut out to include the endoscopic image is reduced and arranged as a child image in the child image region.
- . 6 is a block diagram showing a configuration of a peripheral portion of the arrangement position setting circuit when an arrangement position setting circuit is provided in the configuration of FIG.
- FIG. 7A is a diagram showing one arrangement example of a parent image and related data arranged in an image memory in the PinP synthesis circuit.
- FIG. 7B is a diagram showing one arrangement example of a parent image and related data different from FIG. 7A arranged in the image memory in the PinP synthesis circuit.
- FIG. 8 is a diagram illustrating a display example of a composite image generated with a set aspect ratio.
- FIG. 9 is a diagram illustrating an example in which a child image is cut out in a cut-out range corresponding to the type of endoscope.
- FIG. 10 is a diagram showing an overall configuration of an image composition system according to the second embodiment of the present invention.
- FIG. 11 is a block diagram showing a partial configuration of an image signal processing unit in an image composition system according to a third embodiment of the present invention.
- an image synthesis system 1 includes an external device 2 as a first medical device, and a second inserted into a body cavity and used for endoscopy.
- An endoscope 3 as a medical device, an external device 2 and an endoscope 3 are detachably connected, a processor 4 that performs image processing for generating a composite image, and a light source that supplies illumination light to the endoscope 3
- the apparatus 5 is connected to the processor 4 and includes a monitor 6 as a display device that displays a parent-child image as a composite image of a plurality of images, and a keyboard 7 as an external input device, for example.
- the endoscope 3 includes an elongated insertion portion 8 to be inserted into a body cavity, an operation portion 9 provided at the rear end of the insertion portion 8, and a universal cable 10 extending from the operation portion 9.
- the electrical connector 10 a provided at the end of the universal cable 10 is detachably connected to the processor 4.
- the light guide connector 10b at the end of the universal cable 10 is detachably connected to the light source device 5.
- the light source device 5 supplies illumination light to the light guide 11 (see FIG. 2) inside the endoscope 3 via the light guide connector 10b.
- FIG. 2 shows an internal configuration of the endoscope 3, the processor 4, and the light source device 5.
- the insertion portion 8 includes a distal end portion 13 on which a charge-coupled device (abbreviated as CCD) 12 as an imaging device is mounted, a bendable bending portion 14, and a long flexible portion 15.
- CCD charge-coupled device
- the light guide 11 transmits the supplied illumination light to the emission end arranged in the illumination window of the tip end portion 13, emits the illumination light from the illumination window, and images the affected part and the like imaged by the CCD 12. Illuminate the target area.
- An image signal picked up by the CCD 12 mounted on the endoscope 3 is input to a correlated double sampling circuit (CDS circuit) 8a provided inside the endoscope 3 (for example, inside the insertion unit 8 or the operation unit 9).
- the CDS circuit 8a performs CDS processing on the imaging signal to generate a baseband image signal, and outputs it to the A / D conversion circuit 8b.
- the A / D converted image signal passes through a first FPGA (Field Programmable Gate Array) 8c that performs parallel / serial conversion processing, and is then used as a line driver for the low-voltage differential signal system.
- the signal is input to the LVDS receiver 32a in the processor 4 through the electrical connector 10a.
- the signal received by the LVDS receiver 32 a is subjected to serial / parallel conversion processing via the second FPGA 33 and then input to the image signal processing unit 34.
- a ROM 8e storing scope information is provided in the endoscope 3, and the scope information in the ROM 8e is taken into the CPU 32b in the processor 4 via the FPGAs 8c and 32a.
- an image signal picked up by, for example, a CCD 16 as an image pickup device mounted inside the external device 2 is also extended from the external device 2 and an electrical connector at the end of the cable 17. It is input to the processor 4 via 17a.
- the endoscope 3 and the external device 2 form an image signal output unit that outputs an image signal corresponding to an image captured by each imaging element.
- the external device 2 is not limited to one that outputs an image signal from an optical imaging device, but outputs an ultrasonic image signal from an ultrasonic transducer as an acoustic imaging device. You can do it.
- the processor 4 includes an image signal processing unit 34 (see FIG. 2) that performs an image combining process for generating a combined image obtained by combining a plurality of images input from a plurality of image signal output units.
- the signal is output to the monitor 6.
- a user such as an operator synthesizes a plurality of images from the keyboard 7 and displays them on the monitor 6, the user has a function of instruction input means for inputting an instruction for instructing a display form of the combined image.
- a composite image basically, a parent image or a parent screen that preferentially displays one image (over the other) at the size of the image, and a child image or child screen in which the other image is reduced or enlarged
- a display form of a parent-child image or a parent-child screen (picture-in-picture, abbreviated as PinP) synthesized so as to be embedded in the parent screen.
- the arrangement position of the parent image is changed, and the arrangement of the child images can be appropriately changed according to the change.
- the child image is reduced in many cases when the original image is many.
- the child image can be applied depending on the size of the display area for displaying the child image.
- the parent screen mainly means a case including a parent image and related data related to the parent image. When only the parent image portion is indicated, the parent image is used. The same meaning is used for the sub-screen.
- the keyboard 7 is, for example, a function of the first image instruction unit 7a as a first image instruction unit that instructs to display a first image from a plurality of images, and a second image from the plurality of images.
- an endoscope image as a second medical image captured by the endoscope 3 is displayed as a parent image by the keyboard 7.
- An example of a display form of PinP displayed by using an image generated by the external device 2 (referred to as an external image) as a child image is shown.
- an external image generated by the external device 2 is displayed as a parent image by the keyboard 7, and an endoscopic image captured by the endoscope 3 is displayed.
- the example of a display form of PinP (parent-child image) displayed as a child image is shown.
- the PinP shown on each of the upper and lower monitors 6 in FIG. 1 can be switched from one display form to the other display form by an instruction input from the keyboard 7 and displayed. I am doing so.
- the present embodiment has a function of displaying in PinP by inputting an instruction from the keyboard 7.
- the processor 4 generates a PinP composite image obtained by combining a plurality of, specifically two medical images, and an image of related data, outputs an image signal of the composite image to the monitor 6, and is generated on the monitor 6. The combined image is displayed. Note that related data images are simply referred to as related data for simplicity.
- the processor 4 includes an information acquisition unit 51 (see FIG. 3) as an image related information acquisition unit that acquires image related information regarding a plurality of medical images and related data.
- the processor 4 determines related information of the second image to be displayed as a child image by the information acquisition unit 51 and a second image display form instructed by the first image display form instruction means. It has a PinP display form setting unit 57 (see FIG. 3) that constitutes the display form determining means.
- the light source device 5 includes a lamp 21 that emits light, and the light emitted from the lamp 21 is transmitted only through the bandpass filter 22 in the visible wavelength band, and the infrared wavelength band and the like.
- the band is limited so that no light is transmitted.
- the visible region light transmitted through the band filter 22 is further converted into, for example, red (R), green (G), and blue (B) surface-sequential illumination light by the color filter unit 23, and the incident end of the light guide 11. Incident on (supplied). And the illumination light transmitted from the output end of the front-end
- the color filter unit 23 includes a motor (not shown), a rotary color filter provided with R, G, and B color filters that are rotated by the motor and transmit R, G, and B light, respectively, and a motor. Are driven at a predetermined rotational speed, and R, G, B color filters are sequentially arranged on the optical path.
- the part illuminated with the surface sequential illumination light is imaged by the CCD 12, and the image signal photoelectrically converted by the CCD 12 is converted into a digital signal via the CDS circuit 8a and the A / D conversion circuit 8b described above. Further, the data is output to one input terminal of an image signal processing unit (video signal processing unit) 34 that generates a PinP composite image through the FPGAs 8c and 33. An image signal of an external image of the external device (AUX) 2 is input to the other input end of the image signal processing unit 34.
- the image signal processing unit 34 generates a PinP composite image from image signals input from two input terminals, and the composite image signal as an image signal of the generated composite image is converted into an analog signal by a D / A conversion circuit 35. Is then output to the monitor 6, and a PinP composite image is displayed on the display screen 61 of the monitor 6.
- Each endoscope 3 includes the number of pixels of the CCD 12 mounted on each endoscope 3 (including the size of the vertical and horizontal pixels), and the endoscope 3 (either an internal endoscope or a surgical endoscope).
- an information generating means for generating endoscope information including information such as the type of mirror etc., for example, an ID generating section 25 for generating unique identification information (ID) is incorporated.
- the ID generation unit 25 is provided, for example, in the electrical connector 10a. Therefore, when the electrical connector 10 a is connected to the processor 4, the ID generated by the ID generation unit 25 is input to the (ID detection or) CCD detection circuit 36 in the processor 4.
- the CCD detection circuit 36 determines the type of the CCD 12 such as the number of pixels of the CCD 12 on which the endoscope 3 is mounted from the ID, and obtains information on the CCD type in the information acquisition unit 51 (FIG. 3) in the image signal processing unit 34. Output).
- the processor 4 includes a timing generator (abbreviated as TG) 31 that generates a timing signal for determining timings when performing various processes, and a synchronization signal as a timing signal generated by the TG 31 is transmitted to the processor 4. 4 is output to the FPGA 33 as each circuit block, the image signal processing unit 34, and the D / A conversion circuit 35, and also to the FPGA 8c in the endoscope 3. This synchronization signal is also supplied to each circuit block constituting the image signal processing unit 34 shown in FIG.
- the TG 31 generates a synchronization signal in synchronization with a reference clock from, for example, a crystal oscillation circuit (abbreviated as CXO circuit) 37 serving as a reference clock generation unit.
- the synchronization signal includes a horizontal synchronization signal, a vertical synchronization signal used for displaying an image, a clock synchronized with the two synchronization signals, and the like.
- the TG 31 outputs R, G, B index signals as timing signals to the color filter unit 23 of the light source device 5, and the color filter unit 23 is synchronized with the R, G, B index signals.
- the R, G, B color filters are sequentially arranged on the optical path. For this reason, the image signal picked up by the CCD 12 is actually an R, G, B image signal picked up under R, G, B illumination light, and a color image signal in the image signal processing unit 34.
- the processor has a Phase Locked Loop circuit (PLL circuit) 38 indicated by a dotted line.
- the PLL circuit 38 includes a voltage-controlled crystal oscillation circuit (VCXO) 39 that can adjust the oscillation frequency in accordance with the voltage value.
- the PLL circuit 38 is used when the PLL circuit 38 is operated in synchronization with a signal from a device external to the processor 4.
- FIG. 3 shows a detailed configuration example of the image signal processing unit 34.
- the image signal output from the A / D conversion circuit 33 in FIG. 2 is an optical black clamp circuit (OB clamp circuit) 42 constituting the endoscope image signal processing unit 41 constituting the first or second image processing means. Is input.
- OB clamp circuit 42 the black level of the imaging signal used for actual imaging in the CCD 12 is set to the clamping level of the OB portion, and the black level of the imaging signal is reproduced.
- the output signal of the OB clamp circuit 42 is input to a white balance circuit (W / B circuit) 44 after unnecessary high frequency components are removed by a low-pass filter circuit (LPF circuit) 43.
- the W / B circuit 44 performs W / B adjustment so as to output a white image signal when a white subject is imaged.
- the W / B circuit 44 is, for example, generated for each frame of three frames of a frame sequential image signal, specifically, R, G, and B generated by imaging with the CCD 12 under R, G, B frame sequential illumination light.
- a frame memory for storing the image signals of the G and B color components is provided, and the color image signals are simultaneously output by simultaneously reading the image signals of the R, G, and B color components stored in the frame memory.
- the output signal of the W / B circuit 44 is input to the dimming circuit 45 and also to the gamma circuit 46 that performs gamma correction.
- the dimming circuit 45 generates a dimming signal for dimming from the R, G, and B color signals, and outputs the dimming signal to the light source device 5.
- the light source device 5 adjusts the aperture amount of a diaphragm (not shown) by the dimming signal to adjust the illumination light amount, that is, dimming.
- the output signal of the gamma circuit 46 is input to a paint circuit 47 that makes it possible to adjust the color tone.
- the output signal of the paint circuit 47 is input to an enlargement / reduction circuit 48 that performs enlargement or reduction processing.
- the output signal of the enlargement / reduction circuit 48 is input to an emphasis circuit 49 that emphasizes contours and the like.
- the information acquisition unit 51 receives the information on the number of pixels of the CCD 12 and the endoscopic information.
- information on the enlargement rate or reduction rate is also acquired. Then, the information acquisition unit 51 corrects the size of the endoscopic image based on the number of pixels of the CCD 12 with the information on the enlargement ratio or the reduction ratio, and sets (determines) a cutout range or the like described later.
- the enhancement circuit 49 performs enhancement processing, and performs masking processing to cut out four corners to form an octagon with respect to the quadrangular endoscope image portion in the image signal after the enhancement processing.
- the masked image signal is input to one input terminal of a switching circuit 52 that switches between a parent screen and a child screen.
- the masking process is performed in the case of a medical endoscope, but is not performed in the case of a surgical endoscope.
- an image signal corresponding to an external image from the external device 2 is input to an A / D conversion circuit 54 constituting the external image signal processing unit 53, converted into a digital image signal, and then rate conversion of the image signal.
- the rate conversion circuit 55 the standard of the display form of the image signal from the external device 2 is the standard employed in the image signal processing unit 34 incorporated in the processor 4 that performs image processing on the CCD 12 of the endoscope 3.
- a rate conversion process is performed to convert the frequency of the image signal so as to be the same standard.
- the rate conversion circuit 55 displays the HD image.
- a rate conversion process is performed to convert the signal into an SD image signal.
- the rate conversion circuit 55 passes through the input signal without performing rate conversion processing, and is input to the gamma circuit 56a that performs gamma correction, and the output signal of the gamma circuit 56a. Is input to an emphasis circuit 56b for emphasis processing.
- the gamma circuit 56a and the emphasis circuit 56a the gamma correction characteristics and the emphasis processing characteristics are changed according to the parameters from the monochrome / color parameter switching circuit 59.
- the monochrome / color parameter switching circuit 59 is set to a parameter having characteristics corresponding to a color image signal in a normal setting state.
- a monochrome image signal is input, such as an image signal of an ultrasonic image, for example, by inputting an instruction to input a monochrome image signal from the keyboard 7, the monochrome /
- the color parameter switching circuit 59 sets a parameter of a characteristic for performing gamma correction processing and enhancement processing corresponding to a monochrome image signal for the gamma circuit 56a and the enhancement circuit 56b.
- a composite image is generated by changing the parameters for image processing according to whether the image signal input from the external device 2 is color or monochrome, the floor of the image from the external device 2 is generated. Keys and contours can be displayed more appropriately.
- the output signal of the enhancement circuit 56b is input to the other input terminal of the switching circuit 52.
- the switching circuit 52 includes two switches SW1 and SW2 that allow the parent-child relationship between the input external image and the endoscopic image to be interchanged.
- the switching circuit 52 is controlled by a PinP display form setting signal output from the PinP display form setting unit 57 that sets (or determines) the PinP display form based on the PinP display form instruction from the keyboard 7.
- the PinP display form setting signal is a binary signal that can switch the two switches SW1 and SW2 in conjunction with each other.
- a PinP display mode setting unit 57 sets the switches SW1 and SW2 of the switching circuit 52 to the state indicated by the solid lines.
- a PinP display mode setting unit 57 sets the switches SW1 and SW2 of the switching circuit 52 to a state indicated by dotted lines.
- the display of the child image or child screen described above is not limited to the case of instructing the PinP display form as described above, but by instructing the display form of the parent image or parent screen to be a priority image. Even if the form is not instructed, the PinP display form setting unit 57 constituting the second image display form determining means determines the switching of the switches SW1 and SW2 so as to display the parent-child image.
- the endoscopic image signal processing unit 41 and the external image signal processing unit 53 are the first image (specifically, one of the endoscopic image and the external image in which one image has priority over the other image). When instructed to be displayed as a parent image), a first image processing means for performing image processing on the first image is formed, and the other forms a second image processing means as a subordinate.
- the output signal of the switch SW1 that outputs the image signal of the small screen is input to one input terminal of the PinP composition circuit 60 that generates a PinP composite image as an image composition means via the cutout / enlargement / reduction circuit 58.
- the output signal of the switch SW2 that outputs the image signal of the parent screen is directly input to the other input terminal of the PinP synthesis circuit 60.
- the PinP composition circuit 60 performs image processing for generating the PinP composite image by using the output signal of the switch SW2 as the parent image of the parent screen and arranging the child image in the empty area of the parent screen.
- the PinP composition circuit 60 includes an image area (or image arrangement area) by the image memory 60a corresponding to the display area of the display screen 61 of the monitor 6 of FIG. Based on the image settings, a parent image constituting the parent screen and related data related to the parent image are arranged (stored) in the image memory 60a. Then, the child image is arranged in the remaining empty area where the parent image and the related data are arranged.
- the arrangement and size of the image input from the external device 2 and its related data are unchanged in the parent in the image memory 60a. The arrangement and size of images and related data are set.
- the region of the position and size where the parent image and the related data are arranged is determined.
- a child image area in which a child image is arranged in an empty area other than the determined area is set.
- the information acquired by the information acquisition unit 51 is used to cut out the child image portion from the image signal of the child screen. Based on the acquired information, the information acquisition unit 51 cuts out a child image part from the image signal of the child screen, and cuts out the child image part of the clipped range in the child image area in a maximum size.
- a cut-out range / magnification setting unit 51a is provided for setting (determining) a magnification for enlarging or reducing a child image portion of the extraction range.
- Information for setting the display mode on the parent image side is input to the information acquisition unit 51 from the PinP display mode setting unit 57 that sets the display mode of PinP as a composite image. Then, the information acquisition unit 51 sets the display form on the child image side based on the display form information on the parent image side.
- the information acquisition unit 51 and the PinP display form setting unit 57 may be configured such that each other's information can be used as indicated by arrows in FIG.
- the clipping range / magnification setting unit 51 a may be provided outside the information acquisition unit 51. Further, for example, a configuration may be adopted in which the extraction range / magnification setting unit 51 a is provided in the PinP display form setting unit 57.
- the cut-out range / magnification setting unit 51a and the PinP display mode setting unit 57 form a sub image display mode determination unit that determines the display mode of the sub image. Note that, as in a third embodiment to be described later, a configuration in which the extraction range is automatically set using edge extraction from the image signal itself may be employed.
- the image composition system 1 of the present embodiment having such a configuration is an image composition system that outputs a composite image of a plurality of images input from a plurality of image signal output means, and as image related information of the plurality of images.
- An information acquisition unit 51 as an image-related information acquisition unit for acquiring information such as the number of pixels of the CCD 12 and the enlargement / reduction ratio by the enlargement / reduction circuit 48, and a first image from the plurality of inputted images
- a first image instruction unit 7a serving as a first image instruction unit including a keyboard 7 that instructs to display the image.
- the image composition system 1 includes a second image instruction unit 7b as a second image instruction unit including a keyboard 7 for instructing to display a second image from the plurality of input images.
- a first image display form instruction means configured by a keyboard 7 for instructing the display form of the first image instructed by the first image instruction means in preference to the second image.
- an image display form instruction unit 7c is an image composition system that outputs a
- the image composition system 1 includes the image related information of the second image acquired by the image related information acquisition unit, and the display mode of the first image specified by the first image display mode instruction unit. And a PinP display form setting unit 57 constituting second image display form determining means for determining the display form of the second image. Further, the image composition system 1 includes the first image processing means for processing the first image corresponding to the instruction by the first image display form instruction means and the determination by the second image display form determination means. It has an endoscope image signal processing unit 41, an external image signal processing unit 53, a switching circuit 52, and a cut / enlarge / reduce circuit 58 as second image processing means for processing a second image.
- the image composition system 1 includes the first image processed by the first image processing unit based on the instruction from the first image display form instruction unit and the determination by the second image display form determination unit.
- a PinP synthesis circuit 60 as image synthesis means for synthesizing the second image processed by the second image processing means.
- FIG. 4A shows a standard arrangement example of a parent image and related data forming a parent screen.
- a parent image 62a based on an external image of the external device 2 is arranged in the parent image region 62 in the image arrangement region of the image memory 60a set corresponding to the display screen 61, and related data 63a related to the parent image 62a. Are arranged in the related data area 63.
- An area that is not displayed (nothing on the monitor 6) except for the parent image area 62 and the related data area related to the parent image 62a in this image memory 60a is an empty area 64 in which a child screen can be arranged. . Then, a child image area 65 to be displayed as a child image (child screen) is set in the empty area 64 as indicated by a two-dot chain line.
- the cutout / enlargement / reduction circuit 58 cuts out the child image portion from the image signal of the child screen output from the switch SW1 and arranges the child image portion in the child image region 65 with a size close to the maximum. Cut out and enlarge or reduce parts. In this case, even when the number of pixels of the CCD 12 of the endoscope 3 displayed as a child image is different, the endoscopic image portion is cut out and the cut out endoscopic image is enlarged in consideration of the number of pixels. Or perform reduction appropriately.
- the endoscope image signal processing unit 41 includes the enlargement / reduction circuit 48
- the enlargement / reduction circuit 48 when the endoscope image portion is cut out, in addition to the information on the number of pixels of the CCD 12, the enlargement / reduction circuit The endoscopic image portion is cut out with reference to the enlargement ratio or reduction ratio information by 48. Specifically, when the endoscopic image portion is cut out, the size of the endoscopic image determined by the number of pixels of the CCD 12 is corrected by the enlargement / reduction ratio by the enlargement / reduction circuit 48, and the inner size is corrected. Cutting is performed as shown on the left side of FIG. 5A and FIG. 5B in the cutting ranges 66a and 66b of the vertical and horizontal sizes slightly larger than the endoscopic image portion.
- the size may be set to be equal to the vertical and horizontal size of the endoscopic image portion and cut out.
- 5A and 5B show an endoscopic image part (indicated by A) when the number of pixels is small and an endoscopic image part when the number of pixels is small with respect to the child image area 65 set as the sky area 64.
- B an explanatory diagram showing a state in which each of the cutout and enlargement or reduction is appropriately performed and the child image area 65 is stored in the child image 65a is shown.
- the child image region 65 The child image can be displayed at a size close to the maximum within the frame indicating the vertical and horizontal sizes of the. For this reason, the cutout circuit (58a) in the cutout / enlargement / reduction circuit 58 cuts out the endoscope image portions A and B from the image signal including the endoscopic image and related data of the sub-screen. Cut out as shown at 66a, 66b.
- the cut-out range portion including the cut-out endoscope image portions A and B is within the size of the child image region 65 by the enlargement / reduction circuit (58b) in the cut-out / enlargement / reduction circuit 58.
- the image is enlarged or reduced at an enlargement rate or reduction rate that makes the size as close as possible.
- the vertical / horizontal size of the cut-out area 66a is considerably larger than the vertical / horizontal size of the child image area 65, and therefore the reduction ratio is set large ( The value of the enlargement ratio or reduction ratio used below is set small).
- the vertical / horizontal size of the cut-out area 66b is slightly larger than the vertical / horizontal size of the child image area 65, so the reduction ratio is set small.
- the cutout / enlargement / reduction circuit 58 refers to the information on the number of pixels of the CCD 12 by the information acquisition unit 51 and the enlargement ratio or reduction ratio information from the enlargement / reduction circuit 48 to determine the endoscopic image portion A or B.
- the cutting ranges 66a and 66b can be set so as to include them and cut out.
- the extraction / enlargement / reduction circuit 58 has Va ⁇ Ka ⁇ Vc, Ha ⁇ Kb ⁇ Hc (1) Ka and Kb that are the maximum values of Ka and Kb that satisfy the above condition are calculated. Further, of the two calculated values Ka and Kb, the smaller value is determined as the enlargement ratio or reduction ratio that is the vertical and horizontal size of the cutout range 66 a including the endoscopic image portion A arranged in the child image area 65. .
- the enlargement ratio means a case where the image is enlarged by 1 time or more
- the reduction ratio means a case where the image is reduced to less than 1 time. Accordingly, the enlargement ratio may be defined so as to include the case where the value is 1 or less, or may be expressed using only one by defining the reduction ratio so as to include the case where the value is 1 or more.
- the cutout range that is enlarged or reduced at the determined enlargement ratio or reduction ratio is indicated by 66a ′, as shown on the right side of FIG. 5A, a cutout that includes the endoscope image portion A in the child image area 65 is shown.
- An exit range 66a ' is arranged.
- the child image area 65 has a horizontal size from the size Hd from the left end of the image arrangement area of the image memory 60a corresponding to the display screen 61 of the monitor 6 to the left end of the parent image area 62. Is set to a slightly smaller size.
- the vertical size of the child image area 65 is set to be slightly smaller than the size Vd from the lower end of the image arrangement area of the image memory 60a to the lower end of the related data area 63.
- the cutout / enlargement / reduction circuit 58 cuts out the endoscope image portions A and B as child images, and enlarges or reduces the size of the cutout endoscope image portions A and B as child image regions.
- the size is adjusted to a size close to the maximum within the size that fits in the vertical and horizontal sizes of 65, and is arranged in the child image region 65 in the image memory 60a.
- the PinP composition circuit 60 reads image data composed of the parent image, the related data of the parent image and the child image arranged in the image memory 60a as composite image data, and converts it into an analog composite image signal by the D / A conversion circuit 35. Thereafter, the data is output to the monitor 6.
- a parent-child image is displayed as shown on the lower side of FIG.
- the display form on the parent image side when displaying the parent-child image on the monitor 6 is instructed, and the arrangement position and display size of the parent image displayed on the monitor 6 and the data related to the parent image are displayed.
- a child image area 65 for displaying a child image in a rectangular empty area other than the area of the parent image and related data on the parent screen is set, and the maximum size close to this size is set within the size of the child image area 65.
- the child images are arranged so that the child images are accommodated in a size close to.
- the endoscope image portion is referred to by referring to the enlargement ratio or reduction ratio information.
- the size is adjusted so that the maximum size is obtained by cutting and further enlarging or reducing the size of the child image area 65 or less.
- the position and size of the parent image and the related data on the parent screen selected by the switching circuit 52 are used for display on the monitor 6 as they are.
- the arrangement position and size of the parent image 62a and the related data 63a in other words, the parent image area 62 corresponding to the display area of the parent image 62a
- a function for variably setting the arrangement position and the size of the related data area 63 corresponding to the display area of the related data 63a may be provided.
- FIG. 6 shows a configuration example of the peripheral portion of the arrangement position setting circuit 71 that variably sets the arrangement position and size of the parent image 62a and the related data 63a by image processing by the image signal processing unit 34.
- the user can extract the parent image 62a and the related data 63a from the keyboard 7 by using the arrangement instruction unit 7d as the arrangement instruction unit configured by the keyboard 7 together with information for extracting the arrangement position and the size of the parent image 62a and the related data 63a.
- An instruction is input for information on the arrangement position and size for arranging 62a and related data.
- the PinP display form setting unit 57 outputs a signal corresponding to the instruction input to the arrangement position setting circuit 71 provided between the switching circuit 52 and the PinP synthesis circuit 60.
- the arrangement position setting circuit 71 has a cut-out circuit 72 that cuts out a parent image portion and its related data portion using the image signal of the parent screen output from the switching circuit 52 as an input signal.
- the arrangement position setting circuit 71 arranges (stores) the enlarged / reduced circuit 73 for enlarging or reducing the cut-out parent image part (and related data part) to the designated size, and the enlarged or reduced image data therein. ) Image memory 74.
- the parent image portion set to the size designated by the enlargement / reduction circuit 73 and the related data portion are arranged (stored) in the area corresponding to the arrangement position and size designation from the keyboard 7 in the image memory 74, respectively.
- the related data portion may not be enlarged or reduced.
- the cutout circuit 72 cuts out the parent image portion and the related data portion of the parent screen in the same manner as in the case of cutting out from the above-described endoscopic image of the child screen. Then, the image data in the cut-out range including the cut-out parent image portion and the image data in the cut-out range of the related data portion are enlarged or reduced to the instructed size, and then arranged in the image memory 74.
- the image data of the cutout range including the parent image 62a arranged in the image memory 74 and the image data of the cutout range including the related data are read out at a timing synchronized with the synchronization signal from the TG 31 and the PinP synthesis circuit 60, and stored in the image memory 60a in the PinP synthesis circuit 60 at the same arrangement position as the image memory 74 with the same size.
- 7A shows an arrangement example of the image memory 60a in this case (the image memory 74 is also the same, except that the cut-out range of the parent image and related data in the image memory 74 is the parent image area and the related data area in FIG. 7A). Show. In FIG.
- FIG. 7A for example, the enlargement / reduction circuit 73 is shown in the case of an enlargement ratio of 1.
- FIG. 7A corresponds to a case where only the arrangement position is changed without changing the size of the arrangement of the parent image 62a and the related data 63a in FIG.
- the parent image 62a and the related data 63a in the image signal of the parent screen input from the switching circuit 52 to the arrangement position setting circuit 71 are in the arrangement state as shown in FIG. 4, for example.
- the cut-out circuit 72 cuts out the parent image portion and the related data portion according to the arrangement information of the parent image 62a and the related data 63a. Further, the image data of the cut-out range that has been cut out is enlarged or reduced by the enlargement / reduction circuit 73 according to the size information instructed from the keyboard 7, and then the designated arrangement position, for example (image memory 60a in FIG. 7A). (Similar to the case of FIG. 7A), the image memory 74 is arranged so as to be arranged as indicated by a solid line (reference numerals 62 and 63 in FIG. 7A).
- the image data of the cutout range of the parent image arranged in the image memory 74 and the image data of the cutout range of the related data are arranged in the image memory 60a of the PinP synthesis circuit 60.
- the size of each cutout range Are set in the parent image area 62 including the parent image 62a and the related data area 63 including the related data 63a.
- the arrangement of the parent image 62a and the related data 63a shown in FIG. 4 is reversed in the horizontal direction. Therefore, in this case, the child image area 65 (where the child image is arranged) is determined at the position where the child image area 65 shown in FIG. become.
- FIG. 7B shows an example in which the size of the parent image 62a is changed (specifically reduced), and the parent image 62a (the parent image region 62) is arranged on the left side as in the case of FIG. 7A.
- the related data area 63 of the related data 63a is arranged on the lower side on the right side.
- the arrangement position and size of the parent image 62a (the parent image area 62), the arrangement position of the related data area 63, and the size of the child image area 65 in which the child image is arranged according to the setting of the size thereof. Is determined as indicated by a two-dot chain line in the empty region 64 in which these regions are not arranged.
- an image signal of an endoscopic image by an endoscope apparatus can be set as an external image.
- the size of the parent image can be selected and set from pre-registered sizes corresponding to a plurality of sizes adopted as display sizes in the case of a normal endoscopic image. Also good.
- the arrangement position may be selected and set from registered ones together with the size. As described above, in order to easily set the arrangement position and display size of the parent image, the following may be performed.
- the arrangement information of the parent image that the user wants to display on the monitor 6 and the arrangement position of the related data and the display size of the parent image are arranged as arrangement position / display size information in advance.
- the keyboard 7 selects an arrangement position / display size corresponding to a desired arrangement position and display size so that the user can perform an operation of selecting the arrangement / display size information. It has a function of an arrangement position / display size selection unit 7e as means.
- the keyboard 7 has a function of performing various instructions and settings.
- the present invention is not limited to the keyboard 7 and a mouse or a pointing device may be used.
- the user can easily specify the arrangement position and display size of the parent image, and can display the parent image in the desired arrangement and display size instructed.
- the selection information of the arrangement position / display size by the keyboard 7 is sent from the PinP display form setting unit 57 to the information acquisition unit 51. Then, based on the selection information of the arrangement position / display size of the parent image and related data, the child image area 65 in which the child image is arranged is determined as described above, and the child image is arranged in the child image area 65. Further, for example, a menu screen may be displayed on the monitor 6 to provide a function for setting the aspect ratio of the composite image displayed on the monitor 6.
- FIG. 6 also shows an example in which a processing circuit for setting the aspect ratio of the composite image is provided (this may be applied to the configuration of FIG. 3).
- the keyboard 7 has a function of an aspect ratio setting unit 7f as an aspect ratio setting unit that instructs the user to set an aspect ratio for both the parent image and the child image in the composite image.
- the PinP display form setting unit 57 sends, for example, aspect ratio processing circuits 75 and 76 provided in the endoscope image signal processing unit 41 and the external image signal processing unit 53, respectively.
- a setting signal for setting the designated aspect ratio is sent.
- the aspect ratio processing circuits 75 and 76 perform image processing for setting the instructed aspect ratio for the endoscopic image and the external image, respectively.
- a process of generating a PinP composite image is performed on the generated endoscope image and external image of the aspect ratio by image processing after the switching circuit 52 as in the above-described embodiment.
- FIG. 8 shows a display example on the monitor 6 of the composite image generated in this way.
- FIG. 8 shows an example corresponding to an aspect ratio setting instruction of 16: 9, for example.
- the parent image 62a and the child image 65a set to 16: 9 are not overlapped with each other, and the child image 65a is displayed in a size close to the maximum in the horizontal direction of the child image area. Is set.
- the condition of the expression (1) is substantially determined by one enlargement ratio or reduction ratio Kb depending on the instructed aspect ratio condition.
- the child image 65a is shown as an endoscopic image corresponding to the case of a surgical endoscope described below. In the case of a surgical endoscope, image processing is performed so that an image by a CCD mounted on the surgical endoscope is displayed as an endoscopic image without masking.
- the endoscope image signal processing unit 41 of the processor 4 has four corners of the image captured by the CCD 12. Masked image processing is performed, and the masked endoscopic image is displayed on the monitor 6.
- the cut-out range may be changed or the conditions of the cut-out range may be changed depending on the type of endoscope.
- the CCD detection circuit 36 of FIG. 2 has an endoscope type detection function for detecting the type of endoscope in addition to the information on the number of pixels of the CCD 12, and the detected information is shown in FIG. It outputs to the information acquisition part 51 which shows.
- the information acquisition unit 51 acquires information on the type of the endoscope 3 in addition to information on the number of pixels of the CCD 12.
- the information on the type of the endoscope 3 includes, for example, information on whether the endoscope 3 is a medical endoscope or a surgical endoscope.
- the information acquisition unit 51 determines the cut-out range of the endoscopic image to be displayed as a child image based on the information on the CCD type or the like. In accordance with the information, that is, in accordance with the case of the endoscope for medical use and the case of the endoscope for surgical operation, the cutting range is determined to be changed. Then, a cutting circuit (hereinafter, 58a) in the cutting / enlarging / reducing circuit 58 cuts out an endoscopic image as shown in FIG. The upper side of FIG.
- FIG. 9 shows a cut-out range 66 in the case of cutting out an endoscopic image portion indicated by a solid line from the image signal of the small screen output from the switching circuit 52 in the case of the endoscope for medical use, and the lower side is a dotted line.
- the cutout range 66 in the case of a surgical endoscope is shown.
- a vertical and horizontal cut-out range 66 is set so that the masking frame of the octagonal endoscope image C is not lost, and the endoscopic image portion is cut out in this cut-out range 66. .
- the upper left portion adjacent to the octagonal endoscope image portion is related data related to the endoscope image.
- an image picked up by a CCD is not masked and used as it is as a rectangular endoscope image D for image processing and display. Then, a vertical and horizontal cut-out range 66 including the central region of the rectangular endoscope image D is set.
- the PinP display form setting unit 57 may include a cut-out range information storage unit 57b including a non-volatile memory for storing cut-out range information.
- the cut-out range information storage unit 57 b may be provided outside the PinP display form setting unit 57 as long as it is within the processor 4.
- the keyboard 7 forms a cutting range indicating means.
- the example in which the aspect ratio processing circuits 75 and 76 are provided in the external image signal processing unit 53 has been described.
- the above-described parent image extraction circuit 72 may be used for the aspect ratio processing. good.
- the case where the external device 2 side is a parent image and the endoscope 3 side is a child image is described.
- the image signal from the external device 2 and the image signal from the endoscope 3 are described.
- the parent image 62a shown in FIG. 4 is an endoscope image
- the related data 63a is data related to the endoscope image ( Image).
- Such an arrangement is determined by an instruction from the keyboard 7 and an enlargement ratio or reduction ratio of the enlargement / reduction circuit 48, and the information acquisition unit 51 acquires information on such an arrangement. Further, a child image area 65 in which the external image portion on the external device 2 side is arranged in the empty area 64 excluding the area where these images are arranged (no image display). The information acquisition unit 51 also acquires information on the child image area 65. Then, the external image portion is extracted from the image signal by the external device 2 by the extraction / enlargement / reduction circuit 58 and enlarged or reduced so as to fit in the child image area 65.
- This description corresponds to the description in which the endoscopic images in FIGS. 5A and 5B are replaced with external images. Therefore, according to the present embodiment, when one image of a plurality of images is displayed in a priority display form, the plurality of images do not overlap and a subordinately displayed image is generated in a state close to the maximum size. It becomes possible.
- the plurality of images do not overlap and the child image has the maximum size. It can be generated in a state close to.
- the surgeon specifies the arrangement on the parent image side so that the arrangement position on the child image side and the display size are automatically set appropriately in the empty area. A good system can be realized.
- a non-volatile rewritable memory for example, a flash memory
- a composite image is displayed in the memory 32c using the image composition system 1.
- the user name (or user identification information) and the setting information of the composite image displayed on the monitor 6 are stored in association with each other.
- a configuration may be provided that includes the composite image setting information storage unit 32d.
- the CPU 32 b When the user next uses the image composition system 1, the CPU 32 b reads the corresponding composite image setting information storage unit 32 d from the user name or the like and displays it on the monitor 6. The user may be asked to confirm whether or not to generate a composite image with the setting information displayed on the monitor 6. When the user generates a composite image with the same setting information, the user can simply answer OK or YES. With this configuration, the user can easily generate a composite image with the same setting information as the previous time when the user uses the setting information that the user wants to generate, and the next time it is used. The operability for can be greatly improved.
- a function that allows a general user to easily generate a composite image by inputting a selection instruction may be added.
- a plurality of different representative setting information having different setting conditions necessary for generating the composite image is stored in the setting information storage unit 32d in the memory 32c.
- the CPU 32 b controls to display a plurality of representative setting information on the monitor 6.
- the user can easily generate a composite image by selecting desired setting information from a plurality of representative setting information. Also in this case, there is an effect that a composite image desired by the user can be easily generated by inputting a selection instruction.
- the image composition system 1B of the present embodiment has a configuration in which the external device 2 in the first embodiment described above is replaced with an endoscope apparatus 81.
- the image composition system 1B of the present embodiment includes an endoscope 3 described in the first embodiment, a processor 4, a light source device 5, a main-side endoscope device including a monitor 6 and a keyboard 7, and an external device. It consists of a slave-side endoscope device 81 constituting the device.
- the endoscope device 81 includes a slave-side endoscope (also simply referred to as an endoscope) 3B, a slave-side processor (also simply referred to as a processor) 4B that performs image processing on the endoscope 3B, and an endoscope 3B
- a slave-side light source device also simply referred to as a light source device 5B for supplying illumination light to the light guide 11.
- the endoscope 3B includes the same constituent elements (constituent members) as the endoscope 3, and therefore, the same reference numerals as the constituent elements of the endoscope 3 are given and description thereof is omitted.
- the processor 4B has almost the same configuration as that of the processor 4, and the same components as those of the processor 4 are denoted by the same reference numerals and description thereof is omitted.
- the light source device 5B has the same configuration as that of the light source device 5, and the same components as those of the light source device 5 are denoted by the same reference numerals and description thereof is omitted.
- An external device is not connected to an external input terminal to which an image signal is input from the outside in the image signal processing unit 34 provided in the processor 4B.
- an output terminal of the processor 4B is connected to the external input terminal of the processor 4, and an analog image signal including an endoscopic image output from the processor 4B is input to the external input terminal.
- the monitor 6 receives the endoscope image as a parent.
- An image and a PinP composite image in which the endoscope image obtained by the endoscope 3 is a child image are displayed.
- the processor 4 outputs the RGB index signal generated by the TG 31 to the color filter unit 23 of the light source device 5, and similarly, the processor 4B outputs the RGB index signal generated by the TG 31 to the color filter unit 23 of the light source device 5B.
- the light source devices 5 and 5B are each a field sequential type light source device, and the light source devices 5 and 5B and the processors 4 and 4B perform illumination and image processing in synchronization. I am doing so.
- the TG 31 in the processor 4 outputs a synchronization signal composed of a horizontal synchronization signal and a vertical synchronization signal as timing signals and an RGB index signal to the TG 31 and the PLL circuit 38 in the processor 4B.
- the TG 31 of the processor 4 generates a timing signal using the reference clock of the CXO circuit 37 as in the case described in the first embodiment.
- the TG 31 of the processor 4B uses the PLL circuit 38 without using the reference clock of the CXO circuit 37.
- the PLL circuit 38 generates a reference clock that is phase-synchronized with the reference clock of the CXO circuit 37 of the processor 4 by the VCXO circuit 39 by using the synchronization signal input from the processor 4 side as a reference signal.
- a phase-synchronized synchronization signal and RGB index signal are generated.
- both the light source devices 5 and 5B and the processors 4 and 4B perform synchronized frame sequential illumination and image processing.
- the surgeon can use both endoscopes 3 and 3B at the same time to observe and diagnose the affected area in the body and to perform treatment under endoscopic observation. Can be performed smoothly. That is, if such synchronized illumination and image processing are not performed, the timing of frame sequential illumination by both the light source devices 5 and 5B will shift, and the color reproduction function will deteriorate. According to the present embodiment, such a decrease in function can be prevented, and the same color reproduction function as when the endoscopes 3 and 3B are used independently can be secured. By using the two endoscopes 3 and 3B, the operator can perform diagnosis and the like more smoothly. Other effects are the same as those of the first embodiment.
- FIG. 11 shows a configuration of part of the image signal processing unit 34C in the processor 4 according to the third embodiment of the present invention.
- the information from the keyboard 7 or the like is referred to.
- the extraction range in the extraction / enlargement / reduction circuit 58 shown in FIG. 6 and the extraction range by the extraction circuit 72 of the arrangement position setting circuit 71 are input. It is determined automatically from the image signal using edge extraction and cut out.
- the parent image portion and the related data portion and the child image are cut out using the parent screen image signal and the child screen image signal respectively output from the switching circuit 52 as input signals.
- Cutout range detection circuits 91A and 91B for detecting the range are provided.
- the cut-out range detection circuits 91A and 91B may be provided on the input side of the switching circuit 52.
- the PinP display form setting unit 57 having a configuration slightly changed from the configuration of FIG. 6 is adopted.
- Cutout range detection circuits 91A and 91B extract edge ranges from edge information extracted by edge extraction circuits 92a and 92b and edge extraction circuits 92a and 92b, respectively, for the input image signal.
- cutout range setting circuits 93a and 93b to be set.
- the edge extraction circuits 92a and 92b compare, for example, the edge enhancement signal after edge enhancement by the edge enhancement circuit with respect to the image signal to the threshold level by the comparison circuit, and extract a signal exceeding the threshold level, thereby extracting the image signal. Extract the edge part at.
- the cut-out range setting circuits 93a and 93b identify a frame portion of a quadrangular or octagonal image from the extracted edge portion. In this case, a pre-registered cutting range condition (for example, a size size condition of the cutting range) is satisfied, such as pattern matching with the frame shape registered in advance for the extracted edge portion.
- the identification function may be enhanced by using other processes such as selection of objects together.
- the frame is set as a cut-out range.
- the quadrangular frame portion extrapolated to include the octagon is used as an image portion. Set to the cropping range of. In addition, you may set to the cutout range with an octagon.
- the cut-out range setting circuits 93a and 93b determine whether or not the extracted edge portion information is a related data portion made up of character information by performing pattern matching with registration information when the edge of the character information is extracted in advance. Thus, a range in which the related data portion exists is determined, and a quadrangle including the range is set as a cut-out range of the related data. Note that depending on the external device, there may be an image signal that does not have related data, and therefore, the extraction range of related data cannot be detected or the extraction range may be zero. In this way, the cutout range setting circuits 93a and 93b extract information on the cutout range of the image portion and the cutout range of the related data, for example, through the PinP display form setting unit 57. This is used for setting the cutout range by the circuit 72 and the cutout range by the cut / enlarge / reduce circuit 58, respectively.
- the CCD type information and the endoscope type information by the CCD detection circuit 36 are input to the information acquisition unit 51 in the PinP display form setting unit 57, for example.
- the information acquisition unit 51 shown in FIG. 3 sets the cutout range according to the type of the CCD 12 or the like, but in the configuration of this embodiment shown in FIG. Not necessarily required. Of course, it may be used in combination with such information, or the cutout range may be determined with priority given to one piece of information.
- the PinP display form setting unit 57 generates a composite image of the parent and child images in the display form instructed by the user by using various instruction inputs from the keyboard 7 and information of the cut-out range setting circuits 93a and 93b. To do.
- the presence / absence of an image signal is monitored (determined) as described below, and in the case of a determination result in which no image signal is input, one image from a combined image such as a parent / child is a normal image. You may make it have a control function which switches automatically so that it may display with predetermined sizes, such as size.
- the cut-out range detection circuits 91A and 91B in this embodiment form a monitoring unit that monitors the presence or absence of an image signal.
- the edge extraction circuits 92a and 92b have an input signal level that is less than or equal to a threshold value close to 0.
- the image signal includes a synchronization signal including a horizontal synchronization signal and a vertical synchronization signal.
- the cut-out range detection circuits 91A and 91B determine that the synchronization signal is not included, the cut-out range detection circuits 91A and 91B determine that the image signal of the external device 2 is not input and the image signal of the external device 2 is not input.
- the determination signal is output to the PinP display form setting unit 57. Note that it may be determined that the image signal is not input without determining the presence or absence of the synchronization signal.
- the PinP display form setting unit 57 switches the switching circuit 52, the switching circuit 52 so as to output the input image signal as it is to the PinP composition circuit 60 as a parent image, for example.
- the output / enlargement / reduction circuit 58 and the arrangement position setting circuit 71 are controlled.
- the endoscope 3 and the external device 2 are connected to the processor 4, and the image signal of the endoscope image by the endoscope 3 and the image signal of the external device are input to the switching circuit 52.
- the state where both images are displayed as a combined image as a parent-child image is changed to a display state where only the endoscopic image side is displayed alone.
- the external image of the external device 2 is set to the display state in which the parent image and the endoscopic image are set to the child images, if the external device 2 is removed from the processor 4, the endoscopic image is automatically set. Can be displayed as a normal-size endoscopic image instead of a child image. For this reason, when the user removes the external device 2 from the processor 4, it is not necessary to perform an operation for changing the setting of the parent-child image, and the operability for the user can be improved.
- the present invention may be applied to the case where the endoscope 3 side is removed from the processor 4 for replacement or the like.
- the endoscope 3 When the endoscope 3 is removed, no image signal is input. Therefore, one of the cut-out range detection circuits 91A and 91B detects it and the image signal is input from the display form of the parent-child image. Displayed images in normal size. Also in this case, the operability for the user can be improved.
- the PinP display form setting unit 57 when instructed by the keyboard 7 for the arrangement position and display size of the parent image and related data, displays the parent image and related data as instructed.
- the arrangement position setting circuit 71 is controlled so as to arrange. Further, according to this arrangement, the PinP display form setting unit 57 sets a child image area in the empty area.
- the arrangement position setting circuit 71 further controls operations such as cutting out the child image portion from the image signal of the child screen by the cutting / enlarging / reducing circuit 58.
- the PinP display form setting unit 57 grasps the arrangement state of the parent-child images to be synthesized. For example, if the user has instructed or changed the current aspect ratio, for example, if the child image can be generated and displayed more appropriately as a composite image with a larger display size, that effect May be displayed to the user.
- the display form setting unit 57 is within the range in which the aspect ratio can be changed.
- the arrangement state on the parent image side may be changed to determine whether or not the size of the child image region can be increased.
- an external device for example, an ultrasonic apparatus that includes an acoustic imaging unit and outputs an image signal of an ultrasonic image may be connected.
- the PinP display mode setting unit 57 displays the display mode when the external device is identified as an ultrasonic device as the specific external device.
- the ultrasonic image may be set as a parent image and the endoscope image may be set as a child image.
- the PinP display form setting unit 57 communicates with an external device using, for example, the communication line 94, acquires an identification code of the external device, and identifies the type of the external device from the identification code. 57c. And when this identification part 57c identifies that it is a specific external apparatus, you may make it set to a specific PinP display form with the identification result. Further, in this case, the arrangement position of the parent and child images in the case of PinP display is displayed as a specific arrangement state, for example, an ultrasonic image is arranged as shown in FIG. 7B, and an endoscope image is displayed as a child image on the upper right side thereof. Such an arrangement state may be adopted. Other configurations are the same as those of the first embodiment described above.
- the extraction range of the parent image portion and the related data portion from the image signal of the parent screen, or the extraction of the child image portion from the image signal of the child screen Even if the range is not set, it is possible to automatically set both cutout ranges from both image signals. As described above, since it is not necessary to specify the cutout range and size of the image portion in both image signals, the convenience for the user is improved. Further, for example, even when the size of the image portion in the image signal on the external device side is changed, in the present embodiment, it is possible to quickly cut out in the cutout range corresponding to the change, and the convenience for the user is improved. To do. Other effects are the same as those of the first embodiment. In the above-described embodiments, in most cases, the image signal of the parent screen has been described assuming that the parent image and related data related to the parent image are included. Obviously we can do it.
- the parent image 62a is arranged in the image arrangement area in the image memory 60a.
- a square child image area 65 is set in the empty area 64 excluding the image area 62, and the child images are arranged in the child image area 65.
- the child image area 65 is not limited to the arrangement position indicated by the two-dot chain line, but can be arranged on the upper side (related data area 63 side). As described above, when the related data is not taken into consideration, the user can more freely select the position where the child image is arranged.
- a predetermined condition for example, when there are a plurality of positions in the vertical direction as positions where the child image is arranged in the empty region). May be determined according to, for example, a condition that gives priority to the position at the lowest position. Further, depending on the arrangement position and size of the parent image, it is possible to further increase the size of the child image area in which the child image is arranged.
- the related data of the child image may be arranged in the related data area 63 described above. Note that different embodiments can be configured by partially combining the above-described embodiments and the like, and such embodiments also belong to the present invention.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
画像合成システムは、複数の画像の画像関連情報を取得する画像関連情報取得部と、複数の画像の中から第1の画像、第2の画像を表示するようにそれぞれ指示する第1、第2画像指示部と、第1の画像を第2の画像よりも優先して第1の画像表示形態での表示を指示する第1画像表示形態指示部と、第2の画像の表示形態を決定する第2画像表示形態決定部と、第1の画像、第2の画像を処理する第1、第2画像処理部と、第1、第2画像処理部により処理された第1の画像と、第2の画像とを合成する画像合成部と、を備える。
Description
本発明は、複数の画像を親子画像として合成して表示する画像合成システムに関する。
近年、医用機器としての内視鏡を用いて体内の患部等を検査したり、必要に応じて処置具を用いて治療のための処置を行うことができる内視鏡装置が広く用いられるようになっている。
また、患部等をより詳細に観察できるように複数の内視鏡を接続したり、機能が異なる外部機器を接続して共通の表示装置に複数の画像を表示するシステムも提案されている。
複数の画像を表示するシステムとして、第1の従来例としての日本国特開2009-189556号公報には、複数のX線撮像系を備え、複数の画像の配置を指定して表示装置に合成して表示するものが開示されている。
また、第2の従来例としての日本国特開2008-307294号公報には、撮像素子の画素数などに応じて表示を制御するものが開示されている。
また、患部等をより詳細に観察できるように複数の内視鏡を接続したり、機能が異なる外部機器を接続して共通の表示装置に複数の画像を表示するシステムも提案されている。
複数の画像を表示するシステムとして、第1の従来例としての日本国特開2009-189556号公報には、複数のX線撮像系を備え、複数の画像の配置を指定して表示装置に合成して表示するものが開示されている。
また、第2の従来例としての日本国特開2008-307294号公報には、撮像素子の画素数などに応じて表示を制御するものが開示されている。
しかしながら、上述した従来例においては、撮像系又は撮像素子の画素数が異なるような場合、表示装置における表示画面の表示領域に適切に表示することができなかった。
2つの撮像素子による第1の画像と第2の画像とを同等に表示するのでなく、一方のを優先した親画像とし、他方の画像をこの親画像に従属する子画像とした親子画像(親子画面)として表示する場合、従来例においては従属的に表示する子画像を適切なサイズで表示することが出来なかった。
この場合、表示装置における親画像の表示領域の残りの空いた表示領域に、子画像を表示することになるが、従来例では子画像のサイズを決定する要因となる撮像素子の画素数が低い(小さい)と、空いた表示領域の一部のみを占有する小さな表示領域となってしまっていた。
2つの撮像素子による第1の画像と第2の画像とを同等に表示するのでなく、一方のを優先した親画像とし、他方の画像をこの親画像に従属する子画像とした親子画像(親子画面)として表示する場合、従来例においては従属的に表示する子画像を適切なサイズで表示することが出来なかった。
この場合、表示装置における親画像の表示領域の残りの空いた表示領域に、子画像を表示することになるが、従来例では子画像のサイズを決定する要因となる撮像素子の画素数が低い(小さい)と、空いた表示領域の一部のみを占有する小さな表示領域となってしまっていた。
このように空いた表示領域の一部のみに表示され、その表示領域を有効に利用できない。このため、画素数が小さい場合にはより大きくして表示することが望まれる。一方、例えば中位の画素数の撮像素子の画像を子画像として表示すると、子画像の表示領域を有効に利用して表示することができるが、さらに画素数が大きい撮像素子の場合には、子画像を表示するための空いた表示領域のサイズを超えて、親画像と重なってしまい、重なった部分の観察が行い難くなってしまう。
このように、従来例では画素数が異なるような場合には、表示領域を有効に利用して、複数の画像を適切に表示することができなかった。また、子画像が拡大または縮小されてそのサイズが変化したような場合にも、従来例では表示領域を有効に利用できない。
このように、従来例では画素数が異なるような場合には、表示領域を有効に利用して、複数の画像を適切に表示することができなかった。また、子画像が拡大または縮小されてそのサイズが変化したような場合にも、従来例では表示領域を有効に利用できない。
このため、親子画像のように、複数の画像における1つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で表示できるように合成画像を生成できることが望まれる。
本発明は上述した点に鑑みてなされたもので、親子画像のように複数の画像における1つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で生成可能とする画像合成システムを提供することを目的とする。
本発明は上述した点に鑑みてなされたもので、親子画像のように複数の画像における1つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で生成可能とする画像合成システムを提供することを目的とする。
本発明は、複数の画像信号出力手段から入力される複数の画像の合成画像を出力する画像合成システムであって、
前記複数の画像の画像関連情報を取得する画像関連情報取得手段と、
前記入力される複数の画像の中から第1の画像を表示するように指示する第1画像指示手段と、
前記入力される複数の画像の中から第2の画像を表示するように指示する第2画像指示手段と、
前記第1画像指示手段で指示された前記第1の画像を前記第2の画像よりも優先してその表示形態を指示する第1画像表示形態指示手段と、
前記画像関連情報取得手段により取得した前記第2の画像の画像関連情報と、前記第1画像表示形態指示手段により指示された前記第1の画像の表示形態とに基づき、前記第2の画像の表示形態を決定する第2画像表示形態決定手段と、
前記第1画像表示形態指示手段による指示に対応した前記第1の画像を処理する第1画像処理手段と、
前記第2画像表示形態決定手段による決定に対応した前記第2の画像を処理する第2画像処理手段と、
前記第1画像表示形態指示手段による指示と、前記第2画像表示形態決定手段による決定に基づき、前記第1画像処理手段により処理された前記第1の画像と、前記第2画像処理手段により処理された前記第2の画像と、を合成する画像合成手段と、
を備えることを特徴とする。
前記複数の画像の画像関連情報を取得する画像関連情報取得手段と、
前記入力される複数の画像の中から第1の画像を表示するように指示する第1画像指示手段と、
前記入力される複数の画像の中から第2の画像を表示するように指示する第2画像指示手段と、
前記第1画像指示手段で指示された前記第1の画像を前記第2の画像よりも優先してその表示形態を指示する第1画像表示形態指示手段と、
前記画像関連情報取得手段により取得した前記第2の画像の画像関連情報と、前記第1画像表示形態指示手段により指示された前記第1の画像の表示形態とに基づき、前記第2の画像の表示形態を決定する第2画像表示形態決定手段と、
前記第1画像表示形態指示手段による指示に対応した前記第1の画像を処理する第1画像処理手段と、
前記第2画像表示形態決定手段による決定に対応した前記第2の画像を処理する第2画像処理手段と、
前記第1画像表示形態指示手段による指示と、前記第2画像表示形態決定手段による決定に基づき、前記第1画像処理手段により処理された前記第1の画像と、前記第2画像処理手段により処理された前記第2の画像と、を合成する画像合成手段と、
を備えることを特徴とする。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の画像合成システム1は、第1の医用機器としての外部機器2と、体腔内に挿入され、内視鏡検査に使用される第2の医用機器としての内視鏡3と、外部機器2及び内視鏡3とが着脱自在に接続され、合成画像を生成する画像処理を行うプロセッサ4と、内視鏡3に照明光を供給する光源装置5と、プロセッサ4と接続され、複数の画像の合成画像としての親子画像を表示する表示装置としてのモニタ6と、外部入力機器としての例えばキーボード7を有する。
内視鏡3は、体腔内に挿入される細長の挿入部8と、この挿入部8の後端に設けられた操作部9と、操作部9から延出されたユニバーサルケーブル10とを有し、このユニバーサルケーブル10の端部に設けた電気コネクタ10aは、プロセッサ4に着脱自在に接続される。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の画像合成システム1は、第1の医用機器としての外部機器2と、体腔内に挿入され、内視鏡検査に使用される第2の医用機器としての内視鏡3と、外部機器2及び内視鏡3とが着脱自在に接続され、合成画像を生成する画像処理を行うプロセッサ4と、内視鏡3に照明光を供給する光源装置5と、プロセッサ4と接続され、複数の画像の合成画像としての親子画像を表示する表示装置としてのモニタ6と、外部入力機器としての例えばキーボード7を有する。
内視鏡3は、体腔内に挿入される細長の挿入部8と、この挿入部8の後端に設けられた操作部9と、操作部9から延出されたユニバーサルケーブル10とを有し、このユニバーサルケーブル10の端部に設けた電気コネクタ10aは、プロセッサ4に着脱自在に接続される。
なお、ユニバーサルケーブル10の端部のライトガイドコネクタ10bは、光源装置5に着脱自在に接続される。光源装置5は、ライトガイドコネクタ10bを介して内視鏡3内部のライトガイド11(図2参照)に照明光を供給する。なお、図2は内視鏡3,プロセッサ4及び光源装置5の内部構成を示す。
挿入部8は、撮像素子としての電荷結合素子(CCDと略記)12が搭載された先端部13と、湾曲自在の湾曲部14と、長尺の可撓部15とから構成される。
図2に示すように上記ライトガイド11は供給された照明光を先端部13の照明窓に配置された出射端に伝送し、照明窓から照明光を出射し、CCD12により撮像する患部等の撮像対象となる部位を照明する。
挿入部8は、撮像素子としての電荷結合素子(CCDと略記)12が搭載された先端部13と、湾曲自在の湾曲部14と、長尺の可撓部15とから構成される。
図2に示すように上記ライトガイド11は供給された照明光を先端部13の照明窓に配置された出射端に伝送し、照明窓から照明光を出射し、CCD12により撮像する患部等の撮像対象となる部位を照明する。
内視鏡3に搭載されたCCD12により撮像された画像信号は、内視鏡3内部(例えば挿入部8又は操作部9内部)に設けられた相関二重サンプリング回路(CDS回路)8aに入力される。CDS回路8aは、撮像信号に対してCDS処理を行いベースバンドの画像信号を生成してA/D変換回路8bに出力する。A/D変換された画像信号は、パラレル/シリアルの変換処理を行う第1のFPGA(Field Programmable Gate Array)8cを経た後、小振幅差動信号方式(Low-Voltage Differential Signaling)のラインドライバとしての例えばLVDSドライバ8dを経た後、電気コネクタ10aを介してプロセッサ4内のLVDSレシーバ32aに入力される。
このLVDSレシーバ32aにより受信された信号は、第2のFPGA33を経てシリアル/パラレルの変換処理された後、画像信号処理部34に入力される。また、内視鏡3内には、スコープ情報を格納したROM8eが設けられ、このROM8eのスコープ情報は、FPGA8c、32aを介してプロセッサ4内のCPU32bに取り込まれる。
また、図1に示すように外部機器2の内部に搭載された撮像素子としての例えばCCD16により撮像された画像信号も外部機器2から延出されたケーブル17と、ケーブル17の端部の電気コネクタ17aを介してプロセッサ4に入力される。
つまり、内視鏡3及び外部機器2は、それぞれの撮像素子で撮像した画像に対応する画像信号を出力する画像信号出力手段を形成する。
なお、後述するように外部機器2としては光学的な撮像素子による画像信号を出力するものに限定されるものでなく、音響的な撮像素子としての超音波振動子による超音波の画像信号を出力するものでも良い。
このLVDSレシーバ32aにより受信された信号は、第2のFPGA33を経てシリアル/パラレルの変換処理された後、画像信号処理部34に入力される。また、内視鏡3内には、スコープ情報を格納したROM8eが設けられ、このROM8eのスコープ情報は、FPGA8c、32aを介してプロセッサ4内のCPU32bに取り込まれる。
また、図1に示すように外部機器2の内部に搭載された撮像素子としての例えばCCD16により撮像された画像信号も外部機器2から延出されたケーブル17と、ケーブル17の端部の電気コネクタ17aを介してプロセッサ4に入力される。
つまり、内視鏡3及び外部機器2は、それぞれの撮像素子で撮像した画像に対応する画像信号を出力する画像信号出力手段を形成する。
なお、後述するように外部機器2としては光学的な撮像素子による画像信号を出力するものに限定されるものでなく、音響的な撮像素子としての超音波振動子による超音波の画像信号を出力するものでも良い。
プロセッサ4は、複数の画像信号出力手段から入力される複数の画像を合成した合成画像を生成する画像合成処理を行う画像信号処理部34(図2参照)を有し、生成した合成画像の画像信号をモニタ6に出力する。
術者等のユーザは、キーボード7から、複数の画像を合成してモニタ6で表示する場合、合成画像の表示形態を指示する指示入力する指示入力手段の機能を有する。
合成画像の具体例として、基本的には一方の画像を(他方に)優先してその画像のサイズ等で表示する親画像又は親画面と、他方の画像を縮小又は拡大した子画像又は子画面として親画面内に埋め込むように合成した親子画像又は親子画面(ピクチャインピクチャ、PinPと略記)の表示形態となる。
術者等のユーザは、キーボード7から、複数の画像を合成してモニタ6で表示する場合、合成画像の表示形態を指示する指示入力する指示入力手段の機能を有する。
合成画像の具体例として、基本的には一方の画像を(他方に)優先してその画像のサイズ等で表示する親画像又は親画面と、他方の画像を縮小又は拡大した子画像又は子画面として親画面内に埋め込むように合成した親子画像又は親子画面(ピクチャインピクチャ、PinPと略記)の表示形態となる。
さらに、本実施形態においては、図6以降に説明するように親画像の配置位置を変更して、その変更に応じて子画像の配置を適切に変更することもできるようにしている。なお、子画像は、その原画像が多くの場合、縮小されるが、子画像を表示する表示領域のサイズに依存して、拡大する場合にも適用できる。
また、本実施形態においては、親画面は、主として親画像とその親画像に関連する関連データとを含む場合を意味し、親画像部分のみを指す場合には親画像を用いる。子画面に関しても同様の意味で用いる。
キーボード7は、例えば、複数の画像の中から第1の画像を表示するように指示する第1画像指示手段としての第1画像指示部7aの機能と、複数の画像の中から第2の画像を表示するように第2画像指示手段としての第2画像指示部7bの機能と、前記第1画像指示手段で指示された前記第1の画像を第2の画像よりも優先した表示形態で表示する指示をする第1画像表示形態指示手段としての第1画像表示形態指示部7cの機能とを有する。
また、本実施形態においては、親画面は、主として親画像とその親画像に関連する関連データとを含む場合を意味し、親画像部分のみを指す場合には親画像を用いる。子画面に関しても同様の意味で用いる。
キーボード7は、例えば、複数の画像の中から第1の画像を表示するように指示する第1画像指示手段としての第1画像指示部7aの機能と、複数の画像の中から第2の画像を表示するように第2画像指示手段としての第2画像指示部7bの機能と、前記第1画像指示手段で指示された前記第1の画像を第2の画像よりも優先した表示形態で表示する指示をする第1画像表示形態指示手段としての第1画像表示形態指示部7cの機能とを有する。
図1の上側に示すモニタ6の表示画面61での合成画像の表示例は、キーボード7により、内視鏡3で撮像された第2の医用画像としての内視鏡画像を親画像として表示し、外部機器2で生成された画像(外部画像と記す)を子画像として、表示したPinPの表示形態例を示す。
また、図1の下側に示すモニタ6での表示例は、キーボード7により、外部機器2で生成された外部画像を親画像として表示し、内視鏡3で撮像された内視鏡画像を子画像として表示したPinP(親子画像)の表示形態例を示す。
また、本実施形態の画像合成システム1においては、キーボード7からの指示入力により、図1の上と下のモニタ6にそれぞれ示すPinPを一方の表示形態から他方の表示形態に入れ換えて表示させることができるようにしている。
このように本実施形態においては、キーボード7からの指示入力により、PinPで表示する機能を備えている。
また、図1の下側に示すモニタ6での表示例は、キーボード7により、外部機器2で生成された外部画像を親画像として表示し、内視鏡3で撮像された内視鏡画像を子画像として表示したPinP(親子画像)の表示形態例を示す。
また、本実施形態の画像合成システム1においては、キーボード7からの指示入力により、図1の上と下のモニタ6にそれぞれ示すPinPを一方の表示形態から他方の表示形態に入れ換えて表示させることができるようにしている。
このように本実施形態においては、キーボード7からの指示入力により、PinPで表示する機能を備えている。
尚、図1における子画像の上側の表示領域には、親画像に関連する患者の文字データ等の医用画像に関連するデータ(以下関連データと略記)の画像である。プロセッサ4は、複数、具体的には2つの医用画像と、関連データの画像とを合成したPinPの合成画像を生成し、モニタ6に合成画像の画像信号を出力し、モニタ6には生成された合成画像が表示される。なお、関連データの画像に関しては、簡単化のために単に関連データと記載する。
プロセッサ4は、複数の医用画像及び関連データに関する画像関連情報を取得する画像関連情報取得手段としての情報取得部51(図3参照)を有する。また、プロセッサ4は、この情報取得部51による子画像として表示する第2の画像の関連情報と、第1画像表示形態指示手段により指示された第2の画像の表示形態を決定する第2画像表示形態決定手段を構成するPinP表示形態設定部57(図3参照)を有する。
プロセッサ4は、複数の医用画像及び関連データに関する画像関連情報を取得する画像関連情報取得手段としての情報取得部51(図3参照)を有する。また、プロセッサ4は、この情報取得部51による子画像として表示する第2の画像の関連情報と、第1画像表示形態指示手段により指示された第2の画像の表示形態を決定する第2画像表示形態決定手段を構成するPinP表示形態設定部57(図3参照)を有する。
図2に示すように光源装置5は、発光するランプ21を備え、このランプ21により発光した光は、帯域フィルタ22によって、可視領域の波長帯域の光のみが透過し、赤外の波長帯域等の光が透過しないように帯域制限される。
帯域フィルタ22を透過した可視領域の光は、さらにカラーフィルタ部23により、例えば赤(R)、緑(G)、青(B)の面順次の照明光に変換されてライトガイド11の入射端に入射(供給)される。そして、ライトガイド11の先端の出射端から伝送された照明光が出射され、体内の患部等の部位が照明される。
なお、上記カラーフィルタ部23は、図示しないモータと、このモータにより回転される,R,G,Bの光をそれぞれ透過するR,G,Bのカラーフィルタが設けられた回転カラーフィルタと、モータを所定の回転速度で駆動するモータ駆動回路により構成され、光路上にR,G,Bのカラーフィルタが順次配置される。
帯域フィルタ22を透過した可視領域の光は、さらにカラーフィルタ部23により、例えば赤(R)、緑(G)、青(B)の面順次の照明光に変換されてライトガイド11の入射端に入射(供給)される。そして、ライトガイド11の先端の出射端から伝送された照明光が出射され、体内の患部等の部位が照明される。
なお、上記カラーフィルタ部23は、図示しないモータと、このモータにより回転される,R,G,Bの光をそれぞれ透過するR,G,Bのカラーフィルタが設けられた回転カラーフィルタと、モータを所定の回転速度で駆動するモータ駆動回路により構成され、光路上にR,G,Bのカラーフィルタが順次配置される。
上記面順次の照明光で照明された部位は、CCD12により撮像され、CCD12により光電変換された撮像信号は、上述したCDS回路8a、A/D変換回路8bを経てデジタル信号に変換された後、さらにFPGA8c、33を経て、PinPの合成画像を生成する画像信号処理部(映像信号処理部)34における一方の入力端に出力される。この画像信号処理部34における他方の入力端には、外部機器(AUX)2の外部画像の画像信号が入力される。
この画像信号処理部34は、2つの入力端から入力される画像信号からPinPの合成画像を生成し、生成した合成画像の画像信号としての合成画像信号は、D/A変換回路35により、アナログの合成画像信号に変換された後、モニタ6に出力され、モニタ6の表示画面61にはPinPの合成画像が表示される。
この画像信号処理部34は、2つの入力端から入力される画像信号からPinPの合成画像を生成し、生成した合成画像の画像信号としての合成画像信号は、D/A変換回路35により、アナログの合成画像信号に変換された後、モニタ6に出力され、モニタ6の表示画面61にはPinPの合成画像が表示される。
また、各内視鏡3には、各内視鏡3に搭載されているCCD12の画素数(縦横の画素数サイズを含む)、内視鏡3(が内科用内視鏡か外科用内視鏡か等)の種類等の情報を含む内視鏡情報を発生する情報発生手段として例えば固有の識別情報(ID)を発生するID発生部)25を内蔵している。
このID発生部25は、例えば電気コネクタ10a内に設けられている。従って、電気コネクタ10aがプロセッサ4に接続されると、このID発生部25によるIDは、プロセッサ4内の(ID検知又は)CCD検知回路36に入力される。CCD検知回路36は、IDから内視鏡3の搭載されているCCD12の画素数などのCCD12の種類を判別して、CCD種類の情報を画像信号処理部34内の情報取得部51(図3参照)に出力する。
このID発生部25は、例えば電気コネクタ10a内に設けられている。従って、電気コネクタ10aがプロセッサ4に接続されると、このID発生部25によるIDは、プロセッサ4内の(ID検知又は)CCD検知回路36に入力される。CCD検知回路36は、IDから内視鏡3の搭載されているCCD12の画素数などのCCD12の種類を判別して、CCD種類の情報を画像信号処理部34内の情報取得部51(図3参照)に出力する。
また、プロセッサ4内には、各種の処理を行う際のタイミングを決めるタイミング信号を発生するタイミングジェネレータ(TGと略記)31を有し、このTG31により生成されたタイミング信号としての同期信号を、プロセッサ4内部の各回路ブロックとしてのFPGA33、画像信号処理部34、D/A変換回路35に出力すると共に、内視鏡3内のFPGA8cにも出力する。なお、この同期信号は、図3で示す画像信号処理部34を構成する各回路ブロックにも供給される。
このTG31は、基準クロックの発生手段としての例えばクリスタル発振回路(CXO回路と略記)37からの基準クロックに同期して、同期信号を生成する。なお、同期信号は、画像を表示に利用される水平同期信号、垂直同期信号、これらの両同期信号に同期したクロックなどを含む。
このTG31は、基準クロックの発生手段としての例えばクリスタル発振回路(CXO回路と略記)37からの基準クロックに同期して、同期信号を生成する。なお、同期信号は、画像を表示に利用される水平同期信号、垂直同期信号、これらの両同期信号に同期したクロックなどを含む。
また、TG31は、光源装置5のカラーフィルタ部23に対して、タイミング信号としてのR,G,Bインデックス信号を出力し、カラーフィルタ部23は、このR,G,Bインデックス信号に同期して光路上にR,G,Bカラーフィルタを順次配置するように動作する。
このため、CCD12により撮像された撮像信号は、実際にはR,G,Bの照明光の下で撮像されたR,G,Bの撮像信号となり、画像信号処理部34内でカラーの画像信号に変換される。
また、プロセッサは、CXO回路37の他に、点線で示すPhase Locked Loop 回路(PLL回路)38を有する。このPLL回路38は、このPLL回路38内部に、電圧値に応じて発振周波数を調整できる電圧制御水晶発振回路(VCXO)39を内蔵している。このPLL回路38は、プロセッサ4の外部の装置からの信号と同期して動作させるような場合に使用される。
このため、CCD12により撮像された撮像信号は、実際にはR,G,Bの照明光の下で撮像されたR,G,Bの撮像信号となり、画像信号処理部34内でカラーの画像信号に変換される。
また、プロセッサは、CXO回路37の他に、点線で示すPhase Locked Loop 回路(PLL回路)38を有する。このPLL回路38は、このPLL回路38内部に、電圧値に応じて発振周波数を調整できる電圧制御水晶発振回路(VCXO)39を内蔵している。このPLL回路38は、プロセッサ4の外部の装置からの信号と同期して動作させるような場合に使用される。
上記画像信号処理部34には、上述した各種の機能を有するキーボード7による指示入力に対応した各種の指示信号が入力される。
図3は、画像信号処理部34の詳細な構成例を示す。図2のA/D変換回路33から出力される画像信号は、第1又は第2の画像処理手段を構成する内視鏡画像信号処理部41を構成するオプティカルブラッククランプ回路(OBクランプ回路)42に入力される。
このOBクランプ回路42により、CCD12における実際の撮像に利用されている撮像信号の黒レベルがOB部分のクランプレベルに設定され、撮像信号の黒レベルが再生される。
図3は、画像信号処理部34の詳細な構成例を示す。図2のA/D変換回路33から出力される画像信号は、第1又は第2の画像処理手段を構成する内視鏡画像信号処理部41を構成するオプティカルブラッククランプ回路(OBクランプ回路)42に入力される。
このOBクランプ回路42により、CCD12における実際の撮像に利用されている撮像信号の黒レベルがOB部分のクランプレベルに設定され、撮像信号の黒レベルが再生される。
OBクランプ回路42の出力信号は、ローパスフィルタ回路(LPF回路)43により、不要な高周波成分が除去された後、ホワイトバランス回路(W/B回路)44に入力される。このW/B回路44は、白色の被写体を撮像した場合に、白色の画像信号を出力するようにW/Bの調整を行う。
なお、このW/B回路44は、例えば面順次の画像信号の3フレーム分、具体的にはR,G,Bの面順次の照明光の元でCCD12によりそれぞれ撮像して生成されたR,G,Bの色成分の画像信号を格納するフレームメモリを有し、このフレームメモリに格納されたR,G,Bの色成分の画像信号を同時に読み出すことにより、カラーの画像信号を同時に出力する同時化回路を有する。なお、同時化回路をW/B回路44よりも後段側に設けるようにしても良い。
なお、このW/B回路44は、例えば面順次の画像信号の3フレーム分、具体的にはR,G,Bの面順次の照明光の元でCCD12によりそれぞれ撮像して生成されたR,G,Bの色成分の画像信号を格納するフレームメモリを有し、このフレームメモリに格納されたR,G,Bの色成分の画像信号を同時に読み出すことにより、カラーの画像信号を同時に出力する同時化回路を有する。なお、同時化回路をW/B回路44よりも後段側に設けるようにしても良い。
W/B回路44の出力信号は、調光回路45に入力されると共にガンマ補正を行うガンマ回路46に入力される。調光回路45は、R,G,Bの色信号から調光を行う調光信号を生成し、調光信号を光源装置5に出力する。
光源装置5は、調光信号により図示しない絞りの開口量を調整して照明光量の調整、つまり調光を行う。
ガンマ回路46の出力信号は、カラーの色調を調整可能にするペイント回路47に入力される。ペイント回路47の出力信号は拡大又は縮小の処理をする拡大・縮小回路48に入力される。この拡大・縮小回路48の出力信号は、輪郭等の強調を行う強調回路49に入力される。
光源装置5は、調光信号により図示しない絞りの開口量を調整して照明光量の調整、つまり調光を行う。
ガンマ回路46の出力信号は、カラーの色調を調整可能にするペイント回路47に入力される。ペイント回路47の出力信号は拡大又は縮小の処理をする拡大・縮小回路48に入力される。この拡大・縮小回路48の出力信号は、輪郭等の強調を行う強調回路49に入力される。
拡大・縮小回路48により拡大又は縮小された場合には、その拡大率又は縮小率の情報が、情報取得部51に入力され、この情報取得部51は、CCD12の画素数の情報と、内視鏡画像が拡大・縮小回路48により拡大又は縮小された場合には、その拡大率又は縮小率の情報も取得する。そして、情報取得部51は、CCD12の画素数による内視鏡画像のサイズを拡大率又は縮小率の情報により補正して、後述する切出範囲等を設定(決定)する。
なお、強調回路49は、強調処理を行うと共に、強調処理後の画像信号における4角形の内視鏡画像部分に対して、4隅を切り欠いて8角形にするマスキング処理する。このマスキング処理された画像信号は、親画面と子画面とを切り替える切替回路52の一方の入力端に入力される。なお、後述するようにマスキング処理は、内科用内視鏡の場合に行われるが、外科用内視鏡の場合には行われない。
一方、外部機器2からの外部画像に対応する画像信号は、外部画像信号処理部53を構成するA/D変換回路54に入力され、デジタルの画像信号に変換された後、画像信号のレート変換をするレート変換回路55に入力される。
このレート変換回路55は、外部機器2からの画像信号の表示形態の規格が、内視鏡3のCCD12に対する画像処理を行うプロセッサ4に内蔵された画像信号処理部34に採用されている規格と同じ規格となるように画像信号の周波数を変換するレート変換の処理を行う。例えば、プロセッサ4が標準規格(SD)の画像処理を行う設定に対して、外部機器2から高精細規格(HD)の画像信号が入力された場合には、レート変換回路55は、HDの画像信号をSDの画像信号にするためにレート変換の処理を行う。
このレート変換回路55は、外部機器2からの画像信号の表示形態の規格が、内視鏡3のCCD12に対する画像処理を行うプロセッサ4に内蔵された画像信号処理部34に採用されている規格と同じ規格となるように画像信号の周波数を変換するレート変換の処理を行う。例えば、プロセッサ4が標準規格(SD)の画像処理を行う設定に対して、外部機器2から高精細規格(HD)の画像信号が入力された場合には、レート変換回路55は、HDの画像信号をSDの画像信号にするためにレート変換の処理を行う。
このため、同じ信号規格の場合には、レート変換回路55は、レート変換の処理を行わないで入力信号をスルーして、ガンマ補正を行うガンマ回路56aに入力され、このガンマ回路56aの出力信号は、強調処理する強調回路56bに入力される。
ガンマ回路56aと強調回路56aは、モノクロ/カラーパラメータ切替回路59からのパラメータに応じてガンマ補正する特性と強調処理する特性が変更される。
このモノクロ/カラーパラメータ切替回路59は、通常の設定状態においては、カラーの画像信号に対応した特性のパラメータに設定されている。
ガンマ回路56aと強調回路56aは、モノクロ/カラーパラメータ切替回路59からのパラメータに応じてガンマ補正する特性と強調処理する特性が変更される。
このモノクロ/カラーパラメータ切替回路59は、通常の設定状態においては、カラーの画像信号に対応した特性のパラメータに設定されている。
これに対して、超音波画像の画像信号のように、モノクロの画像信号が入力される場合には、例えばキーボード7からモノクロの画像信号が入力される旨の指示入力を行うことにより、モノクロ/カラーパラメータ切替回路59は、ガンマ回路56aと、強調回路56bに対してモノクロの画像信号に対応したガンマ補正処理と強調処理を行う特性のパラメータに設定する。
このように外部機器2から入力される画像信号がカラーの場合とモノクロの場合とに応じて、画像処理するパラメータを変更することにより、合成画像を生成した場合、外部機器2からの画像の階調や輪郭等をより適切に表示できる。
このように外部機器2から入力される画像信号がカラーの場合とモノクロの場合とに応じて、画像処理するパラメータを変更することにより、合成画像を生成した場合、外部機器2からの画像の階調や輪郭等をより適切に表示できる。
強調回路56bの出力信号は、切替回路52の他方の入力端に入力される。この切替回路52は、入力される外部画像と内視鏡画像との親子関係を、入れ換えることを可能にする2つのスイッチSW1,SW2により構成される。
この切替回路52は、キーボード7によるPinP表示形態指示に基づいて、PinP表示形態の設定(又は決定)するPinP表示形態設定部57が出力するPinP表示形態設定信号により制御される。
PinP表示形態設定信号は、2つのスイッチSW1,SW2を連動して切り替えることができる2値信号である。
この切替回路52は、キーボード7によるPinP表示形態指示に基づいて、PinP表示形態の設定(又は決定)するPinP表示形態設定部57が出力するPinP表示形態設定信号により制御される。
PinP表示形態設定信号は、2つのスイッチSW1,SW2を連動して切り替えることができる2値信号である。
例えば、キーボード7から外部機器2の外部画像を親画像又は親画面とし、内視鏡3の内視鏡画像を子画像又は子画面とするPinP表示形態の指示を行うと、PinP表示形態設定部57は、切替回路52のスイッチSW1,SW2を実線で示す状態に設定する。
また、キーボード7から内視鏡3の内視鏡画像を親画像又は親画面とし、外部機器2の外部画像を子画像又は子画面とするPinP表示形態の指示を行うと、PinP表示形態設定部57は、切替回路52のスイッチSW1,SW2を点線で示す状態に設定する。
また、キーボード7から内視鏡3の内視鏡画像を親画像又は親画面とし、外部機器2の外部画像を子画像又は子画面とするPinP表示形態の指示を行うと、PinP表示形態設定部57は、切替回路52のスイッチSW1,SW2を点線で示す状態に設定する。
本実施形態においては、上記のようなPinP表示形態の指示を行う場合に限らず、優先する画像となる親画像又は親画面の表示形態を指示することにより、上記の子画像又は子画面の表示形態を指示しなくても、第2画像表示形態決定手段を構成するPinP表示形態設定部57は、親子画像で表示するようにスイッチSW1,SW2の切替を決定する。
なお、上記内視鏡画像信号処理部41と外部画像信号処理部53とは、内視鏡画像と外部画像とにおいて、一方の画像が他方の画像に優先した第1の画像(具体的には親画像)として表示されるように指示されると、その第1の画像に対する画像処理を行う第1画像処理手段を形成し、他方が従属的に第2画像処理手段を形成する。
なお、上記内視鏡画像信号処理部41と外部画像信号処理部53とは、内視鏡画像と外部画像とにおいて、一方の画像が他方の画像に優先した第1の画像(具体的には親画像)として表示されるように指示されると、その第1の画像に対する画像処理を行う第1画像処理手段を形成し、他方が従属的に第2画像処理手段を形成する。
子画面の画像信号を出力するスイッチSW1の出力信号は、切出/拡大・縮小回路58を経て、画像合成手段としてのPinPの合成画像を生成するPinP合成回路60の一方の入力端に入力される。
一方、親画面の画像信号を出力するスイッチSW2の出力信号は、直接、PinP合成回路60の他方の入力端に入力される。PinP合成回路60は、スイッチSW2の出力信号を親画面の親画像とし、親画面の空領域に子画像を配置してPinPの合成画像を生成する画像処理を行う。
一方、親画面の画像信号を出力するスイッチSW2の出力信号は、直接、PinP合成回路60の他方の入力端に入力される。PinP合成回路60は、スイッチSW2の出力信号を親画面の親画像とし、親画面の空領域に子画像を配置してPinPの合成画像を生成する画像処理を行う。
このため、PinP合成回路60は、図1のモニタ6の表示画面61の表示領域に対応する画像メモリ60aによる画像領域(又は画像配置領域)を備え、PinP表示形態設定部57による親画面又は親画像の設定に基づいて、この画像メモリ60aに親画面を構成する親画像と、この親画像に関連する関連データとを配置(格納)する。そして、この親画像と関連データを配置した残りの空領域に子画像を配置する。
図3に示す構成例では、外部機器2から入力される画像を親画像と指示入力した場合には、外部機器2から入力される画像及びその関連データの配置及びサイズがそのまま画像メモリ60aにおける親画像及び関連データの配置及びサイズが設定される。
図3に示す構成例では、外部機器2から入力される画像を親画像と指示入力した場合には、外部機器2から入力される画像及びその関連データの配置及びサイズがそのまま画像メモリ60aにおける親画像及び関連データの配置及びサイズが設定される。
従って、図3の構成例においては、外部機器2が出力する画像の種類を、例えばキーボード7からの入力によって特定することにより、親画像と関連データが配置された位置及びサイズの領域が決定し、決定した領域以外における空領域に子画像が配置される子画像領域が設定される。また、子画像領域に子画像を配置する場合、子画面の画像信号から子画像部分を切り出すために、情報取得部51により取得した情報が利用される。
情報取得部51は、取得した情報に基づき、子画面の画像信号から子画像部分を切り出す切出範囲と、この切出範囲の子画像部分を、子画像領域に最大サイズで収めるために、切出範囲の子画像部分を拡大又は縮小する場合の倍率と、の設定(決定)をする切出範囲・倍率設定部51aを備える。
情報取得部51は、取得した情報に基づき、子画面の画像信号から子画像部分を切り出す切出範囲と、この切出範囲の子画像部分を、子画像領域に最大サイズで収めるために、切出範囲の子画像部分を拡大又は縮小する場合の倍率と、の設定(決定)をする切出範囲・倍率設定部51aを備える。
情報取得部51には、合成画像としてのPinPの表示形態の設定を行うPinP表示形態設定部57から親画像側の表示形態を設定する情報が入力される。そして、情報取得部51は、親画像側の表示形態の情報に基づいて子画像側の表示形態の設定を行う。なお、情報取得部51とPinP表示形態設定部57とは図3の矢印で示すように、お互いの情報を利用できるような構成にしても良い。
また、切出範囲・倍率設定部51aを、情報取得部51の外部に設けても良い。また、例えばPinP表示形態設定部57内に切出範囲・倍率設定部51aを設けるような構成にしても良い。切出範囲・倍率設定部51aとPinP表示形態設定部57とは、子画像の表示形態を決定する子画像表示形態決定手段を形成する。なお、後述する第3の実施形態のように、画像信号自体からエッジ抽出を利用して切出範囲を自動的に設定する構成にすることもできる。
また、切出範囲・倍率設定部51aを、情報取得部51の外部に設けても良い。また、例えばPinP表示形態設定部57内に切出範囲・倍率設定部51aを設けるような構成にしても良い。切出範囲・倍率設定部51aとPinP表示形態設定部57とは、子画像の表示形態を決定する子画像表示形態決定手段を形成する。なお、後述する第3の実施形態のように、画像信号自体からエッジ抽出を利用して切出範囲を自動的に設定する構成にすることもできる。
このような構成の本実施形態の画像合成システム1は、複数の画像信号出力手段から入力される複数の画像の合成画像を出力する画像合成システムであって、前記複数の画像の画像関連情報としてのCCD12の画素数、拡大・縮小回路48による拡大率又は縮小率等の情報を取得する画像関連情報取得手段としての情報取得部51と、前記入力される複数の画像の中から第1の画像を表示するように指示するキーボード7により構成される第1画像指示手段としての第1画像指示部7aと、を備える。
また、この画像合成システム1は、前記入力される複数の画像の中から第2の画像を表示するように指示するキーボード7により構成される第2画像指示手段としての第2画像指示部7bと、前記第1画像指示手段で指示された前記第1の画像を前記第2の画像よりも優先してその表示形態を指示するキーボード7により構成される第1画像表示形態指示手段としての第1画像表示形態指示部7cと、を備える。
また、この画像合成システム1は、前記入力される複数の画像の中から第2の画像を表示するように指示するキーボード7により構成される第2画像指示手段としての第2画像指示部7bと、前記第1画像指示手段で指示された前記第1の画像を前記第2の画像よりも優先してその表示形態を指示するキーボード7により構成される第1画像表示形態指示手段としての第1画像表示形態指示部7cと、を備える。
また、この画像合成システム1は、前記画像関連情報取得手段により取得した前記第2の画像の画像関連情報と、前記第1画像表示形態指示手段により指示された前記第1の画像の表示形態とに基づき、前記第2の画像の表示形態を決定する第2画像表示形態決定手段を構成するPinP表示形態設定部57を備える。
また、この画像合成システム1は、前記第1画像表示形態指示手段による指示に対応した前記第1の画像を処理する第1画像処理手段及び前記第2画像表示形態決定手段による決定に対応した前記第2の画像を処理する第2画像処理手段としての内視鏡画像信号処理部41、外部画像信号処理部53、切替回路52及び切出/拡大・縮小回路58を有する。
また、この画像合成システム1は、前記第1画像表示形態指示手段による指示に対応した前記第1の画像を処理する第1画像処理手段及び前記第2画像表示形態決定手段による決定に対応した前記第2の画像を処理する第2画像処理手段としての内視鏡画像信号処理部41、外部画像信号処理部53、切替回路52及び切出/拡大・縮小回路58を有する。
また、この画像合成システム1は、前記第1画像表示形態指示手段による指示と、前記第2画像表示形態決定手段による決定に基づき、前記第1画像処理手段により処理された前記第1の画像と、前記第2画像処理手段により処理された前記第2の画像と、を合成する画像合成手段としてのPinP合成回路60、を備えることを特徴とする。
図4Aは親画面を形成する親画像及び関連データの標準的な配置例を示す。表示画面61に対応して設定された画像メモリ60aの画像配置領域に、外部機器2の外部画像による親画像62aが親画像領域62に配置されると共に、この親画像62aに関連する関連データ63aが関連データ領域63に配置される。
図4Aは親画面を形成する親画像及び関連データの標準的な配置例を示す。表示画面61に対応して設定された画像メモリ60aの画像配置領域に、外部機器2の外部画像による親画像62aが親画像領域62に配置されると共に、この親画像62aに関連する関連データ63aが関連データ領域63に配置される。
この画像メモリ60aにおける親画像領域62と、親画像62aに関連する関連データの領域とを除く、(モニタ6には何も)表示されない領域が、子画面を配置可能になる空領域64となる。そして、この空領域64中に2点鎖線で示すように子画像(子画面)として表示するための子画像領域65が設定される。
そして、上記切出/拡大・縮小回路58は、スイッチSW1から出力される子画面の画像信号から子画像部分を切り出し、上記子画像領域65内に最大に近いサイズで配置するように、子画像部分の切出と、拡大又は縮小する。
この場合、子画像として表示される内視鏡3のCCD12の画素数が異なる場合にも、その画素数を考慮して、内視鏡画像部分の切出と、切り出した内視鏡画像の拡大又は縮小を適切に行う。
そして、上記切出/拡大・縮小回路58は、スイッチSW1から出力される子画面の画像信号から子画像部分を切り出し、上記子画像領域65内に最大に近いサイズで配置するように、子画像部分の切出と、拡大又は縮小する。
この場合、子画像として表示される内視鏡3のCCD12の画素数が異なる場合にも、その画素数を考慮して、内視鏡画像部分の切出と、切り出した内視鏡画像の拡大又は縮小を適切に行う。
上述したように、内視鏡画像信号処理部41は、拡大・縮小回路48を含むため、内視鏡画像部分の切出を行う場合、CCD12の画素数の情報の他に、拡大・縮小回路48による拡大率又は縮小率の情報も参照して、内視鏡画像部分の切出を行う。
具体的には、内視鏡画像部分を切り出す場合、CCD12の画素数で決まる内視鏡画像のサイズを、拡大・縮小回路48による拡大率又は縮小率により補正して、この補正したサイズで内視鏡画像部分よりも僅かに大きい縦横サイズの切出範囲66a,66bで図5A,図5Bの左側に示すように切出を行う。なお、内視鏡画像部分の縦横サイズと等しいサイズに設定して、切り出すようにしても良い。
図5A及び図5Bは、空領域64に設定された子画像領域65に対して、画素数が大きい場合の内視鏡画像部分(Aで示す)と画素数が小さい場合の内視鏡画像部分Bとにおいて、それぞれ切出及び拡大又は縮小を適切に行い、子画像領域65に子画像65aに収める様子の説明図を示す。
具体的には、内視鏡画像部分を切り出す場合、CCD12の画素数で決まる内視鏡画像のサイズを、拡大・縮小回路48による拡大率又は縮小率により補正して、この補正したサイズで内視鏡画像部分よりも僅かに大きい縦横サイズの切出範囲66a,66bで図5A,図5Bの左側に示すように切出を行う。なお、内視鏡画像部分の縦横サイズと等しいサイズに設定して、切り出すようにしても良い。
図5A及び図5Bは、空領域64に設定された子画像領域65に対して、画素数が大きい場合の内視鏡画像部分(Aで示す)と画素数が小さい場合の内視鏡画像部分Bとにおいて、それぞれ切出及び拡大又は縮小を適切に行い、子画像領域65に子画像65aに収める様子の説明図を示す。
本実施形態においては、子画像として表示する医用画像(具体例ではCCD12による内視鏡画像)の画素数及び拡大・縮小回路48による拡大又は縮小されたサイズが異なる場合にも、子画像領域65の縦横のサイズを示す枠内で、最大に近いサイズで子画像を表示できるようにする。
このため、切出/拡大・縮小回路58における切出回路(58aとする)は、子画面の内視鏡画像及び関連データを含む画像信号から内視鏡画像部分A、Bを、切出範囲66a,66bに示すように切り出す。そして、切り出した内視鏡画像部分A,Bを含む切出範囲部分が、切出/拡大・縮小回路58における拡大・縮小回路(58bとする)により子画像領域65のサイズ以内で、このサイズにできるだけ近いサイズにする拡大率又は縮小率で拡大又は縮小される。
このため、切出/拡大・縮小回路58における切出回路(58aとする)は、子画面の内視鏡画像及び関連データを含む画像信号から内視鏡画像部分A、Bを、切出範囲66a,66bに示すように切り出す。そして、切り出した内視鏡画像部分A,Bを含む切出範囲部分が、切出/拡大・縮小回路58における拡大・縮小回路(58bとする)により子画像領域65のサイズ以内で、このサイズにできるだけ近いサイズにする拡大率又は縮小率で拡大又は縮小される。
具体的には、図5Aの左側に示す内視鏡画像部分Aは、その切出範囲66aの縦横サイズが子画像領域65の縦横サイズよりもかなり大きいため、縮小する割合が大きく設定される(以下に用いる拡大率又は縮小率の値としては小さく設定される)。
これに対して、図5Bの左側に示す内視鏡画像部分Bは、その切出範囲66bの縦横サイズが子画像領域65の縦横サイズよりも若干大きいため、縮小する割合が小さく設定される。
切出/拡大・縮小回路58は、情報取得部51によりCCD12の画素数の情報と、拡大・縮小回路48による拡大率又は縮小率の情報を参照して、内視鏡画像部分A又はBを含むように切出範囲66a、66bを設定して、切り出すことができる。
これに対して、図5Bの左側に示す内視鏡画像部分Bは、その切出範囲66bの縦横サイズが子画像領域65の縦横サイズよりも若干大きいため、縮小する割合が小さく設定される。
切出/拡大・縮小回路58は、情報取得部51によりCCD12の画素数の情報と、拡大・縮小回路48による拡大率又は縮小率の情報を参照して、内視鏡画像部分A又はBを含むように切出範囲66a、66bを設定して、切り出すことができる。
例えば、切出/拡大・縮小回路58は、切出範囲66aの縦横のサイズをVa,Haとし、子画像領域65の縦横のサイズをVc,Hcとした場合、
Va・Ka≦Vc 、Ha・Kb≦Hc (1)
の条件を満たすKa,Kbにおける最大の値となるKa,Kbを算出する。さらに、算出した2つの値Ka,Kbにおいて、小さい方の値を、子画像領域65に配置する内視鏡画像部分Aを含む切出範囲66aの縦横サイズとする拡大率又は縮小率として決定する。
なお、拡大率は、1倍以上に拡大する場合を意味し、縮小率は、1倍未満に縮小する場合を意味する。従って、値が1以下となる場合も含めるように拡大率を定義したり、値が1以上となる場合も含むように縮小率として定義することによって、一方のみを用いて表現しても良い。
Va・Ka≦Vc 、Ha・Kb≦Hc (1)
の条件を満たすKa,Kbにおける最大の値となるKa,Kbを算出する。さらに、算出した2つの値Ka,Kbにおいて、小さい方の値を、子画像領域65に配置する内視鏡画像部分Aを含む切出範囲66aの縦横サイズとする拡大率又は縮小率として決定する。
なお、拡大率は、1倍以上に拡大する場合を意味し、縮小率は、1倍未満に縮小する場合を意味する。従って、値が1以下となる場合も含めるように拡大率を定義したり、値が1以上となる場合も含むように縮小率として定義することによって、一方のみを用いて表現しても良い。
切出範囲66aを決定した拡大率又は縮小率で拡大又は縮小した切出範囲を66a′で示すと、図5Aの右側に示すように子画像領域65内に内視鏡画像部分Aを含む切出範囲66a′が配置される。
なお、図5Aからも明らかなように子画像領域65は、その横サイズがモニタ6の表示画面61に相当する画像メモリ60aの画像配置領域の左端から親画像領域62の左端までのサイズHdよりも僅かに小さいサイズに設定されている。同様に、子画像領域65は、その縦サイズが画像メモリ60aの画像配置領域の下端から関連データ領域63の下端までのサイズVdより僅かに小さいサイズに設定されている。
なお、図5Aからも明らかなように子画像領域65は、その横サイズがモニタ6の表示画面61に相当する画像メモリ60aの画像配置領域の左端から親画像領域62の左端までのサイズHdよりも僅かに小さいサイズに設定されている。同様に、子画像領域65は、その縦サイズが画像メモリ60aの画像配置領域の下端から関連データ領域63の下端までのサイズVdより僅かに小さいサイズに設定されている。
なお、図5Bの内視鏡画像部分Bの切出範囲66bの場合も同様に処理され、図5Bの右側に示すように子画像領域65内に内視鏡画像部分Bを含む切出範囲66b′が配置される。
上記のように切出/拡大・縮小回路58は、子画像としての内視鏡画像部分A,Bを切り出し、かつ切り出した内視鏡画像部分A,Bのサイズを拡大又は縮小により子画像領域65の縦横サイズに収まるサイズ内で最大に近いサイズに調整して画像メモリ60aにおける子画像領域65に配置する。
PinP合成回路60は、画像メモリ60aに配置された親画像、親画像の関連データ及び子画像からなる画像データを合成画像データとして読み出し、D/A変換回路35によりアナログの合成画像信号に変換した後、モニタ6に出力する。
上記のように切出/拡大・縮小回路58は、子画像としての内視鏡画像部分A,Bを切り出し、かつ切り出した内視鏡画像部分A,Bのサイズを拡大又は縮小により子画像領域65の縦横サイズに収まるサイズ内で最大に近いサイズに調整して画像メモリ60aにおける子画像領域65に配置する。
PinP合成回路60は、画像メモリ60aに配置された親画像、親画像の関連データ及び子画像からなる画像データを合成画像データとして読み出し、D/A変換回路35によりアナログの合成画像信号に変換した後、モニタ6に出力する。
モニタ6には、外部機器2を親画像と指示した場合には、図1の下側に示すように親子画像が表示される。
本実施形態においては、モニタ6に親子画像を表示する場合の親画像側の表示形態を指示して、モニタ6に表示される親画像の配置位置及び表示サイズと、親画像に関連するデータの表示位置及びサイズを決定する。
そして、親画面における親画像と関連データの領域以外における、矩形形状の空領域部分に子画像を表示する子画像領域65を設定し、この子画像領域65のサイズ内に、このサイズに近い最大に近いサイズで子画像を収めるように子画像を配置する。
この場合、子画像としての例えば内視鏡画像のCCD12の画素数、内視鏡画像が拡大又は縮小された場合には、その拡大率又は縮小率の情報を参照して内視鏡画像部分を切り出し、さらに拡大又は縮小して子画像領域65のサイズ以下で最大となるサイズとなるように、サイズを調整する。
本実施形態においては、モニタ6に親子画像を表示する場合の親画像側の表示形態を指示して、モニタ6に表示される親画像の配置位置及び表示サイズと、親画像に関連するデータの表示位置及びサイズを決定する。
そして、親画面における親画像と関連データの領域以外における、矩形形状の空領域部分に子画像を表示する子画像領域65を設定し、この子画像領域65のサイズ内に、このサイズに近い最大に近いサイズで子画像を収めるように子画像を配置する。
この場合、子画像としての例えば内視鏡画像のCCD12の画素数、内視鏡画像が拡大又は縮小された場合には、その拡大率又は縮小率の情報を参照して内視鏡画像部分を切り出し、さらに拡大又は縮小して子画像領域65のサイズ以下で最大となるサイズとなるように、サイズを調整する。
なお、図3に示した構成においては、切替回路52により選択された親画面における親画像と関連データとの位置及びサイズが、モニタ6での表示にそのまま利用する例で示している。
これに対して、以下に説明するように親画像の表示形態の1つとして、親画像62aと関連データ63aの配置位置及びサイズ、換言すると親画像62aの表示領域に対応する親画像領域62と関連データ63aの表示領域に対応する関連データ領域63との配置位置及びサイズを可変設定する機能を設けるようにしても良い。
図6は、画像信号処理部34による画像処理により、親画像62aと関連データ63aの配置位置及びサイズを可変設定する配置位置設定回路71周辺部の構成例を示す。
これに対して、以下に説明するように親画像の表示形態の1つとして、親画像62aと関連データ63aの配置位置及びサイズ、換言すると親画像62aの表示領域に対応する親画像領域62と関連データ63aの表示領域に対応する関連データ領域63との配置位置及びサイズを可変設定する機能を設けるようにしても良い。
図6は、画像信号処理部34による画像処理により、親画像62aと関連データ63aの配置位置及びサイズを可変設定する配置位置設定回路71周辺部の構成例を示す。
ユーザは、例えば、キーボード7から親画像62aと関連データ63aとのそれぞれの配置位置及びそのサイズを切り出す情報と共に、キーボード7により構成される配置指示手段としての配置指示部7dにより、切り出した親画像62a及び関連データを配置する配置位置及びサイズの情報との指示入力を行う。これにより、PinP表示形態設定部57は、指示入力に対応した信号を切替回路52とPinP合成回路60との間に設けられた配置位置設定回路71に出力する。
この配置位置設定回路71は、切替回路52から出力される親画面の画像信号を入力信号として、親画像部分とその関連データ部分とを切り出す切出回路72を有する。また、配置位置設定回路71は、切り出した親画像部分(及び関連データ部分)を指示されたサイズに拡大又は縮小する拡大・縮小回路73と、拡大又は縮小された画像データを内部に配置(格納)する画像メモリ74とを有する。
この配置位置設定回路71は、切替回路52から出力される親画面の画像信号を入力信号として、親画像部分とその関連データ部分とを切り出す切出回路72を有する。また、配置位置設定回路71は、切り出した親画像部分(及び関連データ部分)を指示されたサイズに拡大又は縮小する拡大・縮小回路73と、拡大又は縮小された画像データを内部に配置(格納)する画像メモリ74とを有する。
拡大・縮小回路73により指示されたサイズに設定された親画像部分と、関連データ部分とは、画像メモリ74におけるキーボード7からの配置位置及びサイズの指示に対応した領域にそれぞれ配置(格納)される。なお、関連データ部分に関しては、拡大は縮小を行わないようにしても良い。
切出回路72は、上述した子画面の内視鏡画像から切出を行う場合と同様に、親画面の親画像部分と関連データ部分とをそれぞれ切り出す。そして、切り出された親画像部分を含む切出範囲の画像データと関連データ部分の切出範囲の画像データとは指示されたサイズに拡大又は縮小された後、画像メモリ74に配置される。
切出回路72は、上述した子画面の内視鏡画像から切出を行う場合と同様に、親画面の親画像部分と関連データ部分とをそれぞれ切り出す。そして、切り出された親画像部分を含む切出範囲の画像データと関連データ部分の切出範囲の画像データとは指示されたサイズに拡大又は縮小された後、画像メモリ74に配置される。
画像メモリ74に配置された親画像62aを含む切出範囲の画像データと、関連データを含む切出範囲の画像データとは、TG31からの同期信号に同期したタイミングで読み出され、PinP合成回路60に出力され、PinP合成回路60内の画像メモリ60aに、上記画像メモリ74と同じ配置位置に同じサイズで格納される。
図7Aはこの場合の画像メモリ60a(画像メモリ74も同様、但し画像メモリ74での親画像及び関連データの切出範囲は、図7Aでは親画像領域及び関連データ領域になる)の配置例を示す。
なお、図7Aでは、例えば拡大・縮小回路73は、1倍の拡大率の場合で示している。換言すると、図7Aは、図4における親画像62a及び関連データ63aの配置をサイズの変更を行わないで配置位置のみを変更した場合に対応する。
図7Aはこの場合の画像メモリ60a(画像メモリ74も同様、但し画像メモリ74での親画像及び関連データの切出範囲は、図7Aでは親画像領域及び関連データ領域になる)の配置例を示す。
なお、図7Aでは、例えば拡大・縮小回路73は、1倍の拡大率の場合で示している。換言すると、図7Aは、図4における親画像62a及び関連データ63aの配置をサイズの変更を行わないで配置位置のみを変更した場合に対応する。
切替回路52から配置位置設定回路71に入力される親画面の画像信号における親画像62aと関連データ63aとは、例えば図4に示すように配置状態のものである。
切出回路72は、親画像62aと関連データ63aの配置情報を従って、親画像部分と関連データ部分とをそれぞれ切り出す。
また、それぞれ切り出した切出範囲の画像データは、キーボード7から指示されたサイズの情報に従って、拡大・縮小回路73により拡大又は縮小した後、指示された配置位置、例えば図7Aの(画像メモリ60aの場合と同様に)実線で示すような配置(図7Aでは符号62,63)となるように画像メモリ74に配置される。
また、それぞれ切り出した切出範囲の画像データは、キーボード7から指示されたサイズの情報に従って、拡大・縮小回路73により拡大又は縮小した後、指示された配置位置、例えば図7Aの(画像メモリ60aの場合と同様に)実線で示すような配置(図7Aでは符号62,63)となるように画像メモリ74に配置される。
画像メモリ74に配置された親画像の切出範囲の画像データと、関連データの切出範囲の画像データは、PinP合成回路60の画像メモリ60aに配置され、その際、各切出範囲のサイズが、親画像62aを含む親画像領域62、関連データ63aを含む関連データ領域63に設定される。
図7Aに示す配置例は、図4に示した親画像62aと関連データ63aの配置を横方向に関して左右を反転したものとなっている。従って、この場合には、図4に示した子画像領域65を左右反転した位置で、図7Aの2点鎖線で示すように(子画像が配置される)子画像領域65が決定されることになる。
図7Aに示す配置例は、図4に示した親画像62aと関連データ63aの配置を横方向に関して左右を反転したものとなっている。従って、この場合には、図4に示した子画像領域65を左右反転した位置で、図7Aの2点鎖線で示すように(子画像が配置される)子画像領域65が決定されることになる。
また、図7Bは、親画像62aのサイズを変更(具体的には縮小)して、図7Aの場合と同様に親画像62a(の親画像領域62)を左側に配置した例を示す。また、この図7Bの配置例においては、関連データ63aの関連データ領域63を右側における下側寄りに配置している。
この場合においても、この親画像62a(の親画像領域62)の配置位置及びサイズと、関連データ領域63の配置位置及びそのサイズの設定に応じて子画像が配置される子画像領域65のサイズも、これらの領域が配置されていない空領域64内に2点鎖線で示すように決定される。
この場合においても、この親画像62a(の親画像領域62)の配置位置及びサイズと、関連データ領域63の配置位置及びそのサイズの設定に応じて子画像が配置される子画像領域65のサイズも、これらの領域が配置されていない空領域64内に2点鎖線で示すように決定される。
後述する実施形態のように外部機器2として、内視鏡装置による内視鏡画像の画像信号を外部画像に設定することもできる。このような場合には、通常の内視鏡画像の場合における表示サイズとして採用される複数種類のサイズに対応したサイズで親画像のサイズを予め登録されたものから選択して設定できるようにしても良い。また、サイズと共に、配置位置も登録されたものから選択して設定できるようにしても良い。
このように、親画像の配置位置及び表示サイズの設定を簡単に行うことができるようにするために以下のようにしても良い。
このように、親画像の配置位置及び表示サイズの設定を簡単に行うことができるようにするために以下のようにしても良い。
例えば図6に示すPinP表示形態設定部57内に、ユーザがモニタ6に表示したいと望む親画像及び関連データの配置位置及び親画像の表示サイズの情報を予め配置位置・表示サイズ情報として配置情報格納部57aに格納しておく。
また、ユーザが配置・表示サイズ情報を選択する操作を行うことができるように、例えばキーボード7は、所望の配置位置及び表示サイズに対応する配置位置・表示サイズを選択する配置位置・表示サイズ選択手段としての配置位置・表示サイズ選択部7eの機能を持つ。
なお、本実施形態においては、キーボード7により、各種の指示や設定を行う機能を持たせているが、キーボード7に限らず、マウスやポインティグデバイスなどを用いても良い。
また、ユーザが配置・表示サイズ情報を選択する操作を行うことができるように、例えばキーボード7は、所望の配置位置及び表示サイズに対応する配置位置・表示サイズを選択する配置位置・表示サイズ選択手段としての配置位置・表示サイズ選択部7eの機能を持つ。
なお、本実施形態においては、キーボード7により、各種の指示や設定を行う機能を持たせているが、キーボード7に限らず、マウスやポインティグデバイスなどを用いても良い。
このような構成にすることにより、ユーザは、親画像の配置位置及び表示サイズを簡単に指示でき、かつ指示した所望の配置及び表示サイズに親画像を表示できるようになる。
なお、キーボード7による配置位置・表示サイズの選択情報は、PinP表示形態設定部57から情報取得部51に送られる。そして、親画像及び関連データの配置位置・表示サイズの選択情報に基づいて、上述したように子画像を配置する子画像領域65が決定され、その子画像領域65に子画像が配置される。
また、例えばメニュー画面をモニタ6に表示する等して、モニタ6に表示される合成画像のアスプクト比を設定する機能を設けるようにしても良い。例えば図6は、合成画像のアスプクト比を設定する処理回路を設けた例も示している(なお、図3の構成に適用しても良い)。
なお、キーボード7による配置位置・表示サイズの選択情報は、PinP表示形態設定部57から情報取得部51に送られる。そして、親画像及び関連データの配置位置・表示サイズの選択情報に基づいて、上述したように子画像を配置する子画像領域65が決定され、その子画像領域65に子画像が配置される。
また、例えばメニュー画面をモニタ6に表示する等して、モニタ6に表示される合成画像のアスプクト比を設定する機能を設けるようにしても良い。例えば図6は、合成画像のアスプクト比を設定する処理回路を設けた例も示している(なお、図3の構成に適用しても良い)。
この場合、例えばキーボード7は、ユーザが合成画像における親画像及び子画像の両画像に対するアスペクト比の設定指示するアスペクト比設定手段としてのアスペクト比設定部7fの機能を持つ。このキーボード7からのアスペクト比の設定指示により、PinP表示形態設定部57は、例えば内視鏡画像信号処理部41内と外部画像信号処理部53内にそれぞれ設けたアスペクト比処理回路75、76に対して、指示されたアスプクト比に設定する設定信号を送る。
アスペクト比処理回路75、76は、内視鏡画像及び外部画像に対して、それぞれ指示されたアスプクト比に設定する画像処理を行う。そして、それぞれ生成されたアスペクト比の内視鏡画像及び外部画像に対して、切替回路52以降の画像処理により上述した実施形態と同様にPinPの合成画像を生成する処理が行われる。
アスペクト比処理回路75、76は、内視鏡画像及び外部画像に対して、それぞれ指示されたアスプクト比に設定する画像処理を行う。そして、それぞれ生成されたアスペクト比の内視鏡画像及び外部画像に対して、切替回路52以降の画像処理により上述した実施形態と同様にPinPの合成画像を生成する処理が行われる。
図8は、このようにして生成された合成画像のモニタ6での表示例を示す。図8は、例えば16:9のアスペクト比の設定指示の場合に相当する例を示す。この場合においても、それぞれ16:9に設定された親画像62a及び子画像65aは、両画像が重ならないで、かつ子画像65aは子画像領域の横方向において最大に近いサイズで表示されるように設定される。
なお、図8の具体例の場合には、指示されたアスペクト比の条件により、(1)式の条件は実質的には一方の拡大率又は縮小率Kbにより決定されることになる。
なお、図8の表示例においては、子画像65aは以下に説明する外科用内視鏡の場合に対応する内視鏡画像で示している。
外科用内視鏡の場合には、外科用内視鏡に搭載されたCCDによる画像をマスキングしないで内視鏡画像として表示するように画像処理を行う。
なお、図8の具体例の場合には、指示されたアスペクト比の条件により、(1)式の条件は実質的には一方の拡大率又は縮小率Kbにより決定されることになる。
なお、図8の表示例においては、子画像65aは以下に説明する外科用内視鏡の場合に対応する内視鏡画像で示している。
外科用内視鏡の場合には、外科用内視鏡に搭載されたCCDによる画像をマスキングしないで内視鏡画像として表示するように画像処理を行う。
これに対して、上述した内視鏡3をその代表例とした内科用内視鏡の場合には、プロセッサ4の内視鏡画像信号処理部41は、CCD12により撮像された画像の4隅をマスキングした画像処理を行い、モニタ6にはマスキングされた内視鏡画像が表示される。
このため、上述した実施形態において、さらに内視鏡の種類によって、切出範囲を変更したり、切出範囲の条件を変更するようにしても良い。この場合には、図2のCCD検知回路36は、CCD12の画素数の情報の他に、内視鏡の種類も検知する内視鏡種類の検知機能を備え、検知した情報を、図3に示す情報取得部51に出力する。情報取得部51は、CCD12の画素数の情報の他に、内視鏡3の種類の情報を取得する。
内視鏡3の種類の情報として、例えば内視鏡3が内科用内視鏡であるか、外科用内視鏡であるかの情報を含む。
このため、上述した実施形態において、さらに内視鏡の種類によって、切出範囲を変更したり、切出範囲の条件を変更するようにしても良い。この場合には、図2のCCD検知回路36は、CCD12の画素数の情報の他に、内視鏡の種類も検知する内視鏡種類の検知機能を備え、検知した情報を、図3に示す情報取得部51に出力する。情報取得部51は、CCD12の画素数の情報の他に、内視鏡3の種類の情報を取得する。
内視鏡3の種類の情報として、例えば内視鏡3が内科用内視鏡であるか、外科用内視鏡であるかの情報を含む。
情報取得部51は、上述したようにCCD種別の情報等により、子画像として表示するための内視鏡画像の切出範囲を決定していたが、本変形例においては、さらに内視鏡種別の情報に応じて、つまり内科用内視鏡である場合と、外科用内視鏡である場合とに応じて切出範囲を変更するように決定する。
そして、切出/拡大・縮小回路58における切出回路(以下、58a)は、図9に示すように、内視鏡画像の切り出しを行う。
図9の上側は内科用内視鏡の場合における切替回路52から出力される子画面の画像信号から実線で示す内視鏡画像部分を切り出す場合の切出範囲66を点線で示し、下側は外科用内視鏡の場合における切出範囲66を示す。
そして、切出/拡大・縮小回路58における切出回路(以下、58a)は、図9に示すように、内視鏡画像の切り出しを行う。
図9の上側は内科用内視鏡の場合における切替回路52から出力される子画面の画像信号から実線で示す内視鏡画像部分を切り出す場合の切出範囲66を点線で示し、下側は外科用内視鏡の場合における切出範囲66を示す。
内科用内視鏡の場合においては、8角形の内視鏡画像Cのマスキング枠が欠けない様に縦横の切出範囲66が設定され、この切出範囲66で内視鏡画像部分が切り出される。なお、8角形の内視鏡画像部分に隣接する左上側部分には、この内視鏡画像に関連する関連データである。
一方、外科用内視鏡の場合においては、CCDにより撮像された画像がマスキングされることなく、そのまま矩形形状の内視鏡画像Dとして画像処理及び表示に利用される。そして、この矩形形状の内視鏡画像Dの中央領域を含む縦横サイズの切出範囲66が設定される。
一方、外科用内視鏡の場合においては、CCDにより撮像された画像がマスキングされることなく、そのまま矩形形状の内視鏡画像Dとして画像処理及び表示に利用される。そして、この矩形形状の内視鏡画像Dの中央領域を含む縦横サイズの切出範囲66が設定される。
例えばPinP表示形態設定部57内に異なる縦横サイズの複数の切出範囲の情報を登録しておき、ユーザは例えばキーボード7から複数の切出範囲の情報から1つの切出範囲を選択できるようにすることにより、所望とする切出範囲66で切り出すことができる。
このようにするために、例えば図6に示すPinP表示形態設定部57は、切出範囲の情報を格納する不揮発性メモリ等からなる切出範囲情報格納部57bを備えた構成にしても良い。なお、切出範囲情報格納部57bは、プロセッサ4内であれば、PinP表示形態設定部57の外部に設けるようにしても良い。そして、キーボード7は、切出範囲の指示手段を形成する。
このようにするために、例えば図6に示すPinP表示形態設定部57は、切出範囲の情報を格納する不揮発性メモリ等からなる切出範囲情報格納部57bを備えた構成にしても良い。なお、切出範囲情報格納部57bは、プロセッサ4内であれば、PinP表示形態設定部57の外部に設けるようにしても良い。そして、キーボード7は、切出範囲の指示手段を形成する。
なお、上述の説明においては、外部画像信号処理部53内にアスペクト比処理回路75,76を設けた例で説明したが、上述した親画像の切出回路72をアスペクト比処理に利用しても良い。
なお、上述の説明においては、外部機器2側を親画像、内視鏡3側を子画像とした指示の場合に対して説明したが、外部機器2による画像信号と内視鏡3による画像信号とを入れ替えて説明することにより、殆ど同様の作用効果を得ることができる。
例えば、内視鏡3側を親画像とした表示形態が指示された場合には、図4に示す親画像62aは内視鏡画像となり、関連データ63aは内視鏡画像に関連するデータ(の画像)となる。
なお、上述の説明においては、外部機器2側を親画像、内視鏡3側を子画像とした指示の場合に対して説明したが、外部機器2による画像信号と内視鏡3による画像信号とを入れ替えて説明することにより、殆ど同様の作用効果を得ることができる。
例えば、内視鏡3側を親画像とした表示形態が指示された場合には、図4に示す親画像62aは内視鏡画像となり、関連データ63aは内視鏡画像に関連するデータ(の画像)となる。
このような配置は、キーボード7からの指示と拡大・縮小回路48の拡大率又は縮小率によって決まり、このような配置の情報を、情報取得部51が取得する。また、これらの画像が配置された領域を除く(画像の表示の無い)空領域64中に、外部機器2側の外部画像部分を配置する子画像領域65が決定される。この子画像領域65の情報も情報取得部51が取得する。
そして、この子画像領域65に収めるように、外部機器2による画像信号から外部画像部分が、切出/拡大・縮小回路58により切り出され、かつ拡大又は縮小される。この説明は、図5A,図5Bの内視鏡画像を外部画像に置換した説明に該当する。
従って、本実施形態によれば、複数の画像における1つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で生成可能となる。
そして、この子画像領域65に収めるように、外部機器2による画像信号から外部画像部分が、切出/拡大・縮小回路58により切り出され、かつ拡大又は縮小される。この説明は、図5A,図5Bの内視鏡画像を外部画像に置換した説明に該当する。
従って、本実施形態によれば、複数の画像における1つの画像を優先した表示形態で表示する場合、複数の画像が重ならないで、かつ従属的に表示される画像を最大サイズに近い状態で生成可能となる。
この場合、従属的に表示される画像としての子画像のサイズが、撮像素子の画素数や拡大・縮小手段によって変化するような場合においても、複数の画像が重ならないで、かつ子画像を最大サイズに近い状態で生成可能となる。
また、本実施形態によれば、親子画像で表示する場合の親子画像の配置位置や表示サイズを変更設定することができる。このため、術者は、所望とする配置状態及び表示サイズに設定して、モニタ6に親子画像を表示して、内視鏡検査等を円滑に行うことができる。
また、親子画像で表示する場合、術者は、親画像側の配置を指定することによって、子画像側の配置位置と、表示サイズが自動的に空領域中に適正に設定されるため、使い勝手の良いシステムを実現できる。また、アスペクト比を指定して親子画像を表示させる場合にも、親子画像が重ならないでかつ子画像を最大サイズに近い状態で表示することが可能になる。
また、本実施形態によれば、親子画像で表示する場合の親子画像の配置位置や表示サイズを変更設定することができる。このため、術者は、所望とする配置状態及び表示サイズに設定して、モニタ6に親子画像を表示して、内視鏡検査等を円滑に行うことができる。
また、親子画像で表示する場合、術者は、親画像側の配置を指定することによって、子画像側の配置位置と、表示サイズが自動的に空領域中に適正に設定されるため、使い勝手の良いシステムを実現できる。また、アスペクト比を指定して親子画像を表示させる場合にも、親子画像が重ならないでかつ子画像を最大サイズに近い状態で表示することが可能になる。
なお、図2における点線で示すように例えばCPU32bに接続された不揮発性で書き換え可能なメモリ(例えばフラッシュメモリ)32cを設け、このメモリ32c内に画像合成システム1を使用して合成画像を表示した場合のユーザ名(又はユーザ識別情報)と、モニタ6に表示する合成画像の設定情報(親画像、子画像等の配置位置、配置位置のサイズ、アスペクト比等の情報)とを関連付けて格納する合成画像の設定情報格納部32dを備える構成にしても良い。
そして、ユーザが次回に画像合成システム1を使用する場合には、CPU32bは、ユーザ名などから対応する合成画像の設定情報格納部32dから合成画像の設定情報を読み出して、モニタ6に表示するように制御し、ユーザに対してモニタ6に表示した設定情報で合成画像を生成するか否かの確認を求めるようにしても良い。ユーザは同じ設定情報で合成画像を生成する場合には、単にOK、YESなどの回答で済む。
このような構成にすると、ユーザは、そのユーザが望む設定情報で合成画像を生成する設定を行った場合、次回使用する場合には、前回と同じ設定情報で簡単に合成画像を生成でき、ユーザに対する操作性を大幅に向上できる。
このような構成にすると、ユーザは、そのユーザが望む設定情報で合成画像を生成する設定を行った場合、次回使用する場合には、前回と同じ設定情報で簡単に合成画像を生成でき、ユーザに対する操作性を大幅に向上できる。
個別のユーザに対応した設定情報の他に、一般のユーザが選択の指示入力により簡単に合成画像を生成できる機能を追加しても良い。
合成画像を生成するのに必要となる設定条件が異なる互いに異なる複数の代表的な設定情報をメモリ32c内の設定情報格納部32dに格納する。ユーザが画像合成システム1を使用する場合に、CPU32bは複数の代表的な設定情報をモニタ6に表示するように制御する。ユーザは、複数の代表的な設定情報から希望する設定情報を選択することにより、簡単に合成画像を生成することができる。この場合にも、選択の指示入力により、ユーザが希望する合成画像を簡単に生成できる効果を有する。
(第2の実施形態)
次に図10を参照して本発明の第2の実施形態を説明する。本実施形態の画像合成システム1Bは、上述した第1の実施形態における外部機器2を、内視鏡装置81に置換した構成にしている。
本実施形態の画像合成システム1Bは、第1の実施形態で説明した内視鏡3と、プロセッサ4と、光源装置5と、モニタ6及びキーボード7からなるメイン側の内視鏡装置と、外部機器を構成するスレーブ側の内視鏡装置81とからなる。
内視鏡装置81は、スレーブ側内視鏡(単に内視鏡とも記す)3Bと、この内視鏡3Bに対する画像処理を行うスレーブ側プロセッサ(単にプロセッサとも記す)4Bと、内視鏡3Bのライトガイド11に照明光を供給するスレーブ側光源装置(単に光源装置とも記す)5Bと、を有する。
次に図10を参照して本発明の第2の実施形態を説明する。本実施形態の画像合成システム1Bは、上述した第1の実施形態における外部機器2を、内視鏡装置81に置換した構成にしている。
本実施形態の画像合成システム1Bは、第1の実施形態で説明した内視鏡3と、プロセッサ4と、光源装置5と、モニタ6及びキーボード7からなるメイン側の内視鏡装置と、外部機器を構成するスレーブ側の内視鏡装置81とからなる。
内視鏡装置81は、スレーブ側内視鏡(単に内視鏡とも記す)3Bと、この内視鏡3Bに対する画像処理を行うスレーブ側プロセッサ(単にプロセッサとも記す)4Bと、内視鏡3Bのライトガイド11に照明光を供給するスレーブ側光源装置(単に光源装置とも記す)5Bと、を有する。
なお、内視鏡3Bは、内視鏡3と同じ構成要素(構成部材)からなるため、内視鏡3の構成要素と同じ符号を付け、その説明を省略する。また、プロセッサ4Bも、プロセッサ4と殆ど同じ構成であり、プロセッサ4の場合と同じ構成要素には、同じ符号を付け、その説明を省略する。また、光源装置5Bも、光源装置5と同じ構成であり、光源装置5の場合と同じ構成要素には、同じ符号を付け、その説明を省略する。
プロセッサ4Bに設けられた画像信号処理部34における外部から画像信号が入力される外部入力端子には、外部機器が接続されていない。一方、プロセッサ4の外部入力端子には、プロセッサ4Bの出力端子が接続され、この外部入力端子にはプロセッサ4Bから出力される内視鏡画像を含むアナログの画像信号が入力される。
プロセッサ4Bに設けられた画像信号処理部34における外部から画像信号が入力される外部入力端子には、外部機器が接続されていない。一方、プロセッサ4の外部入力端子には、プロセッサ4Bの出力端子が接続され、この外部入力端子にはプロセッサ4Bから出力される内視鏡画像を含むアナログの画像信号が入力される。
そして、キーボード7から例えばプロセッサ4B側の画像、つまり内視鏡3Bにより撮像した内視鏡画像を、親画像とする表示形態の指示を行うことにより、モニタ6にはその内視鏡画像を親画像、内視鏡3による内視鏡画像を子画像とするPinPの合成画像が表示される。
また、プロセッサ4は、TG31で生成したRGBインデックス信号を光源装置5のカラーフィルタ部23に出力し、同様にプロセッサ4Bも、TG31で生成したRGBインデックス信号を光源装置5Bのカラーフィルタ部23に出力する。
また、本実施形態の画像合成システム1Bは、光源装置5及び5Bは、それぞれ面順次方式の光源装置であり、両光源装置5,5Bとプロセッサ4,4Bが同期して照明及び画像処理を行うようにしている。
また、プロセッサ4は、TG31で生成したRGBインデックス信号を光源装置5のカラーフィルタ部23に出力し、同様にプロセッサ4Bも、TG31で生成したRGBインデックス信号を光源装置5Bのカラーフィルタ部23に出力する。
また、本実施形態の画像合成システム1Bは、光源装置5及び5Bは、それぞれ面順次方式の光源装置であり、両光源装置5,5Bとプロセッサ4,4Bが同期して照明及び画像処理を行うようにしている。
このため、プロセッサ4内のTG31は、タイミング信号としての水平同期信号及び垂直同期信号からなる同期信号と、RGBインデックス信号とを、プロセッサ4B内のTG31及びPLL回路38に出力する。なお、プロセッサ4のTG31は、第1の実施形態で説明した場合と同様にCXO回路37の基準クロックを用いてタイミング信号を生成する。
一方、プロセッサ4BのTG31は、CXO回路37の基準クロックを用いないで、PLL回路38を用いる。そして、このPLL回路38は、プロセッサ4側から入力される同期信号を参照信号として、VCXO回路39によってプロセッサ4のCXO回路37の基準クロックに位相同期した基準クロックを生成し、さらにこの基準クロックに位相同期した同期信号及びRGBインデックス信号を生成する。
一方、プロセッサ4BのTG31は、CXO回路37の基準クロックを用いないで、PLL回路38を用いる。そして、このPLL回路38は、プロセッサ4側から入力される同期信号を参照信号として、VCXO回路39によってプロセッサ4のCXO回路37の基準クロックに位相同期した基準クロックを生成し、さらにこの基準クロックに位相同期した同期信号及びRGBインデックス信号を生成する。
従って、両光源装置5,5Bとプロセッサ4,4Bとは同期した面順次の照明及び画像処理を行うようになる。
このように同期した照明及び画像処理を行うようにすることで、術者は、両内視鏡3、3Bを同時に使用して体内の患部の観察、診断や、内視鏡観察下での処置を円滑に行うことができる。つまり、このような同期した照明及び画像処理を行わないと、両光源装置5,5Bによる面順次の照明のタイミングがずれることになるため、色再生の機能が低下する。
本実施形態によれば、このような機能の低下を防止して、それぞれの内視鏡3,3Bを独立して使用した場合と同様の色再生の機能を確保できる。そして、2つの内視鏡3,3Bを用いることによって、術者は診断等をより円滑に行うことができるようになる。その他、第1の実施形態と同様の効果を有する。
このように同期した照明及び画像処理を行うようにすることで、術者は、両内視鏡3、3Bを同時に使用して体内の患部の観察、診断や、内視鏡観察下での処置を円滑に行うことができる。つまり、このような同期した照明及び画像処理を行わないと、両光源装置5,5Bによる面順次の照明のタイミングがずれることになるため、色再生の機能が低下する。
本実施形態によれば、このような機能の低下を防止して、それぞれの内視鏡3,3Bを独立して使用した場合と同様の色再生の機能を確保できる。そして、2つの内視鏡3,3Bを用いることによって、術者は診断等をより円滑に行うことができるようになる。その他、第1の実施形態と同様の効果を有する。
(第3の実施形態)
図11は本発明の第3の実施形態におけるプロセッサ4内の画像信号処理部34Cの一部の構成を示す。上述した実施形態においては、子画面の画像信号から子画像部分や、親画面から親画像部分を切り出す場合、キーボード7等からの情報を参照して行うようにしていた。
これに対して本実施形態においては、例えば図6に示す切出/拡大・縮小回路58における切出範囲と、配置位置設定回路71の切出回路72による切出範囲とを、それぞれ入力される画像信号から、エッジ抽出を利用して自動的に決定して、切り出すようにしたものである。
図11は本発明の第3の実施形態におけるプロセッサ4内の画像信号処理部34Cの一部の構成を示す。上述した実施形態においては、子画面の画像信号から子画像部分や、親画面から親画像部分を切り出す場合、キーボード7等からの情報を参照して行うようにしていた。
これに対して本実施形態においては、例えば図6に示す切出/拡大・縮小回路58における切出範囲と、配置位置設定回路71の切出回路72による切出範囲とを、それぞれ入力される画像信号から、エッジ抽出を利用して自動的に決定して、切り出すようにしたものである。
このため、例えば図6の構成において、切替回路52からそれぞれ出力される親画面の画像信号と子画面の画像信号を入力信号として、それぞれ親画像部分及び関連データ部分と、子画像との切出範囲を検出する切出範囲検出回路91A,91Bを設けている。
なお、切出範囲検出回路91A,91Bを切替回路52の入力側に設けるようにしても良い。また、本実施形態では図6の構成を若干変更した構成のPinP表示形態設定部57を採用している。
切出範囲検出回路91A,91Bは、入力される画像信号に対して、それぞれエッジ部分を抽出するエッジ抽出回路92a,92bと、エッジ抽出回路92a,92bにより抽出したエッジの情報から切出範囲を設定する切出範囲設定回路93a、93bと、を有する。
なお、切出範囲検出回路91A,91Bを切替回路52の入力側に設けるようにしても良い。また、本実施形態では図6の構成を若干変更した構成のPinP表示形態設定部57を採用している。
切出範囲検出回路91A,91Bは、入力される画像信号に対して、それぞれエッジ部分を抽出するエッジ抽出回路92a,92bと、エッジ抽出回路92a,92bにより抽出したエッジの情報から切出範囲を設定する切出範囲設定回路93a、93bと、を有する。
エッジ抽出回路92a,92bは、例えば画像信号に対してエッジ強調回路によりエッジ強調した後のエッジ強調信号を、比較回路により閾値レベルと比較して、閾値レベルを超える信号を抽出することにより画像信号におけるエッジ部分を抽出する。
切出範囲設定回路93a、93bは、抽出されたエッジ部分から、4角形又は8角形の画像の枠部分を識別する。この場合、抽出したエッジ部分を予め登録しておいた枠形状とでパターンマッチングを行う等、予め登録しておいた切出範囲の条件(例えば切出範囲のサイズの大きさの条件)を満たすものの選択等、他の処理を併用して識別機能を高めてるようにしても良い。そして、識別した枠形状が4角形の場合には、その枠を切出範囲に設定し、8角形の場合には、その8角形を含むように外挿した4角形の枠部分を、画像部分の切出範囲に設定する。なお、8角形のままの切出範囲に設定しても良い。
切出範囲設定回路93a、93bは、抽出されたエッジ部分から、4角形又は8角形の画像の枠部分を識別する。この場合、抽出したエッジ部分を予め登録しておいた枠形状とでパターンマッチングを行う等、予め登録しておいた切出範囲の条件(例えば切出範囲のサイズの大きさの条件)を満たすものの選択等、他の処理を併用して識別機能を高めてるようにしても良い。そして、識別した枠形状が4角形の場合には、その枠を切出範囲に設定し、8角形の場合には、その8角形を含むように外挿した4角形の枠部分を、画像部分の切出範囲に設定する。なお、8角形のままの切出範囲に設定しても良い。
また、切出範囲設定回路93a、93bは、抽出されたエッジ部分の情報を、予め文字情報をエッジ抽出した場合の登録情報とパターンマッチング等して、文字情報からなる関連データ部分であるか否かにより、その関連データ部分が存在する範囲を決定し、その範囲を含む4角形を関連データの切出範囲に設定する。
なお、外部機器によっては関連データを有しない画像信号の場合もあり得るので、関連データの切出範囲の検出ができない、又は切出範囲がゼロになる場合もあり得る。 このようにして切出範囲設定回路93a、93bは、画像部分の切出範囲と関連データの切出範囲の情報を、例えばPinP表示形態設定部57を介して配置位置設定回路71内の切出回路72による切出範囲と、切出/拡大・縮小回路58による切出範囲との設定にそれぞれ利用する。
なお、外部機器によっては関連データを有しない画像信号の場合もあり得るので、関連データの切出範囲の検出ができない、又は切出範囲がゼロになる場合もあり得る。 このようにして切出範囲設定回路93a、93bは、画像部分の切出範囲と関連データの切出範囲の情報を、例えばPinP表示形態設定部57を介して配置位置設定回路71内の切出回路72による切出範囲と、切出/拡大・縮小回路58による切出範囲との設定にそれぞれ利用する。
また、本実施形態においては、CCD検知回路36によるCCDの種類の情報と内視鏡の種類の情報を、例えばPinP表示形態設定部57内の情報取得部51に入力する構成にしている。
なお、図3に示す情報取得部51は、CCD12の種類等により切出範囲の設定を行うようにしていたが、図11に示す本実施形態での構成においてはCCD12の種類等の情報は、必ずしも必要としない。勿論、このような情報と併用したり、一方の情報を優先して切出範囲を決定するようにしても良い。
このPinP表示形態設定部57は、キーボード7からの各種の指示入力と、切出範囲設定回路93a、93bの情報等を利用して、ユーザにより指示された表示形態で親子画像の合成画像を生成する。
なお、図3に示す情報取得部51は、CCD12の種類等により切出範囲の設定を行うようにしていたが、図11に示す本実施形態での構成においてはCCD12の種類等の情報は、必ずしも必要としない。勿論、このような情報と併用したり、一方の情報を優先して切出範囲を決定するようにしても良い。
このPinP表示形態設定部57は、キーボード7からの各種の指示入力と、切出範囲設定回路93a、93bの情報等を利用して、ユーザにより指示された表示形態で親子画像の合成画像を生成する。
また、本実施形態において、以下のように画像信号の有無を監視(判定)して、画像信号が入力されていない判定結果の場合には、親子等の合成画像から一方の画像を通常の画像サイズ等、所定のサイズで表示するように自動的に切り替える制御機能を持つようにしても良い。まず、外部機器2がプロセッサ4に接続された状態から外された場合を説明する。
また、本実施形態における切出範囲検出回路91A,91Bは、画像信号の有無を監視する監視手段を形成し、例えばエッジ抽出回路92a、92bが入力信号のレベルが0に近い閾値以下であって、所定の信号レベルを有しないために、エッジ部分を抽出できないと判定した場合には、画像信号が水平同期信号及び垂直同期信号からなる同期信号を含むか否かの判定を行う。
そして、切出範囲検出回路91A,91Bは、同期信号を含まないと判定した場合には、外部機器2の画像信号が入力されていないと判定し、外部機器2の画像信号が入力されていない判定信号をPinP表示形態設定部57に出力する。なお、同期信号の有無を判定することなく、画像信号が入力されていないと判定しても良い。
PinP表示形態設定部57は、この判定信号が入力された場合には、画像信号が入力されている画像信号を、例えば親画像としてそのままPinP合成回路60に出力するように、切替回路52、切出/拡大・縮小回路58、配置位置設定回路71を制御する。
PinP表示形態設定部57は、この判定信号が入力された場合には、画像信号が入力されている画像信号を、例えば親画像としてそのままPinP合成回路60に出力するように、切替回路52、切出/拡大・縮小回路58、配置位置設定回路71を制御する。
具体的な例としては、内視鏡3と外部機器2とがプロセッサ4に接続されて、内視鏡3による内視鏡画像の画像信号と外部機器の画像信号とが切替回路52に入力された状態において、外部機器2がプロセッサ4から外されたような場合には、両画像が親子画像として合成画像で表示された状態から、内視鏡画像側のみが単独で表示される表示状態に設定する。
仮に外部機器2の外部画像が親画像、内視鏡画像が子画像に設定された表示状態に設定されていても、外部機器2がプロセッサ4から外されると、自動的に内視鏡画像が子画像でなく、通常のサイズの内視鏡画像として表示されるようにできる。このため、ユーザが外部機器2をプロセッサ4から外した場合、親子画像の設定を変更する操作を行わなくても済み、ユーザに対する操作性を向上できる。
仮に外部機器2の外部画像が親画像、内視鏡画像が子画像に設定された表示状態に設定されていても、外部機器2がプロセッサ4から外されると、自動的に内視鏡画像が子画像でなく、通常のサイズの内視鏡画像として表示されるようにできる。このため、ユーザが外部機器2をプロセッサ4から外した場合、親子画像の設定を変更する操作を行わなくても済み、ユーザに対する操作性を向上できる。
上記の例は、外部機器2が外された場合について説明したが、内視鏡3側が交換などのためにプロセッサ4から外された場合に対しても適用しても良い。内視鏡3が外された場合には、画像信号が入力されなくなるので、切出範囲検出回路91A、91Bの一方は、それを検出して、親子画像の表示形態から画像信号が入力されている画像を通常のサイズで表示する。この場合にも、ユーザに対する操作性を向上できる。
また、本実施形態においては、PinP表示形態設定部57は、キーボード7により親画像及び関連データの配置位置及び表示サイズの指示がされた場合には、指示されたように親画像と関連データを配置するように、配置位置設定回路71を制御する。
また、この配置に応じて、PinP表示形態設定部57は、その空領域に子画像領域を設定する。そして、配置位置設定回路71は、さらに切出/拡大・縮小回路58による子画面の画像信号から子画像部分を切出等の動作を制御する。
この場合、PinP表示形態設定部57は、合成される親子画像の配置状態を把握する。そして、例えばユーザにより指示されている又は現在のアスペクト比を変更した場合には、例えば子画像の表示サイズをより大きくした状態で合成画像としてより適切に生成及び表示可能な場合には、その旨をユーザに表示するようにしても良い。
また、この配置に応じて、PinP表示形態設定部57は、その空領域に子画像領域を設定する。そして、配置位置設定回路71は、さらに切出/拡大・縮小回路58による子画面の画像信号から子画像部分を切出等の動作を制御する。
この場合、PinP表示形態設定部57は、合成される親子画像の配置状態を把握する。そして、例えばユーザにより指示されている又は現在のアスペクト比を変更した場合には、例えば子画像の表示サイズをより大きくした状態で合成画像としてより適切に生成及び表示可能な場合には、その旨をユーザに表示するようにしても良い。
このため、例えば、表示形態設定部57は、現在設定されているPinPの合成画像の配置状態に対して、親画像のアスペクト比を変更可能な場合には、そのアスペクト比の変更可能な範囲内で親画像側の配置状態を変更し、子画像領域のサイズをより大きくできるか否かの判定を行うようにしても良い。
また、上述したように外部機器として、例えば音響的な撮像手段を備え、超音波画像の画像信号を出力する超音波装置が接続される場合がある。このような特定の外部機器がプロセッサ4に接続された場合には、PinP表示形態設定部57は、外部機器が特定の外部機器としての超音波装置であると識別した場合には、表示形態の指示設定に優先して、超音波画像を親画像とし、内視鏡画像を子画像に設定するようにしても良い。
また、上述したように外部機器として、例えば音響的な撮像手段を備え、超音波画像の画像信号を出力する超音波装置が接続される場合がある。このような特定の外部機器がプロセッサ4に接続された場合には、PinP表示形態設定部57は、外部機器が特定の外部機器としての超音波装置であると識別した場合には、表示形態の指示設定に優先して、超音波画像を親画像とし、内視鏡画像を子画像に設定するようにしても良い。
このため、PinP表示形態設定部57は、外部機器と例えば通信線94を用いた通信を行い、外部機器の識別コード等を取得して、その識別コード等から外部機器の種類を識別する識別部57cを備える。そして、この識別部57cによって特定の外部機器であることを識別した場合には、その識別結果により特定のPinP表示形態に設定するようにしても良い。
また、この場合、PinP表示する場合の親子画像の配置位置を特定の配置状態、例えば図7Bのような配置で超音波画像を親画像、その右上側に内視鏡画像を子画像として表示するような配置状態にしても良い。
その他の構成は、上述した第1の実施形態と同様である。
また、この場合、PinP表示する場合の親子画像の配置位置を特定の配置状態、例えば図7Bのような配置で超音波画像を親画像、その右上側に内視鏡画像を子画像として表示するような配置状態にしても良い。
その他の構成は、上述した第1の実施形態と同様である。
本実施形態によれば、第1の実施形態の場合に比較して、親画面の画像信号から親画像部分及び関連データ部分の切出範囲や、子画面の画像信号から子画像部分の切出範囲の設定を行わなくても、両画像信号から自動的に両切出範囲を設定することができる。 このように、両画像信号における画像部分の切出範囲及びサイズを特定し無くても済むためユーザの利便性が向上する。
また、例えば外部機器側の画像信号における画像部分のサイズを変更したような場合においても、本実施形態においてはその変更に対応した切出範囲で切り出すことが迅速にでき、ユーザの利便性が向上する。
その他、第1の実施形態と同様の効果を有する。
なお、上述した実施形態において、殆どの場合において親画面の画像信号は、親画像と共に、親画像に関連する関連データを含む場合を想定して説明したが、関連データを含まない場合にも適用できることは明らかである。
また、例えば外部機器側の画像信号における画像部分のサイズを変更したような場合においても、本実施形態においてはその変更に対応した切出範囲で切り出すことが迅速にでき、ユーザの利便性が向上する。
その他、第1の実施形態と同様の効果を有する。
なお、上述した実施形態において、殆どの場合において親画面の画像信号は、親画像と共に、親画像に関連する関連データを含む場合を想定して説明したが、関連データを含まない場合にも適用できることは明らかである。
例えば、図4を用いて説明すると、画像メモリ60aにおける画像配置領域において、親画面の画像信号が親画像62aのみを有し、関連データを有しない場合には、親画像62aが配置される親画像領域62を除く空領域64に4角形の子画像領域65を設定して、その子画像領域65に子画像が配置される。
図4の場合では、子画像領域65としては、2点鎖線で示す配置位置に限らず、その上側(関連データ領域63側)に配置することも可能になる。このように関連データを考慮しない場合には、ユーザは子画像を配置する位置を、より自由に選択できる。なお、このように子画像を配置する位置に自由度が存在する場合には、予め設定した条件(例えば空領域において、子画像を配置する位置として、縦方向に複数の位置が存在した場合には、例えば最も下側に配置する位置を優先するような条件)に従って配置する位置を決定するようにしても良い。
また、親画像の配置位置やサイズによっては、子画像を配置する子画像領域のサイズをより大きくすることも可能になる。また、子画面側が子画像と共に、子画像に関連する関連データを含む場合には、上述した関連データ領域63に、子画像の関連データを配置するようにしても良い。
なお、上述した各実施形態等を部分的に組み合わせて異なる実施形態を構成することもでき、そのような実施形態も本発明に属する。
図4の場合では、子画像領域65としては、2点鎖線で示す配置位置に限らず、その上側(関連データ領域63側)に配置することも可能になる。このように関連データを考慮しない場合には、ユーザは子画像を配置する位置を、より自由に選択できる。なお、このように子画像を配置する位置に自由度が存在する場合には、予め設定した条件(例えば空領域において、子画像を配置する位置として、縦方向に複数の位置が存在した場合には、例えば最も下側に配置する位置を優先するような条件)に従って配置する位置を決定するようにしても良い。
また、親画像の配置位置やサイズによっては、子画像を配置する子画像領域のサイズをより大きくすることも可能になる。また、子画面側が子画像と共に、子画像に関連する関連データを含む場合には、上述した関連データ領域63に、子画像の関連データを配置するようにしても良い。
なお、上述した各実施形態等を部分的に組み合わせて異なる実施形態を構成することもでき、そのような実施形態も本発明に属する。
本出願は、2010年7月13日に日本国に出願された特願2010-158953号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
Claims (11)
- 複数の画像信号出力手段から入力される複数の画像の合成画像を出力する画像合成システムであって、
前記複数の画像の画像関連情報を取得する画像関連情報取得手段と、
前記入力される複数の画像の中から第1の画像を表示するように指示する第1画像指示手段と、
前記入力される複数の画像の中から第2の画像を表示するように指示する第2画像指示手段と、
前記第1画像指示手段で指示された前記第1の画像を前記第2の画像よりも優先してその表示形態を指示する第1画像表示形態指示手段と、
前記画像関連情報取得手段により取得した前記第2の画像の画像関連情報と、前記第1画像表示形態指示手段により指示された前記第1の画像の表示形態とに基づき、前記第2の画像の表示形態を決定する第2画像表示形態決定手段と、
前記第1画像表示形態指示手段による指示に対応した前記第1の画像を処理する第1画像処理手段と、
前記第2画像表示形態決定手段による決定に対応した前記第2の画像を処理する第2画像処理手段と、
前記第1画像表示形態指示手段による指示と、前記第2画像表示形態決定手段による決定に基づき、前記第1画像処理手段により処理された前記第1の画像と、前記第2画像処理手段により処理された前記第2の画像と、を合成する画像合成手段と、
を備えることを特徴とする画像合成システム。 - 前記複数の画像は、第1の画像及び第2の画像としての2つの医用画像、又は該2つの医用画像と該医用画像に関連するデータの画像を含み、
前記画像関連情報取得手段は、前記複数の画像に関する医用画像の領域と、前記医用画像に関連するデータの画像の領域と、いずれの画像の表示の設定がない空領域と、の表示形態情報を含む前記画像関連情報を取得し、
前記第2画像表示形態決定手段は、前記第2の画像として設定された医用画像部分を、前記第1の画像として設定されて、該第1の画像の表示の設定がない空領域に収まるように決定し、
前記第2画像処理手段は、前記第2の画像として指示された画像の医用画像部分のみを抽出し、前記第2画像表示形態決定手段により決定された表示形態に収まるように拡大又は縮小し、
前記画像合成手段は、前記第1の画像が設定されて、該第1の画像の表示の設定がない空領域に、前記第2画像処理手段により処理された画像を合成することを特徴とする請求項1に記載の画像合成システム。 - 前記画像合成システムは、更に、前記合成画像のアスペクト比を設定するアスペクト比設定手段を備え、
前記第1画像処理手段は、前記アスペクト比設定手段によって設定されたアスペクト比に基づく前記第1の画像の画像処理を行い、
第2画像表示形態決定手段は、前記第2の画像として設定された画像の医用画像部分を、前記アスペクト比設定手段によって設定されたアスペクト比に基づき、前記前記第1画像処理手段により処理された、前記第1の画像の表示の設定がない空領域に収まるように決定することを特徴とする請求項2に記載の画像合成システム。 - 前記第1画像表示形態指示手段による指示に応じて、前記第1の画像としての前記医用画像と該医用画像に関連するデータの配置位置を変更可能に設定する配置位置設定手段を有することを特徴とする請求項2に記載の画像合成システム。
- 前記配置位置設定手段は、前記第1画像表示形態指示手段による指示に応じて、前記第1の画像としての前記医用画像のサイズを変更可能に設定することを特徴とする請求項4に記載の画像合成システム。
- 前記第1画像処理手段は、前記第1の画像がカラーの画像である場合とモノクロの画像である場合とに応じて、画像処理特性を決めるパラメータを変更して画像処理する画像処理手段を有することを特徴とする請求項5に記載の画像合成システム。
- 前記第2の画像としての医用画像は、撮像素子を備えた内視鏡による内視鏡画像であり、前記第2画像処理手段は、前記内視鏡の種類に応じて、前記第2の画像における内視鏡画像部分を切り出す切出範囲の条件を変更することを特徴とする請求項5に記載の画像合成システム。
- さらに、前記第1の画像としての医用画像を含む第1の画像信号から前記医用画像部分のみを、該第1の画像信号に対するエッジ抽出の処理を用いて切り出す画像処理を行う第1の切出回路と、前記第2の画像としての医用画像を含む第2の画像信号から前記医用画像部分のみを、該第2の画像信号に対するエッジ抽出の処理を用いて切り出す第2の切出回路とを有することを特徴とする請求項5に記載の画像合成システム。
- さらに、前記画像合成システムに入力される前記第1の画像と前記第2の画像との両画像信号の有無を監視し、一方の画像信号が入力されない判定結果の場合には、前記画像合成手段により合成された第1の画像及び第2の画像の合成画像から、他方の画像のみを所定のサイズで表示するように切り替えることを特徴とする請求項1に記載の画像合成システム。
- さらに、前記画像合成システムを使用するユーザの情報と、該ユーザの情報に対応して前記合成画像を生成した場合の設定情報とを関連付けて格納する設定情報格納手段を有することを特徴とする請求項1に記載の画像合成システム。
- さらに、異なる設定条件で前記合成画像を生成した場合の複数の設定情報を格納する設定情報格納手段を有し、前記画像合成システムを使用するユーザに対して前記複数の設定情報から実際に使用する設定情報を選択可能にすることを特徴とする請求項1に記載の画像合成システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011554331A JPWO2012008299A1 (ja) | 2010-07-13 | 2011-06-28 | 画像合成システム |
US13/343,311 US20120201433A1 (en) | 2010-07-13 | 2012-01-04 | Image composition system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-158953 | 2010-07-13 | ||
JP2010158953 | 2010-07-13 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/343,311 Continuation US20120201433A1 (en) | 2010-07-13 | 2012-01-04 | Image composition system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012008299A1 true WO2012008299A1 (ja) | 2012-01-19 |
Family
ID=45469307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/064793 WO2012008299A1 (ja) | 2010-07-13 | 2011-06-28 | 画像合成システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120201433A1 (ja) |
JP (1) | JPWO2012008299A1 (ja) |
WO (1) | WO2012008299A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016030084A (ja) * | 2014-07-29 | 2016-03-07 | Hoya株式会社 | 内視鏡ファイリング装置、内視鏡システム、及び画像処理方法 |
WO2016072422A1 (ja) * | 2014-11-06 | 2016-05-12 | オリンパス株式会社 | 撮像システム |
JP2017213181A (ja) * | 2016-05-31 | 2017-12-07 | オリンパス株式会社 | 医療用画像記録装置 |
JP2019213036A (ja) * | 2018-06-04 | 2019-12-12 | オリンパス株式会社 | 内視鏡プロセッサ、表示設定方法および表示設定プログラム |
JP2020130884A (ja) * | 2019-02-25 | 2020-08-31 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、画像処理方法およびプログラム |
JPWO2021192524A1 (ja) * | 2020-03-24 | 2021-09-30 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110052124A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
JP6000702B2 (ja) * | 2012-07-12 | 2016-10-05 | オリンパス株式会社 | 医療システム |
JP6270339B2 (ja) * | 2013-05-22 | 2018-01-31 | オリンパス株式会社 | 撮像装置、撮像装置の製造方法、及び内視鏡システム |
WO2016017476A1 (ja) * | 2014-07-29 | 2016-02-04 | オリンパス株式会社 | 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム |
WO2016088422A1 (ja) * | 2014-12-04 | 2016-06-09 | オリンパス株式会社 | 内視鏡 |
US11494984B2 (en) * | 2016-03-31 | 2022-11-08 | Brainlab Ag | Atlas-based calculation of a flight-path through a virtual representation of anatomical structures |
WO2018235389A1 (ja) * | 2017-06-20 | 2018-12-27 | オリンパス株式会社 | 医療表示装置 |
US10638921B2 (en) * | 2018-07-20 | 2020-05-05 | Arthrex, Inc. | Medical imaging system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001045407A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Photo Film Co Ltd | 画像表示装置及び画像撮影装置 |
JP2002291692A (ja) * | 2001-04-02 | 2002-10-08 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2002369790A (ja) * | 2002-04-04 | 2002-12-24 | Olympus Optical Co Ltd | 内視鏡形状検出システム |
JP2005046200A (ja) * | 2003-07-29 | 2005-02-24 | Olympus Corp | 内視鏡下手術システム |
-
2011
- 2011-06-28 JP JP2011554331A patent/JPWO2012008299A1/ja active Pending
- 2011-06-28 WO PCT/JP2011/064793 patent/WO2012008299A1/ja active Application Filing
-
2012
- 2012-01-04 US US13/343,311 patent/US20120201433A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001045407A (ja) * | 1999-08-02 | 2001-02-16 | Fuji Photo Film Co Ltd | 画像表示装置及び画像撮影装置 |
JP2002291692A (ja) * | 2001-04-02 | 2002-10-08 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2002369790A (ja) * | 2002-04-04 | 2002-12-24 | Olympus Optical Co Ltd | 内視鏡形状検出システム |
JP2005046200A (ja) * | 2003-07-29 | 2005-02-24 | Olympus Corp | 内視鏡下手術システム |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016030084A (ja) * | 2014-07-29 | 2016-03-07 | Hoya株式会社 | 内視鏡ファイリング装置、内視鏡システム、及び画像処理方法 |
WO2016072422A1 (ja) * | 2014-11-06 | 2016-05-12 | オリンパス株式会社 | 撮像システム |
JP2017213181A (ja) * | 2016-05-31 | 2017-12-07 | オリンパス株式会社 | 医療用画像記録装置 |
JP2019213036A (ja) * | 2018-06-04 | 2019-12-12 | オリンパス株式会社 | 内視鏡プロセッサ、表示設定方法および表示設定プログラム |
JP2020130884A (ja) * | 2019-02-25 | 2020-08-31 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、画像処理方法およびプログラム |
JP7235532B2 (ja) | 2019-02-25 | 2023-03-08 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、画像処理方法およびプログラム |
JPWO2021192524A1 (ja) * | 2020-03-24 | 2021-09-30 | ||
WO2021192524A1 (ja) * | 2020-03-24 | 2021-09-30 | 富士フイルム株式会社 | 内視鏡システム、制御方法、及び制御プログラム |
US11950759B2 (en) | 2020-03-24 | 2024-04-09 | Fujifilm Corporation | Endoscope system, control method, and control program |
JP7470779B2 (ja) | 2020-03-24 | 2024-04-18 | 富士フイルム株式会社 | 内視鏡システム、制御方法、及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012008299A1 (ja) | 2013-09-09 |
US20120201433A1 (en) | 2012-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012008299A1 (ja) | 画像合成システム | |
EP2163185B1 (en) | Endoscope system and drive control method thereof | |
JP5143293B2 (ja) | 内視鏡装置 | |
JP2004000335A (ja) | 電子内視鏡装置 | |
JP2003334163A (ja) | 内視鏡画像処理装置 | |
JP2003334162A (ja) | 内視鏡画像処理装置 | |
KR20190109406A (ko) | 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램 | |
JP2014128423A (ja) | 内視鏡システム | |
US20210307587A1 (en) | Endoscope system, image processing device, total processing time detection method, and processing device | |
US20160174823A1 (en) | Image signal output apparatus and image signal transmission/reception system | |
JP6489644B2 (ja) | 撮像システム | |
JP7444163B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
US20220217260A1 (en) | Signal processing device, imaging device, and signal processing method | |
JP2001070241A (ja) | 画像処理装置 | |
US11039067B2 (en) | Image pickup apparatus, video signal processing apparatus, and video signal processing method | |
JP6045794B2 (ja) | 電子内視鏡システム | |
US11910105B2 (en) | Video processing using a blended tone curve characteristic | |
JP5976342B2 (ja) | 電子内視鏡システム | |
JP5932188B1 (ja) | 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム | |
US11979670B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal | |
US20220256096A1 (en) | Image processing device, image processing method, and program | |
JP4493426B2 (ja) | 電子内視鏡システム | |
JP2011152301A (ja) | 電子内視鏡システム | |
JP2011156312A (ja) | 遠隔医療用電子内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2011554331 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11806629 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11806629 Country of ref document: EP Kind code of ref document: A1 |