WO2019167555A1 - 映像信号処理装置、映像信号処理方法および撮像装置 - Google Patents

映像信号処理装置、映像信号処理方法および撮像装置 Download PDF

Info

Publication number
WO2019167555A1
WO2019167555A1 PCT/JP2019/003806 JP2019003806W WO2019167555A1 WO 2019167555 A1 WO2019167555 A1 WO 2019167555A1 JP 2019003806 W JP2019003806 W JP 2019003806W WO 2019167555 A1 WO2019167555 A1 WO 2019167555A1
Authority
WO
WIPO (PCT)
Prior art keywords
video signal
unit
tone
curve characteristic
processing
Prior art date
Application number
PCT/JP2019/003806
Other languages
English (en)
French (fr)
Inventor
浩二 神谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19761579.2A priority Critical patent/EP3761637B1/en
Priority to JP2020502889A priority patent/JP7235035B2/ja
Priority to US16/969,469 priority patent/US11394942B2/en
Publication of WO2019167555A1 publication Critical patent/WO2019167555A1/ja
Priority to US17/842,918 priority patent/US11729519B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Definitions

  • the present technology relates to a video signal processing device, a video signal processing method, and an imaging device that process a video signal generated by an imaging unit.
  • OETF Optical-Electro-Transfer-Function
  • the present technology relates to a video signal processing apparatus and a video signal processing method capable of facilitating signal processing for providing an arbitrary tone curve characteristic for tone adjustment in addition to a standard curve characteristic provided to a video signal. It is another object of the present invention to provide an imaging device.
  • a video signal processing apparatus includes a tone control unit that provides a tone curve characteristic for tone adjustment to an input video signal having a linear characteristic.
  • a tone control unit that provides a tone curve characteristic for tone adjustment to an input video signal having a linear characteristic.
  • 1 processing circuit unit and a first curve characteristic applying unit that generates a first output video signal by applying a first output curve characteristic to the video signal processed by the first processing circuit unit
  • a second processing circuit unit including the unit.
  • the second processing circuit unit adds a second output curve characteristic to the video signal processed by the first processing circuit unit, and outputs a second output video. It may further include a second curve characteristic providing unit that generates a signal.
  • the first output curve characteristic is one of a curve characteristic for OETF (Optical-Electro-Transfer Function) conversion and a curve characteristic for display gamma processing.
  • the curve characteristic for output 2 may be the other.
  • the tone control unit may create a tone curve characteristic for tone adjustment based on setting information.
  • the setting information may include a parameter that defines the center of the input signal level range to which the tone curve characteristic is given.
  • the setting information may include a parameter that defines a range of an input signal level in which a tone curve characteristic is given.
  • the setting information may include a parameter that defines a curve shape of a tone curve characteristic.
  • the setting information may include a parameter that defines a variation amount of the output signal level at the center of the input signal level range to which the tone curve characteristic is given.
  • the tone control unit creates coefficients for each color component based on the setting information, and generates a coefficient for each color component and a gain adjustment value arbitrarily given for each color component. Based on this, the tone curve characteristic may be created.
  • the tone control unit creates a coefficient common to a plurality of color components based on the setting information, and based on the coefficient and a gain adjustment value arbitrarily given for each color component, A tone curve characteristic may be created.
  • the tone control unit creates coefficients for each color component based on the setting information, and generates a coefficient for each color component and a gain adjustment value arbitrarily given for each color component. Based on the first tone control function for creating the tone curve characteristics based on the setting information, a coefficient common to a plurality of color components is created, and this coefficient and a gain adjustment value arbitrarily given for each color component, The tone control function to be executed can be switched with the second tone control function for creating the tone curve characteristics based on the above.
  • the first processing circuit unit further includes a correction / color balance adjustment unit that performs correction and color balance adjustment on a signal generated by the image sensor, and the tone control unit includes:
  • the signal output from the correction / color balance adjustment circuit may be processed as the input video signal.
  • the second processing circuit unit performs matrix processing on at least the video signal to which the tone curve characteristic is given, and generates color image data; and A detail / knee processing unit that performs detail processing and knee processing of the generated color image data, and the first curve characteristic imparting unit outputs the color image data output from the detail / knee processing unit to the color image data. It may be configured to provide a curve characteristic for output.
  • the second processing circuit unit performs matrix processing on at least the video signal to which the tone curve characteristic is given to obtain first color image data having a first resolution.
  • a second matrix processing unit that performs processing to generate second color image data having a second resolution, and a second detail knee that performs detail processing and knee processing on the generated second color image data.
  • a first curve characteristic assigning unit that outputs the first color image data output from the first detail / knee processing unit. Then, the first output curve characteristic is provided, and the second curve characteristic assignment unit applies the second color image data output from the second detail / kine processing unit to the second color image data.
  • a curve characteristic for output of 2 may be imparted.
  • the first color image data may be HDR (High Dynamic Range) video
  • the second color image data may be SDR (Standard Dynamic Range) video.
  • An imaging apparatus includes an imaging unit that generates an input video signal having linear characteristics, and a tone control unit that gives tone curve characteristics for tone adjustment to the input video signal A first processing circuit unit; and a second processing circuit unit including a first curve characteristic providing unit that generates a first output video signal by providing a first output curve characteristic.
  • the first processing circuit unit provides a tone curve characteristic for tone adjustment to the input video signal having a linear characteristic
  • the second processing circuit A first output video signal is generated by adding a first output curve characteristic to the video signal processed by the first processing circuit unit.
  • FIG. 19 It is a figure showing roughly the whole operation room system composition. It is a figure which shows the example of a display of the operation screen in a concentrated operation panel. It is a figure which shows an example of the mode of the surgery to which the operating room system was applied. It is a block diagram which shows an example of a function structure of the camera head shown in FIG. 19, and CCU.
  • FIG. 1 is a block diagram illustrating a configuration of the imaging device 1 according to the first embodiment of the present technology.
  • the imaging apparatus 1 includes a first processing circuit unit including a tone control unit 23 that provides tone curve characteristics for tone adjustment to an input video signal having linear characteristics, and the first processing.
  • a second processing circuit unit including a curve characteristic providing unit 26 that generates a first output video signal by applying a first output curve characteristic to the video signal processed by the circuit unit.
  • the input video signal having a linear characteristic indicates a characteristic in which the output signal increases substantially linearly with respect to the input light amount, and is a signal before giving a curve characteristic for video output at least.
  • the signal is preferably a signal after correction processing such as correction and lens aberration correction, gain adjustment, and before performing detail knee processing.
  • the first processing circuit unit further includes a preprocessor 21 that performs correction and color balance adjustment on a signal generated by the imaging device, and an RGB gain adjustment unit 22, and tone
  • the control unit 23 is configured to process a signal generated by the preprocessor 21 and the RGB gain adjustment unit 22 as an input video signal.
  • the imaging apparatus 1 includes an optical system 11 having a lens group for imaging, and an imaging unit 12 having an imaging element such as a complementary metal-oxide-semiconductor (CMOS) element or a charge-coupled device (CCD).
  • CMOS complementary metal-oxide-semiconductor
  • CCD charge-coupled device
  • the video signal processing unit 20 includes a preprocessor 21, an RGB gain adjustment unit 22, a tone control unit 23, a matrix processing unit 24, a detail / knee processing unit 25, a curve characteristic adding unit 26, and a formatter 27.
  • the imaging apparatus 1 has a CPU 28 that controls the entire apparatus.
  • the CPU 28 can communicate with the operation unit 40.
  • the operation unit 40 includes a display 41 and an operation input unit 42.
  • the CPU 28 performs corresponding control based on a command input from the user using the operation unit 40, or inputs various parameters such as tone curve characteristic setting information input from the user using the operation unit 40.
  • the operation input unit 42 may be configured with, for example, operation keys, a mouse, a trackball, a dial, a lever, a touch sensor panel, a remote controller, and the like.
  • the display 41 may be a viewfinder.
  • the preprocessor 21 performs correction processing such as defect correction and lens aberration correction on the pixel signal supplied from the imaging unit 12.
  • the RGB gain adjustment unit 22 controls the RGB gain for white balance adjustment in addition to the master gain adjustment.
  • the tone control unit 23 gives a tone curve characteristic to the pixel signal (input video signal) that has passed through the preprocessor 21 and the RGB gain adjustment unit 22.
  • the matrix processing unit 24 generates color image data by performing debayer processing, linear matrix processing, and the like on the pixel signal that has passed through the tone control unit 23.
  • the detail knee processing unit 25 performs detail processing and knee (KNEEE) correction on the color image data.
  • the curve characteristic imparting unit 26 performs video processing such as SDR display gamma processing or HDR OETF (Optical-Electro-Transfer Function) conversion on the color image data that has passed through the detail / knee processing unit 25. A curve characteristic for output is given.
  • video processing such as SDR display gamma processing or HDR OETF (Optical-Electro-Transfer Function) conversion on the color image data that has passed through the detail / knee processing unit 25.
  • HDR OETF Optical-Electro-Transfer Function
  • the formatter 27 converts the color image data into an output transmission format and generates an output video signal.
  • a pixel signal (input video signal) having a linear characteristic with respect to light intensity before a curve characteristic for video output for SDR gamma processing or HDR OETF conversion is given.
  • the tone control unit 23 provides tone curve characteristics based on setting information given by the user. This allows the user to input any tone curve characteristic setting information without being conscious of the output curve characteristic given to the video signal, such as SDR display gamma characteristic or HDR OETF characteristic. Adjustments can be made and the load on the user can be reduced. At this time, only the curve characteristic for tone adjustment needs to be given to the linear input video signal. Compared with the method that combines the curve characteristic for output and the curve characteristic for tone adjustment, more signal processing is required. Can be simplified.
  • a first video having a first dynamic range and a second video having a second dynamic range which is a wider dynamic range than the first video are assumed as two output video signals.
  • a second embodiment according to the present technology will be described in which a first video having a first dynamic range is an SDR video, and a second video having a second dynamic range is an HDR video.
  • FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus 1a according to the second embodiment of the present technology.
  • the second processing circuit unit gives the second output curve characteristic to the video signal processed by the first processing circuit unit, and outputs the second output video signal.
  • the SDR gamma processing unit 26B is further included.
  • the optical system 11 and the imaging unit 12 in the imaging apparatus 1a, and the preprocessor 21, the RGB gain adjustment unit 22, and the tone control unit 23 in the video signal processing unit 20a are the same as the configuration of the video signal processing unit 20 of the first embodiment. It is.
  • the video signal processing unit 20 a includes an HDR process unit A and an SDR process unit B at the subsequent stage of the tone control unit 23.
  • the HDR process unit A performs processing for generating HDR video from the video signal to which the tone curve characteristic is added by the tone control unit 23.
  • the HDR process unit A includes a matrix processing unit 24A, a detail / knee processing unit 25A, an HDR-OETF processing unit 26A, and a formatter 27A.
  • the matrix processing unit 24A generates color image data by performing debayer processing, linear matrix processing, and the like on the pixel signal output from the tone control unit 23.
  • the detail / knee processing unit 25A performs detail processing and knee processing on the color image data generated by the matrix processing unit 24A.
  • the HDR-OETF processing unit 26A gives curve characteristics for HDR OTF (Optical-Electro-Transfer Function) conversion to the color image data that has passed through the detail / knee processing unit 25A.
  • HDR OTF Optical-Electro-Transfer Function
  • the formatter 27A converts the color image data generated by the HDR-OETF processing unit 26A into an HDR video transmission format.
  • the SDR process unit B includes a resolution conversion unit 29B, a relative gain adjustment unit 30B, a matrix processing unit 24B, a detail / knee processing unit 25B, an SDR gamma processing unit 26B, and a formatter 27B.
  • the resolution conversion unit 29B converts the resolution (for example, 4K resolution) of the pixel signal supplied from the tone control unit 23 into a resolution lower than the resolution of the supplied pixel signal, for example, HD.
  • the relative gain adjustment unit 30B performs master gain control based on the relative gain and RGB gain control for white balance adjustment.
  • the relative gain is information for setting a correlation between the dynamic range of the SDR video and the dynamic range of the HDR video.
  • the relative gain can be set and changed by the CPU 28.
  • the matrix processing unit 24B performs debayer processing, linear matrix processing, and the like on the pixel signal that has passed through the relative gain adjustment unit 30B to obtain color image data.
  • the detail / knee processing unit 25B performs detail processing and knee (KNEE) correction on the color image data.
  • the SDR gamma processing unit 26B provides curve characteristics for SDR gamma processing and curve characteristics for output destination display gamma processing to the color image data that has passed through the detail / knee processing unit 25B. And so on.
  • the formatter 27B converts color image data into an SDR video transmission format.
  • the dynamic range of HDR video is wider than that of SDR video.
  • the luminance dynamic range of HDR video is, for example, 0% to 1200% in the HLG (hybrid log gamma) system.
  • the luminance range of the output of the imaging unit 12 is 0 to 1300%.
  • a video signal in which an arbitrary tone curve characteristic is given to the pixel signal (input signal) having a linear characteristic by the tone control unit 23 is converted into the HDR process unit A and the video signal.
  • the HDR process unit A provides curve characteristics for OETF conversion
  • the SDR process unit B provides curve characteristics for gamma processing.
  • the HDR process part A and the SDR process part B can give an SDR gamma characteristic and an HDR OETF characteristic to the reference signal, respectively.
  • FIG. 3 is a block diagram illustrating a configuration of the imaging system 100 according to the third embodiment of the present technology.
  • the imaging system 100 includes an imaging device 1b and a camera signal processing unit 120.
  • the imaging device 1b includes an optical system 11, an imaging unit 12, a preprocessor 21, an RGB gain adjustment unit 22, a tone control unit 23, and a transmission unit 31.
  • the camera signal processing unit 120 includes a transmission unit 32, an HDR process unit A, and an SDR process unit B.
  • the imaging device 1b and the camera signal processing unit 120 are connected to each other by the transmission units 31 and 32 through a camera cable 33 such as an optical cable.
  • the video signal to which the tone curve characteristic is given by the tone control unit 23 of the imaging apparatus 1b is transmitted by the transmission unit 31 to the camera signal processing unit 120 connected through the camera cable 33.
  • the video signal transmitted from the imaging device 1b through the camera cable 33 is received by the transmission unit 32 and supplied to the HDR process unit A and the SDR process unit B so that the HDR video and the SDR video are real-time. Are generated in parallel (for example, simultaneously).
  • tone control unit may be configured by moving from the imaging device 1b to the rear side of the transmission unit of the signal processing unit 120.
  • FIG. 4 is a block diagram showing a first configuration example of the tone control unit.
  • the tone control unit 23a includes LUTs (Look Up Tables) 51, 52, and 53 for each color component such as RGB.
  • LUTs Look Up Tables
  • 51R, 51G, 51B a value in which a tone curve characteristic is added to a value of an input video signal for each color component is registered in a table structure.
  • the tone control unit 23a can be realized by a configuration in which a broken line approximation curve is provided for each color component.
  • the tone control section 23a reads out video signals having tone curve characteristics from LUTs (Look Up Table) 51R, 51G, 51B for each color component with respect to the input video signal for each color component.
  • LUTs Look Up Table
  • FIG. 5 is a block diagram showing a second configuration example of the tone control unit.
  • the tone control unit 23b has a variation (difference) value to which tone curve characteristics are added to the value of the input video signal for each color component, so that the LUT (Look Up Table) 52R, 52G for each color component. Read from 52B. Values read from LUTs (Look Up Table) 52R, 52G, and 52B for each color component are arbitrarily adjusted by multiplying them with gain adjustment values Cr, Cg, and Cb that are arbitrarily given for each color component. Are added to the input video signal for each color component. As a result, a video signal in which an arbitrary tone curve characteristic is given to the input video signal is obtained.
  • FIG. 6 is a block diagram showing a third configuration example of the tone control unit.
  • the tone control unit 23c creates a tone curve characteristic for tone adjustment based on the setting information of the tone curve characteristic. That is, the tone control unit 23c first creates coefficients 53R, 53G, and 53B for each color component based on the tone curve characteristic setting information for the value of the input video signal for each color component.
  • the setting information of the tone curve characteristics may be a common setting for all the color components, or may be a separate setting for each color component.
  • Each coefficient 53R, 53G, 53B is adjusted by being multiplied by gain adjustment values Cr, Cg, Cb arbitrarily given for each color component, and “1” is added to each.
  • the value generated for each color component in this way is the result of setting the tone curve characteristics.
  • the value generated for each color component as the result of setting the tone curve characteristic is multiplied by the input video signal of the corresponding color component. Thereby, an arbitrary tone curve characteristic is given to the input video signal.
  • FIG. 7 is a block diagram showing a fourth configuration example of the tone control unit.
  • the tone control unit 23d generates a luminance signal (Y) of the input video signal, and creates a coefficient 55 for the luminance signal (Y) based on setting information of tone curve characteristics.
  • the created coefficient 55 is multiplied by gain adjustment values Cr, Cg, and Cb arbitrarily given for each color component to be a coefficient for each color component, and “1” is added to each.
  • the value generated for each color component in this way is the result of setting the tone curve characteristics.
  • the value generated for each color component as the result of setting the tone curve characteristic is multiplied by the input video signal of the corresponding color component. Thereby, an arbitrary tone curve characteristic is given to the input video signal.
  • FIG. 8 is a block diagram showing a fifth configuration example of the tone control unit.
  • the tone control unit 23e can switch the function of the tone control unit 23c as the third configuration example and the function of the tone control unit 23d as the fourth configuration example by a plurality of switches SW1, SW2, and SW3. It is configured.
  • the plurality of switches SW1, SW2, and SW3 are switched by the CPU 28 that receives an instruction given from the user using the operation unit 40.
  • the plurality of switches SW1, SW2, and SW3 are respectively switched between the A side and the B side in synchronization.
  • a coefficient is created for the luminance signal (Y) of the input video signal based on the setting information of the tone curve characteristics.
  • the created coefficient is multiplied by gain adjustment values Cr, Cg, and Cb arbitrarily given for each color component to be a coefficient for each color component.
  • the input video signal of the component is multiplied.
  • the tone control based on the value for each color component and the tone control based on the value of the luminance component can be appropriately switched for the input video signal, and the appearance of the video can be switched. be able to.
  • the gain adjustment values Cr, Cg, and Cb are parameters that can be appropriately set in real time by the user for each color component separately from the tone curve characteristics.
  • the user can arbitrarily set the gain adjustment values Cr, Cg, and Cb for each color component while viewing the output video that is the adjustment result.
  • the tone control unit 23c of the third configuration example and the tone control unit 23d of the fourth configuration example generate a gain to be multiplied by the input video signal based on the setting information of the tone curve characteristics.
  • the tone control unit 23c and the tone control unit 23d that perform tone control arithmetically include a first tone control unit 23A and a second tone control unit. 23B can be provided in series.
  • both the first tone control unit 23A and the second tone control unit 23B may be the tone control unit 23c of the third configuration example, or the tone control unit 23d of the fourth configuration example. May be.
  • a combination of the tone control unit 23c of the third configuration example and the tone control unit 23d of the fourth configuration example may be used.
  • the luminance center, the luminance width, the curve shape, and the amplitude are given by the user using the operation unit 40 as parameters that are the setting information of the tone curve characteristics.
  • FIG. 9 is a diagram for explaining four parameters for setting information of tone curve characteristics.
  • the horizontal axis represents the input signal level to the tone control unit 23
  • the vertical axis represents the output signal level from the tone control unit 23.
  • Each value of the input signal level and the output signal level is given by a% value when the dynamic range of the SDR video is 0-100%.
  • a solid straight line 61 shows the linear characteristic before the tone curve characteristic is given.
  • the dotted line 62 shows the given tone curve characteristic.
  • the luminance center is the center of the range of the input signal level where the tone curve characteristic is given.
  • the luminance width indicates the range of the input signal level where the tone curve characteristic is given.
  • the curve shape is a parameter that defines the curve shape of the tone curve characteristic. For example, it is possible to define an asymmetric tone curve characteristic that enhances the tone on the high luminance side and weakens the tone on the low luminance side.
  • the amplitude is given by the amount of fluctuation of the output level at the luminance center.
  • FIG. 10 is a diagram showing the tone curve characteristic 63 when the luminance center is changed from the 90% position to the 105% position with respect to the tone curve characteristic 62 of FIG.
  • FIG. 11 is a diagram showing a tone curve characteristic 64 in which the amplitude is expanded from h1 to h2 with respect to the tone curve characteristic 62 of FIG.
  • FIG. 12 is a diagram showing a tone curve characteristic 65 in which the luminance width is expanded from w1 to w2 with respect to the tone curve characteristic 62 of FIG.
  • FIG. 13 is a diagram showing a tone curve characteristic 66 in which the tone shape is changed to a curve shape in which the tone on the high luminance side is weakened and the tone on the low luminance side is strengthened with respect to the tone curve characteristic 62 in FIG.
  • FIG. 14 shows that the curve center is given to the entire video signal by setting the luminance center to a range exceeding the input signal range (1300%) and setting the luminance width to a value of 1.0 times or more. This is an example of the tone curve characteristic 67.
  • various tone curve characteristics intended by the user can be set with a high degree of freedom using parameters such as the luminance center, luminance width, curve shape, and amplitude.
  • each parameter that is the setting information of the tone curve characteristics, and further the setting of the gain adjustment values Cr, Cg, and Cb, display a setting GUI (Graphical User Interface) on the display 41 of the operation unit 40, This GUI can be performed by the user operating the operation input unit 42 or the like.
  • Each parameter may be set by an operation input on an operation input panel provided in the main body of the imaging apparatus.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an operating room system.
  • FIG. 17 is a diagram schematically showing an overall configuration of an operating room system 5100 to which the technology according to the present disclosure can be applied.
  • the operating room system 5100 is configured by connecting a group of apparatuses installed in the operating room so as to be able to cooperate with each other via an audiovisual controller (AV Controller) 5107 and an operating room control apparatus 5109.
  • AV Controller audiovisual controller
  • FIG. 17 As an example, various apparatus groups 5101 for endoscopic surgery, a ceiling camera 5187 provided on the ceiling of the operating room and imaging the operator's hand, and an operating room provided on the operating room ceiling.
  • An operating field camera 5189 that images the entire situation, a plurality of display devices 5103A to 5103D, a recorder 5105, a patient bed 5183, and an illumination 5191 are illustrated.
  • the device group 5101 belongs to an endoscopic surgery system 5113 described later, and includes an endoscope, a display device that displays an image captured by the endoscope, and the like.
  • Each device belonging to the endoscopic surgery system 5113 is also referred to as a medical device.
  • the display devices 5103A to 5103D, the recorder 5105, the patient bed 5183, and the illumination 5191 are devices provided in an operating room, for example, separately from the endoscopic surgery system 5113.
  • These devices that do not belong to the endoscopic surgery system 5113 are also referred to as non-medical devices.
  • the audiovisual controller 5107 and / or the operating room control device 5109 controls the operations of these medical devices and non-medical devices in cooperation with each other.
  • the audiovisual controller 5107 comprehensively controls processing related to image display in medical devices and non-medical devices.
  • the device group 5101, the ceiling camera 5187, and the surgical field camera 5189 have a function of transmitting information to be displayed during surgery (hereinafter also referred to as display information). It may be a device (hereinafter also referred to as a source device).
  • Display devices 5103A to 5103D can be devices that output display information (hereinafter also referred to as output destination devices).
  • the recorder 5105 may be a device that corresponds to both a transmission source device and an output destination device.
  • the audiovisual controller 5107 controls the operation of the transmission source device and the output destination device, acquires display information from the transmission source device, and transmits the display information to the output destination device for display or recording.
  • the display information includes various images captured during the operation, various types of information related to the operation (for example, patient physical information, past examination results, information on a surgical procedure, and the like).
  • the audiovisual controller 5107 can transmit information about the image of the surgical site in the patient's body cavity captured by the endoscope from the device group 5101 as display information.
  • information about the image at hand of the surgeon captured by the ceiling camera 5187 can be transmitted from the ceiling camera 5187 as display information.
  • information about an image showing the entire operating room imaged by the operating field camera 5189 can be transmitted from the operating field camera 5189 as display information.
  • the audiovisual controller 5107 acquires information about an image captured by the other device from the other device as display information. May be.
  • information about these images captured in the past is recorded by the audiovisual controller 5107 in the recorder 5105.
  • the audiovisual controller 5107 can acquire information about the image captured in the past from the recorder 5105 as display information.
  • the recorder 5105 may also record various types of information related to surgery in advance.
  • the audiovisual controller 5107 displays the acquired display information (that is, images taken during the operation and various information related to the operation) on at least one of the display devices 5103A to 5103D that are output destination devices.
  • the display device 5103A is a display device that is suspended from the ceiling of the operating room
  • the display device 5103B is a display device that is installed on the wall surface of the operating room
  • the display device 5103C is installed in the operating room.
  • the display device 5103D is a mobile device (for example, a tablet PC (Personal Computer)) having a display function.
  • the operating room system 5100 may include a device outside the operating room.
  • the device outside the operating room can be, for example, a server connected to a network constructed inside or outside the hospital, a PC used by medical staff, a projector installed in a conference room of the hospital, or the like.
  • the audio-visual controller 5107 can display the display information on a display device of another hospital via a video conference system or the like for telemedicine.
  • the operating room control device 5109 comprehensively controls processing other than processing related to image display in non-medical devices.
  • the operating room control device 5109 controls the driving of the patient bed 5183, the ceiling camera 5187, the operating field camera 5189, and the illumination 5191.
  • the operating room system 5100 is provided with a centralized operation panel 5111, and the user gives an instruction for image display to the audiovisual controller 5107 via the centralized operation panel 5111, or the operating room control apparatus 5109. An instruction about the operation of the non-medical device can be given.
  • the central operation panel 5111 is configured by providing a touch panel on the display surface of the display device.
  • FIG. 18 is a diagram showing a display example of an operation screen on the centralized operation panel 5111.
  • an operation screen corresponding to a case where the operating room system 5100 is provided with two display devices as output destination devices is illustrated.
  • the operation screen 5193 is provided with a transmission source selection area 5195, a preview area 5197, and a control area 5201.
  • a transmission source device provided in the operating room system 5100 and a thumbnail screen representing display information of the transmission source device are displayed in association with each other. The user can select display information to be displayed on the display device from any of the transmission source devices displayed in the transmission source selection area 5195.
  • the preview area 5197 displays a preview of the screen displayed on the two display devices (Monitor 1 and Monitor 2) that are output destination devices.
  • four images are displayed as PinP on one display device.
  • the four images correspond to display information transmitted from the transmission source device selected in the transmission source selection area 5195. Of the four images, one is displayed as a relatively large main image, and the remaining three are displayed as a relatively small sub image. The user can switch the main image and the sub image by appropriately selecting an area in which four images are displayed.
  • a status display area 5199 is provided below the area where the four images are displayed, and the status relating to the surgery (for example, the elapsed time of the surgery, the patient's physical information, etc.) is appropriately displayed in the area. obtain.
  • a GUI (Graphical User Interface) part for displaying a GUI (Graphical User Interface) part for operating the source apparatus and a GUI part for operating the output destination apparatus are displayed.
  • the transmission source operation area 5203 is provided with GUI parts for performing various operations (panning, tilting, and zooming) on the camera in the transmission source device having an imaging function. The user can operate the operation of the camera in the transmission source device by appropriately selecting these GUI components.
  • the transmission source device selected in the transmission source selection area 5195 is a recorder (that is, in the preview area 5197, images recorded in the past are displayed on the recorder).
  • a GUI component for performing operations such as playback, stop playback, rewind, and fast forward of the image can be provided in the transmission source operation area 5203.
  • GUI parts for performing various operations are provided. Is provided. The user can operate the display on the display device by appropriately selecting these GUI components.
  • the operation screen displayed on the centralized operation panel 5111 is not limited to the example shown in the figure, and the user can use the audiovisual controller 5107 and the operating room control device 5109 provided in the operating room system 5100 via the centralized operation panel 5111. Operation input for each device that can be controlled may be possible.
  • FIG. 19 is a diagram showing an example of a state of surgery to which the operating room system described above is applied.
  • the ceiling camera 5187 and the operating field camera 5189 are provided on the ceiling of the operating room, and can photograph the state of the operator (doctor) 5181 who performs treatment on the affected part of the patient 5185 on the patient bed 5183 and the entire operating room. It is.
  • the ceiling camera 5187 and the surgical field camera 5189 may be provided with a magnification adjustment function, a focal length adjustment function, a photographing direction adjustment function, and the like.
  • the illumination 5191 is provided on the ceiling of the operating room and irradiates at least the hand of the operator 5181.
  • the illumination 5191 may be capable of appropriately adjusting the irradiation light amount, the wavelength (color) of the irradiation light, the light irradiation direction, and the like.
  • Endoscopic surgery system 5113, patient bed 5183, ceiling camera 5187, operating field camera 5189, and illumination 5191 are connected via audiovisual controller 5107 and operating room controller 5109 (not shown in FIG. 19) as shown in FIG. Are connected to each other.
  • a centralized operation panel 5111 is provided in the operating room. As described above, the user can appropriately operate these devices existing in the operating room via the centralized operating panel 5111.
  • an endoscopic surgery system 5113 includes an endoscope 5115, other surgical tools 5131, a support arm device 5141 that supports the endoscope 5115, and various devices for endoscopic surgery. And a cart 5151 on which is mounted.
  • trocars 5139a to 5139d are punctured into the abdominal wall. Then, the lens barrel 5117 of the endoscope 5115 and other surgical tools 5131 are inserted into the body cavity of the patient 5185 from the trocars 5139a to 5139d.
  • an insufflation tube 5133, an energy treatment tool 5135, and forceps 5137 are inserted into the body cavity of the patient 5185.
  • the energy treatment instrument 5135 is a treatment instrument that performs incision and detachment of a tissue, sealing of a blood vessel, and the like by high-frequency current and ultrasonic vibration.
  • the illustrated surgical tool 5131 is merely an example, and as the surgical tool 5131, for example, various surgical tools generally used in endoscopic surgery such as a lever and a retractor may be used.
  • An image of the surgical site in the body cavity of the patient 5185 taken by the endoscope 5115 is displayed on the display device 5155.
  • the surgeon 5181 performs a treatment such as excision of the affected part using the energy treatment tool 5135 and the forceps 5137 while viewing the image of the surgical part displayed on the display device 5155 in real time.
  • the pneumoperitoneum tube 5133, the energy treatment tool 5135, and the forceps 5137 are supported by an operator 5181 or an assistant during surgery.
  • the support arm device 5141 includes an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 includes joint portions 5147a, 5147b, and 5147c, and links 5149a and 5149b, and is driven by control from the arm control device 5159.
  • the endoscope 5115 is supported by the arm unit 5145, and its position and posture are controlled. Thereby, the stable position fixing of the endoscope 5115 can be realized.
  • the endoscope 5115 includes a lens barrel 5117 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 5185, and a camera head 5119 connected to the proximal end of the lens barrel 5117.
  • an endoscope 5115 configured as a so-called rigid mirror having a rigid lens barrel 5117 is illustrated, but the endoscope 5115 is configured as a so-called flexible mirror having a flexible lens barrel 5117. Also good.
  • An opening into which an objective lens is fitted is provided at the tip of the lens barrel 5117.
  • a light source device 5157 is connected to the endoscope 5115, and the light generated by the light source device 5157 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 5117, and the objective Irradiation is performed toward the observation target in the body cavity of the patient 5185 through the lens.
  • the endoscope 5115 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 5119, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU) 5153 as RAW data.
  • CCU camera control unit
  • the camera head 5119 has a function of adjusting the magnification and the focal length by appropriately driving the optical system.
  • a plurality of image sensors may be provided in the camera head 5119 in order to cope with, for example, stereoscopic viewing (3D display).
  • a plurality of relay optical systems are provided inside the lens barrel 5117 in order to guide observation light to each of the plurality of imaging elements.
  • the CCU 5153 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 5115 and the display device 5155. Specifically, the CCU 5153 performs various image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example, on the image signal received from the camera head 5119. The CCU 5153 provides the display device 5155 with the image signal subjected to the image processing. Also, the audiovisual controller 5107 shown in FIG. 17 is connected to the CCU 5153. The CCU 5153 also provides an image signal subjected to image processing to the audiovisual controller 5107.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the CCU 5153 transmits a control signal to the camera head 5119 to control the driving thereof.
  • the control signal can include information regarding imaging conditions such as magnification and focal length. Information regarding the imaging conditions may be input via the input device 5161 or may be input via the above-described centralized operation panel 5111.
  • the display device 5155 displays an image based on an image signal subjected to image processing by the CCU 5153 under the control of the CCU 5153.
  • the endoscope 5115 is compatible with high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display.
  • high-resolution imaging such as 4K (horizontal pixel number 3840 ⁇ vertical pixel number 2160) or 8K (horizontal pixel number 7680 ⁇ vertical pixel number 4320), and / or 3D display.
  • a display device 5155 capable of high-resolution display and / or 3D display can be used.
  • 4K or 8K high resolution imaging a more immersive feeling can be obtained by using a display device 5155 having a size of 55 inches or more.
  • a plurality of display devices 5155 having different resolutions and sizes may be provided depending on applications.
  • the light source device 5157 is composed of a light source such as an LED (light emitting diode), for example, and supplies the endoscope 5115 with irradiation light when photographing a surgical site.
  • a light source such as an LED (light emitting diode)
  • the arm control device 5159 is configured by a processor such as a CPU, for example, and operates according to a predetermined program to control driving of the arm portion 5145 of the support arm device 5141 according to a predetermined control method.
  • the input device 5161 is an input interface to the endoscopic surgery system 5113.
  • a user can input various information and instructions to the endoscopic surgery system 5113 via the input device 5161.
  • the user inputs various types of information related to the operation, such as the patient's physical information and information about the surgical technique, via the input device 5161.
  • the user instructs to drive the arm unit 5145 via the input device 5161 or an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 5115.
  • An instruction to drive the energy treatment instrument 5135 is input.
  • the type of the input device 5161 is not limited, and the input device 5161 may be various known input devices.
  • the input device 5161 for example, a mouse, a keyboard, a touch panel, a switch, a foot switch 5171 and / or a lever can be applied.
  • the touch panel may be provided on the display surface of the display device 5155.
  • the input device 5161 is a device worn by the user, such as a glasses-type wearable device or an HMD (Head Mounted Display), for example, and various inputs according to the user's gesture and line of sight detected by these devices. Is done.
  • the input device 5161 includes a camera capable of detecting a user's movement, and various inputs are performed according to a user's gesture and line of sight detected from an image captured by the camera.
  • the input device 5161 includes a microphone that can pick up the voice of the user, and various inputs are performed by voice through the microphone.
  • the input device 5161 is configured to be able to input various types of information without contact, so that a user belonging to the clean area (for example, an operator 5181) operates a device belonging to the unclean area without contact. Is possible.
  • a user belonging to the clean area for example, an operator 5181
  • the user can operate the device without releasing his / her hand from the surgical tool he / she has, the convenience for the user is improved.
  • the treatment instrument control device 5163 controls driving of the energy treatment instrument 5135 for tissue cauterization, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 5165 passes gas into the body cavity via the pneumothorax tube 5133.
  • the recorder 5167 is an apparatus capable of recording various types of information related to surgery.
  • the printer 5169 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the support arm device 5141 includes a base portion 5143 which is a base, and an arm portion 5145 extending from the base portion 5143.
  • the arm portion 5145 includes a plurality of joint portions 5147a, 5147b, and 5147c and a plurality of links 5149a and 5149b connected by the joint portion 5147b.
  • FIG. The structure of the arm part 5145 is shown in a simplified manner. Actually, the shape, number and arrangement of the joint portions 5147a to 5147c and the links 5149a and 5149b, the direction of the rotation axis of the joint portions 5147a to 5147c, and the like are appropriately set so that the arm portion 5145 has a desired degree of freedom. obtain.
  • the arm portion 5145 can be preferably configured to have six or more degrees of freedom. Accordingly, the endoscope 5115 can be freely moved within the movable range of the arm unit 5145, and therefore the lens barrel 5117 of the endoscope 5115 can be inserted into the body cavity of the patient 5185 from a desired direction. It becomes possible.
  • the joint portions 5147a to 5147c are provided with actuators, and the joint portions 5147a to 5147c are configured to be rotatable around a predetermined rotation axis by driving the actuators.
  • the drive of the actuator is controlled by the arm control device 5159
  • the rotation angles of the joint portions 5147a to 5147c are controlled, and the drive of the arm portion 5145 is controlled.
  • control of the position and posture of the endoscope 5115 can be realized.
  • the arm control device 5159 can control the driving of the arm unit 5145 by various known control methods such as force control or position control.
  • the arm controller 5159 appropriately controls the driving of the arm unit 5145 according to the operation input.
  • the position and posture of the endoscope 5115 may be controlled. With this control, the endoscope 5115 at the distal end of the arm portion 5145 can be moved from an arbitrary position to an arbitrary position and then fixedly supported at the position after the movement.
  • the arm unit 5145 may be operated by a so-called master slave method. In this case, the arm unit 5145 can be remotely operated by the user via the input device 5161 installed at a location away from the operating room.
  • the arm control device 5159 When force control is applied, the arm control device 5159 receives the external force from the user and moves the actuators of the joint portions 5147a to 5147c so that the arm portion 5145 moves smoothly according to the external force. You may perform what is called power assist control to drive. Accordingly, when the user moves the arm unit 5145 while directly touching the arm unit 5145, the arm unit 5145 can be moved with a relatively light force. Therefore, the endoscope 5115 can be moved more intuitively and with a simpler operation, and the convenience for the user can be improved.
  • an endoscope 5115 is supported by a doctor called a scopist.
  • the position of the endoscope 5115 can be more reliably fixed without relying on human hands, so that an image of the surgical site can be stably obtained. It becomes possible to perform the operation smoothly.
  • the arm control device 5159 is not necessarily provided in the cart 5151. Further, the arm control device 5159 does not necessarily have to be one device. For example, the arm control device 5159 may be provided in each of the joint portions 5147a to 5147c of the arm portion 5145 of the support arm device 5141, and the plurality of arm control devices 5159 cooperate to drive the arm portion 5145. Control may be realized.
  • the light source device 5157 supplies irradiation light for imaging the surgical site to the endoscope 5115.
  • the light source device 5157 is constituted by a white light source constituted by, for example, an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Adjustments can be made.
  • the laser light from each of the RGB laser light sources is irradiated onto the observation target in a time-sharing manner, and the driving of the image sensor of the camera head 5119 is controlled in synchronization with the irradiation timing, thereby corresponding to each RGB. It is also possible to take the images that have been taken in time division. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 5157 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the driving of the image sensor of the camera head 5119 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure is obtained. A range image can be generated.
  • the light source device 5157 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • narrow band imaging is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue.
  • ICG indocyanine green
  • the light source device 5157 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 20 is a block diagram illustrating an example of functional configurations of the camera head 5119 and the CCU 5153 illustrated in FIG.
  • the camera head 5119 has a lens unit 5121, an imaging unit 5123, a drive unit 5125, a communication unit 5127, and a camera head control unit 5129 as its functions.
  • the CCU 5153 includes a communication unit 5173, an image processing unit 5175, and a control unit 5177 as its functions.
  • the camera head 5119 and the CCU 5153 are connected to each other via a transmission cable 5179 so that they can communicate with each other.
  • the lens unit 5121 is an optical system provided at a connection portion with the lens barrel 5117. Observation light taken from the tip of the lens barrel 5117 is guided to the camera head 5119 and enters the lens unit 5121.
  • the lens unit 5121 is configured by combining a plurality of lenses including a zoom lens and a focus lens. The optical characteristics of the lens unit 5121 are adjusted so that the observation light is condensed on the light receiving surface of the image sensor of the imaging unit 5123. Further, the zoom lens and the focus lens are configured such that their positions on the optical axis are movable in order to adjust the magnification and focus of the captured image.
  • the imaging unit 5123 is configured by an imaging element, and is arranged at the rear stage of the lens unit 5121.
  • the observation light that has passed through the lens unit 5121 is collected on the light receiving surface of the imaging element, and an image signal corresponding to the observation image is generated by photoelectric conversion.
  • the image signal generated by the imaging unit 5123 is provided to the communication unit 5127.
  • the image pickup element constituting the image pickup unit 5123 for example, a CMOS (Complementary Metal Oxide Semiconductor) type image sensor that can perform color photographing having a Bayer array is used.
  • the imaging element for example, an element capable of capturing a high-resolution image of 4K or more may be used.
  • the image sensor that constitutes the image capturing unit 5123 is configured to have a pair of image sensors for acquiring right-eye and left-eye image signals corresponding to 3D display. By performing the 3D display, the operator 5181 can more accurately grasp the depth of the living tissue in the surgical site. Note that in the case where the imaging unit 5123 is configured as a multi-plate type, a plurality of lens units 5121 are also provided corresponding to each imaging element.
  • the imaging unit 5123 is not necessarily provided in the camera head 5119.
  • the imaging unit 5123 may be provided inside the lens barrel 5117 immediately after the objective lens.
  • the driving unit 5125 includes an actuator, and moves the zoom lens and the focus lens of the lens unit 5121 by a predetermined distance along the optical axis under the control of the camera head control unit 5129. Thereby, the magnification and focus of the image captured by the imaging unit 5123 can be adjusted as appropriate.
  • the communication unit 5127 includes a communication device for transmitting and receiving various types of information to and from the CCU 5153.
  • the communication unit 5127 transmits the image signal obtained from the imaging unit 5123 to the CCU 5153 via the transmission cable 5179 as RAW data.
  • the image signal is preferably transmitted by optical communication.
  • the surgeon 5181 performs the surgery while observing the state of the affected part with the captured image, so that a moving image of the surgical part is displayed in real time as much as possible for safer and more reliable surgery. Because it is required.
  • the communication unit 5127 is provided with a photoelectric conversion module that converts an electrical signal into an optical signal.
  • the image signal is converted into an optical signal by the photoelectric conversion module, and then transmitted to the CCU 5153 via the transmission cable 5179.
  • the communication unit 5127 receives a control signal for controlling the driving of the camera head 5119 from the CCU 5153.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the communication unit 5127 provides the received control signal to the camera head control unit 5129.
  • the control signal from the CCU 5153 may also be transmitted by optical communication.
  • the communication unit 5127 is provided with a photoelectric conversion module that converts an optical signal into an electrical signal.
  • the control signal is converted into an electrical signal by the photoelectric conversion module and then provided to the camera head control unit 5129.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus are automatically set by the control unit 5177 of the CCU 5153 based on the acquired image signal. That is, a so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 5115.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Automatic White Balance
  • the camera head control unit 5129 controls driving of the camera head 5119 based on a control signal from the CCU 5153 received via the communication unit 5127. For example, the camera head control unit 5129 controls driving of the image sensor of the imaging unit 5123 based on information indicating that the frame rate of the captured image is specified and / or information indicating that the exposure at the time of imaging is specified. For example, the camera head control unit 5129 appropriately moves the zoom lens and the focus lens of the lens unit 5121 via the drive unit 5125 based on information indicating that the magnification and focus of the captured image are designated.
  • the camera head control unit 5129 may further have a function of storing information for identifying the lens barrel 5117 and the camera head 5119.
  • the camera head 5119 can be resistant to autoclave sterilization by arranging the lens unit 5121, the imaging unit 5123, and the like in a sealed structure with high airtightness and waterproofness.
  • the communication unit 5173 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 5119.
  • the communication unit 5173 receives an image signal transmitted from the camera head 5119 via the transmission cable 5179.
  • the image signal can be suitably transmitted by optical communication.
  • the communication unit 5173 is provided with a photoelectric conversion module that converts an optical signal into an electric signal.
  • the communication unit 5173 provides the image processing unit 5175 with the image signal converted into the electrical signal.
  • the communication unit 5173 transmits a control signal for controlling the driving of the camera head 5119 to the camera head 5119.
  • the control signal may also be transmitted by optical communication.
  • the image processing unit 5175 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 5119. Examples of the image processing include development processing, high image quality processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing (electronic zoom processing). Various known signal processing is included. Further, the image processing unit 5175 performs detection processing on the image signal for performing AE, AF, and AWB.
  • the image processing unit 5175 is configured by a processor such as a CPU or a GPU, and the above-described image processing and detection processing can be performed by the processor operating according to a predetermined program. Note that when the image processing unit 5175 includes a plurality of GPUs, the image processing unit 5175 appropriately divides information related to the image signal, and performs image processing in parallel with the plurality of GPUs.
  • the control unit 5177 performs various controls relating to imaging of the surgical site by the endoscope 5115 and display of the captured image. For example, the control unit 5177 generates a control signal for controlling driving of the camera head 5119. At this time, when the imaging condition is input by the user, the control unit 5177 generates a control signal based on the input by the user. Alternatively, when the endoscope 5115 is equipped with the AE function, the AF function, and the AWB function, the control unit 5177 determines the optimum exposure value, focal length, and the distance according to the detection processing result by the image processing unit 5175. A white balance is appropriately calculated and a control signal is generated.
  • control unit 5177 causes the display device 5155 to display an image of the surgical site based on the image signal subjected to image processing by the image processing unit 5175.
  • the control unit 5177 recognizes various objects in the surgical unit image using various image recognition techniques. For example, the control unit 5177 detects the shape and color of the edge of the object included in the surgical part image, thereby removing surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 5135, and the like. Can be recognized.
  • the control unit 5177 causes various types of surgery support information to be superimposed and displayed on the image of the surgical site using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 5181, so that the surgery can be performed more safely and reliably.
  • the transmission cable 5179 connecting the camera head 5119 and the CCU 5153 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 5179, but communication between the camera head 5119 and the CCU 5153 may be performed wirelessly.
  • communication between the two is performed wirelessly, there is no need to install the transmission cable 5179 in the operating room, so that the situation where the movement of the medical staff in the operating room is hindered by the transmission cable 5179 can be solved.
  • the operating room system 5100 to which the technology according to the present disclosure can be applied has been described.
  • the medical system to which the operating room system 5100 is applied is the endoscopic operating system 5113 is described here as an example
  • the configuration of the operating room system 5100 is not limited to such an example.
  • the operating room system 5100 may be applied to an examination flexible endoscope system or a microscope operation system instead of the endoscope operation system 5113.
  • the technology according to the present disclosure can be suitably applied to tone adjustment of an image of an operation part in a body cavity of a patient imaged by an endoscope. Specifically, by setting optimal parameters according to the characteristics of the diagnostic region (digestive organ, circulatory organ, etc.), an optimal tone image can be obtained for each diagnostic region, and the observation accuracy is improved. be able to. Further, the technology according to the present disclosure is used when setting a tone intended by the user with respect to a difference in characteristics depending on an endoscope manufacturer and model. The above tone control may be performed manually by the user or automatically.
  • this technique can also take the following structures.
  • a first processing circuit unit including a tone control unit that gives a tone curve characteristic for tone adjustment to an input video signal having a linear characteristic;
  • a second process including a first curve characteristic providing unit that generates a first output video signal by applying a first output curve characteristic to the video signal processed by the first processing circuit unit.
  • a video signal processing apparatus comprising: a circuit unit.
  • the second processing circuit unit includes: The video signal processing further includes a second curve characteristic adding unit that generates a second output video signal by adding a second output curve characteristic to the video signal processed by the first processing circuit unit. apparatus.
  • the curve characteristic for the first output is either one of a curve characteristic for OETF (Optical-Electro Transfer Function) conversion and a curve characteristic for display gamma processing,
  • the tone control unit A video signal processing apparatus that creates tone curve characteristics for tone adjustment based on setting information.
  • the video signal processing apparatus wherein the setting information includes a parameter that defines a center of a range of an input signal level to which a tone curve characteristic is given.
  • the video signal processing apparatus wherein the setting information includes a parameter that defines a range of an input signal level to which a tone curve characteristic is given.
  • the video signal processing apparatus wherein the setting information includes a parameter that defines a curve shape of a tone curve characteristic.
  • the video signal processing device wherein the setting information includes a parameter that defines a variation amount of an output signal level at a center of a range of an input signal level to which a tone curve characteristic is given.
  • the tone control unit A video signal processing apparatus that creates coefficients for each color component based on the setting information, and creates the tone curve characteristics based on the coefficients for each color component and a gain adjustment value arbitrarily given for each color component.
  • the tone control unit A video signal processing apparatus that creates a coefficient common to a plurality of color components based on the setting information, and creates the tone curve characteristics based on the coefficient and a gain adjustment value arbitrarily given for each color component.
  • the tone control unit A first tone control that creates a coefficient for each color component based on the setting information and creates the tone curve characteristic based on the coefficient for each color component and a gain adjustment value arbitrarily given for each color component Function and A second tone control function for creating a coefficient common to a plurality of color components based on the setting information and creating the tone curve characteristic based on the coefficient and a gain adjustment value arbitrarily given for each color component; so, A video signal processing device configured to switch the tone control function to be executed.
  • the video signal processing device includes: A correction / color balance adjustment unit that performs correction and color balance adjustment on the signal generated by the image sensor; and the tone control unit outputs the signal output from the correction / color balance adjustment circuit to the input image.
  • Video signal processing device that processes as a signal.
  • the second processing circuit unit includes: A matrix processing unit that generates color image data by performing matrix processing on the video signal to which the tone curve characteristic is added; and detail knee that performs detail processing and knee processing of the generated color image data
  • a video signal processing device including: a processing unit, wherein the first curve characteristic imparting unit imparts the output curve characteristic to the color image data output from the detail knee processing unit.
  • the second processing circuit unit includes: A first matrix processing unit configured to generate a first color image data having a first resolution by performing a matrix process on at least the video signal to which the tone curve characteristic is given; and the first color image data
  • the first detail / knee processing unit for performing the detail processing and knee processing of the image, and the matrix processing is performed on the video signal to which the tone curve characteristic is given to generate the second color image data of the second resolution
  • a second matrix processing unit, and a second detail / knee processing unit that performs detail processing and knee processing of the generated second color image data
  • the first curve characteristic providing unit provides the first output curve characteristic to the first color image data output from the first detail / knee processing unit
  • the video signal processing device wherein the second curve characteristic imparting unit imparts the second output curve characteristic to the second color image data output from the second detail / knee processing unit.
  • the video signal processing device according to any one of (1) to (14),
  • the first color image data is HDR (High Dynamic Range) video;
  • the video signal processing device, wherein the second color image data is SDR (Standard Dynamic Range) video.
  • an imaging unit that generates an input video signal having linear characteristics
  • a first processing circuit unit including a tone control unit for imparting a tone curve characteristic for tone adjustment to the input video signal
  • An image pickup apparatus comprising: a second processing circuit unit including a first curve characteristic applying unit that generates a first output video signal by applying a first output curve characteristic.
  • the imaging apparatus includes: An imaging apparatus further comprising: a second curve characteristic providing unit that generates a second output video signal by adding a second output curve characteristic to the video signal processed by the first processing circuit unit.
  • the imaging apparatus according to (17),
  • the curve characteristic for the first output is either one of a curve characteristic for OETF (Optical-Electro Transfer Function) conversion and a curve characteristic for display gamma processing,
  • the imaging apparatus according to any one of (16) to (18),
  • the tone control unit The tone control unit An imaging apparatus that creates tone curve characteristics for tone adjustment based on setting information.
  • the imaging apparatus according to (19), The imaging apparatus, wherein the setting information includes a parameter that defines a center of a range of an input signal level to which a tone curve characteristic is given.
  • the imaging device according to any one of (19) to (23),
  • the tone control unit An imaging apparatus that creates coefficients for each color component based on the setting information, and creates the tone curve characteristics based on the coefficients for each color component and a gain adjustment value arbitrarily given for each color component.
  • the imaging apparatus according to any one of (19) to (23),
  • the tone control unit An imaging apparatus that creates a coefficient common to a plurality of color components based on the setting information, and creates the tone curve characteristics based on the coefficient and a gain adjustment value arbitrarily given for each color component.
  • the imaging device according to any one of (19) to (23),
  • the tone control unit A first tone control that creates a coefficient for each color component based on the setting information and creates the tone curve characteristic based on the coefficient for each color component and a gain adjustment value arbitrarily given for each color component Function and A second tone control function for creating a coefficient common to a plurality of color components based on the setting information and creating the tone curve characteristic based on the coefficient and a gain adjustment value arbitrarily given for each color component; so,
  • An imaging device configured to switch the tone control function to be executed.
  • the imaging device includes: A correction / color balance adjustment unit that performs correction and color balance adjustment on the signal generated by the image sensor; and the tone control unit outputs the signal output from the correction / color balance adjustment circuit to the input image.
  • An imaging device that processes signals.
  • the imaging device includes: A matrix processing unit that generates color image data by performing matrix processing on the video signal to which the tone curve characteristic is added; and detail knee that performs detail processing and knee processing of the generated color image data
  • An image pickup apparatus comprising: a processing unit, wherein the first curve characteristic imparting unit imparts the output curve characteristic to the color image data output from the detail knee processing unit.
  • the imaging apparatus includes: A first matrix processing unit configured to generate a first color image data having a first resolution by performing a matrix process on at least the video signal to which the tone curve characteristic is given; and the first color image data
  • the first detail / knee processing unit for performing the detail processing and knee processing of the image, and the matrix processing is performed on the video signal to which the tone curve characteristic is given to generate the second color image data of the second resolution
  • the first curve characteristic providing unit provides the first output curve characteristic to the first color image data output from the first detail / knee processing unit
  • the imaging apparatus according to claim 1, wherein the second curve characteristic providing unit provides the second output curve characteristic to the second color image data output from the second detail / knee processing unit.
  • the imaging apparatus according to any one of (16) to (29),
  • the first color image data is HDR (High Dynamic Range) video;
  • the imaging apparatus, wherein the second color image data is SDR (Standard Dynamic Range) video.
  • the first processing circuit unit provides a tone curve characteristic for tone adjustment to the input video signal having a linear characteristic
  • a video signal processing method in which a second processing circuit unit generates a first output video signal by giving a first output curve characteristic to the video signal processed by the first processing circuit unit.
  • the video signal processing method according to (31) above, The second processing circuit unit is A video signal processing method for generating a second output video signal by adding a second output curve characteristic to the video signal processed by the first processing circuit unit.
  • the curve characteristic for the first output is either one of a curve characteristic for OETF (Optical-Electro Transfer Function) conversion and a curve characteristic for display gamma processing,
  • the video signal processing method according to any one of (31) to (33),
  • the first processing circuit unit includes: A video signal processing method for creating a tone curve characteristic for tone adjustment based on setting information.
  • the video signal processing method according to (34) above The video signal processing method, wherein the setting information includes a parameter that defines a fluctuation amount of an output signal level at a center of an input signal level range to which a tone curve characteristic is given.
  • the video signal processing method includes: A video signal processing method in which a coefficient for each color component is created based on the setting information, and the tone curve characteristic is created based on the coefficient for each color component and a gain adjustment value arbitrarily given for each color component.
  • the video signal processing method includes: A video signal processing method in which a coefficient common to a plurality of color components is created based on the setting information, and the tone curve characteristic is created based on the coefficient and a gain adjustment value arbitrarily given for each color component.
  • the video signal processing method includes: A first tone control that creates a coefficient for each color component based on the setting information and creates the tone curve characteristic based on the coefficient for each color component and a gain adjustment value arbitrarily given for each color component Function and A second tone control function for creating a coefficient common to a plurality of color components based on the setting information and creating the tone curve characteristic based on the coefficient and a gain adjustment value arbitrarily given for each color component; so, Video signal processing method to switch the tone control function to be executed.
  • the video signal processing method includes: A video signal processing method in which correction and color balance adjustment are performed on a signal generated by an image sensor, and the resulting signal is processed as the input video signal.
  • the video signal processing method includes: At least the video signal to which the tone curve characteristic is given is subjected to matrix processing to generate color image data, and the generated color image data is subjected to detail processing and knee processing, and the resulting color image A video signal processing method for providing curve characteristics for output to data.
  • the video signal processing device includes: Matrix processing is performed on at least the video signal to which the tone curve characteristic is given to generate first color image data having a first resolution, and detail processing and knee processing of the first color image data are performed. And performing the first output curve characteristic on the first color image data.
  • Matrix processing is performed on the video signal to which the tone curve characteristic is given to generate second color image data having a second resolution, and detail processing of the generated second color image data;
  • the video signal processing method according to any one of (31) to (44),
  • the first color image data is HDR (High Dynamic Range) video;
  • the video signal processing method, wherein the second color image data is SDR (Standard Dynamic Range) video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

この装置は、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備する。

Description

映像信号処理装置、映像信号処理方法および撮像装置
 本技術は、撮像部によって生成された映像信号を処理する映像信号処理装置、映像信号処理方法および撮像装置に関する。
 撮像装置により撮影された映像信号を、最終的にユーザが意図する画の見え方(トーン)に調整するために、ディスプレイガンマやOETF(Optical-Electro Transfer Function)変換等のための標準のガンマ処理に加え、トーン調整のための任意のカーブ特性を映像信号に付与する処理が行われる。
特開2015-154307号公報
 上記のように、ディスプレイガンマやOETF(Optical-Electro Transfer Function)変換等のための標準のガンマ処理に加えて、トーン調整のための任意のカーブ特性を映像信号に付与する処理が行われる。そのため信号処理が複雑となり、最終的にユーザが意図する画の見え方(トーン)に調整することが難しい。
 本技術は、映像信号に付与される標準のカーブ特性に加えて、トーン調整のための任意のトーン・カーブ特性を付与する信号処理を容易化することのできる映像信号処理装置、映像信号処理方法および撮像装置を提供することを目的とするものである。
 上記の課題を解決するために、本技術に係る一形態の映像信号処理装置は、リニア特性 を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備する。
 上記の映像信号処理装置において、前記第2の処理回路部は、前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含むものであってよい。
 上記の映像信号処理装置において、前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、前記第2の出力用のカーブ特性がその他方であることとしてもよい。
 上記の映像信号処理装置において、前記トーンコントロール部は、設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成するものであってよい。
 上記の映像信号処理装置において、前記設定情報は、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含むものとしてよい。
 上記の映像信号処理装置において、前記設定情報は、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含むものとしてよい。
 上記の映像信号処理装置において、前記設定情報は、トーン・カーブ特性のカーブ形状を定義するパラメータを含むものとしてよい。
 上記の映像信号処理装置において、前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含むものとしてよい。
 上記の映像信号処理装置において、前記トーンコントロール部は、前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成するものであってよい。
 上記の映像信号処理装置において、前記トーンコントロール部は、前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成するものであってよい。
 上記の映像信号処理装置において、前記トーンコントロール部は、前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、実行させるトーンコントロール機能を切り替え可能に構成されたものであってよい。
 上記の映像信号処理装置において、前記第1の処理回路部は、撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理するように構成されてよい。
 上記の映像信号処理装置において、前記第2の処理回路部は、少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与するように構成されてよい。
 上記の映像信号処理装置において、前記第2の処理回路部は、少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与するものであってよい。
 上記の映像信号処理装置において、前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオであってよい。
 本技術に係る別の形態の撮像装置は、リニア特性を有する入力映像信号を生成する撮像部と、前記入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備する。
 本技術に係る別の形態の映像信号処理方法は、第1の処理回路部が、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与し、第2の処理回路部が、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成することに特徴を有する。
 以上のように、本技術によれば、最終的にユーザが意図する画の見え方(トーン)に調整することが容易になる。
本技術に係る第1の実施形態の撮像装置1の構成を示すブロック図である。 本技術に係る第2の実施形態の撮像装置1aの構成を示すブロック図である。 本技術に係る第3の実施形態の撮像システム100の構成を示すブロック図である。 トーンコントロール部の第1の構成例を示すブロック図である。 トーンコントロール部の第2の構成例を示すブロック図である。 トーンコントロール部の第3の構成例を示すブロック図である。 トーンコントロール部の第4の構成例を示すブロック図である。 トーンコントロール部の第5の構成例を示すブロック図である。 トーン・カーブ特性の設定情報である4つのパラメータを説明する図である。 図9のトーン・カーブ特性62に対して輝度中心を変化させたトーン・カーブ特性63を示す図である。 振幅を変化させたトーン・カーブ特性64を示す図である。 輝度幅を変化させたトーン・カーブ特性65を示す図である。 カーブ形状を変化させたトーン・カーブ特性66を示す図である。 ビデオ信号全体にカーブ特性を与えたトーン・カーブ特性67の例を示す図である。 複数のトーンコントロール部を用いた撮像装置の構成を示すブロック図である。 複数のトーンコントロール部を用いた撮像装置の別の構成を示すブロック図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図19に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
 以下、本技術に係る実施の形態を説明する。
 <第1の実施形態>
 図1は、本技術に係る第1の実施形態の撮像装置1の構成を示すブロック図である。
 本実施形態の撮像装置1は、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部23を含む第1の処理回路部と、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成するカーブ特性付与部26を含む第2の処理回路部とを具備する。ここで、リニア特性を有する入力映像信号は、入力光量に対して出力信号が略線形的に増大する特性を示すもので、少なくとも映像出力用のカーブ特性の付与を行う前の信号であり、欠陥補正、レンズ収差補正などの補正処理、ゲイン調整後の信号で、かつディテール・ニー処理を行う前の信号であることが好ましい。
 また、本実施形態の撮像装置1において、第1の処理回路部は、撮像素子により生成された信号に対して補正および色バランス調整を行うプリプロセッサ21とRGBゲイン調整部22をさらに具備し、トーンコントロール部23は、プリプロセッサ21とRGBゲイン調整部22により生成された信号を入力映像信号として処理するように構成される。
 以下、本実施形態の撮像装置1をさらに詳しく説明する。
 撮像装置1は、撮像のためのレンズ群を有する光学系11と、例えばCMOS(Complementary Metal-Oxide-Semiconductor)素子、CCD(Charge-Coupled Device)などの撮像素子を有する撮像部12とを備える。撮像部12は、光学系11を通して入射した光を撮像素子において光強度に応じた電気的な画素信号に変換して映像信号処理部20に供給する。
 映像信号処理部20は、プリプロセッサ21、RGBゲイン調整部22、トーンコントロール部23、マトリクス処理部24、ディテール・ニー処理部25、カーブ特性付与部26、フォーマッタ―27を有する。
 さらに、撮像装置1は、装置全体の制御を行うCPU28を有する。CPU28は操作部40との間で通信を行うことが可能である。操作部40は、ディスプレイ41および操作入力部42を備える。CPU28は、操作部40を用いてユーザより入力された指令に基づいて対応する制御を行ったり、操作部40を用いてユーザより入力された、トーン・カーブ特性の設定情報などの各種パラメータの入力を受け付ける。操作入力部42は、例えば操作キー、マウス、トラックボール、ダイヤル、レバー、タッチセンサーパネル、リモートコントローラーなどで構成されてよい。ディスプレイ41はビューファインダーであってもよい。
 映像信号処理部20の構成の説明に戻る。
 プリプロセッサ21は、撮像部12より供給された画素信号に対する欠陥補正、レンズ収差補正などの補正処理を行う。
 RGBゲイン調整部22は、マスターゲインの調整の他、ホワイトバランス調整のためのRGBゲインの制御を行う。
 トーンコントロール部23は、プリプロセッサ21およびRGBゲイン調整部22を通過した画素信号(入力映像信号)に対してトーン・カーブ特性を付与する。
 マトリクス処理部24は、トーンコントロール部23を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを生成する。
 ディテール・ニー処理部25は、カラー画像データに対するディテール処理およびニー(KNEE)補正を行う。
 カーブ特性付与部26は、ディテール・ニー処理部25を通過したカラー画像データに対して、例えばSDRのディスプレイガンマ処理、あるいはHDRのOETF(Optical-Electro Transfer Function:光電気伝達関数)変換など、映像出力用のカーブ特性の付与を行う。
 フォーマッタ―27は、カラー画像データを出力用の伝送フォーマットに変換して出力映像信号を生成する。
 本実施形態では、SDRのガンマ処理やHDRのOETF変換などのための映像出力用のカーブ特性が付与される前の、光強度に対してリニア特性を有する画素信号(入力映像信号)に対して、トーンコントロール部23にて、ユーザから与えられた設定情報に基づくトーン・カーブ特性が付与される。これにより、ユーザはSDRのディスプレイガンマ特性やHDRのOETF特性など、映像信号に対して付与される出力用のカーブ特性を意識せずにトーン・カーブ特性の設定情報を入力するだけで任意のトーン調整を行うことができ、ユーザの負荷を低減できる。このとき、まずはリニアな入力映像信号に対してトーン調整用のカーブ特性のみを付与すればよく、出力用のカーブ特性とトーン調整用のカーブ特性の付与をあわせて行う方式に比べ、より信号処理を簡素化することができる。
 <第2の実施形態>
 次に、リニア領域でトーン・カーブ特性が付与された入力映像信号から2系統の出力映像信号を同時に生成することが可能な撮像装置について説明する。ここで、2系統の出力映像信号として、第1のダイナミックレンジを有する第1のビデオと第1のビデオよりも広いダイナミックレンジである第2のダイナミックレンジを有する第2のビデオを想定する。以下、第1のダイナミックレンジを有する第1のビデオをSDRビデオ、第2のダイナミックレンジを有する第2のビデオをHDRビデオとして本技術に係る第2の実施形態を説明する。 
 図2は本技術に係る第2の実施形態の撮像装置1aの構成を示すブロック図である。
 本実施形態の撮像装置1aにおいて、第2の処理回路部は、第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成するSDRガンマ処理部26Bをさらに含む。
 以下、本実施形態の撮像装置1aをさらに詳しく説明する。
 この撮像装置1aにおける光学系11および撮像部12と、映像信号処理部20aにおけるプリプロセッサ21、RGBゲイン調整部22およびトーンコントロール部23は、第1の実施形態の映像信号処理部20の構成と同じである。
 映像信号処理部20aは、トーンコントロール部23の後段に、HDRプロセス部AおよびSDRプロセス部Bを有する。
 HDRプロセス部Aは、トーンコントロール部23にてトーン・カーブ特性が付与された映像信号からHDRビデオを生成する処理を行う。HDRプロセス部Aは、マトリクス処理部24A、ディテール・ニー処理部25A、HDR-OETF処理部26A、フォーマッタ―27Aを有する。
 マトリクス処理部24Aは、トーンコントロール部23より出力された画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを生成する。
 ディテール・ニー処理部25Aは、マトリクス処理部24Aにより生成されたカラー画像データのディテール処理およびニー処理を行う。
 HDR-OETF処理部26Aは、ディテール・ニー処理部25Aを通過したカラー画像データに対してHDR用のOETF(Optical-Electro Transfer Function:光電気伝達関数)変換のためのカーブ特性を付与する。
 フォーマッタ―27Aは、HDR-OETF処理部26Aによって生成されたカラー画像データをHDRビデオの伝送フォーマットに変換する。
 一方、SDRプロセス部Bは、解像度変換部29B、リレイティブゲイン調整部30B、マトリクス処理部24B、ディテール・ニー処理部25B、SDRガンマ処理部26B、フォーマッタ―27Bを有する。
 解像度変換部29Bは、トーンコントロール部23より供給された画素信号の解像度(例えば4K解像度)を、この供給された画素信号の解像度よりも低い解像度、例えばHDなどの解像度に変換する。
 リレイティブゲイン調整部30Bは、リレイティブゲインに基づくマスターゲインの制御、ホワイトバランス調整のためのRGBゲインの制御を行う。ここで、リレイティブゲインとは、SDRビデオのダイナミックレンジとHDRビデオのダイナミックレンジとの相関を設定する情報である。リレイティブゲインはCPU28によって設定およびその変更などが可能である。
 マトリクス処理部24Bは、リレイティブゲイン調整部30Bを通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
 ディテール・ニー処理部25Bは、カラー画像データに対するディテールの処理およびニー(KNEE)補正を行う。
 SDRガンマ処理部26Bは、ディテール・ニー処理部25Bを通過したカラー画像データに対してSDR用のガンマ処理のためのカーブ特性の付与および出力先のディスプレイ用のガンマ処理のためのカーブ特性の付与などを行う。
 フォーマッタ―27Bは、カラー画像データをSDRビデオの伝送フォーマットに変換する。
 なお、HDRビデオのダイナミックレンジはSDRビデオのダイナミックレンジよりも広い。例として、SDRビデオのダイナミックレンジを0~100%とすると、HDRビデオの輝度ダイナミックレンジは例えばHLG(ハイブリッドログガンマ)方式では、0%~1200%などである。撮像部12の出力の輝度レンジは0~1300%などである。
 以上のように構成された撮像装置1aでは、リニア特性を有する画素信号(入力信号)に対してトーンコントロール部23にて任意のトーン・カーブ特性が付与された映像信号が、HDRプロセス部AおよびSDRプロセス部Bに供給される。そしてHDRプロセス部AにてOETF変換のためのカーブ特性の付与が行われるとともに、SDRプロセス部Bにてガンマ処理のためのカーブ特性の付与が行われる。これにより、SDRのガンマ特性と、HDRのOETF特性が大きく異なる場合であっても、リニアな入力信号に対してトーン調整用のカーブ特性を付与した後の信号を、あたかも撮影時にそのような照明環境であったかのような基準信号として取り扱うことができ、HDRプロセス部AおよびSDRプロセス部Bにおいては、この基準信号に対してそれぞれSDRのガンマ特性と、HDRのOETF特性を付与することができるために、ユーザの意図するトーン調整が同等に施されたHDRビデオとSDRビデオを比較的容易な信号処理でリアルタイムで並列(例えば同時)に生成することができる。さらに、SDRのガンマ処理後の映像信号とHDRのOETF変換後の映像信号がユーザの意図する画の見え方(トーン)になるよう、それぞれの映像信号を個別にトーン調整する必要がなくなり、トーン調整のユーザの負荷を低減できる。
 <第3の実施形態>
 図3は、本技術に係る第3の実施形態の撮像システム100の構成を示すブロック図である。
 この撮像システム100は、撮像装置1bとカメラ信号処理ユニット120とで構成される。撮像装置1bは、光学系11、撮像部12、プリプロセッサ21、RGBゲイン調整部22、トーンコントロール部23および伝送部31を有する。カメラ信号処理ユニット120は、伝送部32、HDRプロセス部A、SDRプロセス部Bを有する。ここで、撮像装置1bとカメラ信号処理ユニット120は互いの伝送部31,32によって光ケーブルなどのカメラケーブル33を通じて接続される。
 この撮像システム100では、撮像装置1bのトーンコントロール部23にてトーン・カーブ特性が付与された映像信号が、伝送部31によってカメラケーブル33を通じて接続されたカメラ信号処理ユニット120に伝送される。カメラ信号処理ユニット120では、カメラケーブル33を通じて撮像装置1bより伝送されてきた映像信号が伝送部32にて受信され、HDRプロセス部AとSDRプロセス部Bに供給されてHDRビデオとSDRビデオがリアルタイムで並列(例えば同時)に生成される。
 また、トーンコントロール部は、撮像装置1bから、信号処理ユニット120の伝送部の後段側に移して、構成しても良い。
 [トーンコントロール部の構成]
 次に、本技術に係る各実施形態におけるトーンコントロール部23の構成を説明する。
 (第1の構成例)
 図4はトーンコントロール部の第1の構成例を示すブロック図である。
 このトーンコントロール部23aは、RGBなどの色成分毎のLUT(Look Up Table)51、52、53を有する。LUT(Look Up Table)51R、51G、51Bには、色成分毎の入力映像信号の値に対してトーン・カーブ特性の付与された値がテーブル構造で登録されている。あるいは、トーンコントロール部23aは、色成分毎に折れ線近似カーブを付与する構成によっても実現可能である。すなわち、このトーンコントロール部23aは、色成分毎の入力映像信号に対して色成分毎のLUT(Look Up Table)51R、51G、51Bからそれぞれトーン・カーブ特性の付与された映像信号が読み出されることによって、任意のトーン・カーブ特性の付与された映像信号が生成される。
 (第2の構成例)
 図5はトーンコントロール部の第2の構成例を示すブロック図である。
 このトーンコントロール部23bは、色成分毎の入力映像信号の値に対してトーン・カーブ特性の付与された変動分(差分)の値が、色成分毎のLUT(Look Up Table)52R、52G、52Bから読み出される。色成分毎のLUT(Look Up Table)52R、52G、52Bからそれぞれ読み出された値は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることによって任意の調整がなされ、それぞれ色成分毎の入力映像信号に加算される。これにより、入力映像信号に対して任意のトーン・カーブ特性が付与された映像信号が得られる。
 (第3の構成例)
 図6はトーンコントロール部の第3の構成例を示すブロック図である。
 このトーンコントロール部23cは、トーン・カーブ特性の設定情報に基づきトーン調整用のトーン・カーブ特性を作成する。
 すなわち、トーンコントロール部23cは、まず、色成分毎の入力映像信号の値に対して、トーン・カーブ特性の設定情報に基づき色成分毎の係数53R、53G、53Bをそれぞれ作成する。ここでトーン・カーブ特性の設定情報は、全ての色成分について共通の設定であってもよいし、色成分毎に別々の設定であってもよい。各係数53R、53G、53Bは、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって調整がなされ、それぞれに"1"が加算される。このように各色成分について生成された値が、トーン・カーブ特性の設定結果である。トーン・カーブ特性の設定結果として色成分毎に生成された値は、それぞれ対応する色成分の入力映像信号に乗算される。これにより、入力映像信号に対して任意のトーン・カーブ特性が付与される。
 (第4の構成例)
 図7はトーンコントロール部の第4の構成例を示すブロック図である。
 このトーンコントロール部23dは、入力映像信号の輝度信号(Y)を生成し、この輝度信号(Y)に対して、トーン・カーブ特性の設定情報に基づき係数55を作成する。作成された係数55は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって色成分毎の係数とされ、それぞれに"1"が加算される。このように各色成分について生成された値が、トーン・カーブ特性の設定結果である。トーン・カーブ特性の設定結果として色成分毎に生成された値は、それぞれ対応する色成分の入力映像信号に乗算される。これにより、入力映像信号に対して任意のトーン・カーブ特性が付与される。
 (第5の構成例)
 図8はトーンコントロール部の第5の構成例を示すブロック図である。
 このトーンコントロール部23eは、第3の構成例であるトーンコントロール部23cの機能と第4の構成例であるトーンコントロール部23dの機能とを複数のスイッチSW1、SW2、SW3により切り替え可能なように構成されたものである。複数のスイッチSW1、SW2、SW3は操作部40を使ってユーザから与えられた命令を受けたCPU28によって切り替えられる。複数のスイッチSW1、SW2、SW3は各々同期してA側とB側とに切り替えられる。
 各スイッチSW1、SW2、SW3がA側に切り替えられているとき、入力映像信号の輝度信号(Y)に対して、トーン・カーブ特性の設定情報に基づき係数が作成される。作成された係数は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって色成分毎の係数とされ、それぞれに"1"が加算され、それぞれ対応する色成分の入力映像信号に乗算される。このように、各スイッチSW1、SW2、SW3がA側に切り替えられているとき、トーンコントロール部23eは第4の構成例のトーンコントロール部23dと同様に動作する。
 一方、各スイッチSW1、SW2、SW3がB側に切り替えられているとき、色成分毎の入力映像信号に対して、トーン・カーブ特性の設定情報に基づき色成分毎の係数がそれぞれ作成される。各係数は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって調整がなされ、それぞれに"1"が加算され、それぞれ対応する色の入力映像信号に乗算される。これにより、トーンコントロール部23eは第3の構成例のトーンコントロール部23cと同様に動作する。
 これにより、入力映像信号に対して、色成分毎の値に基づくトーンコントロールと、輝度成分の値に基づくトーンコントロールの2種類のトーンコントロールを適宜切り替えて行うことができ、映像の見え方を切り替えることができる。
 なお、ゲイン調整値Cr、Cg、Cbは、トーン・カーブ特性とは別に色成分毎にユーザが適宜リアルタイムに設定することのできるパラメータである。ユーザは調整の結果である出力映像を見ながら、色成分毎のゲイン調整値Cr、Cg、Cbを任意に設定することができる。
 上記第3の構成例のトーンコントロール部23cおよび上記第4の構成例のトーンコントロール部23dは、トーン・カーブ特性の設定情報をもとに入力映像信号に乗じるゲインを生成する。このように算術的にトーンコントロールを行うトーンコントロール部23c、トーンコントロール部23dなどのトーンコントロール部23は、例えば、図15に示すように、第1のトーンコントロール部23A、第2のトーンコントロール部23Bとして直列に設けることが可能である。ここで、第1のトーンコントロール部23A、第2のトーンコントロール部23Bはいずれも第3の構成例のトーンコントロール部23cであってもよいし、第4の構成例のトーンコントロール部23dであってもよい。あるいは、第3の構成例のトーンコントロール部23cと第4の構成例のトーンコントロール部23dとの組み合わせであってもよい。
 さらに、図16に示すように、複数のトーンコントロール部23A、23Bのそれぞれによって生成されるゲインを合成した結果を、入力映像信号に乗じる構成を採ることも可能である。
 (トーン・カーブ特性の設定情報について)
 本実施形態では、トーン・カーブ特性の設定情報であるパラメータとして、輝度中心、輝度幅、カーブ形状および振幅が、操作部40を使ってユーザより与えられる。
 図9は、トーン・カーブ特性の設定情報のための4つのパラメータを説明する図である。
 ここで、横軸はトーンコントロール部23への入力信号レベル、縦軸はトーンコントロール部23からの出力信号レベルである。入力信号レベルおよび出力信号レベルの各値はSDRビデオのダイナミックレンジを0-100%とした場合の%値によって与えられる。
 同図において、実線の直線61は、トーン・カーブ特性が与えられる前のリニア特性を示す。点線62は与えられたトーン・カーブ特性を示す。輝度中心は、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心である。例えば、図9の例では、90%の入力信号レベルが輝度中心として設定された場合を示している。輝度幅は、トーン・カーブ特性が与えられる入力信号レベルの範囲を示す。カーブ形状はトーン・カーブ特性のカーブ形状を定義するパラメータである。例えば、高輝度側のトーンを強める、低輝度側のトーンを弱めるといった非対称のトーン・カーブ特性などを定義することが可能である。振幅は輝度中心での出力レベルの変動量によって与えられる。
 図10は、図9のトーン・カーブ特性62に対して輝度中心を90%位置から105%位置に変化させたときのトーン・カーブ特性63を示す図である。
 図11は、図9のトーン・カーブ特性62に対して振幅をh1からh2に拡げたトーン・カーブ特性64を示す図である。
 図12は、図9のトーン・カーブ特性62に対して輝度幅をw1からw2に拡げたトーン・カーブ特性65を示す図である。
 図13は、図9のトーン・カーブ特性62に対して高輝度側のトーンを弱め、低輝度側のトーンを強めたカーブ形状に変更したトーン・カーブ特性66を示す図である。
 さらに、図14は、輝度中心を入力信号のレンジ(1300%)を越えた範囲に設定するとともに、輝度幅を1.0倍以上の値に設定することによって、ビデオ信号全体にカーブ特性を与えたトーン・カーブ特性67の例である。
 以上のように、本実施形態では、輝度中心、輝度幅、カーブ形状および振幅などの各パラメータを用いて、ユーザが意図する様々なトーン・カーブ特性を高い自由度で設定することができる。
 これらトーン・カーブ特性の設定情報である各パラメータの設定、さらには、ゲイン調整値Cr、Cg、Cbの設定は、操作部40のディスプレイ41に設定用のGUI(Graphical User Interface)を表示させ、このGUIに対してユーザが操作入力部42を操作することなどによって行うことが可能である。撮像装置の本体に設けられた操作入力パネルに対する操作入力によって各パラメータの設定が行われてもよい。
 <<応用例>>
 本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
 図17は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図17を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
 手術室には、様々な装置が設置され得る。図17では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
 ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
 視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
 具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
 あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
 視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
 また、図17では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
 手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
 手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
 図18は、集中操作パネル5111における操作画面の表示例を示す図である。図18では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図18を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
 発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
 プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
 コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
 また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
 なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
 図19は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
 内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図17に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図19では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
 以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
 内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
 内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
 (支持アーム装置)
 支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
 (内視鏡)
 内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
 鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
 カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
 なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
 (カートに搭載される各種の装置)
 CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図17に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
 表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
 光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
 アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
 入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
 入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
 あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
 処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
 以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
 (支持アーム装置)
 支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図19では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
 関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
 例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
 また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
 ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
 なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
 (光源装置)
 光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
 また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
 また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
 (カメラヘッド及びCCU)
 図20を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図20は、図19に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
 図20を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
 まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
 撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
 撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
 また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
 また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
 駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
 通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
 また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
 なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
 カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
 なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
 次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
 また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
 画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
 画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
 また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
 カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
 ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
 以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
 本開示に係る技術は、以上説明した構成のうち、内視鏡によって撮像された患者の体腔内の術部の画像のトーン調整に好適に適用され得る。具体的には、診断領域(消化器、循環器など)の特性に応じて最適なパラメータを設定することによって、診断領域毎に最適なトーンの画像を得ることができ、観察精度の向上を図ることができる。
 また、本開示に係る技術は、内視鏡のメーカ、機種による特性の違いに対して、ユーザが意図するトーンを設定する場合に用いられる。
 以上のトーンコントロールは、ユーザがマニュアル操作で行われてもよいし、自動で行われてもよい。
 なお、本技術は以下のような構成もとることができる。
(1)リニア特性 を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
 前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部と
 を具備する映像信号処理装置。
(2)上記(1)に記載の映像信号処理装置であって、
 前記第2の処理回路部は、
 前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含む
 映像信号処理装置。
(3)上記(2)に記載の映像信号処理装置であって、
 前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
 前記第2の出力用のカーブ特性がその他方である
 映像信号処理装置。
(4)上記(1)から(3)のいずれかに記載の映像信号処理装置であって、
 前記トーンコントロール部は、
 設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
 映像信号処理装置。
(5)上記(4)に記載の映像信号処理装置であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
 映像信号処理装置。
(6)上記(4)に記載の映像信号処理装置であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
 映像信号処理装置。
(7)上記(4)に記載の映像信号処理装置であって、
 前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
 映像信号処理装置。
(8)上記(4)に記載の映像信号処理装置であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
 映像信号処理装置。
(9)上記(4)から(8)のいずれかに記載の映像信号処理装置であって、
 前記トーンコントロール部は、
 前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
 映像信号処理装置。
(10)上記(4)から(8)のいずれかに記載の映像信号処理装置であって、
 前記トーンコントロール部は、
 前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
 映像信号処理装置。
(11)上記(4)から(8)のいずれかに記載の映像信号処理装置であって、
 前記トーンコントロール部は、
 前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
 前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
 実行させるトーンコントロール機能を切り替え可能に構成された
 映像信号処理装置。
(12)上記(1)から(11)のいずれかに記載の映像信号処理装置であって、
 前記第1の処理回路部は、
 撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理する
 映像信号処理装置。
(13)上記(1)から(12)のいずれかに記載の映像信号処理装置であって、
 前記第2の処理回路部は、
 少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与する
 映像信号処理装置。
(14)上記(1)から(12)のいずれかに記載の映像信号処理装置であって、
 前記第2の処理回路部は、
 少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、
 前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
 前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
 映像信号処理装置。
(15)上記(1)から(14)のいずれかに記載の映像信号処理装置であって、
 前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
 前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
 映像信号処理装置。
(16)リニア特性を有する入力映像信号を生成する撮像部と、
 前記入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
 第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部と
 を具備する撮像装置。
(17)上記(16)に記載の撮像装置であって、
 前記第2の処理回路部は、
 前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含む
 撮像装置。
(18)上記(17)に記載の撮像装置であって、
 前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
 前記第2の出力用のカーブ特性がその他方である
 撮像装置。
(19)上記(16)から(18)のいずれかに記載の撮像装置であって、
 前記トーンコントロール部は、
 前記トーンコントロール部は、
 設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
 撮像装置。
(20)上記(19)に記載の撮像装置であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
 撮像装置。
(21)上記(19)に記載の撮像装置であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
 撮像装置。
(22)上記(19)に記載の撮像装置であって、
 前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
 撮像装置。
(23)上記(19)に記載の撮像装置であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
 撮像装置。
(24)上記(19)から(23)のいずれかに記載の撮像装置であって、
 前記トーンコントロール部は、
 前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
 撮像装置。
(25)上記(19)から(23)のいずれかに記載の撮像装置であって、
 前記トーンコントロール部は、
 前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
 撮像装置。
(26)上記(19)から(23)のいずれかに記載の撮像装置であって、
 前記トーンコントロール部は、
 前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
 前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
 実行させるトーンコントロール機能を切り替え可能に構成された
 撮像装置。
(27)上記(19)から(23)のいずれかに記載の撮像装置であって、
 前記第1の処理回路部は、
 撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理する
 撮像装置。
(28)上記(16)から(27)のいずれかに記載の撮像装置であって、
 前記第2の処理回路部は、
 少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与する
 撮像装置。
(29)上記(16)から(28)のいずれかに記載の撮像装置であって、
 前記第2の処理回路部は、
 少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、
 前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
 前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
 撮像装置。
(30)上記(16)から(29)のいずれかに記載の撮像装置であって、
 前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
 前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
 撮像装置。
(31)第1の処理回路部が、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与し、
 第2の処理回路部が、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する
 映像信号処理方法。
(32)上記(31)に記載の映像信号処理方法であって、
 前記第2の処理回路部が、
 前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する
 映像信号処理方法。
(33)上記(32)に記載の映像信号処理方法であって、
 前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
 前記第2の出力用のカーブ特性がその他方である
 映像信号処理方法。
(34)上記(31)から(33)のいずれかに記載の映像信号処理方法であって、
 前記第1の処理回路部は、
 設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
 映像信号処理方法。
(35)上記(34)に記載の映像信号処理方法であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
 映像信号処理方法。
(36)上記(34)に記載の映像信号処理方法であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
 映像信号処理方法。
(37)上記(34)に記載の映像信号処理方法であって、
 前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
 映像信号処理方法。
(38)上記(34)に記載の映像信号処理方法であって、
 前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
 映像信号処理方法。
(39)上記(34)から(38)のいずれかに記載の映像信号処理方法であって、
 前記第1の処理回路部は、
 前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
 映像信号処理方法。
(40)上記(34)から(38)のいずれかに記載の映像信号処理方法であって、
 前記第1の処理回路部は、
 前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
 映像信号処理方法。
(41)上記(34)から(38)のいずれかに記載の映像信号処理方法であって、
 前記第1の処理回路部は、
 前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
 前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
 実行させるトーンコントロール機能を切り替える
 映像信号処理方法。
(42)上記(31)から(41)のいずれかに記載の映像信号処理方法であって、
 前記第1の処理回路部は、
 撮像素子により生成された信号に対して補正および色バランス調整を行い、この結果得た信号を前記入力映像信号として処理する
 映像信号処理方法。
(43)上記(31)から(42)のいずれかに記載の映像信号処理方法であって、
 前記第2の処理回路部は、
 少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成し、前記生成されたカラー画像データのディテール処理およびニー処理を行い、この結果得たカラー画像データに対して前記出力用のカーブ特性を付与する
 映像信号処理方法。
(44)上記(31)から(42)のいずれかに記載の映像信号処理装置であって、
 前記第2の処理回路部は、
 少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成し、前記第1のカラー画像データのディテール処理およびニー処理を行った後、前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
 一方、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成し、前記生成された第2のカラー画像データのディテール処理およびニー処理を行った後、前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
 映像信号処理方法。
(45)上記(31)から(44)のいずれかに記載の映像信号処理方法であって、
 前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
 前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
 映像信号処理方法。
 A…HDRプロセス部
 B…SDRプロセス部
 1…撮像装置
 11…光学系
 12…撮像部
 20…映像信号処理部
 21…プリプロセッサ
 22…RGBゲイン調整部
 23…トーンコントロール部
 24…マトリクス処理部
 25…ディテール・ニー処理部
 26…カーブ特性付与部
 28…CPU

Claims (17)

  1.  リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
     前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部と
     を具備する映像信号処理装置。
  2.  請求項1に記載の映像信号処理装置であって、
     前記第2の処理回路部は、
     前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含む
     映像信号処理装置。
  3.  請求項2に記載の映像信号処理装置であって、
     前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
     前記第2の出力用のカーブ特性がその他方である
     映像信号処理装置。
  4.  請求項3に記載の映像信号処理装置であって、
     前記トーンコントロール部は、
     設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
     映像信号処理装置。
  5.  請求項4に記載の映像信号処理装置であって、
     前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
     映像信号処理装置。
  6.  請求項4に記載の映像信号処理装置であって、
     前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
     映像信号処理装置。
  7.  請求項4に記載の映像信号処理装置であって、
     前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
     映像信号処理装置。
  8.  請求項4に記載の映像信号処理装置であって、
     前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
     映像信号処理装置。
  9.  請求項4に記載の映像信号処理装置であって、
     前記トーンコントロール部は、
     前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
     映像信号処理装置。
  10.  請求項4に記載の映像信号処理装置であって、
     前記トーンコントロール部は、
     前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
     映像信号処理装置。
  11.  請求項4に記載の映像信号処理装置であって、
     前記トーンコントロール部は、
     前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
     前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
     実行させるトーンコントロール機能を切り替え可能に構成された
     映像信号処理装置。
  12.  請求項1に記載の映像信号処理装置であって、
     前記第1の処理回路部は、
     撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理する
     映像信号処理装置。
  13.  請求項1に記載の映像信号処理装置であって、
     前記第2の処理回路部は、
     少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与する
     映像信号処理装置。
  14.  請求項2に記載の映像信号処理装置であって、
     前記第2の処理回路部は、
     少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、
     前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
     前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
     映像信号処理装置。
  15.  請求項14に記載の映像信号処理装置であって、
     前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
     前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
     映像信号処理装置。
  16.  リニア特性を有する入力映像信号を生成する撮像部と、
     前記入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
     第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部と
     を具備する撮像装置。
  17.  第1の処理回路部が、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与し、
     第2の処理回路部が、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する
     映像信号処理方法。
PCT/JP2019/003806 2018-03-02 2019-02-04 映像信号処理装置、映像信号処理方法および撮像装置 WO2019167555A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19761579.2A EP3761637B1 (en) 2018-03-02 2019-02-04 Video-signal-processing device, video-signal-processing method, and imaging device
JP2020502889A JP7235035B2 (ja) 2018-03-02 2019-02-04 映像信号処理装置、映像信号処理方法および撮像装置
US16/969,469 US11394942B2 (en) 2018-03-02 2019-02-04 Video signal processing apparatus, video signal processing method, and image-capturing apparatus
US17/842,918 US11729519B2 (en) 2018-03-02 2022-06-17 Video signal processing apparatus, video signal processing method, and image-capturing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018037906 2018-03-02
JP2018-037906 2018-03-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/969,469 A-371-Of-International US11394942B2 (en) 2018-03-02 2019-02-04 Video signal processing apparatus, video signal processing method, and image-capturing apparatus
US17/842,918 Continuation US11729519B2 (en) 2018-03-02 2022-06-17 Video signal processing apparatus, video signal processing method, and image-capturing apparatus

Publications (1)

Publication Number Publication Date
WO2019167555A1 true WO2019167555A1 (ja) 2019-09-06

Family

ID=67805269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003806 WO2019167555A1 (ja) 2018-03-02 2019-02-04 映像信号処理装置、映像信号処理方法および撮像装置

Country Status (4)

Country Link
US (2) US11394942B2 (ja)
EP (1) EP3761637B1 (ja)
JP (1) JP7235035B2 (ja)
WO (1) WO2019167555A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090541A1 (ja) * 2019-11-07 2021-05-14 ソニー株式会社 画像処理システム、情報処理装置、撮像装置、画像処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11902669B1 (en) * 2022-09-09 2024-02-13 Gopro, Inc. Adaptive acquisition control

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154307A (ja) 2014-02-17 2015-08-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2016197861A (ja) * 2014-05-16 2016-11-24 パナソニックIpマネジメント株式会社 変換方法および変換装置
JP2016225965A (ja) * 2015-05-26 2016-12-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2018007246A (ja) * 2016-06-27 2018-01-11 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP2018014766A (ja) * 2017-10-25 2018-01-25 ソニー株式会社 撮像システムおよび撮像方法
JP2018033164A (ja) * 2017-10-25 2018-03-01 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
RU2720446C2 (ru) * 2015-12-17 2020-04-29 Конинклейке Филипс Н.В. Простое, но гибкое кодирование динамического диапазона

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154307A (ja) 2014-02-17 2015-08-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2016197861A (ja) * 2014-05-16 2016-11-24 パナソニックIpマネジメント株式会社 変換方法および変換装置
JP2016225965A (ja) * 2015-05-26 2016-12-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2018007246A (ja) * 2016-06-27 2018-01-11 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP2018014766A (ja) * 2017-10-25 2018-01-25 ソニー株式会社 撮像システムおよび撮像方法
JP2018033164A (ja) * 2017-10-25 2018-03-01 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090541A1 (ja) * 2019-11-07 2021-05-14 ソニー株式会社 画像処理システム、情報処理装置、撮像装置、画像処理装置
EP4057270A4 (en) * 2019-11-07 2022-12-28 Sony Group Corporation IMAGE PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, IMAGING DEVICE AND IMAGE PROCESSING DEVICE

Also Published As

Publication number Publication date
US11729519B2 (en) 2023-08-15
US20220311983A1 (en) 2022-09-29
EP3761637B1 (en) 2023-06-28
US11394942B2 (en) 2022-07-19
EP3761637A1 (en) 2021-01-06
JP7235035B2 (ja) 2023-03-08
US20210014466A1 (en) 2021-01-14
JPWO2019167555A1 (ja) 2021-02-25
EP3761637A4 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
WO2018079259A1 (ja) 信号処理装置および方法、並びにプログラム
JP7095693B2 (ja) 医療用観察システム
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
KR20190109406A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
EP3357235B1 (en) Information processing apparatus, multi-camera system and non-transitory computer-readable medium
JP2019004978A (ja) 手術システムおよび手術用撮像装置
WO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
WO2020213296A1 (ja) 信号処理装置、信号処理方法、プログラム及び指向性可変用システム
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JP7063321B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
WO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2021010020A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761579

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502889

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019761579

Country of ref document: EP