WO2017119039A1 - 撮像システム、撮像方法およびプログラム - Google Patents
撮像システム、撮像方法およびプログラム Download PDFInfo
- Publication number
- WO2017119039A1 WO2017119039A1 PCT/JP2016/005218 JP2016005218W WO2017119039A1 WO 2017119039 A1 WO2017119039 A1 WO 2017119039A1 JP 2016005218 W JP2016005218 W JP 2016005218W WO 2017119039 A1 WO2017119039 A1 WO 2017119039A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- dynamic range
- video
- sdr
- imaging system
- imaging
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000003384 imaging method Methods 0.000 claims description 168
- 238000005516 engineering process Methods 0.000 description 20
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000003127 knee Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Definitions
- the present technology relates to an imaging system, an imaging method, and a program that can generate two types of videos having different dynamic ranges from pixel signals obtained by imaging with an imaging device.
- HDR High Dynamic Range
- SDR Standard Dynamic Range
- Patent Document 1 discloses a method for encoding HDR video and LDR video together.
- This technique is intended to solve various problems in the case where a plurality of videos having different dynamic ranges, such as HDR video and SDR video, are simultaneously generated from pixel signals imaged by an imaging unit.
- an imaging system includes a first video having a first dynamic range from the pixel signal generated by an imaging unit that captures a subject and obtains a pixel signal.
- a processing circuit is provided for generating a signal and generating a second video signal having a second dynamic range having a correlation with the first dynamic range.
- HDR video and SDR video can be simultaneously generated by the processing circuit from the pixel signal obtained by the imaging unit.
- the processing circuit since the processing circuit generates a second video signal having a second dynamic range having a correlation with the first dynamic range of the first video signal from the pixel signal, the first adjustment is performed by iris adjustment.
- the apparent brightness of the video signal is changed, an equivalent change can be given to the apparent brightness of the second video signal created simultaneously with the first video signal.
- the processing circuit sets the second dynamic range based on the first dynamic range based on information for setting a correlation between the first dynamic range and the second dynamic range. It may be configured.
- the processing circuit correlates a ratio between a first gain for the pixel signal for generating the first video signal and a second gain for the pixel signal for generating the second video signal. It may be configured to set based on information for setting.
- the processing circuit may be configured to generate the first video signal having the first dynamic range from a signal obtained by performing gamma signal processing on the pixel signal.
- the first video signal may be SDR (Standard Dynamic Range) video
- the second video signal may be HDR (High Dynamic Range) video.
- the imaging system according to the present technology may further include a display for displaying the first video signal generated by the processing circuit.
- the display may be a viewfinder.
- the processing circuit may perform processing for displaying a correlation between the first dynamic range and the second dynamic range on the display based on information for setting the correlation.
- the imaging system may perform an iris adjustment process based on an iris adjustment input when the first video signal is displayed on the display.
- An imaging method that is another aspect of the present technology is: The imaging unit images a subject and generates a pixel signal, A processing circuit generates a first video signal having a first dynamic range from the pixel signal generated by the imaging unit, and a second dynamic range having a correlation with the first dynamic range. Generate a video signal.
- a program that is another aspect of the present technology is: A first video signal having a first dynamic range is generated from the pixel signal generated by an imaging unit that images a subject and obtains a pixel signal, and a second dynamic having a correlation with the first dynamic range is generated.
- An imaging device which is still another aspect according to the present technology, An imaging unit that captures a subject and obtains a pixel signal; A first video signal having a first dynamic range is generated from the pixel signal generated by the imaging unit, and a second video signal having a second dynamic range having a correlation with the first dynamic range is generated. And a processing circuit to be generated.
- FIG. 1 is a block diagram showing an overall hardware configuration of an imaging system 1 of a first embodiment according to the present technology.
- FIG. 2 is a block diagram illustrating a functional configuration of an HDR process unit 22 and an SDR process unit 23 in the imaging system 1 of FIG. 1. It is a figure which shows the relationship of the dynamic range of SDR video at the time of 1: 1 setting, and HDR video. It is a figure which shows the relationship of the dynamic range of each of SDR video and HDR video at the time of HDR-contrast 2 time setting. It is a figure which shows the relationship of the dynamic range of each SDR video and HDR video at the time of SDR-D-Range-Gamma350% setting.
- FIG. 1 is a block diagram illustrating an overall hardware configuration of the imaging system according to the first embodiment of the present technology.
- the imaging system 1 includes an imaging device 10 and a camera control unit 20.
- the imaging device 10 and the camera control unit 20 are connected through a camera cable 30 such as an optical fiber.
- the imaging apparatus 10 includes an optical system 11 having a lens group for imaging, an imaging element 12, a preprocessor 13, a transmission unit 14, and a CPU 15.
- the image sensor 12 is an image sensor such as a CMOS (Complementary Metal-Oxide-Semiconductor) element or a CCD (Charge-Coupled Device), and converts the light captured through an optical system (not shown) into an electrical pixel signal corresponding to the light intensity. Convert.
- CMOS Complementary Metal-Oxide-Semiconductor
- CCD Charge-Coupled Device
- the “imaging unit” corresponds to the imaging device 10 described above.
- the preprocessor 13 performs signal correction processing such as defect correction and lens aberration correction on the pixel signal obtained by the image sensor 12.
- the transmission unit 14 performs a process of transmitting the pixel signal output from the preprocessor 13 to the camera control unit 20 through the camera cable 30. That is, the pixel signal transmitted to the camera control unit 20 by the transmission unit 14 is a RAW image signal that has not been subjected to processing relating to gain or dynamic range, debayer processing, gamma signal processing, or the like.
- the camera control unit 20 includes a transmission unit 21, an HDR process unit 22, an SDR process unit 23, and a CPU 24.
- the transmission unit 21 receives the pixel signal transmitted from the imaging device 10 through the camera cable 30 and supplies it to the HDR process unit 22 and the SDR process unit 23.
- the HDR process unit 22 performs processing for generating HDR video from the pixel signal supplied from the transmission unit 21.
- the SDR process unit 23 performs processing for generating SDR video from the pixel signal supplied from the transmission unit 21.
- the HDR process unit 22 and the SDR process unit 23 are configured by one or a plurality of integrated circuits, and correspond to a processing circuit in the configuration of the present technology.
- the CPU 24 is a controller that controls each unit in the camera control unit 20.
- the CPU 24 can communicate with the operation device 40 connected via a communication path 50 such as a LAN (Local Area Network).
- the operation device 40 includes a display 41, an operation input unit 42, and a control unit 43.
- the operation device 40 may be configured by an information processing device such as a personal computer, or may be configured by a dedicated control panel or the like made for camera control.
- the operation input unit 42 may be configured with, for example, operation keys, a mouse, a trackball, a dial, a lever, a touch sensor panel, a remote controller, and the like.
- the control unit 43 of the operation device 40 is configured by a circuit such as a CPU, receives various control commands and setting information from a producer such as VE (Video Engineer), and communicates with the CPU 24 of the camera control unit 20 via the communication path 50. Communicate between.
- a producer such as VE (Video Engineer)
- FIG. 2 is a block diagram showing a functional configuration of the HDR process unit 22 and the SDR process unit 23.
- the HDR process unit 22 includes an HDR gain adjustment unit 221, a matrix processing unit 223, a black level correction unit 225, a detail processing unit 227, an OETF unit 228, and a formatter 229.
- the HDR gain adjustment unit 221 controls the RGB gain for white balance adjustment in addition to the master gain control.
- the matrix processing unit 223 obtains color image data by performing debayer processing, linear matrix processing, and the like on the pixel signal that has passed through the HDR gain adjustment unit 221.
- the black level correction unit 225 corrects the black level of the color image data.
- the detail processing unit 227 performs detail processing of color image data.
- the OETF unit 228 performs tone compression on the color image data using HDR OETF (Optical-Electro Transfer Function) and performs gamma signal processing.
- the formatter 229 converts the color image data that has passed through the OETF unit 228 into an HDR video transmission format.
- the SDR processing unit 23 includes a resolution conversion unit 230, an SDR gain adjustment unit 231, a matrix processing unit 233, a black level correction unit 235, a knee detail processing unit 237, a gamma processing unit 238, and a formatter 239.
- the resolution converter 230 converts the resolution (for example, 4K resolution) of the pixel signal transmitted from the imaging device 10 into a resolution such as HD.
- the SDR gain adjustment unit 231 performs master gain control based on the relative gain and RGB gain control for white balance adjustment.
- the relative gain is information for setting a correlation between the dynamic range of the SDR video (first dynamic range) and the dynamic range of the HDR video (second dynamic range).
- the SDR gain adjustment unit 231 adjusts the ratio of the master gain of the SDR gain adjustment unit 231 to the master gain of the HDR gain adjustment unit 221 based on this relative gain.
- the relative gain is set by the CPU 24 for the SDR gain adjustment unit 231.
- the matrix processing unit 233 obtains color image data by performing debayer processing, linear matrix processing, and the like on the pixel signal that has passed through the SDR gain adjustment unit 231.
- the black level correction unit 235 corrects the black level of the color image data.
- the knee detail processing unit 237 performs knee (KNEE) correction and detail processing on the color image data.
- the gamma processing unit 238 performs gamma processing for the dynamic range for SDR set in the SDR gain adjustment unit 231 and gamma processing for display.
- the formatter 239 converts the color image data into an SDR video transmission format.
- HDR video In typical HDR video production, the pixel signals obtained by the imaging device are recorded as linearly as possible in a wide dynamic manner, and by finely adjusting the video signal so that it is suitable for viewing in post-production. , HDR video of the brightness intended by the producer is obtained.
- HDR live broadcasting such as sports broadcasting
- HDR video must be created in real time. Therefore, some luminance standard is required for HDR photography, but such a standard does not exist yet.
- the imaging system of the present embodiment can solve at least the above problems.
- the luminance dynamic range of HDR video is wider than that of SDR video.
- the luminance dynamic range of the SDR video is 0 to 100%
- the luminance dynamic range of the HDR video is, for example, 100% to 1300% or 100% to 10000%.
- the luminance range of the output of the imaging device 10 is 0 to 600%.
- the HDR process unit 22 and the SDR process unit 23 provided in the camera control unit 20 can simultaneously generate the HDR video and the SDR video from the pixel signal transmitted from the imaging device 10. it can. That is, the pixel signal transmitted from the imaging device 10 to the camera control unit 20 through the camera cable 30 is supplied to the HDR process unit 22 and the SDR process unit 23 provided in the camera control unit 20, respectively. As a result, the HDR process unit 22 generates an HDR video and the SDR process unit 23 generates an SDR video.
- the SDR gain adjusting unit 231 of the camera control unit 20 has a function of changing the ratio of the master gain on the SDR process side to the master gain on the HDR process side based on the relative range given from the CPU 24.
- the relative range is information for setting a correlation between the dynamic range of the SDR video and the dynamic range of the HDR video.
- the relative range is information that defines how many times the dynamic range of the HDR video is set with respect to the dynamic range of the SDR video.
- the ratio between the master gain on the HDR process side and the master gain on the SDR process side is set in this way, the dynamic range of the HDR video having a correlation with the dynamic range of the SDR video can be obtained.
- the upper limit of the dynamic range of SDR video is given by the standard white (Diffuse-White) selected by the producer.
- the standard white (Diffuse-White) of the SDR video by selecting the reference white (Diffuse-White) of the SDR video, based on the correlation based on the relative range, the upper limit reference of the dynamic range of the HDR video (the HDR video The reference white (Diffuse-White) is also determined.
- the relative range should be appropriately selected according to the shooting environment such as daytime, nighttime, indoors, outdoors, in the studio, in fine weather, and in rainy weather. Therefore, a plurality of types of relative ranges associated with various shooting environments are prepared.
- a method of preparing a plurality of types of relative ranges associated with the shooting environment a method of comparing the apparent brightness of SDR video and HDR video simultaneously output from the camera control unit 20 with human eyes is conceivable. .
- Each time the value of the relative range is changed the SDR video and the HDR video are compared, and the relative range in which the apparent brightness of the SDR video and the HDR video is close may be determined as the optimum reactive range for the shooting environment.
- the optimal range is set for the shooting environment, when the brightness of the SDR video is changed by iris adjustment, the brightness change intended by the producer of the HDR video is also given to the appearance of the HDR video. Can do.
- FIG. 3 is a diagram showing the relationship between the dynamic range of the SDR video and the HDR video at the time of 1: 1 setting.
- the OETF gamma on the HDR video side and the display gamma on the SDR video side so that the relationship between the dynamic ranges of the SDR video and the HDR video can be easily understood. The relationship before applying is shown.
- a 4K resolution pixel signal (Linear Plain Video) is transmitted from the imaging device 10 to the camera control unit 20.
- the dynamic range of the image sensor is, for example, 1300%, where the dynamic range of SDR video is 100%.
- FIG. 4 is a diagram showing the relationship between the dynamic ranges of the SDR video and the HDR video at the time of setting HDR-contrast twice.
- the master gain of the SDR gain adjustment unit 231 is set to 1/2 with respect to the master gain of the HDR gain adjustment unit 221 by the relative range.
- the dynamic range of the HDR video is twice that of the SDR video, and the contrast of the HDR video with respect to the SDR video is doubled.
- the SDR processing unit 23 can also generate SDR video from a signal obtained by applying gamma to the pixel signal.
- the reference white Diffuse-White
- FIG. 5 is a diagram showing the relationship between the dynamic ranges of SDR video and HDR video when SDR-D-Range-Gamma 350% is set as an example.
- the HDR dynamic range is SDR. Is set to 350% of the dynamic range.
- FIG. 6 is a diagram showing the relationship between the dynamic ranges of the SDR video and the HDR video when the HDR contrast is doubled and SDR-D-Range-Gamma is set to 220%.
- the HDR dynamic range is set to 440% of the SDR dynamic range by combining the HDR contrast twice and SDR-D-Range-Gamma 220%.
- the camera control unit 20 is connected to a producer's operating device 40 through a communication path 50 such as a LAN (Local Area Network).
- the operation device 40 includes a display 41, an operation input unit 42, and a control unit 43.
- the control unit 43 can cause the display 41 to display a GUI for selecting a relative range.
- the creator can select an arbitrary relative range by the operation input of the operation input unit 42 using the GUI displayed on the display 41.
- the control unit 43 of the operation device 40 receives information on the relative range selected by the producer using the operation input unit 42, and transmits the setting information on the relative range to the CPU 24 of the camera control unit 20 through the communication path 50. .
- the CPU 24 of the camera control unit 20 sets the relative range in the SDR gain adjustment unit 231 of the SDR process unit 23 based on the setting information of the relative range.
- the SDR video generated by the camera control unit 20 is displayed on the display 41 of the controller device 40.
- the producer can check the brightness and color expression of the SDR video through the display 41.
- the correlation between the dynamic range of SDR video (or its upper limit criterion) and the dynamic range of HDR video (or its upper limit criterion) may be displayed in a graph format as shown in FIGS.
- an operation input for iris adjustment can be performed using a GUI displayed on the display 41.
- the control unit 43 of the operating device 40 transmits control information for iris adjustment through the communication path 50 to the CPU 24 of the camera control unit 20 based on the operation input for iris adjustment received by the operation input unit 42.
- the CPU 24 of the camera control unit 20 can communicate with the CPU 15 of the imaging device 10 through the camera cable 30.
- the CPU 24 of the camera control unit 20 receives control information for iris adjustment from the operation device 40, the CPU 24 notifies the CPU 15 of the imaging device 10 of this control information through the camera cable 30.
- the CPU 15 of the imaging apparatus 10 controls the iris of the optical system 11 according to this control information.
- HDR video and SDR video are simultaneously generated from the pixel signal obtained by the imaging device 10 by the HDR process unit 22 and the SDR process unit 23 in the camera control unit 20. be able to.
- an equivalent change is also given to the apparent brightness of the HDR video created simultaneously with the SDR video. be able to. Thereby, for example, even when an HDR video is created in real time, an HDR video with brightness suitable for viewing can be created.
- FIG. 7 is a block diagram illustrating Modification 1 of the imaging system according to the present technology.
- the imaging system 1A is configured to display the SDR video generated by the camera control unit 20 on the viewfinder 16 of the imaging apparatus 10.
- the SDR video generated by the SDR process unit 23 of the camera control unit 20 is transmitted to the imaging apparatus 10 through the camera cable 30 by the transmission unit 21.
- the transmission unit 14 of the imaging apparatus 10 outputs the SDR video transmitted from the camera control unit 20 to the viewfinder 16.
- FIG. 8 is a block diagram illustrating Modification Example 2 of the imaging system according to the present technology.
- an SDR process unit 18 having the same configuration as the SDR process unit 23 of the camera control unit 20 is provided in the imaging apparatus 10.
- an SDR video is generated by the SDR processing unit 18 in the imaging apparatus 10, and this SDR video is output to the viewfinder 16 and displayed. For this reason, the photographer can view the SDR video without receiving the transmission of the SDR video from the camera control unit 20.
- the CPU 24 of the camera control unit 20 and the CPU 15 of the imaging apparatus 10 communicate with each other through the camera cable 30 to include a relative gain set in each unit in the SDR process unit 23 of the camera control unit 20.
- the value of each parameter is also set in each part in the SDR process part 18 of the imaging device 10. Therefore, it is possible to display the SDR video that does not change the appearance as in Modification 1 on the viewfinder 16.
- FIG. 9 is a block diagram illustrating Modification Example 3 of the imaging system according to the present technology.
- This imaging system 1 ⁇ / b> C is provided with an HDR process unit 19 in the imaging apparatus 10.
- the HDR video generated by the HDR processing unit 19 in the imaging apparatus 10 is transmitted to the camera control unit 20 and is output as it is as the main line HDR video. Further, the HDR video transmitted to the camera control unit 20 is also supplied to the HDR inverse conversion unit 25 provided in the camera control unit 20.
- the HDR reverse conversion unit 25 performs reverse conversion of the HDR video into the original pixel signal and outputs it to the SDR processing unit 23 in the camera control unit 20.
- the SDR video generated by the SDR process unit 23 is supplied to the main line system, returned to the imaging device 10 through the transmission unit 21, and output to the viewfinder 16 of the imaging device 10 for display.
- FIG. 10 is a block diagram illustrating Modification 4 of the imaging system according to the present technology.
- This imaging system 1D is configured by adding an SDR process unit 18 to the imaging device 10 of the imaging system 1C of the above-described modification 3. That is, it is generated by the SDR processing unit 18 in the imaging apparatus 10 and displayed on the viewfinder 16. For this reason, a system in which the imaging apparatus 10 receives the SDR video from the camera control unit 20 is unnecessary.
- ⁇ Modification 5> As described above, the case where the present technology is adopted in the imaging system including the imaging device 10 and the camera control unit 20 has been described. By incorporating the configurations of the unit 22 and the SDR process unit 23, it is also possible to configure the imaging device as a single unit. In this case, the imaging element 11 in the imaging device 10 corresponds to an “imaging unit” in the configuration of the imaging device of the present technology.
- the camera control unit 20 can also be configured using a computer. That is, by installing a program that causes a computer to operate as the camera control unit 20 and connecting it to the imaging apparatus 10, an imaging system equivalent to the first embodiment can be realized.
- a first video signal having a first dynamic range is generated from the pixel signal generated by an imaging unit that captures a subject and obtains a pixel signal, and a first video signal having a correlation with the first dynamic range is generated.
- An imaging system comprising a processing circuit for generating a second video signal having a dynamic range of two.
- the processing circuit is An imaging system configured to set the second dynamic range based on the first dynamic range based on information for setting a correlation between the first dynamic range and the second dynamic range .
- the processing circuit correlates a ratio between a first gain for the pixel signal for generating the first video signal and a second gain for the pixel signal for generating the second video signal.
- An imaging system configured to be set based on the information to set.
- the imaging system is An imaging system configured to generate the first video signal having the first dynamic range from a signal obtained by performing gamma signal processing on the pixel signal.
- the imaging system according to any one of (1) to (4),
- the first video signal is SDR (Standard Dynamic Range) video;
- the imaging system, wherein the second video signal is HDR (High Dynamic Range) video.
- An imaging system further comprising a display for displaying the first video signal generated by the processing circuit.
- the imaging system according to (6) above The display is a viewfinder.
- the imaging system according to (6) or (7) above The said processing circuit performs the process which displays the correlation of the said 1st dynamic range and the said 2nd dynamic range on the said display based on the information which sets the said correlation.
- the imaging system according to any one of (1) to (8), The imaging system configured to perform an iris adjustment process based on an iris adjustment input when the first video signal is displayed on a display.
- the imaging unit images a subject to generate a pixel signal
- a processing circuit generates a first video signal having a first dynamic range from the pixel signal generated by the imaging unit, and a second dynamic range having a correlation with the first dynamic range.
- An imaging method that generates video signals.
- the imaging method according to (10) above, The processing circuit is An imaging method for setting the second dynamic range on the basis of the first dynamic range based on information for setting a correlation between the first dynamic range and the second dynamic range.
- the imaging method according to (10) or (11) above The processing circuit correlates a ratio between a first gain for the pixel signal for generating the first video signal and a second gain for the pixel signal for generating the second video signal.
- the imaging method according to any one of (10) to (12), The processing circuit is An imaging method for generating the first video signal having the first dynamic range from a signal obtained by performing gamma signal processing on the pixel signal.
- the imaging method according to any one of (10) to (13),
- the first video signal is SDR (Standard Dynamic Range) video;
- the imaging method, wherein the second video signal is HDR (High Dynamic Range) video.
- the imaging method according to (15) above The display is a viewfinder.
- a first video signal having a first dynamic range is generated from the pixel signal generated by an imaging unit that captures a subject and obtains a pixel signal, and a first video signal having a correlation with the first dynamic range is generated.
- the processing circuit is Information for setting a correlation between a ratio between a first gain for the pixel signal for generating the first video signal and a second gain for the pixel signal for generating the second video signal.
- the processing circuit is A program for operating the computer to generate the first video signal having the first dynamic range from a signal obtained by performing gamma signal processing on the pixel signal.
- the first video signal is SDR (Standard Dynamic Range) video;
- the program in which the second video signal is HDR (High Dynamic Range) video.
- the display is a viewfinder program.
- the program according to (24) or (25) above, The processing circuit is Based on the information for setting the correlation, so as to perform a process of displaying the correlation between the first dynamic range and the second dynamic range on the display, A program for operating the computer.
- a first video signal having a first dynamic range is generated from the pixel signal generated by the imaging unit that captures a subject and obtains a pixel signal, and a first video signal having a correlation with the first dynamic range is generated. And a processing circuit for generating a second video signal having a dynamic range of two.
- the imaging apparatus according to (28), wherein The processing circuit is An imaging apparatus configured to set the second dynamic range based on the first dynamic range based on information for setting a correlation between the first dynamic range and the second dynamic range .
- the imaging device according to (28) or (29) above, The processing circuit correlates a ratio between a first gain for the pixel signal for generating the first video signal and a second gain for the pixel signal for generating the second video signal.
- An imaging device configured to be set based on information for setting.
- the imaging device according to any one of (28) to (30),
- the processing circuit is An imaging apparatus configured to generate the first video signal having the first dynamic range from a signal obtained by performing gamma signal processing on the pixel signal.
- the imaging device according to any one of (28) to (31),
- the first video signal is SDR (Standard Dynamic Range) video;
- the imaging apparatus, wherein the second video signal is HDR (High Dynamic Range) video.
- the imaging apparatus according to (33) above,
- the display is a viewfinder.
- the imaging device configured to perform processing for displaying a correlation between the first dynamic range and the second dynamic range on the display based on information for setting the correlation.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
この撮像システムは、被写体を撮像して画素信号を得る撮像部と、前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジに対して相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路を具備する。
Description
本技術は、撮像素子による撮像によって得られた画素信号からダイナミックレンジの異なる2種類のビデオを生成可能な撮像システム、撮像方法およびプログラムに関する。
HDR(High Dynamic Range)イメージングでは、ダイナミックレンジの広い映像の表現が可能であり、通常のモニターで表示可能な標準的なダイナミックレンジを持つSDR(Standard Dynamic Range)の映像信号で表現しきれなかった、高輝度の表現や、輝度の高い色の表現が可能である。
特許文献1には、HDRビデオとLDRビデオとを合わせてエンコードする方法が開示される。
本技術は、撮像部により撮像された画素信号からHDRビデオおよびSDRビデオなどのダイナミックレンジが異なる複数のビデオを同時に生成する場合における様々な課題を解決することを目的とするものである。
上記の課題を解決するために、本技術に係る一形態の撮像システムは、被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路を具備する。
この撮像システムによれば、撮像部により得られた画素信号から、処理回路によってHDRビデオとSDRビデオを同時に生成することができる。また、この撮像システムでは、処理回路が、画素信号から第1のビデオ信号の第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成するので、アイリス調整により第1のビデオ信号の見た目の明るさが変更された場合に、第1のビデオ信号と同時に作成される第2のビデオ信号の見た目の明るさにも同等の変更を与えることができる。
前記処理回路は、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第2のダイナミックレンジを前記第1のダイナミックレンジを基準に設定するように構成されたものであってよい。
前記処理回路は、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように構成されたものであってよい。
前記処理回路は、前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように構成されたものであってよい。
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、前記第2のビデオ信号がHDR(High Dynamic Range)ビデオであってよい。
本技術に係る撮像システムは、前記処理回路により生成された前記第1のビデオ信号を表示するディスプレイをさらに具備するものであってよい。
本技術に係る撮像システムにおいて、前記ディスプレイはビューファインダーであってよい。
前記処理回路は前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うものであってよい。
本技術に係る撮像システムは、前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うものであってよい。
本技術に係る他の側面である撮像方法は、
撮像部が被写体を撮像して画素信号を生成し、
処理回路が前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する。
撮像部が被写体を撮像して画素信号を生成し、
処理回路が前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する。
本技術に係る他の側面であるプログラムは、
被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路としてコンピュータを動作させるプログラムである。
被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路としてコンピュータを動作させるプログラムである。
本技術に係るさらに他の側面である撮像装置は、
被写体を撮像して画素信号を得る撮像部と、
前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路と
を具備する。
被写体を撮像して画素信号を得る撮像部と、
前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路と
を具備する。
以上のように、本技術によれば、撮像部により撮像された画素信号からHDRビデオおよびSDRビデオなどのダイナミックレンジが異なる複数のビデオを同時に生成する場合における様々な課題を解決することができる。
以下、本技術に係る実施の形態を説明する。
<第1の実施形態>
[撮像システムのハードウェア構成]
図1は、本技術に係る第1の実施形態の撮像システムの全体的なハードウェア構成を示すブロック図である。
同図に示すように、この撮像システム1は、撮像装置10とカメラ制御ユニット20とを有する。撮像装置10とカメラ制御ユニット20とは光ファイバーなどのカメラケーブル30を通じて接続される。
<第1の実施形態>
[撮像システムのハードウェア構成]
図1は、本技術に係る第1の実施形態の撮像システムの全体的なハードウェア構成を示すブロック図である。
同図に示すように、この撮像システム1は、撮像装置10とカメラ制御ユニット20とを有する。撮像装置10とカメラ制御ユニット20とは光ファイバーなどのカメラケーブル30を通じて接続される。
撮像装置10は、撮像のためのレンズ群を有する光学系11と、撮像素子12と、プリプロセッサ13と、伝送部14と、CPU15を有する。
撮像素子12は、CMOS(Complementary Metal-Oxide-Semiconductor)素子、CCD(Charge-Coupled Device)などのイメージセンサであり、図示しない光学系を通じて取り込んだ光を光強度に対応した電気的な画素信号に変換する。
なお、本技術の撮像システムの構成において、「撮像部」は上記の撮像装置10に相当する。
プリプロセッサ13は、撮像素子12にて得られた画素信号に対する欠陥補正、およびレンズ収差補正などの信号補正処理などを行う。
伝送部14は、プリプロセッサ13から出力された画素信号をカメラケーブル30を通じてカメラ制御ユニット20に伝送する処理を行う。すなわち、伝送部14によってカメラ制御ユニット20に伝送される画素信号は、ゲインやダイナミックレンジに関する処理、デベイヤー処理、ガンマ信号処理などが施されていないRAW画像信号である。
一方、カメラ制御ユニット20は、伝送部21と、HDRプロセス部22と、SDRプロセス部23と、CPU24を備える。
伝送部21は、撮像装置10より伝送された画素信号をカメラケーブル30を通じて受信し、HDRプロセス部22およびSDRプロセス部23に供給する。
HDRプロセス部22は、伝送部21より供給された画素信号からHDRビデオを生成する処理を行う。
SDRプロセス部23は、伝送部21より供給された画素信号からSDRビデオを生成する処理を行う。
HDRプロセス部22とSDRプロセス部23は1つあるいは複数の集積回路などによって構成され、本技術の構成における処理回路に相当する。
SDRプロセス部23は、伝送部21より供給された画素信号からSDRビデオを生成する処理を行う。
HDRプロセス部22とSDRプロセス部23は1つあるいは複数の集積回路などによって構成され、本技術の構成における処理回路に相当する。
CPU24は、カメラ制御ユニット20における各部の制御を行うコントローラーである。CPU24は、LAN(Local Area Network)などの通信路50を介して接続された操作装置40との間で通信を行うことが可能である。操作装置40は、ディスプレイ41、操作入力部42および制御部43を備える。操作装置40は、例えばパーソナルコンピュータなどの情報処理装置などで構成されてもよいし、カメラ制御用に作られた専用コントロールパネルなどで構成されてもよい。操作入力部42は例えば操作キー、マウス、トラックボール、ダイヤル、レバー、タッチセンサーパネル、リモートコントローラーなどで構成されてよい。操作装置40の制御部43は、CPUなどの回路により構成され、VE(Video Engineer)などの制作者から各種の制御命令や設定情報を受け付け、通信路50を介してカメラ制御ユニット20のCPU24との間で通信をする。
次に、カメラ制御ユニット20内のHDRプロセス部22およびSDRプロセス部23の構成を説明する。
[HDRプロセス部22およびSDRプロセス部23]
図2は、HDRプロセス部22およびSDRプロセス部23の機能的な構成を示すブロック図である。
図2は、HDRプロセス部22およびSDRプロセス部23の機能的な構成を示すブロック図である。
HDRプロセス部22は、HDRゲイン調整部221、マトリクス処理部223、ブラックレベル補正部225、ディテール処理部227、OETF部228、フォーマッター229を有する。
HDRゲイン調整部221は、マスターゲインの制御の他、ホワイトバランス調整のためのRGBゲインの制御を行う。
マトリクス処理部223は、HDRゲイン調整部221を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
マトリクス処理部223は、HDRゲイン調整部221を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
ブラックレベル補正部225は、カラー画像データのブラックレベルの補正を行う。
ディテール処理部227は、カラー画像データのディテールの処理を行う。
OETF部228は、カラー画像データに対してHDR用のOETF(Optical-Electro Transfer Function:光電気伝達関数)により階調圧縮を行い、ガンマ信号処理を行う。
フォーマッター229は、OETF部228を通過したカラー画像データをHDRビデオの伝送フォーマットに変換する。
ディテール処理部227は、カラー画像データのディテールの処理を行う。
OETF部228は、カラー画像データに対してHDR用のOETF(Optical-Electro Transfer Function:光電気伝達関数)により階調圧縮を行い、ガンマ信号処理を行う。
フォーマッター229は、OETF部228を通過したカラー画像データをHDRビデオの伝送フォーマットに変換する。
次に、SDRプロセス部23の構成を説明する。
SDRプロセス部23は、解像度変換部230、SDRゲイン調整部231、マトリクス処理部233、ブラックレベル補正部235、ニー・ディテール処理部237、ガンマ処理部238、フォーマッター239を有する。
SDRプロセス部23は、解像度変換部230、SDRゲイン調整部231、マトリクス処理部233、ブラックレベル補正部235、ニー・ディテール処理部237、ガンマ処理部238、フォーマッター239を有する。
解像度変換部230は、撮像装置10より伝送された画素信号の解像度(例えば4K解像度)をHDなどの解像度に変換する。
SDRゲイン調整部231は、リレイティブゲインに基づくマスターゲインの制御、ホワイトバランス調整のためのRGBゲインの制御を行う。ここで、リレイティブゲインとは、SDRビデオのダイナミックレンジ(第1のダイナミックレンジ)とHDRビデオのダイナミックレンジ(第2のダイナミックレンジ)との相関を設定する情報である。SDRゲイン調整部231は、このリレイティブゲインをもとに、SDRゲイン調整部231のマスターゲインのHDRゲイン調整部221のマスターゲインに対する比を調整する。リレイティブゲインはCPU24によってSDRゲイン調整部231に対して設定される。
マトリクス処理部233は、SDRゲイン調整部231を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
ブラックレベル補正部235は、カラー画像データのブラックレベルの補正を行う。
ニー・ディテール処理部237は、カラー画像データに対するニー(KNEE)補正およびディテールの処理を行う。
ブラックレベル補正部235は、カラー画像データのブラックレベルの補正を行う。
ニー・ディテール処理部237は、カラー画像データに対するニー(KNEE)補正およびディテールの処理を行う。
ガンマ処理部238は、SDRゲイン調整部231に設定されたSDR用のダイナミックレンジに対するガンマ処理およびディスプレイ用のガンマ処理を行う。
フォーマッター239は、カラー画像データをSDRビデオの伝送フォーマットに変換する。
フォーマッター239は、カラー画像データをSDRビデオの伝送フォーマットに変換する。
[本実施形態の撮像システム1の解決対象である課題]
HDRビデオでは、ダイナミックレンジが広いためにオーバーレンジによる映像の破綻が起きにくく、撮影の輝度基準が変ってもそれなりに映像表現として映ってしまう。しかし、その反面、映像が制作者の意図するレベルよりも明るすぎたり、シーン毎に明るさの表現がバラバラになりやすい。
HDRビデオでは、ダイナミックレンジが広いためにオーバーレンジによる映像の破綻が起きにくく、撮影の輝度基準が変ってもそれなりに映像表現として映ってしまう。しかし、その反面、映像が制作者の意図するレベルよりも明るすぎたり、シーン毎に明るさの表現がバラバラになりやすい。
典型的なHDRビデオの作成の場では、撮像装置で得た画素信号を、できるだけリニアに、ワイドなダイナミックで収録し、ポストプロダクションで、視聴に適するように、細かな映像信号調整を行うことによって、制作者の意図する明るさのHDRビデオを得ている。しかし、例えばスポーツ中継などのHDRライブ中継では、HDRビデオをリアルタイムで作成しなければならない。そこで、HDR撮影用に何らかの輝度基準が求められているが、未だそのような基準は存在しない。
また、HDRイメージングは、将来的に映像撮影の場での主流となることが予想されるものの、今後暫くはHDRビデオとSDRビデオの共存状況が続くと考えられる。このため、HDRビデオとSDRビデオの共存状況に適した撮像システムが求められている。本実施形態の撮像システムは、少なくとも上記の各課題を解決することのできるものである。
なお、HDRビデオの持つ輝度ダイナミックレンジはSDRビデオの持つ輝度ダイナミックレンジよりも広い。例として、SDRビデオの持つ輝度ダイナミックレンジを0~100%とすると、HDRビデオの持つ輝度ダイナミックレンジは例えば100%~1300%あるいは100%~10000%などである。撮像装置10の出力の輝度レンジは0~600%などである。
[本実施形態の撮像システム1の動作]
本実施形態の撮像システム1では、カメラ制御ユニット20に設けられたHDRプロセス部22とSDRプロセス部23において、撮像装置10より伝送されてきた画素信号からHDRビデオとSDRビデオを同時に生成することができる。すなわち、撮像装置10からカメラケーブル30を通じてカメラ制御ユニット20に伝送されてきた画素信号は、カメラ制御ユニット20に設けられたHDRプロセス部22とSDRプロセス部23に各々供給される。これにより、HDRプロセス部22においてHDRビデオが生成されるとともに、SDRプロセス部23においてSDRビデオが生成される。
本実施形態の撮像システム1では、カメラ制御ユニット20に設けられたHDRプロセス部22とSDRプロセス部23において、撮像装置10より伝送されてきた画素信号からHDRビデオとSDRビデオを同時に生成することができる。すなわち、撮像装置10からカメラケーブル30を通じてカメラ制御ユニット20に伝送されてきた画素信号は、カメラ制御ユニット20に設けられたHDRプロセス部22とSDRプロセス部23に各々供給される。これにより、HDRプロセス部22においてHDRビデオが生成されるとともに、SDRプロセス部23においてSDRビデオが生成される。
また、カメラ制御ユニット20のSDRゲイン調整部231は、HDRプロセス側のマスターゲインに対するSDRプロセス側のマスターゲインの比を、CPU24から与えられるリレイティブレンジをもとに可変する機能を有する。リレイティブレンジは、SDRビデオのダイナミックレンジとHDRビデオのダイナミックレンジとの相関を設定する情報である。例えば、リレイティブレンジは、SDRビデオのダイナミックレンジに対してHDRビデオのダイナミックレンジを何倍に設定するかを定義する情報である。このリレイティブレンジによって、HDRプロセス側のマスターゲインに対してSDRプロセス側のマスターゲインの比を例えば1、1/2などのように任意の比に設定することができる。
このようにHDRプロセス側のマスターゲインとSDRプロセス側のマスターゲインとの比が設定されていれば、SDRビデオのダイナミックレンジと相関を有するHDRビデオのダイナミックレンジが得られる。
より具体的には、SDRビデオのダイナミックレンジの上限基準は制作者により選定された基準白(Diffuse-White)により与えられる。本実施形態の撮像システム1では、このSDRビデオの基準白(Diffuse-White)が選定されることによって、リレイティブレンジに基づく相関をもとに、HDRビデオのダイナミックレンジの上限基準(HDRビデオの基準白(Diffuse-White))も決定される。
リレイティブレンジは、例えば日中、夜間、室内、屋外、スタジオ内、晴天時、雨天時などの撮影環境に応じて適宜選択されるべきである。そのため、様々な撮影環境に対応付けた複数の種類のリレイティブレンジが用意される。撮影環境に対応付けられる複数の種類のリレイティブレンジを用意する方法としては、カメラ制御ユニット20から同時に出力されるSDRビデオとHDRビデオの見た目の明るさを人間の目で比較する方法が考えられる。リレイティブレンジの値を変えてその都度、SDRビデオとHDRビデオとを比較し、SDRビデオとHDRビデオの見た目の明るさが近いリレイティブレンジを撮影環境に最適なレイティブレンジとして決めればよい。
撮影環境に最適なレイティブレンジが設定されれば、アイリス調整によってSDRビデオの明るさが変更されたとき、HDRビデオの制作者が意図する明るさの変更を、HDRビデオの見た目にも与えることができる。
次に、リレイティブレンジの設定例について説明する。
[1:1設定]
図3は1:1設定時のSDRビデオおよびHDRビデオのダイナミックレンジの関係を示す図である。
なお、同図を含め、以下リレイティブレンジの設定例として用いられる図では、SDRビデオおよびHDRビデオ各々のダイナミックレンジの関係が分かりやすいように、HDRビデオ側のOETFガンマおよびSDRビデオ側のディスプレイガンマをかける前の関係が示されている。
図3は1:1設定時のSDRビデオおよびHDRビデオのダイナミックレンジの関係を示す図である。
なお、同図を含め、以下リレイティブレンジの設定例として用いられる図では、SDRビデオおよびHDRビデオ各々のダイナミックレンジの関係が分かりやすいように、HDRビデオ側のOETFガンマおよびSDRビデオ側のディスプレイガンマをかける前の関係が示されている。
撮像装置10からカメラ制御ユニット20に4K解像度の画素信号(Linear Plain Video)が伝送される場合を想定する。撮像素子のダイナミックレンジは、例えば、SDRビデオのダイナミックレンジを100%として1300%とする。
1:1設定時では、HDRビデオのダイナミックレンジとSDRビデオのダイナミックレンジは同一となる。つまり、HDRビデオのダイナミックレンジはSDRビデオのダイナミックレンジに合わせ込まれる。
なお、SDRビデオはニー機能とクリップ機能により、画素信号においてSDRビデオのダイナミックレンジを超える高輝度成分がSDRビデオのダイナミックレンジにおける高域数%部分に押し込められる。
[HDR-コントラスト2倍設定]
図4はHDR-コントラスト2倍設定時のSDRビデオおよびHDRビデオ各々のダイナミックレンジの関係を示す図である。
この設定では、リレイティブレンジによってSDRゲイン調整部231のマスターゲインがHDRゲイン調整部221のマスターゲインに対して1/2に設定される。この結果、HDRビデオのダイナミックレンジはSDRビデオのダイナミックレンジの2倍となり、SDRビデオに対するHDRビデオのコントラストは2倍となる。
図4はHDR-コントラスト2倍設定時のSDRビデオおよびHDRビデオ各々のダイナミックレンジの関係を示す図である。
この設定では、リレイティブレンジによってSDRゲイン調整部231のマスターゲインがHDRゲイン調整部221のマスターゲインに対して1/2に設定される。この結果、HDRビデオのダイナミックレンジはSDRビデオのダイナミックレンジの2倍となり、SDRビデオに対するHDRビデオのコントラストは2倍となる。
[SDR-D-Range-Gamma350%設定]
この撮像システム1では、SDRプロセス部23が、画素信号に対してガンマがかけられた信号からSDRビデオを生成することも可能である。この場合、画素信号のダイナミックレンジが部分的にSDRのダイナミックレンジに圧縮されるので、HDRビデオのダイナミックレンジの上限である基準白(Diffuse-White)をより高く設定することができる。
この撮像システム1では、SDRプロセス部23が、画素信号に対してガンマがかけられた信号からSDRビデオを生成することも可能である。この場合、画素信号のダイナミックレンジが部分的にSDRのダイナミックレンジに圧縮されるので、HDRビデオのダイナミックレンジの上限である基準白(Diffuse-White)をより高く設定することができる。
図5は、その一例として、SDR-D-Range-Gamma350%設定時のSDRビデオおよびHDRビデオ各々のダイナミックレンジの関係を示す図である。
SDRプロセス部23に入力された画素信号に対してガンマをかけることによって、画素信号のダイナミックレンジにおいて350%までの部分がSDRのダイナミックレンジに圧縮されるので、結果的にHDRのダイナミックレンジはSDRのダイナミックレンジの350%に設定される。
[HDRコントラスト2倍&SDR-D-Range-Gamma220%設定]
図6はHDRコントラスト2倍&SDR-D-Range-Gamma220%設定時のSDRビデオおよびHDRビデオ各々のダイナミックレンジの関係を示す図である。
このように、HDRコントラスト2倍とSDR-D-Range-Gamma220%との組み合わせによって、HDRのダイナミックレンジはSDRのダイナミックレンジの440%に設定される。
図6はHDRコントラスト2倍&SDR-D-Range-Gamma220%設定時のSDRビデオおよびHDRビデオ各々のダイナミックレンジの関係を示す図である。
このように、HDRコントラスト2倍とSDR-D-Range-Gamma220%との組み合わせによって、HDRのダイナミックレンジはSDRのダイナミックレンジの440%に設定される。
[リレイティブレンジの設定方法について]
カメラ制御ユニット20には、例えば、LAN(Local Area Network)などの通信路50を通じて制作者の操作装置40と接続される。操作装置40はディスプレイ41、操作入力部42、制御部43を有する。制御部43は、ディスプレイ41にリレイティブレンジの選択用のGUIを表示させることができる。制作者はディスプレイ41に表示されるGUIを用いて任意のリレイティブレンジを、操作入力部42の操作入力により選択することができる。操作装置40の制御部43は、操作入力部42を用いて制作者によって選択されたリレイティブレンジの情報を受け取り、通信路50を通じてカメラ制御ユニット20のCPU24にリレイティブレンジの設定情報を送信する。カメラ制御ユニット20のCPU24は、このリレイティブレンジの設定情報をもとにSDRプロセス部23のSDRゲイン調整部231にリレイティブレンジの設定を行う。
カメラ制御ユニット20には、例えば、LAN(Local Area Network)などの通信路50を通じて制作者の操作装置40と接続される。操作装置40はディスプレイ41、操作入力部42、制御部43を有する。制御部43は、ディスプレイ41にリレイティブレンジの選択用のGUIを表示させることができる。制作者はディスプレイ41に表示されるGUIを用いて任意のリレイティブレンジを、操作入力部42の操作入力により選択することができる。操作装置40の制御部43は、操作入力部42を用いて制作者によって選択されたリレイティブレンジの情報を受け取り、通信路50を通じてカメラ制御ユニット20のCPU24にリレイティブレンジの設定情報を送信する。カメラ制御ユニット20のCPU24は、このリレイティブレンジの設定情報をもとにSDRプロセス部23のSDRゲイン調整部231にリレイティブレンジの設定を行う。
また、操作装置40のディスプレイ41には、カメラ制御ユニット20にて生成されたSDRビデオが表示される。制作者はディスプレイ41を通してSDRビデオの明るさや色の表現を確認することができる。この際、操作装置40の制御部43は、設定されたリレイティブレンジをもとに、SDRビデオのダイナミックレンジ(またはその上限基準)とHDRビデオのダイナミックレンジ(またはその上限基準)との相関を、例えば、"SDR:HDR=100%:200%"といったかたちでディスプレイ41に表示させる。これにより、制作者はSDRビデオの明るさや色の表現とリレイティブレンジとの関係性を確認することができる。
あるいは、SDRビデオのダイナミックレンジ(またはその上限基準)とHDRビデオのダイナミックレンジ(またはその上限基準)との相関を、図3から図6に示したようなグラフ形式で表示させてもよい。
あるいは、SDRビデオのダイナミックレンジ(またはその上限基準)とHDRビデオのダイナミックレンジ(またはその上限基準)との相関を、図3から図6に示したようなグラフ形式で表示させてもよい。
[アイリス調整について]
この撮像システム1では、ディスプレイ41に表示されるGUIを用いてアイリス調整のための操作入力を行うことができる。操作装置40の制御部43は、操作入力部42において受け付けたアイリス調整のための操作入力をもとに、カメラ制御ユニット20のCPU24にアイリス調整のための制御情報を通信路50を通じて送信する。カメラ制御ユニット20のCPU24は撮像装置10のCPU15との間でカメラケーブル30を通じて相互に通信することができる。カメラ制御ユニット20のCPU24は、操作装置40よりアイリス調整のための制御情報を受けると、この制御情報をカメラケーブル30を通じて撮像装置10のCPU15に通知する。撮像装置10のCPU15は、この制御情報に従って、光学系11のアイリスを制御する。
この撮像システム1では、ディスプレイ41に表示されるGUIを用いてアイリス調整のための操作入力を行うことができる。操作装置40の制御部43は、操作入力部42において受け付けたアイリス調整のための操作入力をもとに、カメラ制御ユニット20のCPU24にアイリス調整のための制御情報を通信路50を通じて送信する。カメラ制御ユニット20のCPU24は撮像装置10のCPU15との間でカメラケーブル30を通じて相互に通信することができる。カメラ制御ユニット20のCPU24は、操作装置40よりアイリス調整のための制御情報を受けると、この制御情報をカメラケーブル30を通じて撮像装置10のCPU15に通知する。撮像装置10のCPU15は、この制御情報に従って、光学系11のアイリスを制御する。
以上のように、本実施形態の撮像システム1では、撮像装置10により得られた画素信号からカメラ制御ユニット20内のHDRプロセス部22とSDRプロセス部23にてHDRビデオとSDRビデオを同時に生成することができる。
加えて、本実施形態の撮像システム1では、アイリス調整によりSDRビデオの見た目の明るさが変更された場合に、SDRビデオと同時に作成されるHDRビデオの見た目の明るさにも同等の変更を与えることができる。これにより、例えばHDRビデオをリアルタイムで作成する場合であっても、視聴に適した明るさのHDRビデオを作成することができる。
加えて、本実施形態の撮像システム1では、アイリス調整によりSDRビデオの見た目の明るさが変更された場合に、SDRビデオと同時に作成されるHDRビデオの見た目の明るさにも同等の変更を与えることができる。これにより、例えばHDRビデオをリアルタイムで作成する場合であっても、視聴に適した明るさのHDRビデオを作成することができる。
<変形例1>
図7は、本技術に係る撮像システムの変形例1を示すブロック図である。
この撮像システム1Aは、撮像装置10のビューファインダー16に、カメラ制御ユニット20にて生成されたSDRビデオを表示させるように構成されたものである。
図7は、本技術に係る撮像システムの変形例1を示すブロック図である。
この撮像システム1Aは、撮像装置10のビューファインダー16に、カメラ制御ユニット20にて生成されたSDRビデオを表示させるように構成されたものである。
カメラ制御ユニット20のSDRプロセス部23によって生成されたSDRビデオは、伝送部21によってカメラケーブル30を通じて撮像装置10に伝送される。撮像装置10の伝送部14は、カメラ制御ユニット20より伝送されてきたSDRビデオをビューファインダー16に出力する。SDRビデオ上で適切な輝度のアイリス調整を行うことで、ビューファインダー16上に適切な輝度の映像を写すことができ、従来と変わらない映像を見ながら、撮影が可能になる。
<変形例2>
図8は、本技術に係る撮像システムの変形例2を示すブロック図である。
この撮像システム1Bは、撮像装置10に、上記のビューファインダー16に加えて、カメラ制御ユニット20のSDRプロセス部23と同様の構成を有するSDRプロセス部18を設けたものである。
図8は、本技術に係る撮像システムの変形例2を示すブロック図である。
この撮像システム1Bは、撮像装置10に、上記のビューファインダー16に加えて、カメラ制御ユニット20のSDRプロセス部23と同様の構成を有するSDRプロセス部18を設けたものである。
この撮像システム1Bでは、撮像装置10内のSDRプロセス部18にてSDRビデオを生成し、このSDRビデオがビューファインダー16に出力されて表示される。このため、カメラ制御ユニット20からSDRビデオの伝送を受けることなくSDRビデオを撮影者が見ることができる。
この撮像システム1Bでは、カメラ制御ユニット20のCPU24と撮像装置10のCPU15とがカメラケーブル30を通じて通信することにより、カメラ制御ユニット20のSDRプロセス部23内の各部に設定されるリレイティブゲインを含む各パラメータの値が、撮像装置10のSDRプロセス部18内の各部にも設定される。したがって、変形例1と見た目の変わらないSDRビデオをビューファインダー16に表示させることができる。
<変形例3>
図9は、本技術に係る撮像システムの変形例3を示すブロック図である。
この撮像システム1Cは、撮像装置10内にHDRプロセス部19を設けたものである。撮像装置10内にHDRプロセス部19にて生成されたHDRビデオはカメラ制御ユニット20に伝送され、そのまま本線系のHDRビデオとして出力される。また、カメラ制御ユニット20に伝送されたHDRビデオは、カメラ制御ユニット20内に設けられたHDR逆変換部25にも供給される。HDR逆変換部25は、HDRビデオをもとの画素信号に逆変換して、カメラ制御ユニット20内のSDRプロセス部23に出力する。SDRプロセス部23にて生成されたSDRビデオは本線系に供給されるとともに、伝送部21を通じて撮像装置10に戻され、撮像装置10のビューファインダー16に出力されて表示される。
図9は、本技術に係る撮像システムの変形例3を示すブロック図である。
この撮像システム1Cは、撮像装置10内にHDRプロセス部19を設けたものである。撮像装置10内にHDRプロセス部19にて生成されたHDRビデオはカメラ制御ユニット20に伝送され、そのまま本線系のHDRビデオとして出力される。また、カメラ制御ユニット20に伝送されたHDRビデオは、カメラ制御ユニット20内に設けられたHDR逆変換部25にも供給される。HDR逆変換部25は、HDRビデオをもとの画素信号に逆変換して、カメラ制御ユニット20内のSDRプロセス部23に出力する。SDRプロセス部23にて生成されたSDRビデオは本線系に供給されるとともに、伝送部21を通じて撮像装置10に戻され、撮像装置10のビューファインダー16に出力されて表示される。
<変形例4>
図10は、本技術に係る撮像システムの変形例4を示すブロック図である。
この撮像システム1Dは、上記の変形例3の撮像システム1Cの撮像装置10にSDRプロセス部18を追加して構成されたものである。すなわち、撮像装置10内のSDRプロセス部18にて生成し、ビューファインダー16に表示させるように構成される。このため、撮像装置10がカメラ制御ユニット20からSDRビデオを受ける系が不要である。
図10は、本技術に係る撮像システムの変形例4を示すブロック図である。
この撮像システム1Dは、上記の変形例3の撮像システム1Cの撮像装置10にSDRプロセス部18を追加して構成されたものである。すなわち、撮像装置10内のSDRプロセス部18にて生成し、ビューファインダー16に表示させるように構成される。このため、撮像装置10がカメラ制御ユニット20からSDRビデオを受ける系が不要である。
<変形例5>
以上、撮像装置10とカメラ制御ユニット20で構成される撮像システムに本技術を採用した場合について説明したが、本技術は、図1に示した撮像装置10内にカメラ制御ユニット20内のHDRプロセス部22およびSDRプロセス部23の構成を組み込むことによって、撮像装置単体として構成することも可能である。この場合、撮像装置10内の撮像素子11が、本技術の撮像装置の構成における「撮像部」に相当する。
以上、撮像装置10とカメラ制御ユニット20で構成される撮像システムに本技術を採用した場合について説明したが、本技術は、図1に示した撮像装置10内にカメラ制御ユニット20内のHDRプロセス部22およびSDRプロセス部23の構成を組み込むことによって、撮像装置単体として構成することも可能である。この場合、撮像装置10内の撮像素子11が、本技術の撮像装置の構成における「撮像部」に相当する。
<変形例6>
さらに、カメラ制御ユニット20はコンピュータを用いて構成することも可能である。すなわち、コンピュータをカメラ制御ユニット20として動作させるプログラムをコンピュータにインストールし、撮像装置10と接続することによって、上記の第1の実施形態と同等の撮像システムを実現することができる。
さらに、カメラ制御ユニット20はコンピュータを用いて構成することも可能である。すなわち、コンピュータをカメラ制御ユニット20として動作させるプログラムをコンピュータにインストールし、撮像装置10と接続することによって、上記の第1の実施形態と同等の撮像システムを実現することができる。
<変形例7>
上記の変形例において、カメラ制御ユニット20のCPU24あるいは撮像装置10のCPU15は、リレイティブレンジをもとに、SDRビデオのダイナミックレンジとHDRビデオのダイナミックレンジとの相関を、例えば、"SDR:HDR=100%:200%"といったかたちで、ビューファインダー16に表示してもよい。
上記の変形例において、カメラ制御ユニット20のCPU24あるいは撮像装置10のCPU15は、リレイティブレンジをもとに、SDRビデオのダイナミックレンジとHDRビデオのダイナミックレンジとの相関を、例えば、"SDR:HDR=100%:200%"といったかたちで、ビューファインダー16に表示してもよい。
なお、本技術は以下のような構成もとることができる。
(1)被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路を具備する撮像システム。
(1)被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路を具備する撮像システム。
(2)上記(1)に記載の撮像システムであって、
前記処理回路は、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように構成された
撮像システム。
前記処理回路は、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように構成された
撮像システム。
(3)上記(1)または(2)に記載の撮像システムであって、
前記処理回路は、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように構成された
撮像システム。
前記処理回路は、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように構成された
撮像システム。
(4)上記(1)から(3)のいずれかに記載の撮像システムであって、
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように構成された
撮像システム。
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように構成された
撮像システム。
(5)上記(1)から(4)のいずれかに記載の撮像システムであって、
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像システム。
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像システム。
(6)上記(1)から(5)のいずれかに記載の撮像システムであって、
前記処理回路により生成された前記第1のビデオ信号を表示するディスプレイをさらに具備する
撮像システム。
前記処理回路により生成された前記第1のビデオ信号を表示するディスプレイをさらに具備する
撮像システム。
(7)上記(6)に記載の撮像システムであって、
前記ディスプレイはビューファインダーである
撮像システム。
前記ディスプレイはビューファインダーである
撮像システム。
(8)上記(6)または(7)に記載の撮像システムであって、
前記処理回路は、前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像システム。
前記処理回路は、前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像システム。
(9)上記(1)から(8)のいずれかに記載の撮像システムであって、
前記処理回路は、ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うように構成された
撮像システム。
前記処理回路は、ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うように構成された
撮像システム。
(10)撮像部が被写体を撮像して画素信号を生成し、
処理回路が前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する
撮像方法。
処理回路が前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する
撮像方法。
(11)上記(10)に記載の撮像方法であって、
前記処理回路が、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定する
撮像方法。
前記処理回路が、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定する
撮像方法。
(12)上記(10)または(11)に記載の撮像方法であって、
前記処理回路が、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定する
撮像方法。
前記処理回路が、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定する
撮像方法。
(13)上記(10)から(12)のいずれかに記載の撮像方法であって、
前記処理回路が、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成する
撮像方法。
前記処理回路が、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成する
撮像方法。
(14)上記(10)から(13)のいずれかに記載の撮像方法であって、
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像方法。
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像方法。
(15)上記(10)から(14)のいずれかに記載の撮像方法であって、
前記処理回路により生成された前記第1のビデオ信号をディスプレイに表示する
撮像方法。
前記処理回路により生成された前記第1のビデオ信号をディスプレイに表示する
撮像方法。
(16)上記(15)に記載の撮像方法であって、
前記ディスプレイはビューファインダーである
撮像方法。
前記ディスプレイはビューファインダーである
撮像方法。
(17)上記(15)または(16)に記載の撮像方法であって、
前記処理回路が、前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像方法。
前記処理回路が、前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像方法。
(18)上記(10)から(17)のいずれかに記載の撮像方法であって、
前記処理回路が、前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像方法。
前記処理回路が、前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像方法。
(19)被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路として
コンピュータを動作させるプログラム。
コンピュータを動作させるプログラム。
(20)上記(19)に記載のプログラムであって、
前記処理回路が、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように
前記コンピュータを動作させるプログラム。
前記処理回路が、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように
前記コンピュータを動作させるプログラム。
(21)上記(19)または(20)に記載のプログラムであって、
前記処理回路が、
前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように
前記コンピュータを動作させるプログラム。
前記処理回路が、
前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように
前記コンピュータを動作させるプログラム。
(22)上記(19)から(21)のいずれかに記載のプログラムであって、
前記処理回路が、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように
前記コンピュータを動作させるプログラム。
前記処理回路が、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように
前記コンピュータを動作させるプログラム。
(23)上記(19)から(22)のいずれかに記載のプログラムであって、
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
プログラム。
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
プログラム。
(24)上記(19)から(23)のいずれかに記載のプログラムであって、
前記処理回路により生成された前記第1のビデオ信号をディスプレイに表示させるように
コンピュータを動作させるプログラム。
前記処理回路により生成された前記第1のビデオ信号をディスプレイに表示させるように
コンピュータを動作させるプログラム。
(25)上記(24)に記載のプログラムであって、
前記ディスプレイはビューファインダーである
プログラム。
前記ディスプレイはビューファインダーである
プログラム。
(26)上記(24)または(25)に記載のプログラムであって、
前記処理回路が、
前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うように、
前記コンピュータを動作させるプログラム。
前記処理回路が、
前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うように、
前記コンピュータを動作させるプログラム。
(27)上記(19)から(26)のいずれかに記載のプログラムであって、
前記処理回路が、前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うように
前記コンピュータを動作させるプログラム。
前記処理回路が、前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行うように
前記コンピュータを動作させるプログラム。
(28)被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路と
を具備する撮像装置。
を具備する撮像装置。
(29)上記(28)に記載の撮像装置であって、
前記処理回路は、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように構成された
撮像装置。
前記処理回路は、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように構成された
撮像装置。
(30)上記(28)または(29)に記載の撮像装置であって、
前記処理回路は、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように構成された
撮像装置。
前記処理回路は、前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、相関を設定する情報をもとに設定するように構成された
撮像装置。
(31)上記(28)から(30)のいずれかに記載の撮像装置であって、
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように構成された
撮像装置。
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように構成された
撮像装置。
(32)上記(28)から(31)のいずれかに記載の撮像装置であって、
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像装置。
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像装置。
(33)上記(28)から(32)のいずれかに記載の撮像装置であって、
前記処理回路は、前記第1のビデオ信号をディスプレイに表示するように構成された
撮像装置。
前記処理回路は、前記第1のビデオ信号をディスプレイに表示するように構成された
撮像装置。
(34)上記(33)に記載の撮像装置であって、
前記ディスプレイはビューファインダーである
撮像装置。
前記ディスプレイはビューファインダーである
撮像装置。
(35)上記(33)または(34)に記載の撮像装置であって、
前記処理回路は、前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うように構成された
撮像装置。
前記処理回路は、前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行うように構成された
撮像装置。
(36)上記(26)から(35)のいずれかに記載の撮像装置であって、
前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像装置。
前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像装置。
1…撮像システム
10…撮像装置
12…撮像部
15…CPU
16…ビューファインダー
20…カメラ制御ユニット
22…HDRプロセス部
23…SDRプロセス部
24…CPU
40…操作装置
41…ディスプレイ
42…操作入力部
221…HDRゲイン調整部
231…SDRゲイン調整部
10…撮像装置
12…撮像部
15…CPU
16…ビューファインダー
20…カメラ制御ユニット
22…HDRプロセス部
23…SDRプロセス部
24…CPU
40…操作装置
41…ディスプレイ
42…操作入力部
221…HDRゲイン調整部
231…SDRゲイン調整部
Claims (11)
- 被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路
を具備する撮像システム。 - 請求項1に記載の撮像システムであって、
前記処理回路は、
前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を設定する情報をもとに、前記第1のダイナミックレンジを基準に前記第2のダイナミックレンジを設定するように構成された
撮像システム。 - 請求項2に記載の撮像システムであって、
前記処理回路は、
前記第1のビデオ信号を生成するための前記画素信号に対する第1のゲインと前記第2のビデオ信号を生成するための前記画素信号に対する第2のゲインとの比を、前記相関を設定する情報をもとに設定するように構成された
撮像システム。 - 請求項3に記載の撮像システムであって、
前記処理回路は、
前記画素信号に対してガンマ信号処理が行われた信号から前記第1のダイナミックレンジの前記第1のビデオ信号を生成するように構成された
撮像システム。 - 請求項4に記載の撮像システムであって、
前記第1のビデオ信号がSDR(Standard Dynamic Range)ビデオであり、
前記第2のビデオ信号がHDR(High Dynamic Range)ビデオである
撮像システム。 - 請求項5に記載の撮像システムであって、
前記処理回路により生成された前記第1のビデオ信号を表示するディスプレイをさらに具備する
撮像システム。 - 請求項6に記載の撮像システムであって、
前記ディスプレイはビューファインダーである
撮像システム。 - 請求項7に記載の撮像システムであって、
前記処理回路は前記相関を設定する情報に基づき、前記第1のダイナミックレンジと前記第2のダイナミックレンジとの相関を前記ディスプレイに表示する処理を行う
撮像システム。 - 請求項8に記載の撮像システムであって、
前記ディスプレイに前記第1のビデオ信号が表示されている時に、アイリス調整入力に基づきアイリス調整処理を行う
撮像システム。 - 撮像部が被写体を撮像して画素信号を生成し、
処理回路が前記撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する
撮像方法。 - 被写体を撮像して画素信号を得る撮像部により生成された前記画素信号から、第1のダイナミックレンジの第1のビデオ信号を生成するとともに、前記第1のダイナミックレンジと相関を有する第2のダイナミックレンジの第2のビデオ信号を生成する処理回路として
コンピュータを動作させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16883545.2A EP3402179B1 (en) | 2016-01-05 | 2016-12-22 | Image-capturing system, image-capturing method, and program |
US16/066,883 US11212461B2 (en) | 2016-01-05 | 2016-12-22 | Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges |
CN201680076713.3A CN108432236B (zh) | 2016-01-05 | 2016-12-22 | 图像拍摄***和图像拍摄方法 |
KR1020187018088A KR20180100119A (ko) | 2016-01-05 | 2016-12-22 | 촬상 시스템, 촬상 방법 및 프로그램 |
US17/534,042 US11895408B2 (en) | 2016-01-05 | 2021-11-23 | Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-000729 | 2016-01-05 | ||
JP2016000729A JP6233424B2 (ja) | 2016-01-05 | 2016-01-05 | 撮像システムおよび撮像方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/066,883 A-371-Of-International US11212461B2 (en) | 2016-01-05 | 2016-12-22 | Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges |
US17/534,042 Continuation US11895408B2 (en) | 2016-01-05 | 2021-11-23 | Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017119039A1 true WO2017119039A1 (ja) | 2017-07-13 |
Family
ID=57323864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/005218 WO2017119039A1 (ja) | 2016-01-05 | 2016-12-22 | 撮像システム、撮像方法およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11212461B2 (ja) |
EP (1) | EP3402179B1 (ja) |
JP (1) | JP6233424B2 (ja) |
KR (1) | KR20180100119A (ja) |
CN (1) | CN108432236B (ja) |
WO (1) | WO2017119039A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7399247B2 (ja) | 2019-02-28 | 2023-12-15 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6233424B2 (ja) * | 2016-01-05 | 2017-11-22 | ソニー株式会社 | 撮像システムおよび撮像方法 |
KR102582394B1 (ko) | 2016-08-30 | 2023-09-26 | 삼성디스플레이 주식회사 | 반도체 장치 |
WO2018169003A1 (ja) * | 2017-03-15 | 2018-09-20 | ソニー株式会社 | 撮像装置、映像信号処理装置および映像信号処理方法 |
WO2020039716A1 (ja) * | 2018-08-21 | 2020-02-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用観察装置 |
CN110460870A (zh) * | 2019-08-27 | 2019-11-15 | 四开花园网络科技(广州)有限公司 | 4k-hdr现场节目制作及直播方法 |
US11587213B1 (en) * | 2021-11-05 | 2023-02-21 | GM Cruise Holdings LLC. | Preserving dynamic range in images |
CN114785966B (zh) * | 2022-06-21 | 2022-09-06 | 深圳比特微电子科技有限公司 | 曝光控制方法、拍摄处理方法、装置和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11220659A (ja) * | 1998-02-03 | 1999-08-10 | Victor Co Of Japan Ltd | 撮像装置 |
JP2003230022A (ja) * | 2002-02-01 | 2003-08-15 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2008193714A (ja) * | 2008-03-11 | 2008-08-21 | Fujifilm Corp | 画像処理装置、方法及びプログラム |
JP2013090095A (ja) * | 2011-10-17 | 2013-05-13 | Olympus Imaging Corp | 撮像装置、撮像方法、およびプログラム |
JP2015037222A (ja) * | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004248061A (ja) * | 2003-02-14 | 2004-09-02 | Fuji Photo Film Co Ltd | 画像処理装置、方法及びプログラム |
US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US7492375B2 (en) * | 2003-11-14 | 2009-02-17 | Microsoft Corporation | High dynamic range image viewing on low dynamic range displays |
JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
EP2153641B2 (en) * | 2007-04-13 | 2021-10-27 | Ari M. Presler | Digital cinema camera system for recording, editing and visualizing images |
US8339475B2 (en) * | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
US8606009B2 (en) * | 2010-02-04 | 2013-12-10 | Microsoft Corporation | High dynamic range image generation and rendering |
JP5271346B2 (ja) * | 2010-12-27 | 2013-08-21 | 株式会社日立製作所 | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム |
WO2012133551A1 (ja) | 2011-03-30 | 2012-10-04 | 富士フイルム株式会社 | 固体撮像素子の駆動方法並びに固体撮像素子及び撮像装置 |
EP3324622B1 (en) * | 2011-04-14 | 2019-09-11 | Dolby Laboratories Licensing Corporation | Multiple color channel multiple regression predictor |
KR20130015179A (ko) * | 2011-08-02 | 2013-02-13 | 삼성디스플레이 주식회사 | 표시 장치 및 표시 장치 구동 방법 |
CN103827956B (zh) * | 2011-09-27 | 2017-06-13 | 皇家飞利浦有限公司 | 用于图像的动态范围变换的装置和方法 |
JP5829758B2 (ja) * | 2011-10-20 | 2015-12-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ等化のための方法およびシステム |
EP2613532A1 (en) | 2012-01-06 | 2013-07-10 | Thomson Licensing | Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium |
EP2945377B1 (en) * | 2012-01-24 | 2018-11-28 | Dolby Laboratories Licensing Corporation | Piecewise cross color channel predictor |
RU2633128C2 (ru) * | 2013-02-21 | 2017-10-11 | Конинклейке Филипс Н.В. | Улучшенные способы и устройства кодирования и декодирования hdr изображения |
EP3829171A1 (en) * | 2014-02-25 | 2021-06-02 | Apple Inc. | Adaptive transfer function for video encoding and decoding |
EP3739894A1 (en) * | 2014-06-27 | 2020-11-18 | Panasonic Intellectual Property Management Co., Ltd. | Data output device, data output method, and data generation method |
GB2534929A (en) * | 2015-02-06 | 2016-08-10 | British Broadcasting Corp | Method and apparatus for conversion of HDR signals |
US10122928B2 (en) * | 2015-09-09 | 2018-11-06 | Red.Com, Llc | Motion video output for multiple displays |
JP6581862B2 (ja) * | 2015-09-18 | 2019-09-25 | 日本放送協会 | Hdr−sdr一体化制作用ビデオカメラ |
US9984446B2 (en) * | 2015-12-26 | 2018-05-29 | Intel Corporation | Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content |
JP6233424B2 (ja) * | 2016-01-05 | 2017-11-22 | ソニー株式会社 | 撮像システムおよび撮像方法 |
JP6237797B2 (ja) * | 2016-01-05 | 2017-11-29 | ソニー株式会社 | ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター |
-
2016
- 2016-01-05 JP JP2016000729A patent/JP6233424B2/ja active Active
- 2016-12-22 US US16/066,883 patent/US11212461B2/en active Active
- 2016-12-22 WO PCT/JP2016/005218 patent/WO2017119039A1/ja unknown
- 2016-12-22 KR KR1020187018088A patent/KR20180100119A/ko not_active Application Discontinuation
- 2016-12-22 CN CN201680076713.3A patent/CN108432236B/zh active Active
- 2016-12-22 EP EP16883545.2A patent/EP3402179B1/en active Active
-
2021
- 2021-11-23 US US17/534,042 patent/US11895408B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11220659A (ja) * | 1998-02-03 | 1999-08-10 | Victor Co Of Japan Ltd | 撮像装置 |
JP2003230022A (ja) * | 2002-02-01 | 2003-08-15 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
JP2008193714A (ja) * | 2008-03-11 | 2008-08-21 | Fujifilm Corp | 画像処理装置、方法及びプログラム |
JP2013090095A (ja) * | 2011-10-17 | 2013-05-13 | Olympus Imaging Corp | 撮像装置、撮像方法、およびプログラム |
JP2015037222A (ja) * | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3402179A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7399247B2 (ja) | 2019-02-28 | 2023-12-15 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190141259A1 (en) | 2019-05-09 |
JP6233424B2 (ja) | 2017-11-22 |
EP3402179B1 (en) | 2021-03-10 |
JP2016195378A (ja) | 2016-11-17 |
US11895408B2 (en) | 2024-02-06 |
CN108432236A (zh) | 2018-08-21 |
EP3402179A1 (en) | 2018-11-14 |
EP3402179A4 (en) | 2019-08-28 |
CN108432236B (zh) | 2020-11-20 |
KR20180100119A (ko) | 2018-09-07 |
US11212461B2 (en) | 2021-12-28 |
US20220086363A1 (en) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6233424B2 (ja) | 撮像システムおよび撮像方法 | |
CN108476326B (zh) | 视频***及方法、介质、摄像机***和视频转换器 | |
JP7020417B2 (ja) | 映像信号処理装置、映像信号処理方法および映像信号処理システム | |
JP2011146936A (ja) | 色特性補正装置およびカメラ | |
JP6581862B2 (ja) | Hdr−sdr一体化制作用ビデオカメラ | |
JP6750594B2 (ja) | 撮像システムおよび撮像方法 | |
JP2012134745A (ja) | 画像信号処理装置 | |
JP6753386B2 (ja) | カメラシステム、ビデオ処理方法およびプログラム | |
JP6852821B2 (ja) | カメラシステム、ビデオ処理方法、プログラム、ビデオシステムおよびビデオコンバーター | |
JP2006165826A (ja) | ハイダイナミックレンジカメラシステム | |
JP2019180104A (ja) | アパーチャ操作装置 | |
JP6083959B2 (ja) | 伝送装置、その制御方法、および制御プログラム | |
WO2019053764A1 (ja) | 撮像装置 | |
US8860842B2 (en) | Television camera | |
JP5597124B2 (ja) | 画像信号処理装置 | |
JP2008301095A (ja) | 撮像装置及び撮像方法 | |
JP2004040700A (ja) | テレビジョンカメラ装置 | |
JP2013102402A (ja) | カラーテレビジョンカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16883545 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 20187018088 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |