WO2020066326A1 - 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、撮影装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- WO2020066326A1 WO2020066326A1 PCT/JP2019/031266 JP2019031266W WO2020066326A1 WO 2020066326 A1 WO2020066326 A1 WO 2020066326A1 JP 2019031266 W JP2019031266 W JP 2019031266W WO 2020066326 A1 WO2020066326 A1 WO 2020066326A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving image
- image
- range
- unit
- shooting mode
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
Definitions
- the present invention relates to an image processing device, a photographing device, an image processing method, and an image processing program, and particularly to a moving image compression technique.
- Patent Document 1 An imaging device having a moving image shooting mode for shooting a moving image for extracting a still image has been proposed in order to capture a momentary scene of a subject.
- the moving image for extracting a still image described in Patent Literature 1 is, for example, one in which the exposure time of one frame is set shorter than that of a normal moving image.
- the moving image is compressed and recorded by, for example, an MPEG (Moving Picture Experts Group) coding method.
- MPEG Motion Picture Experts Group
- a quantization parameter (QP: Quantization Parameter) value is controlled in accordance with the generated code amount after quantization of the image data of the past frame of the moving image, and when the generated code amount is increased, the QP value is increased (the compression ratio is increased).
- the bit rate is limited so as not to exceed the processing capability, and when the generated code amount is reduced, the QP value is reduced (the compression ratio is reduced) to achieve high image quality.
- Patent Literature 2 proposes an image processing apparatus capable of avoiding deterioration of image quality immediately after a processing image is switched from a still image to a moving image. This image processing apparatus limits the generated code amount to a lower limit value when the generated code amount that can occur immediately after the image to be processed is switched from a still image to a moving image is equal to or smaller than a preset lower limit value. .
- the image processing device described in Patent Literature 2 performs compression processing on an input image in which a still image frame and a moving image frame are mixed, and does not compress a moving image for extracting a still image.
- Patent Document 2 does not describe compression processing of a moving image for extracting a still image, and performs compression processing to maintain a constant image quality for all frames of the moving image. not going.
- the compression processing is optimized in consideration of the image quality of the entire moving image. Therefore, the QP value is large for the purpose of extracting one frame of the moving image as a still image. There is a possibility that too much adjustment may be made and there is a problem that image quality as a still image cannot be obtained.
- the present invention has been made in view of such circumstances, and according to a first moving image shooting mode and a second moving image shooting mode having different shooting conditions, a suitable compression process for a moving image shot in each moving image shooting mode. It is an object of the present invention to provide an image processing apparatus, a photographing apparatus, an image processing method, and an image processing program that can perform the processing.
- a moving image acquisition method for acquiring a moving image captured based on a first moving image shooting mode or a second moving image shooting mode having different shooting conditions from the first moving image shooting mode.
- a compression processing unit that determines a quantization parameter of image data of a frame constituting a moving image acquired by the moving image acquisition unit and compresses the image data.
- the quantization parameter is determined within the first range
- the second upper limit of the second range is the first upper limit.
- the second lower limit of the second range is smaller than the first upper limit of the range, and the second lower limit of the second range is larger than the first lower limit of the first range.
- the possible range of the quantization parameter applied when compressing a moving image differs between the first moving image shooting mode and the second moving image shooting mode
- the quantization parameter is determined within the first range.
- the quantization parameter is determined within the second range narrower than the first range.
- the bit rate does not become excessive while maintaining a constant image quality for all frames of the moving image as compared with the compression processing for a moving image shot in the first moving image shooting mode. Compression processing can be performed as described above.
- the second range is set according to a set value of the frame rate.
- the second range is set according to an input from an instruction input unit for inputting an external instruction.
- An image processing device includes a scene determining unit that determines a scene of a moving image acquired by the moving image acquiring unit, and the second range is set according to the scene determined by the scene determining unit.
- the compression processing unit compresses the moving image by an MPEG encoding method.
- the MPEG encoding method is a typical encoding method for compressing a moving image, and includes MPEG-2, MPEG-4, and H.264. H.264 / AVC, etc.
- the compression processing unit determines a quantization parameter according to a generated code amount after quantization of image data of a past frame of the moving image.
- the second moving image shooting mode includes a shutter speed, an auto focus speed, an automatic exposure following speed, a white balance following speed, and a frame relative to the first moving image shooting mode.
- at least one of the rates is set to high speed.
- a photographing device includes the image processing device described above, and a moving image photographing unit that photographs a moving image based on the first moving image photographing mode or the second moving image photographing mode. Acquires a moving image captured by the moving image capturing unit.
- An invention includes a moving image acquiring step of acquiring a moving image photographed based on a first moving image photographing mode or a second moving image photographing mode having different photographing conditions from the first moving image photographing mode; A compression processing step of determining the quantization parameter of the image data of the frame constituting the moving image acquired in the step and compressing the image data, wherein the compression processing step is performed in the first moving image shooting mode.
- the quantization parameter is determined within the first range, and in the case of the second moving image shooting mode, the quantization parameter is determined within the second range, and the second upper limit of the second range is the first upper limit of the first range. And the second lower limit of the second range is larger than the first lower limit of the first range.
- the second range is set according to a set value of the frame rate.
- the second range is set in accordance with an input from an instruction input unit for inputting an external instruction.
- the method includes a step of determining a scene of the moving image acquired in the moving image acquiring step, and the second range is set according to the determined scene.
- the compression processing step compresses the moving image by an MPEG encoding method.
- the compression processing step determines a quantization parameter according to a generated code amount of the image data of a past frame of the moving image after quantization.
- the second moving image shooting mode includes a shutter speed, an autofocus speed, an automatic exposure following speed, a white balance following speed, and a frame relative to the first moving image shooting mode.
- at least one of the rates is set to high speed.
- a moving image acquisition function for acquiring a moving image captured based on a first moving image shooting mode or a second moving image shooting mode having different shooting conditions from the first moving image shooting mode, and a moving image acquisition function And a compression processing function of determining the quantization parameter of the image data of the frame constituting the moving image obtained in the step (a) and compressing the image data by a computer.
- the quantization parameter is determined within the first range.
- the quantization parameter is determined within the second range, and the second upper limit of the second range is set to the first upper limit of the first range.
- the second lower limit of the second range is smaller than the first upper limit, and is larger than the first lower limit of the first range.
- the present invention it is possible to perform a suitable compression process on a moving image shot in each of the moving image shooting modes according to the first moving image shooting mode and the second moving image shooting mode having different shooting conditions.
- the compression processing for a moving image captured in the moving image shooting mode has an excessively high bit rate while maintaining a constant image quality for all frames of the moving image compared to the compression processing for a moving image captured in the first moving image shooting mode.
- the compression process can be performed so as not to be performed.
- FIG. 1 is a perspective view of a photographing apparatus according to the present invention as viewed obliquely from the front.
- FIG. 2 is a rear view of the photographing apparatus.
- FIG. 3 is a block diagram showing an embodiment of the internal configuration of the photographing apparatus.
- FIG. 4 is a block diagram showing a first embodiment of the image processing apparatus according to the present invention.
- FIG. 5 is a schematic diagram showing the relationship between the change in the generated code amount after quantization of the image data of the past frame and the QP value when compressing a normal moving image.
- FIG. 6 is a schematic diagram showing a relationship between a change in generated code amount after quantization of image data of a past frame and a QP value when compressing a moving image for extracting a still image.
- FIG. 5 is a schematic diagram showing the relationship between the change in the generated code amount after quantization of the image data of the past frame and the QP value when compressing a normal moving image.
- FIG. 6 is a schematic diagram showing
- FIG. 7 is a block diagram showing a second embodiment of the image processing apparatus according to the present invention.
- FIG. 8 is a flowchart showing an embodiment of the image processing method according to the present invention.
- FIG. 9 is an external view of a smartphone which is an embodiment of a photographing device according to the present invention.
- FIG. 10 is a block diagram showing a configuration of the smartphone.
- FIG. 1 is a perspective view of a photographing apparatus according to the present invention as viewed obliquely from the front
- FIG. 2 is a rear view of the photographing apparatus.
- the photographing apparatus 10 is a mirrorless digital single-lens camera including an interchangeable lens 100 and a camera body 200 to which the interchangeable lens 100 is detachable.
- a main body mount 260 on which the interchangeable lens 100 is mounted, a finder window 20 of an optical finder, and the like are provided on a front surface of the camera main body 200.
- a shutter release switch 22 on which the interchangeable lens 100 is mounted, a finder window 20 of an optical finder, and the like are provided on a front surface of the camera main body 200.
- a shutter release switch 22 on the upper surface of the camera main body 200 mainly a shutter release switch 22, a shutter A speed dial 23, an exposure compensation dial 24, a power lever 25, and a built-in flash 30 are provided.
- a liquid crystal monitor 216 As shown in FIG. 2, a liquid crystal monitor 216, an eyepiece 26 of an optical finder, a MENU / OK key 27, a cross key 28, a playback button 29, and the like are mainly provided on the rear surface of the camera body 200.
- the liquid crystal monitor 216 displays a live view image in a shooting mode, reproduces and displays an image shot in a playback mode, functions as a display unit for displaying various menu screens, and displays various information to a user. Functions as a notification unit for notifying.
- the MENU / OK key 27 is an operation having both a function as a menu button for issuing a command for displaying a menu on the screen of the liquid crystal monitor 216 and a function as an OK button for instructing selection and execution of the selected contents. Is the key.
- the cross key 28 is an operation unit for inputting instructions in four directions of up, down, left, and right, and functions as a multi-function key for selecting an item from a menu screen or instructing selection of various setting items from each menu.
- the up key and the down key of the cross key 28 function as a zoom switch at the time of shooting or a reproduction zoom switch at the time of the reproduction mode, and the left key and the right key are frame forward (forward and reverse direction) buttons at the time of the reproduction mode. Function as Further, it also functions as an operation unit for designating an arbitrary subject for which focus adjustment is to be performed from a plurality of subjects displayed on the liquid crystal monitor 216.
- the MENU / OK key 27, the cross key 28, and the liquid crystal monitor 216 function as a shooting mode selection unit for selecting various shooting modes and also function as a scene selection unit (scene determination unit).
- the MENU / OK key 27 is operated to display a menu screen on the liquid crystal monitor 216, and by using the menu screen, a moving image for shooting a moving image in addition to a still image shooting mode for shooting one still image
- the shooting mode can be set.
- the moving image shooting modes include a first moving image shooting mode and a second moving image shooting mode having different shooting conditions from the first moving image shooting mode.
- the second moving image shooting mode a moving image having different shooting conditions from the first moving image shooting mode (moving image under shooting conditions in which extraction of a still image is more important than appreciation of the moving image itself) is shot.
- at least one of a shutter speed, an auto focus speed, an automatic exposure following speed, and a white balance following speed is set to be higher than the first moving image shooting mode
- And / or the frame rate is set higher than the first moving image shooting mode.
- the resolution and the frame rate are set to the maximum values (for example, 4,000 ⁇ 2,000 pixels, 30 fps (frame / second)) that can be set in the image capturing apparatus 10, and the color tone is set on the assumption that a still image is extracted.
- the upper limit of the ISO sensitivity is also set higher than the first moving image shooting mode.
- the shutter speed is set to a value corresponding to the frame rate of a moving image to be recorded in the first moving image shooting mode (1/30 second when the frame rate is 30 fps), but is set to be smaller than the frame interval in the second moving image mode. Is also set to a high speed (for example, less than 1/30 second).
- the shutter speed is set to a value corresponding to the frame rate of the moving image so that a smooth moving image is reproduced. In this case, a moving subject may be blurred.
- the shutter speed is set to be faster (faster than the frame interval) than in the first image shooting mode, thereby extracting a high-quality still image with less subject blur. It becomes possible.
- the shutter speed can be increased, and a still image with less blur can be extracted.
- the auto-focus speed, the auto-exposure tracking speed, the auto-white balance tracking speed, and the like can be higher than those in the first moving image shooting mode, a frame focused on the subject and a frame with an appropriate exposure can be obtained. You can get more.
- the set value of the frame rate (30 fps, 60 fps, etc.) can be set using the MENU / OK key 27, the cross key 28, and the like.
- a moving image can be stored and a frame constituting the moving image can be extracted as a still image, so that the user cannot know when an event (natural phenomenon, accident, happening, etc.) occurs. ), A subject whose state changes with the passage of time, a photograph of an instantaneous state of a moving object, and the like can be easily taken.
- the still image can be extracted not only at the timing of instructing the recording of the still image but also at other timings, the user can obtain a still image at a desired timing.
- a high-quality still image can be extracted by setting shooting conditions (such as the above-described shutter speed, resolution, and frame rate) suitable for extracting a still image.
- a shooting scene By operating the MENU / OK key 27 to display a menu screen on the liquid crystal monitor 216 and using the menu screen, a shooting scene can be selected.
- Shooting scenes include shooting scenes such as landscapes, night scenes, sunsets, macros, people, moving objects, sports, etc., and any or all of these shooting scenes are manually or automatically selected or determined, and set to the camera. can do. It should be noted that shooting conditions optimal for the shooting scene are set according to the shooting scene set for the camera.
- the playback button 29 is a button for switching to a playback mode for displaying the recorded still image or moving image on the liquid crystal monitor 216.
- FIG. 3 is a block diagram illustrating an embodiment of the internal configuration of the photographing device 10.
- the interchangeable lens 100 functioning as a photographing optical system constituting the photographing apparatus 10 is manufactured in accordance with the communication standard of the camera body 200, and can communicate with the camera body 200 as described later. It is an interchangeable lens.
- the interchangeable lens 100 includes a photographing optical system 102, a focus lens control unit 116, an aperture control unit 118, a lens CPU (Central Processing Unit) 120, a flash ROM (Read Only Memory) 126, a lens communication unit 150, and a lens mount. 160 is provided.
- the photographing optical system 102 of the interchangeable lens 100 includes a lens group 104 including a focus lens and an aperture 108.
- the focus lens control unit 116 moves the focus lens according to a command from the lens side CPU 120, and controls the position (focus position) of the focus lens.
- the aperture control unit 118 controls the aperture 108 according to a command from the lens-side CPU 120.
- the lens side CPU 120 controls the interchangeable lens 100 and has a ROM 124 and a RAM (Random Access Memory) 122 therein.
- the flash ROM 126 is a non-volatile memory that stores programs and the like downloaded from the camera body 200.
- the lens-side CPU 120 performs overall control of each unit of the interchangeable lens 100 using the RAM 122 as a work area.
- the lens side communication unit 150 communicates with the camera main body 200 via a plurality of signal terminals (lens side signal terminals) provided on the lens mount 160. Communication. That is, the lens-side communication unit 150 exchanges a request signal and an answer signal with the body-side communication unit 250 of the camera body 200 connected via the lens mount 160 and the body mount 260 according to a command from the lens-side CPU 120. Transmission and reception (two-way communication) are performed, and lens information (position information of the focus lens, focal length information, aperture information, etc.) of each optical member of the imaging optical system 102 is notified to the camera body 200.
- the interchangeable lens 100 includes a detection unit (not shown) that detects position information of the focus lens and aperture information.
- the aperture information is information indicating the aperture value (F value) of the aperture 108, the aperture diameter of the aperture 108, and the like.
- the lens-side CPU 120 In order to respond to a request for lens information from the camera body 200, the lens-side CPU 120 preferably holds various kinds of lens information including detected position information and aperture information of the focus lens in the RAM 122. Further, the lens information is detected when there is a request for lens information from the camera body 200, or detected when the optical member is driven, or at a fixed period (a period sufficiently shorter than the frame period of a moving image). Once detected, the detection result can be retained.
- a camera body 200 constituting the photographing apparatus 10 shown in FIG. 3 includes an image sensor 201, an image sensor control unit 202, an analog signal processing unit 203, an A / D (Analog / Digital) converter 204, an image input controller 205, a digital signal Processing unit 206, RAM 207, compression / decompression processing unit 208, media control unit 210, memory card 212, display control unit 214, liquid crystal monitor 216, main body CPU 220, operation unit 222, clock unit 224, flash ROM 226, ROM 228, AF (Autofocus ) Control section 230, AE (Auto Exposure) control section 232, white balance correction section 234, wireless communication section 236, GPS (Global Positioning System) reception section 238, power supply control section 240, battery 242, main body side communication section 250, main body Construct the mount 260 and the built-in flash 30 (FIG. 1) Comprises: (focal-plane shutter FPS) 280 and the FPS control unit 296, Rush emitting unit
- the image sensor 201 includes a CMOS (Complementary Metal-Oxide Semiconductor) type color image sensor.
- CMOS Complementary Metal-Oxide Semiconductor
- the image sensor 201 is not limited to the CMOS type, but may be an XY address type or a CCD (Charge Coupled Device) type image sensor.
- CCD Charge Coupled Device
- Each pixel of the image sensor 201 has a color filter of any one of three primary color filters (R filter, G filter, and B filter) of red (R), green (G), and blue (B). , According to a predetermined color filter arrangement.
- the color filter array may be a general Bayer array, but is not limited to this.
- another color filter array such as a Trans (registered trademark) array may be used.
- the optical image of the subject formed on the light receiving surface of the image sensor 201 by the photographing optical system 102 of the interchangeable lens 100 is converted by the image sensor 201 into an electric signal.
- Electric charges corresponding to the amount of incident light are accumulated in each pixel of the image sensor 201, and an electric signal corresponding to the amount of electric charge (signal charge) accumulated in each pixel is read out from the image sensor 201 as an image signal.
- the image sensor control unit 202 controls reading of an image signal from the image sensor 201 according to a command from the main body CPU 220.
- the image sensor control unit 202 reads all lines of the image sensor 201 with the FPS 280 closed after the exposure time is controlled by opening and closing the FPS 280.
- the image sensor 201 and the image sensor control unit 202 of this example sequentially perform an exposure operation for at least one or more lines or pixels (that is, sequentially perform a reset for each line or pixel to accumulate charges). This is a method of starting and reading out accumulated charges), and can be driven by a so-called rolling shutter method.
- the analog signal processing unit 203 performs various analog signal processing on an analog image signal obtained by photographing a subject with the image sensor 201.
- the analog signal processing unit 203 includes a sampling and holding circuit, a color separation circuit, an AGC (Automatic Gain Control) circuit, and the like.
- the AGC circuit functions as a sensitivity adjustment unit that adjusts the sensitivity at the time of shooting (ISO (International Organization for Standardization)), adjusts the gain of an amplifier that amplifies an input image signal, and adjusts the signal level of the image signal. Be within the proper range.
- the A / D converter 204 converts an analog image signal output from the analog signal processing unit 203 into a digital image signal.
- Image data (mosaic image data) of each pixel of RGB output via the image sensor 201, the analog signal processing unit 203, and the A / D converter 204 at the time of capturing a still image or a moving image is transmitted from the image input controller 205 to the RAM 207. And is temporarily stored.
- the image sensor 201 is a CMOS image sensor
- the analog signal processing unit 203 and the A / D converter 204 are often built in the image sensor 201.
- the digital signal processing unit 206 performs various digital signal processing on the image data stored in the RAM 207.
- the digital signal processing unit 206 appropriately reads out the image data stored in the RAM 207, and performs offset processing, gain control processing including sensitivity correction, gamma correction processing, demosaicing processing (simultaneous demosaicing processing, simultaneous demosaicing processing) on the read image data.
- Digital signal processing such as RGB / YCrCb conversion processing, and the image data after the digital signal processing is stored in the RAM 207 again.
- the demosaic processing is, for example, in the case of an image sensor including three color filters of RGB, a process of calculating all the RGB color information for each pixel from a mosaic image composed of RGB, and includes mosaic data (point-sequential RGB data). ), The image data of the three RGB planes is generated.
- the RGB / YCrCb conversion process is a process of converting the synchronized RGB data into luminance data (Y) and color difference data (Cr, Cb).
- the compression / decompression processing unit 208 performs a compression process on the uncompressed luminance data Y and color difference data Cb and Cr once stored in the RAM 207 when recording a still image or a moving image.
- a still image it is compressed in, for example, the JPEG (Joint Photographic coding Experts Group) format.
- H.264 which is one of the MPEG coding methods
- H.264 / AVC Advanced Video Coding
- the media control unit 210 performs control of recording the image data compressed by the compression / decompression processing unit 208 on the memory card 212. Further, the media control unit 210 controls to read out the compressed image data from the memory card 212.
- the display control unit 214 controls the liquid crystal monitor 216 to display the uncompressed image data stored in the RAM 207.
- the liquid crystal monitor 216 is constituted by a liquid crystal display device, but may be constituted by a display device such as organic electroluminescence instead of the liquid crystal monitor 216.
- a digital image signal continuously generated by the digital signal processing unit 206 is temporarily stored in the RAM 207.
- the display control unit 214 converts the digital image signal temporarily stored in the RAM 207 into a signal format for display, and sequentially outputs the signal to the liquid crystal monitor 216.
- the captured image is displayed on the liquid crystal monitor 216 in real time, and the liquid crystal monitor 216 can be used as an electronic viewfinder.
- the shutter release switch 22 is a photographing instruction unit for inputting a photographing instruction of a still image or a moving image, and is configured by a so-called "half-press” and "full-press" two-stage stroke type switch.
- the S1 on signal is output when the shutter release switch 22 is half-pressed, and the S2 on signal is output when the shutter release switch 22 is fully pressed from the half-pressed state, and the S1 on signal is output.
- the main body CPU 220 executes shooting preparation processing such as AF control (automatic focus adjustment) and AE control (automatic exposure control), and executes the shooting processing and recording processing of a still image when the S2 ON signal is output. I do.
- AF and AE are automatically performed when the auto mode is set by the operation unit 222, and AF and AE are not performed when the manual mode is set.
- the moving image shooting mode (the first moving image shooting mode for a normal moving image or the second moving image shooting mode for extracting a still image)
- an S2 ON signal is output.
- the camera body 200 enters a moving image recording mode in which recording of a moving image is started, executes image processing and recording processing of the moving image, and then, when the shutter release switch 22 is fully pressed again, the signal of S2 ON is generated.
- the camera body 200 enters a standby state and temporarily stops the moving image recording process.
- the shutter release switch 22 is not limited to a two-stage stroke type switch consisting of half-pressing and full-pressing, and may output a signal of S1 ON and a signal of S2 ON by one operation. May be provided to output the S1 on signal and the S2 on signal.
- the operation instruction may be output by touching an area corresponding to the operation instruction displayed on the screen of the touch panel as these operation means.
- the form of the operation means is not limited to these as long as it instructs the preparation processing and the photographing processing.
- the still image or moving image obtained by the photographing is compressed by the compression / decompression processing unit 208, and the compressed image data includes necessary information such as photographing date and time, GPS information, and photographing conditions (F value, shutter speed, ISO sensitivity, and the like).
- the image file is stored in the memory card 212 via the media control unit 210.
- the main body CPU 220 controls the overall operation of the camera main body 200 and the driving of the optical members of the interchangeable lens 100, and the like. Based on inputs from an operation unit 222 and the like including the shutter release switch 22, each unit of the camera main body 200 Control the interchangeable lens 100.
- the clock unit 224 measures time based on a command from the main CPU 220 as a timer.
- the clock unit 224 measures the current date and time as a calendar.
- the flash ROM 226 is a readable and writable nonvolatile memory, and stores setting information.
- the ROM 228 stores a camera control program executed by the main body side CPU 220, an image processing program according to the present invention, defect information of the image sensor 201, various parameters and tables used for image processing and the like.
- the main body side CPU 220 controls each part of the camera main body 200 and the interchangeable lens 100 according to the camera control program or the image processing program stored in the ROM 228 while using the RAM 207 as a work area.
- the AF control unit 230 that functions as an automatic focus adjustment unit calculates a defocus amount necessary for controlling the phase difference AF, and based on the calculated defocus amount, A command to move the focus lens (focus position) is notified to the interchangeable lens 100 via the main body CPU 220 and the main body communication section 250.
- the position command of the focus lens corresponding to the defocus amount calculated by the AF control unit 230 is notified to the interchangeable lens 100, and the lens-side CPU 120 of the interchangeable lens 100 that has received the position command of the focus lens changes the focus lens control unit 116.
- the focus lens is moved via the controller to control the position (focusing position) of the focus lens.
- the AF control unit 230 is not limited to the one that performs the phase difference AF, and may be one that performs the contrast AF in which the focus lens is moved so that the contrast in the AF area is maximized.
- the AE control unit 232 is a unit that detects the brightness of the subject (subject brightness), and performs numerical values (exposure value (EV value)) required for AE control and AWB (Auto White Balance) control corresponding to the subject brightness. )).
- the AE control unit 232 calculates an EV value based on the luminance of the image acquired via the image sensor 201, the shutter speed when acquiring the luminance of the image, and the F value.
- the main body side CPU 220 determines the F value, the shutter speed, and the ISO sensitivity from a predetermined program diagram based on the EV value obtained from the AE control unit 232, and can perform the AE control.
- the white balance correction unit 234 calculates white balance gains (WB (White Balance) gains) Gr, Gg, Gb for each color data of the RGB data (R data, G data, and B data), and calculates the R data, the G data, The white balance correction is performed by multiplying the B data by the calculated WB gains Gr, Gg, and Gb.
- WB gains Gr, Gg, and Gb the object is illuminated based on the scene recognition (judgment of outdoor or indoor) based on the brightness (EV value) of the object and the color temperature of the ambient light.
- the wireless communication unit 236 is a unit that performs short-range wireless communication based on standards such as Wi-Fi (Wireless Fidelity) (registered trademark) and Bluetooth (registered trademark), and communicates with peripheral digital devices (mobile terminals such as smartphones). Necessary information is transmitted and received between standards.
- Wi-Fi Wireless Fidelity
- Bluetooth registered trademark
- the GPS receiving unit 238 receives GPS signals transmitted from a plurality of GPS satellites, executes positioning calculation processing based on the received GPS signals, and executes the latitude and longitude of the camera body 200 in accordance with an instruction from the main body CPU 220. , And GPS information including altitude.
- the acquired GPS information can be recorded in the header of the image file as additional information indicating the shooting position of the shot image.
- the power supply control unit 240 supplies a power supply voltage supplied from the battery 242 to each unit of the camera main body 200 according to a command from the main body side CPU 220.
- the power supply control unit 240 supplies a power supply voltage supplied from the battery 242 to each unit of the interchangeable lens 100 via the main body mount 260 and the lens mount 160 according to a command from the main body CPU 220.
- the lens power switch 244 switches on and off the power supply voltage applied to the interchangeable lens 100 via the body mount 260 and the lens mount 160 and switches the level according to a command from the body CPU 220.
- the body-side communication unit 250 transmits and receives a request signal and a response signal to and from the lens-side communication unit 150 of the interchangeable lens 100 connected via the body mount 260 and the lens mount 160 in accordance with a command from the body-side CPU 220 ( Bidirectional communication).
- the body mount 260 is provided with a plurality of terminals 260A as shown in FIG. 1, and when the interchangeable lens 100 is mounted on the camera body 200 (the lens mount 160 and the body mount 260 are connected), the body The plurality of terminals 260A (FIG. 1) provided on the mount 260 and the plurality of terminals (not shown) provided on the lens mount 160 are electrically connected, and the main body side communication unit 250 and the lens side communication unit 150 are connected. And two-way communication is possible.
- the built-in flash 30 (FIG. 1) is, for example, a TTL (Through The Lens) automatic light control type flash, and includes a flash light emitting unit 270 and a flash control unit 272.
- the flash control unit 272 has a function of adjusting the light emission amount (guide number) of the flash light emitted from the flash light emission unit 270. That is, the flash control unit 272 causes the flash light emitting unit 270 to pre-emit (flash light emission) a small amount of flash light from the flash light emission unit 270 in synchronization with the flash photography instruction from the main body CPU 220, The amount of flash light to be main-emitted is determined based on the reflected light (including ambient light) incident through the, and the flash light of the determined amount of light is emitted from the flash light-emitting unit 270 (main emission).
- the FPS 280 constitutes a mechanical shutter of the photographing device 10 and is disposed immediately before the image sensor 201.
- the FPS control unit 296 controls opening and closing of the first curtain and the second curtain of the FPS 280 based on input information (S2 ON signal, shutter speed, etc.) from the main body CPU 220, and controls the exposure time (shutter speed) in the image sensor 201. I do.
- the compression / decompression processing unit 208 sets the first moving image shooting mode or the second moving image shooting mode, and compresses a moving image shot in the first moving image shooting mode or the second moving image shooting mode.
- FIG. 4 is a block diagram illustrating a first embodiment of the image processing apparatus according to the present invention, and particularly illustrates a compression processing unit of the compression / decompression processing unit 208 in the camera body 200.
- the compression processing unit 208-1 shown in FIG. 4 mainly includes a moving image acquisition unit 302, an orthogonal transformer 310, a quantization unit 320, an encoding unit 330, and a bit rate control unit 340. It should be noted that the compression processing unit 208-1 of this example is based on H.264, which is one of the MPEG encoding methods. H.264 / AVC compression is used.
- GOP Group Of Pictures
- I Intra
- P P
- Predictive) frames and B Bidirectionally frames represented by correlation information from temporally preceding and succeeding frames, and the first frame of one GOP is at least an I frame.
- the compression processing unit 208-1 shown in FIG. 4 compresses a normal moving image or a moving image 300 for extracting a still image, which is photographed by the moving image photographing unit (the interchangeable lens 100 and the image sensor 201 of the camera body 200) of the photographing apparatus 10. This is the part to be processed.
- the moving image acquisition unit 302 of the compression processing unit 208-1 is a unit that acquires image data of frames constituting the moving image 300 photographed by the moving image photographing unit.
- one GOP is It is assumed that the constituent I frame, P frame, and B frame are sequentially acquired.
- Each frame constituting one GOP is encoded in units of macroblocks of 16 ⁇ 16 pixels.
- the orthogonal transformer 310 performs orthogonal transform on data of a unit block of 8 ⁇ 8 pixels according to a method called discrete cosine transform (DCT) to decompose the data into frequency components, and calculates orthogonal transform coefficients.
- DCT discrete cosine transform
- the quantization unit 320 quantizes the orthogonal transform coefficient converted by the orthogonal transformer 310 based on the quantization parameter (QP value) determined (set) by the bit rate control unit 340.
- the QP value is defined in the range of 1 to 51.
- the quantization step size (Q step ) corresponding to the QP value is determined.
- Q step is a value for dividing the orthogonal transform coefficient performed in the quantization process.
- the value is doubled when the QP value increases by 6, and can be derived using a lookup table or by calculation based on the determined QP value.
- the quality and bit rate of the compressed bit stream are mainly determined by the QP value selected to quantize each macroblock.
- Q step corresponding to the QP value is a numerical value for adjusting how much spatial detail is retained in the compressed macroblock.
- the bit rate control unit 340 needs to determine the QP value (Q step ) in consideration of the image quality and the bit rate.
- the encoding unit 330 is a unit that entropy-encodes the quantization value supplied from the quantization unit 320, and In H.264 / AVC, one of variable length coding (VLC; Variable Length Coding) based on Huffman coding and arithmetic coding can be selected.
- VLC variable length coding
- the compressed data 350 (coded data) further compressed by the coding unit 330 is sent to the media control unit 210 (FIG. 3) as a bit stream.
- the media control unit 210 functions as a moving image recording unit that records compressed normal moving image data and compressed moving image data for extracting still images on the memory card 212.
- the bit rate control unit 340 has a function as a VBV (Video Buffering Verifier) buffer, and quantizes encoded image data of a past frame of a moving image output from the encoding unit 330 (generated code amount). Is obtained in, for example, a macroblock unit, the VBV buffer occupancy is calculated from the obtained generated code amount and a preset bit rate of the bit stream, and a QP value at which the VBV buffer does not fail is determined. Bit rate control section 340 outputs the determined QP value to quantization section 320.
- VBV Video Buffering Verifier
- the bit rate control section 340 may output the quantization step size (Q step ) corresponding to the QP value to the quantization section 320 instead of the determined QP value. Further, the bit rate control unit 340 may determine the QP value on a frame basis or on a GOP basis.
- Quantization unit 320 obtains the Q step corresponding to QP value input from the bit rate control section 340, or directly obtains Q step the bit rate control unit 340, an orthogonal transform coefficient is divided by the Q step integer Calculate the rounded quantization value.
- a shooting mode command indicating a first moving image shooting mode for a normal moving image or a second moving image shooting mode for extracting a still image is added to the bit rate control unit 340 from the shooting mode selection unit 360. It is supposed to be.
- the shooting mode selection unit 360 is an operation unit of an on-screen interactive system using the MENU / OK key 27, the cross key 28, the liquid crystal monitor 216, and the like, but a mode dial for selecting various shooting modes. May be.
- the photographing apparatus 10 inputs a moving image shooting instruction from the shutter release switch 22 in a state where the first moving image shooting mode is selected by the shooting mode selection unit 360, the moving image (normal moving image) is obtained under shooting conditions suitable for watching the moving image. ), And on the other hand, when a moving image shooting instruction is input from the shutter release switch 22 in a state where the second moving image shooting mode is selected by the shooting mode selection unit 360, the moving image ( (Movies for extracting still images).
- the shooting conditions of a moving image for extracting a still image and the shooting conditions of a normal moving image have different shutter speeds, for example, and the shutter speed of each frame of the moving image for extracting a still image is higher than that of the normal moving image.
- the bit rate control unit 340 determines the QP value when the shooting mode command indicating the first moving image shooting mode is added from the shooting mode selecting unit 360 and when the shooting mode command indicating the second moving image shooting mode is added. Range (lower limit and upper limit).
- FIG. 5 is a schematic diagram illustrating a relationship between a change in the generated code amount after quantization of image data of a past frame and a QP value when performing a normal moving image compression process.
- the bit rate control unit 340 sets the QP value used for normal moving image quantization in a range between a first lower limit value (Min.1) and a first upper limit value (Max.1) ( (The first range).
- Min.1 and Max.1 are set in consideration of the image quality of the entire moving image.
- the bit rate control unit 340 increases the QP value so that the VBV buffer does not break down (the occupancy of the VBV buffer overflows).
- the bit rate control unit 340 reduces the QP value so that the VBV buffer does not break down (the occupation amount of the VBV buffer underflows) due to the decrease in the generated code amount.
- Min.1 and Max.1 for normal moving images are set in consideration of the image quality of the entire moving image, so they are suitable for viewing as moving images, but one frame is extracted from a normal moving image as a still image In such a case, the QP value for the extracted still image may be too large.
- FIG. 6 is a schematic diagram illustrating a relationship between a change in the generated code amount after quantization of image data of a past frame and a QP value when compressing a moving image for extracting a still image.
- the bit rate control unit 340 sets a QP value used for quantization of a moving image for extracting a still image as a second lower limit value (Min.2) and a second upper limit value (Max.2). (The second range).
- Min.2 and Max.2 can guarantee a constant image quality (image quality required for still images) for all frames of moving images for still image extraction, respectively, and are equivalent to ordinary moving images Set the bit rate so that
- Min.2 is set to a value larger than Min.1.
- Min.2 is set such that when quantizing a frame or GOP of a moving scene such as a scene change, the generated code amount after quantization does not increase significantly.
- Min.2 which is larger than Min.1
- Min.1 it is possible to suppress an increase in the amount of generated codes after quantization as compared with the case where Min.1 is set.
- Max.2 is set to a value smaller than Max.1.
- Max.2 is set to a value that can hold a desired image quality as a still image even in a frame in which Max.2 is used as a QP value used for quantization.
- the QP value can be limited to Max.2 which is smaller than Max.1 at the maximum, it is possible to guarantee the image quality required as a still image for all frames of a moving image for extracting a still image. it can.
- FIG. 7 is a block diagram illustrating a second embodiment of the image processing apparatus according to the present invention, and particularly illustrates a compression processing unit of the compression / decompression processing unit 208 in the camera body 200.
- the same parts as those in the first embodiment shown in FIG. 4 are denoted by the same reference numerals, and detailed description thereof will be omitted.
- the compression processing unit 208-2 shown in FIG. 7 is different from the compression processing unit 208-1 of the first embodiment shown in FIG. 4 mainly in having a scene determination unit for determining a moving image scene for extracting a still image. I do.
- the scene determination unit is a unit that determines a shooting scene based on scene information from a scene selection unit 370 that selects a shooting scene such as a landscape, a night view, a sunset, a macro, a person, a moving object, and a sport.
- the bit rate control unit 340 May function as a scene determination unit, or may include a scene determination unit independent of the bit rate control unit 340. Further, the scene determination unit may analyze the live view image and automatically determine the shooting scene based on the analysis result.
- the bit rate control unit 340 selects a range of QP values that can be selected according to the scene information indicating the shooting scene of the moving image determined by the scene determining unit. (2nd range) is set. For example, by reading Min.2 and Max.2 recorded corresponding to the scene information from a table in which the relationship between the scene information and Min.2 and Max.2 is recorded according to the scene information, A second range of QP values defined by Min.2 and Max.2 can be set.
- Min.2 set according to the shooting scene of the moving image is larger than Min.1 of the QP value of the normal moving image, and Max.2 is smaller than Max.1 of the QP value of the normal moving image. Needless to say.
- the bit rate control unit 340 selects a QP value that can be selected according to scene information indicating a shooting scene of the moving image determined by the scene determining unit. (First range) may be set.
- the range of the QP value set based on the scene determination and the scene determination result for example, a shooting scene such as the presence of a wind or a moving object is determined from a moving image, and based on the determination result, whether or not the “scene that changes instantaneously” is determined.
- the range of the QP value may be determined by making a determination.
- an “instantaneous change cutout mode” and a “normal cutout mode (a mode other than the instantaneous change cutout mode)” are provided. If selected, the range (second range) of the QP value may be narrower than in the “normal cutout mode”.
- the second range of the QP value may be shifted according to the frame rate according to the frame rate (the QP value may be shifted to a higher value as the frame rate increases).
- [Table 1] shows an example of the lower limit and the upper limit of the QP value.
- the QP value gradually decreases in the frame having the same composition, and the compression ratio of the image decreases. In this case, if the screen changes abruptly, there is a concern that the compression ratio cannot be achieved and the QP value increases.
- an “instant change cutout mode” as the second moving image shooting mode for extracting a still image, and to further narrow the QP value width as compared with the “normal cutout mode”.
- the bit rates after compression at 30 fps and 60 fps can be made the same, and even when the frame rate changes from 30 fps to 60 fps, deterioration in image quality can be suppressed.
- the second range of the QP value in the second moving image shooting mode depends on an input from an instruction input unit for inputting an external instruction. May be set appropriately.
- FIG. 8 is a flowchart showing an embodiment of the image processing method according to the present invention. Hereinafter, the processing operation of each unit of the compression processing unit 208-1 shown in FIG. 4 will be mainly described.
- a bit rate control unit 340 selects a first moving image shooting mode for a normal moving image or a second moving image shooting for still image extraction according to a shooting mode command input from a shooting mode selection unit 360. It is determined whether the mode has been selected (step S10).
- Step S12 When the first moving image shooting mode is selected, a first range (first lower limit value Min.1, first upper limit value Max.1) of quantization parameters (QP values) for a normal moving image is set.
- a second range second lower limit value Min.2, second upper limit value Max.2 of QP values for still image extraction is set.
- Step S13 Note that Min.2 is a value larger than Min.1, and Max.2 is a value smaller than Max.1.
- Step S14 may include a step of determining a moving image scene for extracting a still image by the scene determination unit, and the second range may be set according to the determined scene.
- the main body side CPU 220 of the photographing apparatus 10 determines whether or not moving image photographing has been started based on an input signal from the operation unit 222 (shutter release switch 22) (step S14).
- step S14 When it is determined in step S14 that the moving image shooting has been started, the main body side CPU 220 causes the moving image shooting unit to perform the moving image shooting in the first moving image shooting mode or the second moving image shooting mode. (Step S15, moving image acquisition step).
- H.264 which is one of the MPEG encoding methods, is applied to the moving image captured by the moving image capturing unit.
- H.264 / AVC method compression of a captured moving image is performed in units of 1 GOP (compression processing step).
- the moving image acquisition unit 302 of the compression processing unit 208-1 determines whether each frame of the normal moving image or the moving image for extracting a still image (I frame, P frame, and B frame that constitute one GOP) ) Are sequentially obtained (step S16).
- Each frame is subjected to compression processing for each unit block of 8 ⁇ 8 pixels.
- the orthogonal transformer 310 performs a discrete cosine transform (DCT) on the data of the unit block to calculate an orthogonal transform coefficient (step S18).
- DCT discrete cosine transform
- the bit rate control unit 340 having a function as a VBV buffer converts encoded data (a generated code amount after quantization of image data of a past frame of a moving image) output from the encoding unit 330 into, for example, macroblock units. Acquire (Step S20). The bit rate control unit 340 calculates the VBV buffer occupancy from the obtained generated code amount and the preset bit rate of the bit stream, and determines a quantization parameter (QP value) at which the VBV buffer does not fail (step S22). ).
- QP value quantization parameter
- the determination of the QP value in step S22 is based on the first range (first lower limit Min.1, first upper limit) set in step S12 when the moving image currently being compressed is a normal moving image.
- the QP value is determined within the value Max.1), and in the case of a moving image for extracting a still image, the second range (the second lower limit Min.2, the second upper limit Max.2) set in step S13. Determine the QP value within.
- the quantization unit 320 divides the orthogonal transform coefficient input from the orthogonal transformer 310 by a quantization step size (Q step ) corresponding to the QP value determined by the bit rate control unit 340 and rounds the result to an integer.
- Q step quantization step size
- a value is calculated (step S24).
- Steps S18 to S24 of determining the QP value within the first range set in step S12 and quantizing and compressing the frames of the moving image for each unit block correspond to a first compression step of compressing a normal moving image.
- the QP value is determined within the second range set in step S13, and the frames of the moving image are quantized and compressed for each unit block, and steps S18 to S24 are the second compression for compressing the moving image for extracting the still image.
- steps S18 to S24 are the second compression for compressing the moving image for extracting the still image.
- the quantized value calculated by the quantization unit 320 is entropy-encoded by the encoding unit 330, output to the media control unit 210 (FIG. 3) as a bit stream, and extracted by the media control unit 210 as a normal moving image or still image. Is recorded on the memory card 212 as a moving image for use (step S26).
- the main body side CPU 220 of the photographing apparatus 10 determines whether or not the moving image photographing is completed based on an input signal from the operation unit 222 (Step S28). If it is determined that the moving image shooting has not been completed (in the case of “No”), the process proceeds to step S15. Thereby, the moving image shooting, compression processing, recording processing, and the like are continuously performed. When it is determined that the moving image shooting has been completed (in the case of “Yes”), the image processing is ended.
- the photographing apparatus 10 of the present embodiment is a mirrorless digital single-lens camera, but is not limited thereto, and may be a single-lens reflex camera, a lens-integrated photographing apparatus, a digital video camera, or the like.
- the present invention is also applicable to mobile devices having functions other than those described above (call function, communication function, other computer functions).
- Other embodiments to which the present invention can be applied include, for example, a mobile phone or a smartphone having a camera function, a PDA (Personal Digital Assistants), and a portable game machine.
- a smartphone to which the present invention can be applied will be described.
- FIG. 9 shows an appearance of a smartphone 500 which is an embodiment of the photographing device of the present invention.
- a smartphone 500 illustrated in FIG. 9 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502.
- a section 520 is provided.
- the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
- the configuration of the housing 502 is not limited to this. For example, a configuration in which the display unit and the input unit are independent from each other, or a configuration including a folding structure and a slide mechanism may be employed.
- FIG. 10 is a block diagram showing a configuration of smartphone 500 shown in FIG.
- the main components of the smartphone include a wireless communication unit 510 that performs mobile wireless communication via a base station and a mobile communication network, a display input unit 520, a communication unit 530, and an operation unit 540.
- GPS Global Positioning System
- the wireless communication unit 510 performs wireless communication with a base station accommodated in a mobile communication network according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and the like, and reception of Web data and streaming data are performed.
- the display input unit 520 displays images (still images and moving images), character information, and the like, visually transmits information to a user, and detects a user operation on the displayed information. It is a so-called touch panel, which includes a display panel 521 and an operation panel 522.
- the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
- the operation panel 522 is a device that is mounted so that an image displayed on the display surface of the display panel 521 can be visually recognized, and detects one or a plurality of coordinates operated by a user's finger or a stylus. When such a device is operated by a user's finger or a stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinate) on the display panel 521 based on the received detection signal.
- a display panel 521 and an operation panel 522 of a smartphone 500 exemplified as an embodiment of a photographing apparatus of the present invention constitute a display input unit 520 integrally.
- 522 is arranged to completely cover the display panel 521.
- the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
- the operation panel 522 includes a detection area (hereinafter, referred to as a display area) for a superimposed portion overlapping the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion not overlapping the display panel 521. ).
- the size of the display area and the size of the display panel 521 may completely match, but it is not always necessary to match them.
- the operation panel 522 may include two sensitive regions of an outer edge portion and an inner portion other than the outer edge portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
- a position detection method adopted in the operation panel 522 a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared ray method, an electromagnetic induction method, a capacitance method, and the like can be mentioned, and any of these methods is adopted. You can also.
- the communication unit 530 includes a speaker 531 and a microphone 532, converts the user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501.
- the audio data received by the external input / output unit 510 or the external input / output unit 560 is decoded and output from the speaker 531.
- the speaker 531 and the microphone 532 can be mounted on the same surface as the surface on which the display input unit 520 is provided.
- the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from a user.
- the operation unit 540 is mounted on a side surface of the housing 502 of the smartphone 500 and is turned on when pressed with a finger or the like, and turned off due to a restoring force of a spring or the like when the finger is released. It is a push button type switch.
- the recording unit 550 includes a control program of the main control unit 501, control data, application software (including the image processing program according to the present invention), address data that associates the name and telephone number of a communication partner, and the transmitted and received e-mails. It stores data, Web data downloaded by Web browsing, and downloaded content data, and temporarily stores streaming data and the like.
- the recording unit 550 includes an internal storage unit 551 built in the smartphone and an external storage unit 562 having a removable external memory slot.
- the internal storage unit 551 and the external storage unit 552 constituting the recording unit 550 include a flash memory type, a hard disk type, a multimedia card micro type, This is realized using a recording medium such as a card type memory (for example, a Micro SD (registered trademark) memory or the like), a RAM (Random Access Memory), a ROM (Read Only Memory).
- a card type memory for example, a Micro SD (registered trademark) memory or the like
- RAM Random Access Memory
- ROM Read Only Memory
- the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, a universal serial bus (USB), IEEE 1394, or the like) or Network (for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) ( (Registered trademark), ZigBee (registered trademark), etc.).
- USB universal serial bus
- IEEE 1394 or the like
- Network for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) ( (Registered trademark), ZigBee (registered trademark), etc.).
- IrDA Infrared Data Association
- UWB User
- the external devices connected to the smartphone 500 include, for example, a wired / wireless headset, wired / wireless external charger, wired / wireless data port, a memory card connected via a card socket, and a SIM (Subscriber).
- Identity Module Card / UIM User Identity Module Card
- external audio / video equipment connected via audio / video I / O (Input / Output) terminal
- external audio / video equipment wirelessly connected
- wired / wireless There are a smartphone to be connected, a personal computer to be wired / wirelessly connected, a PDA to be wired / wirelessly connected, and an earphone.
- the external input / output unit can transmit data transmitted from such an external device to each component inside the smartphone 500, or can transmit data inside the smartphone 500 to the external device.
- the GPS receiving unit 570 receives the GPS signals transmitted from the GPS satellites ST1 to STn according to the instruction of the main control unit 501, executes a positioning calculation process based on the received GPS signals, A position consisting of longitude and altitude is detected.
- the GPS receiving unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS receiving unit 570 can also detect the position using the position information.
- the motion sensor unit 580 includes, for example, a three-axis acceleration sensor and a gyro sensor, and detects a physical movement of the smartphone 500 according to an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and the acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
- the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 according to an instruction from the main control unit 501.
- the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the recording unit 550, and controls the components of the smartphone 500 in an integrated manner. Further, the main control unit 501 has a mobile communication control function and an application processing function for controlling each unit of the communication system in order to perform voice communication and data communication via the wireless communication unit 510.
- the application processing function is realized by the main control unit 501 operating according to the application software stored in the recording unit 550.
- the application processing functions include, for example, an infrared communication function for controlling the external input / output unit 560 to perform data communication with a counterpart device, an e-mail function for transmitting / receiving e-mail, a Web browsing function for browsing Web pages, and the present invention. And an image processing function for performing a compression process according to the above.
- the main control unit 501 has an image processing function such as displaying a video on the display input unit 520 based on image data (still image or moving image data) such as received data or downloaded streaming data.
- the image processing function refers to a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
- the main control unit 501 executes display control on the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
- the main control unit 501 By executing the display control, the main control unit 501 displays an icon for starting application software and software keys such as a scroll bar, or displays a window for creating an e-mail.
- the scroll bar is a software key for receiving an instruction to move a display portion of an image such as a large image that cannot be accommodated in the display area of the display panel 521.
- the main control unit 501 detects a user operation through the operation unit 540, receives an operation on an icon through the operation panel 522, and receives an input of a character string in an input field of a window, or scrolls. A request to scroll a display image through a bar is received.
- the main control unit 501 determines whether the operation position on the operation panel 522 is a superimposed portion (display region) overlapping the display panel 521 or an outer edge portion not overlapping the display panel 521 (non-display region). ) Is provided, and a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key is provided.
- the main control unit 501 can detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
- the gesture operation is not a conventional simple touch operation but an operation of drawing a trajectory with a finger or the like, specifying a plurality of positions at the same time, or combining these to draw a trajectory for at least one from a plurality of positions. means.
- the camera unit 541 is a digital camera that performs electronic photographing using an image sensor such as a complementary metal oxide semiconductor (CMOS) or a charge-coupled device (CCD), and corresponds to the photographing device 10 illustrated in FIG. Further, under the control of the main control unit 501, the camera unit 541 compresses image data of a still image obtained by shooting using, for example, JPEG (Joint Photographic coding Experts Group) or compresses image data of a moving image, for example, into H.264. It can be compressed by H.264 / AVC and recorded in the recording unit 550, or output through the external input / output unit 560 or the wireless communication unit 510. As shown in FIG.
- CMOS complementary metal oxide semiconductor
- CCD charge-coupled device
- the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this, and the camera unit 541 is mounted on the back surface of the display input unit 520.
- a plurality of camera units 541 may be mounted.
- the camera unit 541 to be used for photographing can be switched to perform shooting independently, or shooting can be performed using a plurality of camera units 541 simultaneously.
- the camera unit 541 can be used for various functions of the smartphone 500.
- the image acquired by the camera unit 541 can be displayed on the display panel 521, and the image of the camera unit 541 can be used as one of the operation inputs of the operation panel 522.
- the GPS receiving section 570 detects the position, the position can be detected with reference to the image from the camera section 541.
- the optical axis direction of the camera unit 541 of the smartphone 500 is used without using the three-axis acceleration sensor or in combination with the three-axis acceleration sensor (gyro sensor). Can be determined, and the current use environment can also be determined.
- the image from the camera unit 541 can be used in the application software.
- position information obtained by the GPS receiving unit 570 to image data of a still image or a moving image may be converted into text information by performing audio-to-text conversion by the main control unit or the like), Posture information or the like acquired by the motion sensor unit 580 can be added and recorded in the recording unit 550, or output via the external input / output unit 560 or the wireless communication unit 510.
- H.264 is used.
- the H.264 / AVC coding method has been described as an example, the present invention is not limited to this, and the present invention can also be applied to a case where compression is performed using another coding method such as MPEG-2 or MPEG-4.
- MPEG-2 the QP value is defined in the range of 1 to 31. Therefore, when setting different QP value ranges (lower limit value and upper limit value) for a normal moving image and a moving image for extracting a still image, it is necessary to set the range according to the encoding method.
- the hardware structure of a processing unit that executes various processes in the compression / decompression processing unit 208 of the imaging apparatus includes various processors as described below.
- the circuit configuration can be changed after the production of CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute software (programs) and function as various processing units.
- Logic devices Programmable Logic Devices: PLDs
- ASICs Application Specific Integrated Circuits
- One processing unit may be configured by one of these various processors, or configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
- SoC System On Chip
- the hardware structure of these various processors is more specifically an electric circuit (circuitry) combining circuit elements such as semiconductor elements.
- the present invention includes an image processing program which is installed in a photographing device to function as the photographing device according to the present invention, and a recording medium on which the image processing program is recorded.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
撮影条件が異なる第1動画撮影モード及び第2動画撮影モードに応じて、各動画撮影モードにより撮影される動画に対して好適な圧縮処理を行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。撮影条件が異なる第1動画撮影モードと第2動画撮影モードとでは、動画を圧縮する場合に適用される量子化パラメータのとり得る範囲を異ならせる。第1動画撮影モードの場合、第1範囲内で量子化パラメータを決定し、第2動画撮影モードの場合、第 1範囲よりも狭い第2範囲内で量子化パラメータを決定する。特に第2範囲の第2上限値は第1範囲の第1上限値よりも小さくし、第2範囲の第2下限値は第1範囲の第1下限値よりも大きくする。
Description
本発明は画像処理装置、撮影装置、画像処理方法及び画像処理プログラムに係り、特に動画の圧縮技術に関する。
近年、被写体の一瞬のシーンを捉えるために、静止画抽出用の動画を撮影する動画撮影モードを有する撮影装置が提案されている(特許文献1)。
特許文献1に記載の静止画抽出用の動画は、例えば、通常の動画と比べて1フレームの露光時間が短く設定されたものである。
ところで、動画のデータ量は膨大であるため、動画を記録する場合には、例えば、MPEG(Moving Picture Experts Group)符号化方式等により動画を圧縮して記録している。
動画を圧縮する場合、動画の圧縮率を高くすると、画質が低下し、一方、圧縮率を低くすると、ビットレート(単位時間当たりに転送又は処理するビット数)が高くなり、装置の処理能力を超えるという問題がある。
そこで、動画の過去のフレームの画像データの量子化後の発生符号量に応じて量子化パラメータ(QP:Quantization Parameter)値を制御し、発生符号量が大きくなると、QP値を大きく(圧縮率を高く)してビットレートが処理能力を超えないように制限し、発生符号量が小さくなると、QP値を小さく(圧縮率を低く)して高画質化を図っている。
特許文献2には、処理する画像が静止画から動画に切り替わった直後における画質の劣化を回避することが可能な画像処理装置が提案されている。この画像処理装置は、処理する画像が静止画から動画に切り替わった直後に発生し得る、発生符号量が予め設定された下限値以下になる場合、その発生符号量を下限値に制限している。
即ち、圧縮処理する画像が静止画であることにより実際の発生符号量がゼロ又はそれに近い場合であっても、ある程度の符号量(下限値)が発生したものとみなし、これにより、圧縮処理する画像が静止画から動画に切り替わった時点において、QP値が過度に小さく設定されないようにしている。その結果、圧縮処理する画像が静止画から動画に切り替わった直後において、QP値が過度に小さく設定される領域と過度に大きく設定される領域とが繰り返されるという事態が発生せず、静止画から動画に切り替わった時点の動画の画質の劣化を回避するようにしている。
特許文献2に記載の画像処理装置は、静止画のフレームと動画のフレームとが混在する入力画像に対して圧縮処理するものであり、静止画抽出用の動画を圧縮処理するものではない。
また、静止画抽出用の動画を圧縮処理の対象とする場合、動画の任意のフレームが静止画として抽出される可能性があるため、動画の全てのフレームに対して一定の画質(静止画として要求される画質)を保つ必要があるが、特許文献2には、静止画抽出用の動画を圧縮処理する記載がなく、動画の全てのフレームに対して一定の画質を保つための圧縮処理を行っていない。
動画として鑑賞される通常の動画の場合、動画全体の画質を考慮して圧縮処理の最適化が行われるため、動画の1枚のフレームを静止画として抽出する用途に対して、QP値が大き過ぎる調整がされる可能性があり、静止画としての画質が得られないという問題がある。
本発明はこのような事情に鑑みてなされたもので、撮影条件が異なる第1動画撮影モード及び第2動画撮影モードに応じて、各動画撮影モードにより撮影される動画に対して好適な圧縮処理を行うことができる画像処理装置、撮影装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上記目的を達成するために一の態様に係る発明は、第1動画撮影モード、又は第1動画撮影モードとは撮影条件が異なる第2動画撮影モードに基づいて撮影された動画を取得する動画取得部と、動画取得部で取得した動画を構成するフレームの画像データの量子化パラメータを決定し、画像データを圧縮する圧縮処理部と、を備える画像処理装置であって、圧縮処理部は、第1動画撮影モードの場合、第1範囲内で量子化パラメータを決定し、第2動画撮影モードの場合、第2範囲内で量子化パラメータを決定し、第2範囲の第2上限値は第1範囲の第1上限値よりも小さく、第2範囲の第2下限値は第1範囲の第1下限値よりも大きい。
本発明の一の態様によれば、第1動画撮影モードと第2動画撮影モードとでは、動画を圧縮する場合に適用される量子化パラメータのとり得る範囲を異ならせ、第1動画撮影モードの場合、第1範囲内で量子化パラメータを決定し、第2動画撮影モードの場合、第1範囲よりも狭い第2範囲内で量子化パラメータを決定する。特に第2範囲の第2上限値は第1範囲の第1上限値よりも小さくし、第2範囲の第2下限値は第1範囲の第1下限値よりも大きくすることで、第2動画撮影モードにより撮影される動画に対する圧縮処理は、第1動画撮影モードにより撮影される動画に対する圧縮処理に比べて、動画の全てのフレームに対して一定の画質を保ちつつ、ビットレートが過大にならないように圧縮処理を行うことができる。
本発明の他の態様に係る画像処理装置において、第2範囲は、フレームレートの設定値に応じて設定されることが好ましい。
本発明の更に他の態様に係る画像処理装置において、第2範囲は、外部からの指示を入力する指示入力部からの入力に応じて設定されることが好ましい。
本発明の更に他の態様に係る画像処理装置において、動画取得部で取得した動画のシーンを判別するシーン判別部を備え、第2範囲は、シーン判別部により判別されるシーンに応じて設定されることが好ましい。スポーツシーンのように被写体の動きが多いシーンでは、よりビットレートが過大にならないように第2下限値を、動きの少ない他のモードに比べて大きくする態様が考えられる。
本発明の更に他の態様に係る画像処理装置において、圧縮処理部は、MPEG符号化方式により動画を圧縮することが好ましい。MPEG符号化方式は、動画を圧縮する代表的な符号化方式であり、MPEG-2、MPEG-4、及びH.264/AVC等を含む。
本発明の更に他の態様に係る画像処理装置において、圧縮処理部は、動画の過去のフレームの画像データの量子化後の発生符号量に応じて量子化パラメータを決定することが好ましい。
本発明の更に他の態様に係る画像処理装置において、第2動画撮影モードは、第1動画撮影モードに対してシャッタスピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度及びフレームレートの少なくとも1つが高速に設定されることが好ましい。
本発明の更に他の態様に係る撮影装置は、上記の画像処理装置と、第1動画撮影モード、又は第2動画撮影モードに基づいて動画を撮影する動画撮影部と、を備え、動画取得部は、動画撮影部により撮影された動画を取得する。
更に他の態様に係る発明は、第1動画撮影モード、又は第1動画撮影モードとは撮影条件が異なる第2動画撮影モードに基づいて撮影された動画を取得する動画取得ステップと、動画取得ステップで取得した動画を構成するフレームの画像データの量子化パラメータを決定し、画像データを圧縮する圧縮処理ステップと、を含む画像処理方法であって、圧縮処理ステップは、第1動画撮影モードの場合、第1範囲内で量子化パラメータを決定し、第2動画撮影モードの場合、第2範囲内で量子化パラメータを決定し、第2範囲の第2上限値は第1範囲の第1上限値よりも小さく、第2範囲の第2下限値は第1範囲の第1下限値よりも大きい。
本発明の更に他の態様に係る画像処理方法において、第2範囲は、フレームレートの設定値に応じて設定されることが好ましい。
本発明の更に他の態様に係る画像処理方法において、第2範囲は、外部からの指示を入力する指示入力部からの入力に応じて設定されることが好ましい。
本発明の更に他の態様に係る画像処理方法において、動画取得ステップで取得した動画のシーンを判別するステップを含み、第2範囲は、判別されたシーンに応じて設定されることが好ましい。
本発明の更に他の態様に係る画像処理方法において、圧縮処理ステップは、MPEG符号化方式により動画を圧縮することが好ましい。
本発明の更に他の態様に係る画像処理方法において、圧縮処理ステップは、動画の過去のフレームの画像データの量子化後の発生符号量に応じて量子化パラメータを決定することが好ましい。
本発明の更に他の態様に係る画像処理方法において、第2動画撮影モードは、第1動画撮影モードに対してシャッタスピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度及びフレームレートの少なくとも1つが高速に設定されることが好ましい。
更に他の態様に係る発明は、第1動画撮影モード、又は第1動画撮影モードとは撮影条件が異なる第2動画撮影モードに基づいて撮影された動画を取得する動画取得機能と、動画取得機能で取得した動画を構成するフレームの画像データの量子化パラメータを決定し、画像データを圧縮する圧縮処理機能と、をコンピュータに実現させる画像処理プログラムであって、圧縮処理機能は、第1動画撮影モードの場合、第1範囲内で量子化パラメータを決定し、第2動画撮影モードの場合、第2範囲内で量子化パラメータを決定し、第2範囲の第2上限値は第1範囲の第1上限値よりも小さく、第2範囲の第2下限値は第1範囲の第1下限値よりも大きい。
本発明によれば、撮影条件が異なる第1動画撮影モード及び第2動画撮影モードに応じて、各動画撮影モードにより撮影される動画に対して好適な圧縮処理を行うことができ、特に第2動画撮影モードにより撮影される動画に対する圧縮処理は、第1動画撮影モードにより撮影される動画に対する圧縮処理に比べて、動画の全てのフレームに対して一定の画質を保ちつつ、ビットレートが過大にならないように圧縮処理を行うことができる。
以下、添付図面にしたがって本発明に係る画像処理装置、撮影装置、画像処理方法及び画像処理プログラムの好ましい実施形態について説明する。
<撮影装置の外観>
図1は、本発明に係る撮影装置を斜め前方から見た斜視図であり、図2は撮影装置の背面図である。
図1に示すように撮影装置10は、交換レンズ100と、交換レンズ100が着脱可能なカメラ本体200とから構成されたミラーレスのデジタル一眼カメラである。
図1において、カメラ本体200の前面には、交換レンズ100が装着される本体マウント260と、光学ファインダのファインダ窓20等が設けられ、カメラ本体200の上面には、主としてシャッタレリーズスイッチ22、シャッタスピードダイヤル23、露出補正ダイヤル24、電源レバー25、及び内蔵フラッシュ30が設けられている。
また、図2に示すようにカメラ本体200の背面には、主として液晶モニタ216、光学ファインダの接眼部26、MENU/OKキー27、十字キー28、再生ボタン29等が設けられている。
液晶モニタ216は、撮影モード時にライブビュー画像を表示したり、再生モード時に撮影した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能し、またユーザに対して各種の情報を通知する通知部として機能する。MENU/OKキー27は、液晶モニタ216の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キー28は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするマルチファンクションキーとして機能する。また、十字キー28の上キー及び下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り(順方向及び逆方向送り)ボタンとして機能する。また、液晶モニタ216に表示された複数の被写体から焦点調節を行う任意の被写体を指定する操作部としても機能する。
また、MENU/OKキー27、十字キー28、及び液晶モニタ216は、各種の撮影モードを選択する撮影モード選択部として機能するとともに、シーン選択部(シーン判別部)として機能する。
即ち、MENU/OKキー27を操作し、液晶モニタ216にメニュー画面を表示させ、そのメニュー画面を使用することで、1枚の静止画を撮影する静止画撮影モードの他に動画を撮影する動画撮影モードを設定することができる。また、動画撮影モードには、第1動画撮影モードと、第1動画撮影モードとは撮影条件が異なる第2動画撮影モードとがある。
第2動画撮影モードでは、第1動画撮影モードと撮影条件が異なる動画(動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画)を撮影する。具体的には、第2動画撮影モードでは、第1動画撮影モードに対してシャッタスピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも1つが高速に設定され、かつ/または第1動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートは撮影装置10で設定可能な最高値(例えば4,000×2,000画素、30fps(フレーム/秒))に設定され、色調も静止画抽出を前提として設定される。ISO感度の上限も第1動画撮影モードより高くする。
例えば、シャッタスピードに関しては、第1動画撮影モードでは記録する動画のフレームレートに対応した値(フレームレートが30fpsの場合、1/30秒)に設定されるが、第2動画モードではフレーム間隔よりも高速(例えば、1/30秒未満)に設定される。第1動画撮影モードでは、滑らかな動画が再生されるようにシャッタスピードが動画のフレームレートに対応した値に設定されるが、この場合、動く被写体に対してはブレが生じる可能性がある。このため、第2動画撮影モードでは、シャッタスピードを第1画撮影モードよりも高速(フレーム間隔よりも高速)に設定しており、これにより被写体のブレが少ない、高画質な静止画を抽出することが可能になる。同様に、ISO感度の上限を高くすることでシャッタスピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度,自動露出の追従速度やオートホワイトバランスの追従速度等が第1動画撮影モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。尚、フレームレートの設定値(30fps,60fps等)は、MENU/OKキー27、十字キー28等を使用して設定することができる。
上述した第2動画撮影モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント(自然現象やアクシデント、ハプニング等)の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、静止画の記録を指示したタイミングだけでなく、その他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件(上述したシャッタスピード、解像度、フレームレート等)を設定することにより高画質の静止画を抽出することができる。
また、MENU/OKキー27を操作し、液晶モニタ216にメニュー画面を表示させ、そのメニュー画面を使用することで、撮影シーンを選択することができる。撮影シーンには、風景、夜景、夕焼け、マクロ、人物、動体、スポーツなどの撮影シーンがあり、これらの撮影シーンのうちの何れかの撮影シーンを手動又は自動で選択又は判定し、カメラに設定することができる。尚、カメラに設定される撮影シーンに応じてその撮影シーンに最適な撮影条件が設定される。
再生ボタン29は、記録した静止画又は動画を液晶モニタ216に表示させる再生モードに切り替えるためのボタンである。
<撮影装置の内部構成>
[交換レンズ]
図3は、撮影装置10の内部構成の実施形態を示すブロック図である。
撮影装置10を構成する撮影光学系として機能する交換レンズ100は、カメラ本体200の通信規格に沿って製造されたものであり、後述するようにカメラ本体200との間で通信を行うことができる交換レンズである。この交換レンズ100は、撮影光学系102、フォーカスレンズ制御部116、絞り制御部118、レンズ側CPU(Central Processing Unit)120、フラッシュROM(Read Only Memory)126、レンズ側通信部150、及びレンズマウント160を備える。
交換レンズ100の撮影光学系102は、フォーカスレンズを含むレンズ群104及び絞り108を含む。
フォーカスレンズ制御部116は、レンズ側CPU120からの指令にしたがってフォーカスレンズを移動させ、フォーカスレンズの位置(合焦位置)を制御する。絞り制御部118は、レンズ側CPU120からの指令にしたがって絞り108を制御する。
レンズ側CPU120は、交換レンズ100を統括制御するもので、ROM124及びRAM(Random Access Memory)122を内蔵している。
フラッシュROM126は、カメラ本体200からダウンロードされたプログラム等を格納する不揮発性のメモリである。
レンズ側CPU120は、ROM124又はフラッシュROM126に格納された制御プログラムに従い、RAM122を作業領域として、交換レンズ100の各部を統括制御する。
レンズ側通信部150は、レンズマウント160がカメラ本体200の本体マウント260に装着されている状態で、レンズマウント160に設けられた複数の信号端子(レンズ側信号端子)を介してカメラ本体200との通信を行う。即ち、レンズ側通信部150は、レンズ側CPU120の指令にしたがって、レンズマウント160及び本体マウント260を介して接続されたカメラ本体200の本体側通信部250との間で、リクエスト信号、回答信号の送受信(双方向通信)を行い、撮影光学系102の各光学部材のレンズ情報(フォーカスレンズの位置情報、焦点距離情報及び絞り情報等)を、カメラ本体200に通知する。
また、交換レンズ100は、フォーカスレンズの位置情報、及び絞り情報を検出する検出部(図示せず)を備えている。ここで、絞り情報とは、絞り108の絞り値(F値)、絞り108の開口径等を示す情報である。
レンズ側CPU120は、カメラ本体200からのレンズ情報のリクエストに応えるために、検出されたフォーカスレンズの位置情報及び絞り情報を含む各種のレンズ情報をRAM122に保持することが好ましい。また、レンズ情報は、カメラ本体200からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期(動画のフレーム周期よりも十分に短い周期)で検出され、検出結果を保持することができる。
[カメラ本体]
図3に示す撮影装置10を構成するカメラ本体200は、イメージセンサ201、イメージセンサ制御部202、アナログ信号処理部203、A/D(Analog/Digital)変換器204、画像入力コントローラ205、デジタル信号処理部206、RAM207、圧縮伸張処理部208、メディア制御部210、メモリカード212、表示制御部214、液晶モニタ216、本体側CPU220、操作部222、時計部224、フラッシュROM226、ROM228、AF(Autofocus)制御部230、AE(Auto Exposure)制御部232、ホワイトバランス補正部234、無線通信部236、GPS(Global Positioning System)受信部238、電源制御部240、バッテリ242、本体側通信部250、本体マウント260、内蔵フラッシュ30(図1)を構成するフラッシュ発光部270、フラッシュ制御部272、フォーカルプレーンシャッタ(FPS:focal-plane shutter)280、及びFPS制御部296を備える。
イメージセンサ201は、CMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ201は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のイメージセンサでもよい。
イメージセンサ201の各画素には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)のうちのいずれか1色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置されている。カラーフィルタ配列は、一般的なベイヤー配列とすることできるが、これに限定されるものではなく、例えば、Trans(登録商標)配列等の他のカラーフィルタ配列でもよい。
さて、交換レンズ100の撮影光学系102によってイメージセンサ201の受光面に結像された被写体の光学像は、イメージセンサ201によって電気信号に変換される。イメージセンサ201の各画素には、入射する光量に応じた電荷が蓄積され、イメージセンサ201からは各画素に蓄積された電荷量(信号電荷)に応じた電気信号が画像信号として読み出される。
イメージセンサ制御部202は、本体側CPU220の指令にしたがってイメージセンサ201から画像信号の読み出し制御を行う。また、イメージセンサ制御部202は、静止画の撮影が行われる場合には、FPS280の開閉により露光時間が制御された後、FPS280が閉じた状態でイメージセンサ201の全ラインを読み出す。また、本例のイメージセンサ201及びイメージセンサ制御部202は、少なくとも1つ以上のライン毎や画素毎に順次露光動作を行う(即ち、ライン毎や画素毎に順次リセットを行い、電荷の蓄積を開始し、蓄積した電荷を読み出す方式である)、いわゆるローリングシャッタ方式にて駆動することができ、特にFPS280を開放した状態でローリングシャッタ方式にて動画の撮影、又はライブビュー画像の撮影を行う機能を有する。
アナログ信号処理部203は、イメージセンサ201で被写体を撮影して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部203は、サンプリングホールド回路、色分離回路、AGC(Automatic Gain Control)回路等を含んで構成されている。AGC回路は、撮影時の感度(ISO感度(ISO:International Organization for Standardization))を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。A/D変換器204は、アナログ信号処理部203から出力されたアナログの画像信号をデジタルの画像信号に変換する。
静止画又は動画の撮影時にイメージセンサ201、アナログ信号処理部203、及びA/D変換器204を介して出力されるRGBの画素毎の画像データ(モザイク画像データ)は、画像入力コントローラ205からRAM207に入力され、一時的に記憶される。
尚、イメージセンサ201がCMOS型イメージセンサである場合、アナログ信号処理部203及びA/D変換器204は、イメージセンサ201内に内蔵されていることが多い。
デジタル信号処理部206は、RAM207に格納されている画像データに対して、各種のデジタル信号処理を施す。デジタル信号処理部206は、RAM207に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理(デモザイキング処理、同時化処理とも言う)、RGB/YCrCb変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びRAM207に記憶させる。尚、デモザイク処理とは、例えば、RGB3色のカラーフィルタからなるイメージセンサの場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理であり、モザイクデータ(点順次のRGBデータ)から同時化されたRGB3面の画像データを生成する。
RGB/YCrCb変換処理は、同時化されたRGBデータを輝度データ(Y)及び色差データ(Cr、Cb)に変換する処理である。
圧縮伸張処理部208は、静止画又は動画の記録時に、一旦RAM207に格納された非圧縮の輝度データY及び色差データCb,Crに対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばMPEG符号化方式の一つであるH.264/AVC(Advanced Video Coding)方式で圧縮する。圧縮伸張処理部208により圧縮された画像データは、メディア制御部210を介してメモリカード212に記録される。また、圧縮伸張処理部208は、再生モード時にメディア制御部210を介してメモリカード212から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。
尚、本発明に係る圧縮伸張処理部208(特に、圧縮処理部)の詳細については後述する。
メディア制御部210は、圧縮伸張処理部208で圧縮された画像データを、メモリカード212に記録する制御を行う。また、メディア制御部210は、メモリカード212から、圧縮された画像データを読み出す制御を行う。
表示制御部214は、RAM207に格納されている非圧縮の画像データを、液晶モニタ216に表示させる制御を行う。液晶モニタ216は、液晶表示デバイスにより構成されているが、液晶モニタ216の代わりに有機エレクトロルミネッセンスなどの表示デバイスによって構成してもよい。
液晶モニタ216にライブビュー画像を表示させる場合には、デジタル信号処理部206で連続的に生成されたデジタルの画像信号が、RAM207に一時的に記憶される。表示制御部214は、このRAM207に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、液晶モニタ216に順次出力する。これにより、液晶モニタ216に撮影画像がリアルタイムに表示され、液晶モニタ216を電子ビューファインダとして使用することができる。
シャッタレリーズスイッチ22は、静止画や動画の撮影指示を入力するための撮影指示部であり、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。
静止画撮影モードの場合、シャッタレリーズスイッチ22が半押しされることによってS1オンの信号、半押しから更に押し込む全押しがされることによってS2オンの信号が出力され、S1オン信号が出力されると、本体側CPU220は、AF制御(自動焦点調節)及びAE制御(自動露出制御)などの撮影準備処理を実行し、S2オン信号が出力されると、静止画の撮影処理及び記録処理を実行する。
尚、AF及びAEは、それぞれ操作部222によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、AF及びAEが行われないことは言うまでもない。
また、動画撮影モード(通常の動画用の第1動画撮影モード、又は静止画抽出用の第2動画撮影モード)の場合、シャッタレリーズスイッチ22が全押しされることによってS2オンの信号が出力されると、カメラ本体200は、動画の記録を開始する動画記録モードになり、動画の画像処理及び記録処理を実行し、その後、シャッタレリーズスイッチ22が再び全押しされることによってS2オンの信号が出力されると、カメラ本体200は、スタンバイ状態になり、動画の記録処理を一時停止する。
尚、シャッタレリーズスイッチ22は半押しと全押しとからなる2段ストローク式のスイッチの形態に限られず、1回の操作でS1オンの信号、S2オンの信号を出力しても良く、それぞれ個別のスイッチを設けてS1オンの信号、S2オンの信号を出力しても良い。
また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮影準備処理や撮影処理を指示するものであれば操作手段の形態はこれらに限られない。
撮影により取得された静止画又は動画は、圧縮伸張処理部208により圧縮され、圧縮された画像データは、撮影日時、GPS情報、撮影条件(F値、シャッタスピード、ISO感度等)の所要の付属情報が、ヘッダに付加された画像ファイルとされた後、メディア制御部210を介してメモリカード212に格納される。
本体側CPU220は、カメラ本体200全体の動作及び交換レンズ100の光学部材の駆動等を統括制御するもので、シャッタレリーズスイッチ22を含む操作部222等からの入力に基づき、カメラ本体200の各部及び交換レンズ100を制御する。
時計部224は、タイマとして、本体側CPU220からの指令に基づいて時間を計測する。また、時計部224は、カレンダとして、現在の年月日及び時刻を計測する。
フラッシュROM226は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報を記憶する。
ROM228には、本体側CPU220が実行するカメラ制御プログラム、本発明に係る画像処理プログラム、イメージセンサ201の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側CPU220は、ROM228に格納されたカメラ制御プログラム、あるいは画像処理プログラムにしたがい、RAM207を作業領域としながらカメラ本体200の各部、及び交換レンズ100を制御する。
自動焦点調節部として機能するAF制御部230は、イメージセンサ201が位相差画素を含む場合には、位相差AFの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて、フォーカスレンズが移動すべき位置(合焦位置)指令を、本体側CPU220及び本体側通信部250を介して交換レンズ100に通知する。
AF制御部230により算出されたデフォーカス量に対応するフォーカスレンズの位置指令は、交換レンズ100に通知され、フォーカスレンズの位置指令を受け付けた交換レンズ100のレンズ側CPU120は、フォーカスレンズ制御部116を介してフォーカスレンズを移動させ、フォーカスレンズの位置(合焦位置)を制御する。尚、AF制御部230は、位相差AFを行うものに限らず、AF領域のコントラストが最大になるようにフォーカスレンズを移動させるコントラストAFを行うものでもよい。
AE制御部232は、被写体の明るさ(被写体輝度)を検出する部分であり、被写体輝度に対応するAE制御及びAWB(Auto White Balance)制御に必要な数値(露出値(EV値(exposure value)))を算出する。AE制御部232は、イメージセンサ201を介して取得した画像の輝度、画像の輝度の取得時のシャッタスピード及びF値によりEV値を算出する。
本体側CPU220は、AE制御部232から得たEV値に基づいて所定のプログラム線図からF値、シャッタスピード及びISO感度を決定し、AE制御を行うことができる。
ホワイトバランス補正部234は、RGBデータ(Rデータ、Gデータ及びBデータ)の色データ毎のホワイトバランスゲイン(WB(White Balance)ゲイン)Gr,Gg,Gbを算出し、Rデータ、Gデータ及びBデータに、それぞれ算出したWBゲインGr,Gg,Gbを乗算することによりホワイトバランス補正を行う。ここで、WBゲインGr,Gg,Gbの算出方法としては、被写体の明るさ(EV値)によるシーン認識(屋外、屋内の判定等)及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なWBゲインが記憶されている記憶部から特定した光源種に対応するWBゲインを読み出す方法が考えられるが、少なくともEV値を使用してWBゲインGr,Gg,Gbを求める他の公知の方法が考えられる。
無線通信部236は、Wi-Fi(Wireless Fidelity)(登録商標)、Bluetooth(登録商標)等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器(スマートフォン、等の携帯端末)との間で必要な情報の送受信を行う。
GPS受信部238は、本体側CPU220の指示にしたがって、複数のGPS衛星から送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、カメラ本体200の緯度、経度、及び高度からなるGPS情報を取得する。取得されたGPS情報は、撮影された画像の撮影位置を示す付属情報として画像ファイルのヘッダに記録することができる。
電源制御部240は、本体側CPU220の指令にしたがって、バッテリ242から供給される電源電圧をカメラ本体200の各部に与える。また、電源制御部240は、本体側CPU220の指令にしたがって、本体マウント260及びレンズマウント160を介して、バッテリ242から供給される電源電圧を交換レンズ100の各部に与える。
レンズ電源スイッチ244は、本体側CPU220の指令にしたがって、本体マウント260及びレンズマウント160を介して交換レンズ100に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。
本体側通信部250は、本体側CPU220の指令にしたがって、本体マウント260及びレンズマウント160を介して接続された交換レンズ100のレンズ側通信部150との間で、リクエスト信号、回答信号の送受信(双方向通信)を行う。尚、本体マウント260には、図1に示すように複数の端子260Aが設けられており、交換レンズ100がカメラ本体200に装着(レンズマウント160と本体マウント260とが接続)されると、本体マウント260に設けられた複数の端子260A(図1)と、レンズマウント160に設けられた複数の端子(図示せず)とが電気的に接続され、本体側通信部250とレンズ側通信部150との間で双方向通信が可能になる。
内蔵フラッシュ30(図1)は、例えば、TTL(Through The Lens)自動調光方式のフラッシュであり、フラッシュ発光部270と、フラッシュ制御部272とから構成されている。
フラッシュ制御部272は、フラッシュ発光部270から発光するフラッシュ光の発光量(ガイドナンバー)を調整する機能を有する。即ち、フラッシュ制御部272は、本体側CPU220からのフラッシュ撮影指示に同期してフラッシュ発光部270から、発光量の小さいフラッシュ光をプリ発光(調光発光)させ、交換レンズ100の撮影光学系102を介して入射する反射光(周囲光を含む)に基づいて本発光するフラッシュ光の発光量を決定し、決定した発光量のフラッシュ光を、フラッシュ発光部270から発光(本発光)させる。
FPS280は、撮影装置10のメカシャッタを構成し、イメージセンサ201の直前に配置される。FPS制御部296は、本体側CPU220からの入力情報(S2オン信号、シャッタスピード等)に基づいてFPS280の先幕、後幕の開閉を制御し、イメージセンサ201における露光時間(シャッタスピード)を制御する。
次に、第1動画撮影モード又は第2動画撮影モードが設定され、第1動画撮影モード又は第2動画撮影モードにより撮影された動画を圧縮する圧縮伸張処理部208について説明する。
[第1実施形態]
図4は、本発明に係る画像処理装置の第1実施形態を示すブロック図であり、特にカメラ本体200内の圧縮伸張処理部208の圧縮処理部に関して示している。
図4に示す圧縮処理部208-1は、主として動画取得部302、直交変換器310、量子化部320、符号化部330、及びビットレート制御部340から構成されている。尚、本例の圧縮処理部208-1は、MPEG符号化方式の一つであるH.264/AVC方式で圧縮するものとする。
MPEG圧縮方式では、動画の数フレーム(例えば、15フレーム)の集合である1GOP(Group Of Pictures)の単位で圧縮、編集等がなされる。1GOPには、自フレームの情報のみが圧縮され、時間的に前後する他のフレームとの相関情報を用いないI(Intra)フレームと、時間的に過去のフレームからの相関情報で表わされるP(Predictive)フレームと、時間的に前後するフレームからの相関情報で表されるB(Bidirectionally)フレームとが含まれており、1GOPの先頭のフレームは、少なくともIフレームである。
図4に示す圧縮処理部208-1は、撮影装置10の動画撮影部(交換レンズ100及びカメラ本体200のイメージセンサ201等)により撮影された通常の動画又は静止画抽出用の動画300を圧縮処理する部分である。
圧縮処理部208-1の動画取得部302は、動画撮影部により撮影された動画300を構成するフレームの画像データを取得する部分であり、本例では、説明を簡単にするために、1GOPを構成するIフレーム、Pフレーム、及びBフレームを順次取得するものとする。
1GOPを構成する各フレームは、16×16画素のマクロブロック単位で符号化される。1つのマクロブロックの輝度データY及び色差データCb,Crは、例えば、Y:Cr:Cb=4:1:1のフォーマットの8×8画素の4つの輝度データYのブロックと、8×8画素に間引かれたそれぞれ1つの色差データCr,Cbのブロックとに変換されてから、ブロック(単位ブロック)毎に量子化処理が行われる。
直交変換器310は、8×8画素の単位ブロックのデータを、離散コサイン変換(DCT:Discrete Cosine Transform)と呼ばれる手法に従い直交変換して周波数成分に分解し、直交変換係数を算出する。
量子化部320は、直交変換器310による変換された直交変換係数を、ビットレート制御部340により決定(設定)された量子化パラメータ(QP値)に基づいて量子化する。
H.264/AVCでは、QP値は、1~51の範囲に規定されており、この範囲内でQP値が決定されると、QP値に対応する量子化ステップサイズ(Qstep)が決まる。Qstepは、量子化処理で行われる直交変換係数を除算する値であり、H.264/AVCでは、QP値が6増えると2倍になる値であり、決定したQP値に基づいてルックアップテーブルを用いて、又は計算により導出することができる。
圧縮されたビットストリームの品質及びビットレートは、主に各マクロブロックを量子化するために選択されるQP値によって決定される。QP値に対応するQstepは、圧縮されたマクロブロックに空間的ディテールをどの程度保持させるかを調整するための数値である。
Qstepが小さいほど、ディテールの保持は大きく、画像の品質は良いが、ビットレートが高くなる。Qstepが増加するにしたがってディテールの保持が小さくなり、ビットレートは削減されるが、画像の品質が低下する。したがって、ビットレート制御部340は、画質とビットレートとを勘案してQP値(Qstep)を決定する必要がある。
尚、ビットレート制御部340によるQP値の決定方法については後述する。
符号化部330は、量子化部320から供給される量子化値をエントロピー符号化する部分であり、H.264/AVCでは、ハフマン符号をベースとした可変長符号化 (VLC; Variable Length Coding) と、算術符号化のいずれかを選択することができる。符号化部330により更に圧縮された圧縮データ350(符号化データ)は、ビットストリームとしてメディア制御部210(図3)に送出される。尚、メディア制御部210は、圧縮された通常の動画及び静止画抽出用の動画の圧縮データを、メモリカード212に記録する動画記録部として機能する。
ビットレート制御部340は、VBV(Video Buffering Verifier)バッファとしての機能を有し、符号化部330から出力される動画の過去のフレームの画像データの量子化後の符号化データ(発生符号量)を、例えばマクロブロック単位で取得し、取得した発生符号量と予め設定されたビットストリームのビットレートとからVBVバッファ占有量を算出し、VBVバッファが破綻しないQP値を決定する。ビットレート制御部340は、決定したQP値を量子化部320に出力する。
ビットレート制御部340は、決定したQP値の代わりに、そのQP値に対応する量子化ステップサイズ(Qstep)を量子化部320に出力してもよい。また、ビットレート制御部340は、フレーム単位又はGOP単位でQP値を決定してもよい。
量子化部320は、ビットレート制御部340から入力するQP値に対応するQstepを取得し、又はビットレート制御部340から直接Qstepを取得し、直交変換係数をQstepで除算して整数に丸めた量子化値を算出する。
次に、ビットレート制御部340によるQP値の決定方法について更に詳述する。
図4に示すように、ビットレート制御部340には、撮影モード選択部360から通常の動画用の第1動画撮影モード、又は静止画抽出用の第2動画撮影モードを示す撮影モード指令が加えられるようになっている。
撮影モード選択部360は、本例では、MENU/OKキー27、十字キー28及び液晶モニタ216等を使用したオンスクリーン対話方式による操作部であるが、各種の撮影モードを選択するためのモードダイヤルでもよい。
撮影装置10は、撮影モード選択部360により第1動画撮影モードが選択された状態で、シャッタレリーズスイッチ22から動画の撮影指示を入力すると、動画の鑑賞に適した撮影条件で動画(通常の動画)を撮影し、一方、撮影モード選択部360により第2動画撮影モードが選択された状態で、シャッタレリーズスイッチ22から動画の撮影指示を入力すると、静止画の抽出に適した撮影条件で動画(静止画抽出用の動画)を撮影する。
ここで、静止画抽出用の動画の撮影条件と通常の動画の撮影条件とは、例えば、シャッタスピードが異なり、静止画抽出用の動画の各フレームのシャッタスピードは、通常の動画に比べて高速に設定される。
静止画抽出用の動画の場合、各フレームに手ブレや像ブレが発生しないシャッタスピードに設定することが好ましいからである。一方、通常の動画の場合、各フレームの連続性を確保するために、フレームレートにより決まるフレーム間隔に相当するシャッタスピードに設定することが好ましい。また、静止画抽出用の動画の場合、AF、AE及びAWBの追従速度を可能な限り速くし、一方、通常の動画の場合、AF、AE及びAWBの追従速度を緩やかにすることが好ましい。また、静止画抽出用の動画の場合、一瞬のシーンをとらえるために、通常の動画に比べてフレームレートを高くすること(単位時間当りのフレーム数を多くすること)が好ましい。
さて、ビットレート制御部340は、撮影モード選択部360から第1動画撮影モードを示す撮影モード指令が加えられる場合と、第2動画撮影モードを示す撮影モード指令が加えられる場合とで、QP値の範囲(下限値と上限値)を異ならせる。
図5は、通常の動画の圧縮を圧縮処理する際の過去のフレームの画像データの量子化後の発生符号量の変化と、QP値との関係を示す模式図である。
図5に示すように、ビットレート制御部340は、通常の動画の量子化に使用するQP値を、第1下限値(Min.1)と第1上限値(Max.1)との範囲(第1範囲)内で決定する。H.264/AVCの場合、QP値のとり得る最大範囲は、1~51であるため、Min.1及びMax.1は、1~51の範囲内で設定される。Min.1及びMax.1は、動画全体の画質を考慮して設定することが好ましい。
図5に示すように、QP値がMin.1に設定されている場合、シーンチェンジのように動きのあるシーンのフレームやGOPを量子化すると、量子化後の発生符号量は、急激に増加する。この場合、ビットレート制御部340は、VBVバッファが破綻(VBVバッファ占有量がオーバーフロー)しないようにQP値を大きくする。
図5に示す例では、発生符号量が急激に増加した場合、QP値をMin.1からMax.1にしている。
その後、動きのあるシーンから静止したシーンになると、QP値がMax.1に保持されているため、量子化後の発生符号量は急激に減少する。ビットレート制御部340は、発生符号量の減少により、VBVバッファが破綻(VBVバッファ占有量がアンダーフロー)しないようにQP値を小さくする。
通常の動画に対するMin.1及びMax.1は、動画全体の画質を考慮して設定されるため、動画として鑑賞するには適しているが、通常の動画から1枚のフレームを静止画として抽出する場合には、抽出された静止画に対するQP値が大き過ぎる可能性がある。
図6は、静止画抽出用の動画を圧縮処理する際の過去のフレームの画像データの量子化後の発生符号量の変化と、QP値との関係を示す模式図である。
図6に示すように、ビットレート制御部340は、静止画抽出用の動画の量子化に使用するQP値を、第2下限値(Min.2)と第2上限値(Max.2)との範囲(第2範囲)内で決定する。
Min.2及びMax.2は、それぞれ静止画抽出用の動画の全てのフレームに対して一定の画質(静止画として要求される画質)を保証することができ、かつ通常の動画の場合と同等のビットレートになるように設定する。
具体的には、Min.2は、Min.1よりも大きい値にする。Min.2は、シーンチェンジのように動きのあるシーンのフレームやGOPを量子化する場合に、量子化後の発生符号量が大幅に増加しないように設定する。
また、Min.1よりも大きいMin.2を設定することで、Min.1が設定される場合に比べて、量子化後の発生符号量の増加を抑制することができる。
一方、Max.2は、Max.1よりも小さい値にする。Max.2は、量子化に使用するQP値としてMax.2が使用されたフレームでも、そのフレームが静止画として所望の画質を保持できる値に設定する。
図6に示すように、QP値がMin.1よりも大きいMin.2に設定されている場合、静止しているシーン等において、通常の動画に比べて量子化後の発生符号量が抑制され、その結果、シーンチェンジのように動きのあるシーンのフレームやGOPを量子化する場合でも、急激に増加しないように抑制することができる。
また、図6に示す例では、発生符号量が増加した場合、QP値をMin.2からMax.2にしているが、発生符号量の増加が抑制されているため、Max.1よりも小さいMax.2でもVBVバッファが破綻(VBVバッファ占有量がオーバーフロー)しないようにすることができる。
特にQP値が、最大でもMax.1よりも小さいMax.2に制限することができるため、静止画抽出用の動画の全てのフレームに対して、静止画として要求される画質を保証することができる。
[第2実施形態]
図7は、本発明に係る画像処理装置の第2実施形態を示すブロック図であり、特にカメラ本体200内の圧縮伸張処理部208の圧縮処理部に関して示している。尚、図7に示す第2実施形態において、図4に示した第1実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図7に示す圧縮処理部208-2は、主として静止画抽出用の動画のシーンを判別するシーン判別部を有する点で、図4に示した第1実施形態の圧縮処理部208-1と相違する。
シーン判別部は、風景、夜景、夕焼け、マクロ、人物、動体、スポーツなどの撮影シーンを選択するシーン選択部370からのシーン情報に基づいて撮影シーンを判別する部分であり、ビットレート制御部340がシーン判別部として機能するものでもよいし、ビットレート制御部340とは独立したシーン判別部を備えていてもよい。また、シーン判別部は、ライブビュー画像を解析し、その解析結果に基づいて自動的に撮影シーンを判別するものでもよい。
ビットレート制御部340は、静止画抽出用の第2動画撮影モードに設定されている場合、シーン判別部に判別された動画の撮影シーンを示すシーン情報に応じて、選択可能なQP値の範囲(第2範囲)を設定する。例えば、シーン情報に応じて、シーン情報とMin.2及びMax.2との関係が記録されているテーブルから、シーン情報に対応して記録されたMin.2及びMax.2を読み出すことで、Min.2とMax.2とにより規定されるQP値の第2範囲を設定することができる。
尚、動画の撮影シーンに応じて設定されるMin.2は、通常の動画のQP値のMin.1よりも大きく、Max.2は通常の動画のQP値のMax.1よりも小さいことは言うまでもない。また、ビットレート制御部340は、通常の動画用の第1動画撮影モードに設定されている場合、シーン判別部に判別された動画の撮影シーンを示すシーン情報に応じて、選択可能なQP値の範囲(第1範囲)を設定してもよい。
シーン判別とそのシーン判別結果により設定されるQP値の範囲としては、例えば、風や動体の有無等の撮影シーンを動画から判別し、その判別結果から「瞬間的に変化するシーン」かどうかを判定してQP値の範囲を決めてもよい。また、静止画抽出用の第2動画撮影モードとして、更に「瞬間変化切り出しモード」と「通常の切り出しモード(瞬間変化切り出しモード以外のモード)」とを設け、ユーザーが「瞬間変化切り出しモード」を選択した場合は、「通常の切り出しモード」よりもQP値の範囲(第2範囲)を狭くしてもよい。
また、第2動画撮影モードではフレームレートに応じてフレームレート応じてQP値の第2範囲をシフト(フレームレートが高くなるとQP値を高い方へシフトさせる)させてもよい。
次の[表1]に、QP値の下限値及び上限値の一例を示す。
[シーン判別について]
急激にシーンが変わる場面としては、例えば、雷撮影が考えられる。
同じ構図のフレームの動画が続く場合、同じ構図のフレームにおいてQP値が徐々に下がり、画像の圧縮率が下がる。この場合に急激に画面が変化すると、圧縮率が出来ずQP値が大きくなってしまう懸念がある。
そこで、静止画抽出用の第2動画撮影モードとして、「瞬間変化切り出しモード」を設け、「通常の切り出しモード」に比べて更にQP値の幅を狭くすることが好ましい。
[フレームレートについて]
フレームレートが30fpsから60fpsに変化する場合、データ量が単純に2倍になる。
フレームレートが上がる場合は、それに応じてQP値の範囲をシフト(下限値も上限値も上げる。) させることが好ましい。これにより、30fpsと60fpsの圧縮後のビットレートが同じようにでき、フレームレートが30fpsから60fpsになっても画質の劣化が抑制出来る。
尚、[表1]に示したQP値の上限値、下限値に限らず、第2動画撮影モードにおけるQP値の第2範囲は、外部からの指示を入力する指示入力部からの入力に応じて適宜設定してもよい。
[画像処理方法]
図8は、本発明に係る画像処理方法の実施形態を示すフローチャートである。以下、主として図4に示した圧縮処理部208-1の各部の処理動作について説明する。
図8において、ビットレート制御部340は、撮影モード選択部360から入力する撮影モード指令により、通常の動画用の第1動画撮影モードが選択されているか、又は静止画抽出用の第2動画撮影モードが選択されているかを判別する(ステップS10)。
第1動画撮影モードが選択されている場合には、通常の動画用の量子化パラメータ(QP値)の第1範囲(第1下限値Min.1、第1上限値Max.1)を設定し(ステップS12)、第2動画撮影モードが選択されている場合には、静止画抽出用のQP値の第2範囲(第2下限値Min.2、第2上限値Max.2)を設定する(ステップS13)。尚、Min.2は、Min.1よりも大きい値であり、Max.2は、Max.1よりも小さい値である。また、ステップS14は、シーン判別部により静止画抽出用の動画のシーンを判別するステップを含み、判別されたシーンに応じて第2範囲を設定してもよい。
続いて、撮影装置10の本体側CPU220は、操作部222(シャッタレリーズスイッチ22)からの入力信号により動画撮影が開始したか否かを判別する(ステップS14)。
ステップS14により動画撮影が開始されたと判別されると、本体側CPU220は、動画撮影部により第1動画撮影モード又は第2動画撮影モードによる動画撮影を行わせる
(ステップS15、動画取得ステップ)。
続いて、動画撮像部により撮影される動画に対して、MPEG符号化方式の一つであるH.264/AVC方式により1GOPの単位で、撮影された動画の圧縮等を行う(圧縮処理ステップ)。
即ち、圧縮処理部208-1の動画取得部302は、動画撮影が開始されると、通常の動画又は静止画抽出用の動画の各フレーム(1GOPを構成するIフレーム、Pフレーム、及びBフレーム)を順次取得する(ステップS16)。
各フレームは、8×8画素の単位ブロック毎に圧縮処理が行われる。直交変換器310は、単位ブロックのデータを離散コサイン変換(DCT)し、直交変換係数を算出する(ステップS18)。
VBVバッファとしての機能を有するビットレート制御部340は、符号化部330から出力される符号化データ(動画の過去のフレームの画像データの量子化後の発生符号量)を、例えばマクロブロック単位で取得する(ステップS20)。ビットレート制御部340は、取得した発生符号量と予め設定されたビットストリームのビットレートとからVBVバッファ占有量を算出し、VBVバッファが破綻しない量子化パラメータ(QP値)を決定する(ステップS22)。
ここで、ステップS22におけるQP値の決定は、現在圧縮処理している動画が、通常の動画の場合には、ステップS12で設定された第1範囲(第1下限値Min.1、第1上限値Max.1)内でQP値を決定し、静止画抽出用の動画の場合には、ステップS13で設定された第2範囲(第2下限値Min.2、第2上限値Max.2)内でQP値を決定する。
量子化部320は、直交変換器310から入力する直交変換係数を、ビットレート制御部340により決定されたQP値に対応する量子化ステップサイズ(Qstep)で除算して整数に丸めた量子化値を算出する(ステップS24)。
ステップS12で設定された第1範囲内でQP値を決定し、動画のフレームを単位ブロック毎に量子化して圧縮するステップS18~ステップS24は、通常の動画を圧縮する第1圧縮ステップに対応し、ステップS13で設定された第2範囲内でQP値を決定し、動画のフレームを単位ブロック毎に量子化して圧縮するステップS18~ステップS24は、静止画抽出用の動画を圧縮する第2圧縮ステップに対応する。
量子化部320により算出された量子化値は、符号化部330によりエントロピー符号化され、ビットストリームとしてメディア制御部210(図3)に出力され、メディア制御部210により通常の動画又は静止画抽出用の動画としてメモリカード212に記録される(ステップS26)。
続いて、撮影装置10の本体側CPU220は、操作部222からの入力信号により動画撮影が終了したか否かを判別する(ステップS28)。動画撮影が終了していないと判別されると(「No」の場合)、ステップS15に遷移させる。これにより、動画の撮影、圧縮処理及び記録処理等が継続して行われる。動画撮影が終了したと判別されると(「Yes」の場合)、本画像処理を終了させる。
本実施形態の撮影装置10は、ミラーレスのデジタル一眼カメラであるが、これに限らず、一眼レフカメラ、レンズ一体型の撮影装置、デジタルビデオカメラ等でもよく、また、撮影機能に加えて撮影以外の他の機能(通話機能、通信機能、その他のコンピュータ機能)を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図9は、本発明の撮影装置の一実施形態であるスマートフォン500の外観を示すものである。図9に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、係る筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。尚、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図10は、図9に示すスマートフォン500の構成を示すブロック図である。図10に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記録部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。
無線通信部510は、主制御部501の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Webデータ及びストリーミングデータなどの受信を行う。
表示入力部520は、主制御部501の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図9に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。また、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。また、図9に示すように、例えば、スピーカ531、マイクロホン532を表示入力部520が設けられた面と同じ面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図9に示すように、操作部540は、スマートフォン500の筐体502の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記録部550は、主制御部501の制御プログラム、制御データ、アプリケーションソフトウェア(本発明に係る画像処理プログラムを含む)、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記録部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部562により構成される。尚、記録部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの記録媒体を用いて実現される。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、及びIEEE1394など)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、又はオーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、及びイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達し、又はスマートフォン500の内部のデータを外部機器に伝送することが可能である。
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン500の緯度、経度、及び高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサ及びジャイロセンサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記録部550が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。
アプリケーション処理機能は、記録部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る圧縮処理を行う画像処理機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画や動画のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、図1に示した撮影装置10に相当する。また、カメラ部541は、主制御部501の制御により、撮影によって得た静止画の画像データを、例えばJPEG(Joint Photographic coding Experts Group)で圧縮し、又は動画の画像データを、例えばH.264/AVCで圧縮して記録部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図9に示すようにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、或いは、複数のカメラ部541が搭載されてもよい。尚、複数のカメラ部541が搭載されている場合、撮影に供するカメラ部541を切り替えて単独にて撮影したり、或いは、複数のカメラ部541を同時に使用して撮影することもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。さらには、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサ(ジャイロセンサ)と併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部580により取得した姿勢情報等などを付加して記録部550に記録したり、外部入出力部560や無線通信部510を通じて出力することもできる。
[その他]
本実施形態では、H.264/AVCの符号化方式を例に説明したが、これに限らず、MPEG-2、MPEG-4等の他の符号化方式で圧縮する場合にも適用できる。例えば、MPEG-2では、QP値は、1~31の範囲に規定されている。したがって、通常の動画と静止画抽出用の動画とで異なるQP値の範囲(下限値と上限値)を設定する場合、符号化方式に応じて設定する必要がある。
本発明に係る撮影装置の圧縮伸張処理部208における各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
更にまた、本発明は、撮影装置にインストールされることにより、本発明に係る撮影装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された記録媒体を含む。
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10 撮影装置
20 ファインダ窓
22 シャッタレリーズスイッチ
23 シャッタスピードダイヤル
24 露出補正ダイヤル
25 電源レバー
26 接眼部
27 MENU/OKキー
28 十字キー
29 再生ボタン
30 内蔵フラッシュ
100 交換レンズ
102 撮影光学系
104 レンズ群
108 絞り
116 フォーカスレンズ制御部
118 絞り制御部
120 レンズ側CPU
122 RAM
124 ROM
126 フラッシュROM
150 レンズ側通信部
160 レンズマウント
200 カメラ本体
201 イメージセンサ
202 イメージセンサ制御部
203 アナログ信号処理部
204 A/D変換器
205 画像入力コントローラ
206 デジタル信号処理部
207 RAM
208 圧縮伸張処理部
208-1、208-2 圧縮処理部
210 メディア制御部
212 メモリカード
214 表示制御部
216 液晶モニタ
220 本体側CPU
222 操作部
224 時計部
226 フラッシュROM
228 ROM
230 AF制御部
232 AE制御部
234 ホワイトバランス補正部
236 無線通信部
238 GPS受信部
240 電源制御部
242 バッテリ
244 レンズ電源スイッチ
250 本体側通信部
260 本体マウント
260A 端子
270 フラッシュ発光部
272 フラッシュ制御部
296 FPS制御部
300 動画
302 動画取得部
310 直交変換器
320 量子化部
330 符号化部
340 ビットレート制御部
350 圧縮データ
360 撮影モード選択部
370 シーン選択部
500 スマートフォン
501 主制御部
502 筐体
510 無線通信部
520 表示入力部
521 表示パネル
522 操作パネル
530 通話部
531 スピーカ
532 マイクロホン
540 操作部
541 カメラ部
550 記録部
551 内部記憶部
552 外部記憶部
560 外部入出力部
562 外部記憶部
570 GPS受信部
570 受信部
580 モーションセンサ部
590 電源部
Max.1 第1上限値
Max.2 第2上限値
Min.1 第1下限値
Min.2 第2下限値
S10~S28 ステップ
Claims (16)
-
第1動画撮影モード、又は前記第1動画撮影モードとは撮影条件が異なる第2動画撮影モードに基づいて撮影された動画を取得する動画取得部と、
前記動画取得部で取得した動画を構成するフレームの画像データの量子化パラメータを決定し、前記画像データを圧縮する圧縮処理部と、
を備える画像処理装置であって、
前記圧縮処理部は、前記第1動画撮影モードの場合、第1範囲内で前記量子化パラメータを決定し、前記第2動画撮影モードの場合、第2範囲内で前記量子化パラメータを決定し、前記第2範囲の第2上限値は前記第1範囲の第1上限値よりも小さく、前記第2範囲の第2下限値は前記第1範囲の第1下限値よりも大きい画像処理装置。
-
前記第2範囲は、フレームレートの設定値に応じて設定される、請求項1に記載の画像処理装置。
-
前記第2範囲は、外部からの指示を入力する指示入力部からの入力に応じて設定される、請求項1又は2に記載の画像処理装置。
-
前記動画取得部で取得した動画のシーンを判別するシーン判別部を備え、
前記第2範囲は、前記シーン判別部により判別されたシーンに応じて設定される請求項1から3のいずれか1項に記載の画像処理装置。
-
前記圧縮処理部は、MPEG符号化方式により前記動画を圧縮する請求項1から4のいずれか1項に記載の画像処理装置。
-
前記圧縮処理部は、前記動画の過去のフレームの画像データの量子化後の発生符号量に応じて量子化パラメータを決定する請求項1から5のいずれか1項に記載の画像処理装置。
-
前記第2動画撮影モードは、前記第1動画撮影モードに対してシャッタスピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度及びフレームレートの少なくとも1つが高速に設定される請求項1から6のいずれか1項に記載の画像処理装置。
-
請求項1から7のいずれか1項に記載の画像処理装置と、
前記第1動画撮影モード、又は前記第2動画撮影モードに基づいて動画を撮影する動画撮影部と、を備え、
前記動画取得部は、前記動画撮影部により撮影された前記動画を取得する撮影装置。
-
第1動画撮影モード、又は前記第1動画撮影モードとは撮影条件が異なる第2動画撮影モードに基づいて撮影された動画を取得する動画取得ステップと、
前記動画取得ステップで取得した動画を構成するフレームの画像データの量子化パラメータを決定し、前記画像データを圧縮する圧縮処理ステップと、
を含む画像処理方法であって、
前記圧縮処理ステップは、前記第1動画撮影モードの場合、第1範囲内で前記量子化パラメータを決定し、前記第2動画撮影モードの場合、第2範囲内で前記量子化パラメータを決定し、前記第2範囲の第2上限値は前記第1範囲の第1上限値よりも小さく、前記第2範囲の第2下限値は前記第1範囲の第1下限値よりも大きい画像処理方法。
-
前記第2範囲は、フレームレートの設定値に応じて設定される、請求項9に記載の画像処理方法。
-
前記第2範囲は、外部からの指示を入力する指示入力部からの入力に応じて設定される、請求項9又は10に記載の画像処理方法。
-
前記動画取得ステップで取得した動画のシーンを判別するステップを含み、
前記第2範囲は、前記判別されたシーンに応じて設定される請求項9から11のいずれか1項に記載の画像処理方法。
-
前記圧縮処理ステップは、MPEG符号化方式により前記動画を圧縮する請求項9から12のいずれか1項に記載の画像処理方法。
-
前記圧縮処理ステップは、前記動画の過去のフレームの画像データの量子化後の発生符号量に応じて量子化パラメータを決定する請求項9から13のいずれか1項に記載の画像処理方法。
-
前記第2動画撮影モードは、前記第1動画撮影モードに対してシャッタスピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度及びフレームレートの少なくとも1つが高速に設定される請求項9から14のいずれか1項に記載の画像処理方法。
-
第1動画撮影モード、又は前記第1動画撮影モードとは撮影条件が異なる第2動画撮影モードに基づいて撮影された動画を取得する動画取得機能と、
前記動画取得機能で取得した動画を構成するフレームの画像データの量子化パラメータを決定し、前記画像データを圧縮する圧縮処理機能と、
をコンピュータに実現させる画像処理プログラムであって、
前記圧縮処理機能は、前記第1動画撮影モードの場合、第1範囲内で前記量子化パラメータを決定し、前記第2動画撮影モードの場合、第2範囲内で前記量子化パラメータを決定し、前記第2範囲の第2上限値は前記第1範囲の第1上限値よりも小さく、前記第2範囲の第2下限値は前記第1範囲の第1下限値よりも大きい画像処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020548110A JP6941744B2 (ja) | 2018-09-26 | 2019-08-07 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
US17/183,051 US11223826B2 (en) | 2018-09-26 | 2021-02-23 | Image processing device, imaging device, image processing method, and image processing program |
US17/542,896 US20220094935A1 (en) | 2018-09-26 | 2021-12-06 | Image processing device, imaging device, image processing method, and image processing program |
US18/608,549 US20240223763A1 (en) | 2018-09-26 | 2024-03-18 | Device and method for adaptive quantization based on video capturing mode |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-179972 | 2018-09-26 | ||
JP2018179972 | 2018-09-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/183,051 Continuation US11223826B2 (en) | 2018-09-26 | 2021-02-23 | Image processing device, imaging device, image processing method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020066326A1 true WO2020066326A1 (ja) | 2020-04-02 |
Family
ID=69952033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/031266 WO2020066326A1 (ja) | 2018-09-26 | 2019-08-07 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (3) | US11223826B2 (ja) |
JP (3) | JP6941744B2 (ja) |
WO (1) | WO2020066326A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6941744B2 (ja) | 2018-09-26 | 2021-09-29 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295852A (ja) * | 2005-04-14 | 2006-10-26 | Sony Corp | 画像符号化装置,画像符号化方法,撮像装置およびプログラム |
WO2011021345A1 (ja) * | 2009-08-21 | 2011-02-24 | パナソニック株式会社 | 画像処理装置及びカメラシステム |
JP2012178818A (ja) * | 2011-01-31 | 2012-09-13 | Panasonic Corp | 映像符号化装置および映像符号化方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08256337A (ja) * | 1995-03-16 | 1996-10-01 | Toshiba Corp | 動画像符号化装置 |
JP4725183B2 (ja) | 2005-05-11 | 2011-07-13 | ソニー株式会社 | 撮像装置、および方法 |
US20090060039A1 (en) * | 2007-09-05 | 2009-03-05 | Yasuharu Tanaka | Method and apparatus for compression-encoding moving image |
JP2013187834A (ja) | 2012-03-09 | 2013-09-19 | Nikon Corp | デジタルカメラ |
KR102212762B1 (ko) * | 2014-09-17 | 2021-02-05 | 삼성전자주식회사 | 코덱과 이를 포함하는 장치들 |
GB201417535D0 (en) * | 2014-10-03 | 2014-11-19 | Microsoft Corp | Adapting encoding properties |
MY190923A (en) * | 2015-07-27 | 2022-05-19 | Tencent Tech Shenzhen Co Ltd | Video sharing method and device, and video playing method and device |
JP5938814B2 (ja) | 2015-11-10 | 2016-06-22 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US10362307B2 (en) | 2016-09-09 | 2019-07-23 | Hanwha Techwin Co., Ltd. | Quantization parameter determination method and image capture apparatus |
AU2016231584A1 (en) * | 2016-09-22 | 2018-04-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
US10218906B2 (en) * | 2017-03-22 | 2019-02-26 | Htc Corporation | Camera device and method for camera device |
CN108391127B (zh) * | 2018-04-27 | 2021-08-10 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、存储介质及设备 |
JP6941744B2 (ja) | 2018-09-26 | 2021-09-29 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
-
2019
- 2019-08-07 JP JP2020548110A patent/JP6941744B2/ja active Active
- 2019-08-07 WO PCT/JP2019/031266 patent/WO2020066326A1/ja active Application Filing
-
2021
- 2021-02-23 US US17/183,051 patent/US11223826B2/en active Active
- 2021-09-06 JP JP2021144857A patent/JP7174123B2/ja active Active
- 2021-12-06 US US17/542,896 patent/US20220094935A1/en active Pending
-
2022
- 2022-11-04 JP JP2022176987A patent/JP7498756B2/ja active Active
-
2024
- 2024-03-18 US US18/608,549 patent/US20240223763A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006295852A (ja) * | 2005-04-14 | 2006-10-26 | Sony Corp | 画像符号化装置,画像符号化方法,撮像装置およびプログラム |
WO2011021345A1 (ja) * | 2009-08-21 | 2011-02-24 | パナソニック株式会社 | 画像処理装置及びカメラシステム |
JP2012178818A (ja) * | 2011-01-31 | 2012-09-13 | Panasonic Corp | 映像符号化装置および映像符号化方法 |
Also Published As
Publication number | Publication date |
---|---|
US11223826B2 (en) | 2022-01-11 |
US20210176470A1 (en) | 2021-06-10 |
JP2021192544A (ja) | 2021-12-16 |
JP2022190118A (ja) | 2022-12-22 |
US20220094935A1 (en) | 2022-03-24 |
JP7174123B2 (ja) | 2022-11-17 |
US20240223763A1 (en) | 2024-07-04 |
JP6941744B2 (ja) | 2021-09-29 |
JP7498756B2 (ja) | 2024-06-12 |
JPWO2020066326A1 (ja) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10349028B2 (en) | Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium | |
US10542216B2 (en) | Apparatus and method for storing moving image portions | |
US8526685B2 (en) | Method and apparatus for selectively supporting raw format in digital image processor | |
JP2007025650A (ja) | カメラの自動焦点調節装置及びその方法 | |
US20240223763A1 (en) | Device and method for adaptive quantization based on video capturing mode | |
US8189055B2 (en) | Digital photographing apparatus and method of controlling the same | |
US11032483B2 (en) | Imaging apparatus, imaging method, and program | |
WO2020158070A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
WO2019208155A1 (ja) | 画像処理装置、方法、及びプログラム並びに撮像装置 | |
JP2016534609A (ja) | 携帯電話タイプの装置に接続することが可能な低照明で写真を撮るための装置 | |
WO2020066317A1 (ja) | 撮影装置、撮影方法、及びプログラム | |
US20210344839A1 (en) | Image processing device, image capturing device, image processing method, and image processing program | |
JP6998454B2 (ja) | 撮像装置、撮像方法、プログラム及び記録媒体 | |
JP2024103668A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2008147924A (ja) | 撮像装置 | |
WO2020066332A1 (ja) | 撮影装置、撮影方法、及びプログラム | |
JP7191980B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP7150053B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
WO2019193889A1 (ja) | 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置 | |
KR20060053690A (ko) | 이동통신 단말기에서 작은 사진들을 멀티-뷰 프레임으로표시하는 장치 및 방법 | |
JP2006098589A (ja) | 撮影方法、撮像装置、カメラ付き携帯電話機、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19867465 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020548110 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19867465 Country of ref document: EP Kind code of ref document: A1 |