WO2020170604A1 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- WO2020170604A1 WO2020170604A1 PCT/JP2019/051153 JP2019051153W WO2020170604A1 WO 2020170604 A1 WO2020170604 A1 WO 2020170604A1 JP 2019051153 W JP2019051153 W JP 2019051153W WO 2020170604 A1 WO2020170604 A1 WO 2020170604A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- screen
- display
- area
- frame
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 108
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims description 342
- 238000012937 correction Methods 0.000 claims description 231
- 238000000034 method Methods 0.000 claims description 214
- 230000008569 process Effects 0.000 claims description 192
- 230000002265 prevention Effects 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 30
- 238000005520 cutting process Methods 0.000 claims description 19
- 238000009432 framing Methods 0.000 description 85
- 238000003384 imaging method Methods 0.000 description 47
- 230000000875 corresponding effect Effects 0.000 description 43
- 238000009966 trimming Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 36
- 230000006641 stabilisation Effects 0.000 description 36
- 238000011105 stabilization Methods 0.000 description 36
- 230000009467 reduction Effects 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 32
- 230000008676 import Effects 0.000 description 31
- 230000003287 optical effect Effects 0.000 description 30
- 230000007704 transition Effects 0.000 description 29
- 230000008859 change Effects 0.000 description 28
- 238000007781 pre-processing Methods 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 15
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 12
- 238000010079 rubber tapping Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 3
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
Definitions
- the present technology relates to an information processing device, an information processing method, and a program, and particularly to a technical field of a user interface for receiving various designations related to image processing.
- a user can easily perform image capturing and image editing using a mobile terminal such as a smartphone or a tablet, a camera itself, a personal computer, or the like, and video posting is also popular.
- the user may perform an image process of cutting out a part of the captured image (original image) in consideration of composition and the like, instead of outputting the captured image as it is. It is conceivable that such an image is cut out so that the part of the original image in which the target subject is displayed is included.
- the device that performs image processing uses the subject tracking technology to It is conceivable to set the cutout range so that the target subject specified by the user is included in the image frame, and cut out the image in the set range.
- this technology aims to improve the degree of freedom in drawing when tracking a subject.
- the information processing apparatus includes a reception unit that receives, on the first screen that displays a predetermined image in the display area, a designation of an arrangement position of the tracking target in the display area.
- a reception unit that receives, on the first screen that displays a predetermined image in the display area, a designation of an arrangement position of the tracking target in the display area.
- the user can specify the position (position within the display area) where the subject to be tracked is arranged while the image content can be recognized on the display screen.
- the predetermined image is an image cut out from the original image. That is, the image displayed in the display area is a cutout image from the original image.
- the reception unit receives the designation of the tracking target. That is, the designation of the subject as the tracking target is received from the subjects in the image.
- the above-described information processing apparatus includes a display control unit that controls the display of the predetermined image so that the tracking target is arranged at a position in the display area based on the specified arrangement position. It is possible. For example, an image that reflects the arrangement position of the tracking target subject designated by the user is displayed.
- the reception unit receives a designation of a range to be cut out from the original image.
- the user can specify the range of the original image included in the image frame of the cutout image.
- the display control unit causes the first screen to display an operation image used for an operation of designating an arrangement position of a tracking target. For example, an operation image serving as a sight for designating the arrangement position is displayed in a superimposed manner on the display area so that the user can specify the position in the image frame by the operation image.
- the accepting unit accepts designation of the tracking target and designation of the arrangement position of the tracking target based on an operation performed on the operation image. For example, an operation of designating a certain portion on the display area with the operation image allows the subject of the portion to be the tracking target and the position of the operation image to be accepted as the arrangement position of the tracking target.
- the predetermined image is an image cut out from the original image
- the reception unit as an operation on the screen, designation of a range to cut out from the original image and the operation image by the operation image. It is conceivable to accept an operation related to the tracking target. For example, the range cut out from the original image is displayed on the display screen, and the operation image is displayed on the image. On the screen, the change of the cutout range and the movement of the operation image are accepted.
- the reception unit recognizes an operation on the screen as a state of recognizing a range to be cut out from the original image and an operation related to the tracking target by the operation image. It is possible to switch between the states. For example, the recognition mode of the user operation performed on the screen is switched by the operation prepared by the icon on the display screen.
- the reception unit on the second screen, recognizes an operation on the screen as an operation of specifying an image range to be cut out from the original image, and on the first screen, It is conceivable to recognize the operation on the screen as an operation related to the tracking target by the operation image.
- the recognition of the user operation performed on the screen is switched depending on whether the display screen is the first screen state or the second screen state.
- the display control unit performs a display for changing the range of the image that is the cutout range in response to the operation recognized by the reception unit on the second screen, It is conceivable that a display for moving the designated position by the operation image is displayed on the first screen in response to the operation recognized by the reception unit.
- the display screen is the second screen, for example, the image of the cutout range is displayed on the entire screen or in the display area, but it is changed according to the operation.
- the screen is the first screen, the position designated by the operation image is moved according to the operation.
- the original image changes in the display area in the second screen in response to an operation
- the display area in the first screen changes in response to an operation in the first screen.
- the arrangement position of the operation image is changed. That is, on the second screen, image changes such as movement, enlargement, reduction, and rotation of the original image occur in the display area in response to the operation, and on the first screen, in the display area, for example, in the display area.
- the original image does not change, but the arrangement position of the operation image changes.
- the original image is one image of an image group including a plurality of images.
- the user can specify the arrangement position of the target subject in the image frame of the clipped image as an arbitrary position.
- the image cutout process is performed so that the tracking target is arranged at a position in the display area based on the arrangement position.
- the arrangement position of the tracking target is specified for one image among a plurality of images that are consecutive in a predetermined order, so that the frame images that are sequentially positioned after that are also tracked to the position based on the specified position. Image cutting processing for positioning the target will be performed.
- the image group is composed of a series of frame images that form a moving image. This makes it possible to allow the user to specify an arbitrary position for the position of the target subject in the image frame of the clipped image when the image clipping is performed for each frame image forming the moving image.
- the reception unit is a section that cuts out from the original image so that the tracking target is arranged at a position in the display area based on the specified arrangement position. It is conceivable to accept the designation of the tracking section. This allows the user to arbitrarily specify the tracking section.
- the display control unit performs control to display an image within the cutout range from the original image and an image outside the cutout range in different display modes.
- the entire original image is displayed on the display screen, but the display mode is such that the inside and outside of the cutout range can be distinguished from each other.
- a shake correction unit that performs sticking processing on a virtual celestial sphere for each frame of image data that forms a moving image and performs shake correction using posture information corresponding to the frame.
- a cut-out range setting unit that performs a cut-out prevention process that corrects the cut-out range according to the designation of the cut-out range received by the reception unit so that the cut-out range does not protrude from an area where shake correction is effectively maintained, It is conceivable that the control unit controls the display of the cutout image that reflects the protrusion prevention processing performed by the cutout range setting unit.
- shake caused by camera shake or the like in an image taken by the image pickup device is corrected by coordinate conversion on the virtual celestial sphere, and the cutout range of the image which is shake-corrected and is projected on a plane is set based on a user operation.
- the protrusion prevention processing is performed so that the cutout range does not exceed the range in which the shake correction is effectively maintained.
- the display control unit performs display control so that the user can recognize the cutout range limited by the protrusion prevention process.
- the display control unit may perform control so that display is performed based on an allowable movable range that is set in the protrusion prevention process and that allows the variation of the cutout range of the image. Is possible.
- the cut-out range set on the basis of the operation information is set within the effective range of the shake correction.
- the allowable movable range is set as the range in which the shake correction is effectively maintained. That is, it is a range in which the cutout range may be moved as long as it is within the allowable movable range.
- the display is such that the user can recognize the allowable movable range.
- the display control unit performs control so as to perform a display that clearly indicates that the operation of designating a cutout range that exceeds the allowable movable range is restricted. For example, if the cutout range cannot be changed or the cutout range returns to the allowable moveable range when the allowable moveable range is exceeded, the display is executed.
- the information processing device performs a process of accepting designation of an arrangement position of the tracking target in the display area on the first screen that displays a predetermined image in the display area. This allows the user to specify the position (position within the display area) where the tracking target subject is arranged, for example, in a state where the image content can be recognized on the display screen.
- the program according to the present technology is a program that causes an information processing device to execute processing corresponding to such an information processing method. Thereby, the processing according to the present technology can be executed by various information processing apparatuses.
- FIG. 7 is an explanatory diagram of image correction processing in the image pickup apparatus according to the embodiment.
- 3 is an explanatory diagram of a functional configuration as an image processing apparatus according to an embodiment.
- FIG. It is explanatory drawing of the example of the flow of the process of embodiment. It is explanatory drawing of the example of the flow of the process of embodiment. It is explanatory drawing of the example of the flow of the process of embodiment. It is explanatory drawing of the example of the flow of the process of embodiment.
- FIG. 3 is an explanatory diagram of the contents of image files and metadata according to the embodiment. It is explanatory drawing of the metadata regarding lens distortion correction.
- FIGS. 6A and 6B are explanatory diagrams of screen transitions regarding image processing according to the embodiment. It is explanatory drawing of the cut-out area designation
- FIG. 9 is an explanatory diagram of tracking designation according to the embodiment. It is an explanatory view of image processing of an embodiment. It is explanatory drawing of attachment to the celestial sphere model of embodiment. 5 is an explanatory diagram of sample timing of IMU data according to the embodiment.
- FIG. It is explanatory drawing of matching of the output image and the celestial sphere model of embodiment.
- 6A and 6B are explanatory diagrams of rotation of an output coordinate plane and perspective projection according to the embodiment. It is an explanatory view of the outline of the protrusion prevention processing of the embodiment.
- FIG. 9 is an explanatory diagram of correction of a display range in the protrusion prevention processing according to the embodiment. It is explanatory drawing of the procedure of the protrusion prevention process of embodiment. It is explanatory drawing of the difference of the captured area by the lens of embodiment. It is the figure which showed the example of the import screen. It is the figure which showed the example of the import screen at the time of overlay reproduction.
- FIG. 9 is an explanatory diagram of correction of a display range in the protrusion prevention processing according to the embodiment. It is explanatory drawing of the procedure of the protrusion prevention process of embodiment. It is explanatory drawing of the difference of the captured area by the lens of embodiment. It is the figure which showed the example of the import screen. It is the figure which showed the example of the import screen at the time of overlay reproduction.
- FIG. 6 is a diagram for explaining screen transitions at the time of image import in the embodiment. It is the figure which showed the example of the preview screen. It is the figure which showed the example of the preview screen at the time of calling a moving image menu panel.
- FIG. 11 is a diagram showing an example of a preview screen on which a display indicating a section in which a reproduction speed is changed or tracking is performed is displayed. It is the figure which showed the example of the preview screen in which the preview area was in the zoom-out display state. It is the figure which showed the example of the aspect-ratio setting screen.
- FIG. 6 is a diagram showing an example of an aspect ratio setting screen in which a preview area is in a zoomed-out display state. It is the figure which showed the example of the trimming screen.
- FIG. 7 is a diagram showing an example of a trimming screen in which a preview area is in a zoom-out display state. It is the figure which showed the example of the speed screen. It is a figure for demonstrating the designation
- FIG. 6 is a diagram showing an example of a framing screen in which a preview area is in a zoom-out display state.
- FIG. 9 is a diagram for describing an example of specifying a cutout range.
- FIG. 7 is a flowchart illustrating the processing of the UI processing unit according to the embodiment. It is a flow chart which illustrated processing concerning specification of a logging range, and tracking. It is a flow chart which illustrated tracking correspondence processing. It is the figure which showed the example of the framing screen as a modification. It is the figure which showed the example of a transition of the framing screen in the tracking mode in a modification. It is the figure which illustrated the shape of the target designation aim as a modification. It is a figure showing an example of a change of a framing screen at the time of expansion / viewpoint change mode in a modification.
- FIG. 1A shows an example as an image source and an image processing apparatus that acquires an image file MF from the image source.
- the imaging device 1 the server 4, the recording medium 5, etc. are assumed.
- the image processing device a mobile terminal 2 such as a smartphone or a personal computer 3 is assumed.
- the image pickup apparatus 1 as an image source is a digital camera or the like capable of picking up a moving image, and transfers the image file MF obtained by the moving image pickup to the mobile terminal 2 or the personal computer 3 via wired communication or wireless communication.
- the server 4 may be a local server, a network server, a cloud server, or the like, but refers to a device that can provide the image file MF imaged by the imaging device 1. It is conceivable that the server 4 transfers the image file MF to the mobile terminal 2 or the personal computer 3 via some transmission path.
- the recording medium 5 may be a solid-state memory such as a memory card, a disc-shaped recording medium such as an optical disc, a tape-shaped recording medium such as a magnetic tape, or the like, but the removable recording in which the moving image file MF imaged by the imaging device 1 is recorded. Refers to the medium. It is conceivable that the moving image file MF read from the recording medium 5 is read by the mobile terminal 2 or the personal computer 3.
- the mobile terminal 2 or the personal computer 3 as an image processing apparatus is capable of performing image processing on the image file MF acquired from the above image sources.
- the image processing mentioned here includes, for example, shake correction processing, clipping area setting processing, and effective cropping area image generation processing.
- the shake correction process is a shake correction process that is performed using the posture information corresponding to the frame after the process of attaching the image data forming a moving image to the celestial sphere model is performed for each frame.
- the clipping region setting process is a process of performing a protrusion prevention process in which the clipping region of the image is set based on the user's operation information, and then the clipping region is corrected so as not to protrude from the region in which the shake correction is effectively maintained. ..
- the effective cut-out area image generation processing cuts an image projected on a plane in a state in which the shake correction processing is performed in a cut-out area (effective cut-out area CL) subjected to the stick-out prevention processing to obtain an effective cut-out area image. This is a process to generate.
- the clipped image can be the output image.
- a certain mobile terminal 2 or personal computer 3 may be an image source for another mobile terminal 2 or personal computer 3 that functions as an image processing device.
- FIG. 1B shows the imaging device 1 and the mobile terminal 2 in the case where one device functioning as an image processing device also serves as an image source.
- a microcomputer or the like inside the image pickup apparatus 1 performs the above image processing. That is, the image pickup apparatus 1 can output the image as the image processing result by directly performing the above image processing on the image file MF generated by the image pickup.
- the mobile terminal 2 is also the same and can serve as an image source by having an imaging function, it is possible to output an image as a result of the image processing by performing the above image processing on the image file MF generated by the imaging.
- the imaging device 1 and the mobile terminal 2 but also various other devices that can serve as an image source and an image processing device can be considered.
- the imaging device 1 serves as the image source and the mobile terminal 2 serves as the image processing device will be described. There is. That is, this is an example in which the image file MF formed by the image pickup by the image pickup apparatus 1 is transferred to the mobile terminal 2, and the mobile terminal 2 performs the image processing on the acquired image file MF.
- the mobile terminal 2 performs image processing on the image file MF captured by the mobile terminal 2
- the mobile terminal 2 has the same configuration as that of the following image capturing apparatus 1 with respect to the image capturing function. Be prepared.
- the imaging device 1 includes a lens system 11, an imaging device unit 12, a camera signal processing unit 13, a recording control unit 14, a display unit 15, an output unit 16, an operation unit 17, a camera control unit 18, and a memory unit. 19, a driver unit 22, and a sensor unit 23.
- the lens system 11 includes lenses such as a cover lens, a zoom lens, and a focus lens, a diaphragm mechanism, and the like.
- the lens system 11 guides light (incident light) from a subject and collects it on the image pickup device section 12.
- the lens system 11 is provided with an optical image stabilization mechanism that corrects image shake (interframe shake) and blur caused by camera shake or the like. There is.
- the image pickup device section 12 is configured to include an image sensor 12a (image pickup device) of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
- the image sensor unit 12 executes, for example, a CDS (Correlated Double Sampling) process, an AGC (Automatic Gain Control) process, and the like on an electric signal obtained by photoelectrically converting the light received by the image sensor 12a, and further performs A/D Performs (Analog/Digital) conversion processing. Then, the image pickup signal as digital data is output to the camera signal processing unit 13 and the camera control unit 18 in the subsequent stage.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- an optical image stabilization mechanism (not shown), a mechanism for correcting image shake by moving the image sensor 12a side instead of the lens system 11 side, or a spatial optical image stabilization using a gimbal There are cases such as a mechanism (balanced optical image stabilization mechanism), and any method may be used.
- a mechanism balanced optical image stabilization mechanism
- the blur in the frame is also corrected.
- the camera signal processing unit 13 is configured as an image processor such as a DSP (Digital Signal Processor).
- the camera signal processing unit 13 performs various signal processing on the digital signal (captured image signal) from the image sensor unit 12. For example, as a camera process, the camera signal processing unit 13 performs preprocessing, synchronization processing, YC generation processing, resolution conversion processing, codec processing, and the like.
- the camera signal processing unit 13 also performs various correction processes. However, it is assumed that the image stabilization may be performed inside the imaging device 1 or may not be performed.
- a clamp process for clamping the R, G, B black levels to a predetermined level, a correction process between the R, G, B color channels, and the like are performed on the captured image signal from the image sensor unit 12.
- color separation processing is performed so that the image data for each pixel has all R, G, B color components.
- demosaicing processing is performed as color separation processing.
- YC generation processing a luminance (Y) signal and a color (C) signal are generated (separated) from the R, G, and B image data.
- the resolution conversion process the resolution conversion process is performed on the image data that has undergone various signal processes.
- FIG. 3 illustrates the optical camera shake correction performed by the lens system 11 and the correction processing performed by the camera signal processing unit 13 in the order of execution thereof.
- the in-lens image stabilization is performed by shifting the lens system 11 in the yaw direction and the pitch direction
- the in-body image stabilization is performed by the yaw direction of the image sensor 12a and the pitch direction shift.
- the image of the subject is formed on the image sensor 12a in a state where the influence of is physically canceled.
- the in-lens image stabilization and the in-body image stabilization may be only one or both.
- both the in-lens camera shake correction and the in-body camera shake correction are used, it is considered that the in-body camera shake correction does not shift in the yaw direction and the pitch direction. Further, both in-lens image stabilization and in-body image stabilization are not adopted, and only electronic image stabilization (electrical image stabilization) or only optical image stabilization may be performed for camera shake.
- processing from processing F2 to processing F7 is performed by spatial coordinate conversion for each pixel.
- lens distortion correction is performed.
- focal plane distortion correction as one element of electronic camera shake correction is performed. It should be noted that this is to correct the distortion when the rolling shutter type reading is performed by the CMOS type image sensor 12a, for example.
- Roll correction is performed in process F4. That is, the roll component is corrected as one element of the electronic image stabilization.
- process F5 trapezoidal distortion correction for the amount of trapezoidal distortion generated by electronic image stabilization is performed.
- the trapezoidal distortion generated by the electronic image stabilization is a perspective distortion generated by cutting out a place away from the center of the image.
- shifting and clipping in the pitch direction and the yaw direction are performed as one element of the electronic image stabilization.
- the camera shake correction, the lens distortion correction, and the trapezoidal distortion correction are performed by the above procedure. It should be noted that it is not essential to carry out all of the processes mentioned here, and the order of the processes may be changed appropriately.
- the codec processing in the camera signal processing unit 13 for example, encoding processing for recording or communication and file generation are performed on the image data subjected to the above various processing.
- the image file MF in the MP4 format or the like used for recording a moving image/sound conforming to MPEG-4 is generated. It is also conceivable to generate a still image file in a format such as JPEG (Joint Photographic Experts Group), TIFF (Tagged Image File Format), and GIF (Graphics Interchange Format).
- the camera signal processing unit 13 also uses information from the camera control unit 18 and the like to generate metadata to be added to the image file MF.
- the audio processing system is not shown in FIG.
- the image file MF includes audio data as well as image data as a moving image.
- the image data has a preset aspect ratio, and the entire frame of the image data corresponds to a captured area described later.
- the recording control unit 14 performs recording/reproduction on/from a recording medium formed of, for example, a nonvolatile memory.
- the recording control unit 14 performs a process of recording an image file MF such as moving image data or still image data or a thumbnail image on a recording medium.
- the recording control unit 14 may be configured as a flash memory built in the image pickup apparatus 1 and a writing/reading circuit thereof, or a recording medium that can be attached to and detached from the image pickup apparatus 1, for example, a memory card (a portable flash memory or the like. ) May be provided by a card recording/reproducing unit for performing recording/reproducing access to the above).
- it may be realized as an HDD (Hard Disk Drive) as a form built in the imaging device 1.
- HDD Hard Disk Drive
- the display unit 15 is a display unit that performs various displays for the imager, and is, for example, a display such as a liquid crystal panel (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display arranged in the housing of the image pickup apparatus 1. It is used as a display panel or viewfinder by the device.
- the display unit 15 causes various displays to be executed on the display screen based on an instruction from the camera control unit 18. For example, the display unit 15 displays the reproduced image of the image data read from the recording medium by the recording control unit 14.
- the display unit 15 is supplied with the image data of the captured image whose resolution has been converted for display by the camera signal processing unit 13, and the display unit 15 is based on the image data of the captured image according to the instruction of the camera control unit 18. May be displayed. As a result, a so-called through image (a monitoring image of the subject), which is a captured image during composition confirmation, is displayed.
- the display unit 15 causes the display of various operation menus, icons, messages, etc., that is, a GUI (Graphical User Interface) on the screen based on an instruction from the camera control unit 18.
- the output unit 16 performs wired or wireless data communication or network communication with an external device.
- the captured image data (still image file or moving image file) is transmitted and output to an external display device, recording device, reproduction device, or the like.
- the output unit 16 is a network communication unit, and performs communication through various networks such as the Internet, a home network, and a LAN (Local Area Network), and transmits and receives various data to and from servers, terminals, and the like on the network. You may do it.
- the operation unit 17 collectively shows an input device for the user to input various operations. Specifically, the operation unit 17 indicates various operators (keys, dials, touch panels, touch pads, etc.) provided in the housing of the image pickup apparatus 1. A user operation is detected by the operation unit 17, and a signal corresponding to the input operation is sent to the camera control unit 18.
- the camera control unit 18 is configured by a microcomputer (arithmetic processing device) including a CPU (Central Processing Unit).
- the memory unit 19 stores information used by the camera control unit 18 for processing.
- a ROM Read Only Memory
- RAM Random Access Memory
- flash memory etc.
- the memory unit 19 may be a memory area built in the microcomputer chip as the camera control unit 18, or may be configured by a separate memory chip.
- the camera control unit 18 controls the entire imaging device 1 by executing a program stored in the ROM, flash memory, or the like of the memory unit 19.
- the camera control unit 18 controls the shutter speed of the image pickup device unit 12, various signal processing instructions in the camera signal processing unit 13, an imaging operation and a recording operation according to a user operation, a reproduction operation of a recorded image file, and a lens. It controls the operation of each necessary unit such as the operation of the lens system 11 such as zoom, focus, and aperture adjustment in the lens barrel, and the user interface operation.
- the RAM in the memory unit 19 is used as a work area when the CPU of the camera control unit 18 processes various data, and is used for temporarily storing data, programs, and the like.
- the ROM and flash memory (nonvolatile memory) in the memory unit 19 include an OS (Operating System) for the CPU to control each unit, content files such as image files, application programs for various operations, and firmware. It is used for memory such as.
- the driver unit 22 is provided with, for example, a motor driver for a zoom lens drive motor, a motor driver for a focus lens drive motor, a motor driver for a diaphragm mechanism motor, and the like. These motor drivers apply a drive current to the corresponding drivers in response to an instruction from the camera control unit 18 to move the focus lens and the zoom lens, open and close the aperture blades of the aperture mechanism, and the like.
- the sensor unit 23 comprehensively represents various sensors mounted on the image pickup apparatus.
- an IMU intial measurement unit
- the angular velocity (gyro) sensor of three axes of pitch, yaw, and roll detects the angular velocity
- the acceleration sensor detects the acceleration. can do.
- a position information sensor, an illuminance sensor, etc. may be mounted.
- the image file MF as a moving image captured and generated by the image capturing apparatus 1 described above can be transferred to an image processing apparatus such as the mobile terminal 2 and subjected to image processing.
- the mobile terminal 2 can be realized as an information processing apparatus having the configuration shown in FIG. 4, for example.
- the personal computer 3 and the server 4 can also be realized by the information processing apparatus having the configuration of FIG.
- the CPU 71 of the information processing device 70 executes various processes according to a program stored in the ROM 72 or a program loaded from the storage unit 79 to the RAM 73.
- the RAM 73 also appropriately stores data necessary for the CPU 71 to execute various processes.
- the CPU 71, the ROM 72, and the RAM 73 are connected to each other via a bus 74.
- An input/output interface 75 is also connected to the bus 74.
- the input/output interface 75 is connected to an input unit 76 including operating elements and operating devices.
- an input unit 76 including operating elements and operating devices.
- various operators and operation devices such as a keyboard, a mouse, a key, a dial, a touch panel, a touch pad, a remote controller and the like are assumed.
- a user operation is detected by the input unit 76, and a signal corresponding to the input operation is interpreted by the CPU 71.
- the input/output interface 75 is connected with a display unit 77 made of an LCD or an organic EL panel or the like, and an audio output unit 78 made of a speaker or the like, either integrally or separately.
- the display unit 77 is a display unit that performs various displays, and is configured by, for example, a display device provided in the housing of the information processing device 70, a separate display device connected to the information processing device 70, or the like.
- the display unit 77 displays an image for various image processing, a moving image to be processed, and the like on the display screen based on an instruction from the CPU 71.
- the display unit 77 also displays various operation menus, icons, messages, and the like, that is, a GUI (Graphical User Interface) based on instructions from the CPU 71.
- GUI Graphic User Interface
- the input/output interface 75 may be connected to a storage unit 79 including a hard disk or a solid-state memory, or a communication unit 80 including a modem.
- the communication unit 80 performs communication processing via a transmission path such as the Internet, and performs communication with various devices by wire/wireless communication, bus communication, or the like.
- a drive 82 is also connected to the input/output interface 75 as needed, and a removable recording medium 81 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted.
- the drive 82 can read data files such as the image file MF and various computer programs from the removable recording medium 81.
- the read data file is stored in the storage unit 79, and the image and sound included in the data file are output by the display unit 77 and the sound output unit 78. Further, the computer program or the like read from the removable recording medium 81 is installed in the storage unit 79 as needed.
- the software for image processing as the image processing apparatus of the present disclosure can be installed via network communication by the communication unit 80 or the removable recording medium 81.
- the software may be stored in the ROM 72, the storage unit 79, or the like in advance.
- such software allows the CPU 71 of the information processing apparatus 70 to have a functional configuration as shown in FIG. That is, the information processing device 70 (CPU 71) has functions as the preprocessing unit 31, the image processing unit 32, and the UI processing unit 36.
- the pre-processing unit 31 has a function of, for example, importing an image file MF that forms a moving image generated by the imaging device 1 and performing pre-processing at the time of import.
- “import” means that an image file MF or the like accessible by the information processing device 70 being stored in, for example, the storage unit 79 is targeted for image processing, and preprocessing is performed. It means developing to be able to process images. For example, it does not mean transfer from the imaging device 1 to the mobile terminal 2.
- the preprocessing unit 31 imports the image file MF designated by a user operation or the like so as to be an image processing target, and performs a process regarding the metadata added to the image file MF as preprocessing. For example, a process of extracting and storing metadata corresponding to each frame of a moving image is performed.
- the image processing unit 32 has a function of performing image processing on the imported image file MF.
- the function as the image processing unit 32 has a function as a shake correction unit 33, an effective cutout region setting unit 34, and an effective cutout region image generation processing unit 35 which are illustrated.
- the shake correction unit 33 has a function of performing shake correction for each frame as image data forming a moving image as the image file MF, using posture information corresponding to the frame. For example, the shake correction unit 33 performs shake correction in a state where the process of attaching the plane model to the celestial sphere model is performed for each frame. That is, when the image as the image file MF is picked up, the subject image is projected on a plane, but the shake is corrected in a state where the subject image is projected on the celestial sphere model.
- the “shake” to be corrected refers to the vibration of the image due to the movement of the image pickup apparatus 1 that has picked up the image file MF, but particularly the vibration component that occurs between frames (fluctuation of the image between frames).
- the “(interframe) shake correction” means to correct shake that appears as such vibration between frames.
- the electronic image stabilization using the shift and cutout method described above is included in the “shake correction”. Further, in the above-described optical camera shake correction, “interframe shake correction” and “blurring correction” are simultaneously performed.
- the image sensor 12 is equipped with a rolling shutter type CMOS image sensor 12a, the amount of shake and blur varies for each line.
- the effective cutout area setting unit 34 sets an effective cutout area of an image based on user operation information, tracking target information, and the like.
- the effective cut-out area setting unit 34 includes a function of performing stick-out prevention processing for correcting the cut-out area so that the cut-out area does not stick out from the area where the shake correction is effectively maintained.
- the setting of the effective cutout area is not limited to the fixed setting of the cutout area according to the user's operation, and the effective cutout area is set to include the tracking target according to the user's specification of the tracking target (tracking target).
- the area may be set.
- the effective cutout area setting unit 34 also performs a process of specifying the position of the tracking target in each frame of the moving image by image analysis, interframe comparison, or the like.
- the effective cut-out area image generation processing unit 35 determines the effective cut-out area specified by the effective cut-out area setting unit 34 from the image projected onto the plane from the virtual spherical surface of the celestial sphere model in the state where the shake correction is performed by the shake correction unit 33. This is a function of cutting out an output image that is an image.
- the UI processing unit 36 has a function of receiving a user operation for importing or image processing, controlling display output according to the processing, and the like. As illustrated, the UI processing unit 36 has a reception unit 36a and a display control unit 36b. The reception unit 36a mainly receives user operations for image processing, and the display control unit 36b mainly performs display control according to processing executed based on user operations for image processing. The UI processing unit 36 uses the reception unit 36a and the display control unit 26b to perform operations of the user by each screen such as an import screen, a preview screen, a framing screen, a trimming screen, a speed screen, an aspect ratio setting screen, and an export screen, which will be described later. Control reception and display. The details of the processing executed by the CPU 71 as the reception unit 36a and the display control unit 36b will be described later.
- the image pickup apparatus 1 and the mobile terminal 2 corresponding to the information processing apparatus 70 having the function of FIG. 5 perform processing in the flow as shown in FIG. 6, for example.
- Imaging (step S91), camera process (step S92), metadata generation processing (step S93), and image file generation processing (step S94) are performed in the imaging device 1.
- the image capturing in step S91 refers to the output (RAW data output) of the captured image signal by the image sensor unit 12.
- the camera process in step S92 is a so-called developing process, which is the various signal processes described above performed in the camera signal processing unit 13 on the captured image signal.
- the various correction processes described in FIG. 3 are included.
- the metadata generation process of step S93 is a process of generating metadata associated with an image in accordance with, for example, IMU data obtained by the sensor unit 23 or a camera control signal, and the metadata generation process is performed by the camera signal processing unit 13 or the camera control unit 18. Done.
- the camera signal processing unit 13 performs the image file generation process of step S94 including the image data subjected to the camera process of step S92 and the metadata generated in the metadata generation process of step S93 to generate the image file MF. Is generated.
- the image file MF is acquired by the mobile terminal 2 via some route as described above.
- the image file MF is subjected to image processing, and the storage management of the metadata associated with each frame is performed. Further, for the image file MF that has been imported and subjected to the preprocessing, the image processing of step S96 can be performed at any time. In this image processing, shake correction by the shake correction unit 33, effective cutout region setting by the effective cutout region setting unit 34, plane projection and cutout processing by the effective cutout region image generation processing unit 35, and the like are performed. Then, in order to display or save the progress and result of the image processing, a saving/displaying process is performed in step S97. With such a flow, the user can perform image processing on the moving image captured by the image capturing apparatus 1 on the mobile terminal 2, and perform reproduction, storage, upload, and the like.
- the camera control unit 18 and the camera signal processing unit 13 may be provided with the function as shown in FIG. good.
- the flow of processing in that case is shown in FIG. That is, the case is shown in which the preprocessing of step S95, the image processing of step S96, and the storage/display processing of step S97 are also performed in the image pickup apparatus 1.
- FIG. 1B also refers to the case where the mobile terminal 2 captures an image, in that case, it is conceivable that the processing illustrated in FIG. 7 is performed in the mobile terminal 2.
- FIG. 8 shows, as another example, a case where RAW data is targeted for image processing.
- the captured image signal (RAW data) obtained by the image capturing in step S91 and the metadata in step S93.
- the image file MF is generated by performing the image file generation process of step S94 with the metadata generated by the generation process.
- the camera process in step S92 of FIGS. 6 and 7 is not performed.
- the mobile terminal 2 performs preprocessing (step S95), image processing (step S96), and storage/display processing (step S97) on such an image file MF.
- RAW data is to be subjected to image processing as shown in FIG. 8, it may be assumed that electronic camera shake correction or optical camera shake correction is performed in the image pickup apparatus 1 or not. In addition, it is assumed that the electronic camera shake correction and the optical camera shake correction are performed in the image pickup apparatus 1 as well as the cases shown in FIGS. 6 and 7 in which the camera process is performed, and the cases where they are not performed.
- the image pickup apparatus 1 (or the mobile terminal 2) surrounded by the one-dot chain line shows a case where image pickup or image processing for RAW data is performed in the image pickup apparatus 1 (or the mobile terminal 2). It is a thing. That is, in the image pickup apparatus 1, the preprocessing of step S95, the image processing of step S96, and the storage/display processing of step S97 may be performed. Further, in the mobile terminal 2, the imaging in step S91, the metadata generation process in step S93, and the image file generation process in step S94 may be performed.
- FIG. 9A shows data included in the image file MF.
- the image file MF includes various data such as "header”, “sound”, “movie”, and "metadata”.
- the "header” describes information such as the file name and file size, and information indicating the presence or absence of metadata.
- “Sound” is audio data recorded with a moving image. For example, 2-channel stereo audio data is stored.
- a “movie” is moving image data, and is composed of image data as each frame (#1, #2, #3%) That constitutes a moving image.
- As the “metadata”, additional information associated with each frame (#1, #2, #3,...) That constitutes a moving image is described.
- FIG. 9B An example of the contents of metadata is shown in FIG. 9B.
- IMU data, coordinate conversion parameter HP, timing information TM, and camera parameter CP are described for one frame. It should be noted that these are a part of the contents of the metadata, and here only the information related to the image processing described later is shown.
- IMU data As IMU data, a gyro (angular velocity data), an accelerator (acceleration data), and a sampling rate are described.
- the IMU mounted on the image pickup apparatus 1 as the sensor unit 23 outputs angular velocity data and acceleration data at a predetermined sampling rate. In general, this sampling rate is higher than the frame rate of the captured image, so that many IMU data samples can be obtained in one frame period.
- n samples are associated with one frame, such as gyro sample #1, gyro sample #2,... Gyro sample #n shown in FIG. 9C.
- m samples are associated with one frame, such as accelerator sample #1, accelerator sample #2... Accelerator sample #m.
- the metadata may not be completely synchronized with the frame. In such a case, for example, the time information related to the time information of each frame is held as the IMU sample timing offset in the timing information TM.
- the coordinate conversion parameter HP is a general term for parameters used for correction involving coordinate conversion of each pixel in an image. It also includes non-linear coordinate transformations such as lens distortion.
- the coordinate conversion parameter HP is a term that can include at least a lens distortion correction parameter, a trapezoidal distortion correction parameter, a focal plane distortion correction parameter, an electronic camera shake correction parameter, and an optical camera shake correction parameter.
- the lens distortion correction parameter serves as information for grasping directly or indirectly how the distortion such as barrel aberration and pincushion aberration is corrected and returning to the image before lens distortion correction.
- the metadata regarding the lens distortion correction parameter as one of the metadata will be briefly described.
- FIG. 10A shows the image height Y, the angle ⁇ , the entrance pupil position d1, and the exit pupil position d2 in the schematic view of the lens system 11 and the image sensor 12a.
- the lens distortion correction parameter is used in image processing in order to know the incident angle of each pixel of the image sensor 12a. Therefore, it suffices to know the relationship between the image height Y and the angle ⁇ .
- FIG. 10B shows an image 110 before lens distortion correction and an image 111 after lens distortion correction.
- the maximum image height H0 is the maximum image height before distortion correction and is the distance from the center of the optical axis to the farthest position.
- the maximum image height H1 is the maximum image height after distortion correction.
- metadata is the maximum image height H0 before distortion correction and the incident angle data d0, d1,... D(N- 1). It is assumed that “N” is about 10 as an example.
- the trapezoidal distortion correction parameter is a correction amount when correcting the trapezoidal distortion generated by shifting the cutout region from the center by electronic camera shake correction, and also has a value corresponding to the correction amount of electronic camera shake correction.
- the focal plane distortion correction parameter is a value indicating the correction amount for each line with respect to the focal plane distortion.
- the lens distortion correction, the trapezoidal distortion correction, the focal plane distortion correction, and the electronic camera shake correction are collectively referred to as coordinate conversion parameters. These correction processes are performed by the image sensor 12a of the image sensor unit 12. This is because it is a parameter of a correction process for an image formed on a pixel and a correction process involving coordinate conversion of each pixel.
- the optical camera shake correction is also one of the coordinate conversion parameters, but in the optical camera shake correction, the shake correction of the inter-frame component is a process that involves coordinate conversion of each pixel.
- image data that has been subjected to lens distortion correction, trapezoidal distortion correction, focal plane distortion correction, electronic camera shake correction, and optical camera shake correction will be processed before each correction process, that is, image pickup.
- the state when the image is formed on the image sensor 12a of the element unit 12 can be restored.
- lens distortion correction trapezoidal distortion correction
- focal plane distortion correction are distortion correction processing for the case where the optical image itself from the subject is an image captured in an optically distorted state. Since it is intended for correction, it is generically called an optical distortion correction parameter. That is, by performing inverse correction using these parameters, it is possible to restore the image data that has been subjected to lens distortion correction, trapezoidal distortion correction, and focal plane distortion correction to the state before optical distortion correction.
- the timing information TM in the metadata includes exposure time (shutter speed), exposure start timing, read time (curtain speed), number of exposure frames (long second exposure information), IMU sample offset, and frame rate.
- exposure time sin laser speed
- exposure start timing time
- read time curtain speed
- number of exposure frames long second exposure information
- IMU sample offset time
- frame rate frame rate
- the camera parameter CP in the metadata As the camera parameter CP in the metadata, the angle of view (focal length), zoom position, and lens distortion information are described.
- FIG. 11 shows transitions of various screens that appear on the display screen of the mobile terminal 2.
- the images output on the preview screen 102, the framing screen 103, the trimming screen 104, the speed screen 105, the aspect ratio setting screen 106, and the export screen 108 are in step ST19 of FIG. 14 described later.
- the images output on these screens do not necessarily have to be the output image oPD that has undergone the processing of FIG. 14, but in that case, the area set by the user or visually recognized and the final image of FIG. The area after processing and the degree of distortion may be slightly different.
- the import screen 101 When the application program for moving image processing is started, the import screen 101 appears.
- the import screen 101 is a screen before the start of moving image processing.
- thumbnails of the image file MF are displayed so that the user can select the image file MF to be processed.
- the selected image file MF is imported and preprocessed as the image file MF to be processed.
- Preview screen 102 When the user completes the operation of selecting one or more image files MF on the import screen 101, the display transits to the preview screen 102 after the import processing. On the preview screen 102, a list of imported image-processable moving images (image files MF) is displayed, and preview reproduction of a moving image specified in the list is enabled.
- the user can perform an operation for various image processings starting from the preview screen, for example, an operation of changing the brightness or the tint.
- the user can perform operations such as reproduction of the selected moving image (image file MF), addition and deletion of moving images, and reset of image processing.
- the moving image is reproduced on the preview screen 102.
- a moving image to be image-processed is added or a new project (new image-processing action) is operated, the user can return to the import screen 101 and make a selection.
- a moving image can be deleted (excluded from image processing) on the preview screen 102.
- the display transitions to the framing screen 103 by a predetermined operation on the preview screen 102.
- the framing screen 103 is a screen for individually framing a moving image specified as a processing target on the preview screen 102 among the imported moving images.
- On the framing screen 103 for example, in a state where a still image of a certain frame of a moving image to be processed is displayed, the user specifies an effective cutout region of the image on the image of the frame, enlarges or reduces the image, Operations such as image rotation, designation of a tracking target (tracking target), and designation of an arrangement position of the tracking target on the screen can be performed.
- the display returns to the preview screen 102 by a predetermined operation on the framing screen 103.
- the image displayed on the framing screen 103 is the entire image of a certain frame (the leading frame of the moving image, the frame that is paused, etc.), or a part cut out from the entire image.
- the user can specify the effective cutout area of the image by moving the displayed range up, down, left or right, or by performing enlargement/reduction/rotation operations.
- FIG. 12A shows the entire image 114 of a certain frame and the display frame 115. It is assumed that the range of the display frame 115 is the range displayed on the framing screen 103. That is, a part of the entire image 114 is cut out and displayed on the framing screen 103. The area within the display frame 115 corresponds to the effective cutout area.
- the user can move the range included in the display frame 115 or can perform enlargement/reduction/rotation by performing, for example, a drag operation or a pinch-out/pinch-in operation on the framing screen 103.
- the range included in the display frame 115 is moved as shown in FIGS. 12A and 12B by a drag operation on the screen. That is, the displayed range is changed by moving the image vertically and horizontally with respect to the display frame 115.
- the range included in the display frame 115 changes when the user gives an instruction to enlarge/reduce the image by, for example, a pinch-out/pinch-in operation. For example, when the reduction operation is performed from FIG. 12B, the result is as shown in FIG. 12C.
- the entire image 114 is reduced with respect to the display frame 115 so that the image included in the display frame 115 (viewed by the user) is reduced, and the range of the subject included in the display frame 115 is widened. That is, by reducing the displayed image, a wider range is displayed.
- the entire image 114 is enlarged with respect to the display frame 115, and the range of the subject included in the display frame 115 is narrowed. That is, the narrower range is enlarged and displayed.
- the operation on the range displayed in the display frame 115 is a user's operation of designating a cutout area.
- the user can specify the effective cutout area as described above and also specify the tracking target and the arrangement position thereof.
- a target designation aim 116 is displayed as shown in FIG. 13A.
- the user can arbitrarily specify the position of the target designation aim by a drag operation or a tap operation.
- a human face portion can be designated. In the state of FIG. 13B, the face of the person is designated as the tracking target, and further, the placement position in the screen of the tracking target, that is, it is placed at the upper right in the screen of the tracking target, is also designated. Become.
- the effective cutout area can be specified by selecting the range included in the display frame 115, and the tracking target can be specified by combining the range included in the display frame 115 and the tracking target specifying operation. Also, the operation of designating the arrangement position thereof is possible.
- the above operation is performed as an operation on the displayed still image of one frame, but the designation is reflected also in other frames in the same moving image.
- the tracking target is not specified only by moving, enlarging, reducing, or rotating the image range in the display frame 115, the range specified by the operation of moving, enlarging, reducing, or rotating the image range is displayed in each frame. It becomes the effective cutout area fixedly.
- the effective cutout area is calculated for other frames in the moving image according to the specification.
- the position of the tracking target in the screen also changes, so the effective cutout area is calculated and changed for each frame.
- the effective cutout area is set so that the specified tracking target is located at the specified arrangement position in the size of the effective cutout area specified by the enlargement/reduction operation of the display frame 115. Calculated.
- the size of the effective cutout area may be appropriately changed according to the change in the size of the tracking target.
- the framing screen 103 it is possible to perform operations such as moving, enlarging, reducing, and rotating a range included in the display frame 115 while playing back and displaying a moving image, and performing tracking target designation and designation operation of the arrangement position. Good.
- the display transitions to the trimming screen 104 by a predetermined operation on the preview screen 102.
- the trimming screen 104 is a screen for individually trimming (cutting in the time axis direction) a moving image designated as a processing target on the preview screen 102 among the imported moving images.
- the range to be trimmed in the moving image can be selected. For example, it is possible to display a bar in the time axis direction of the moving image and specify the start point and end point of the range to be cut.
- the display returns to the preview screen 102 by a predetermined operation on the trimming screen 104. Note that, in the present specification, trimming does not include a process of cutting out a partial area in one frame.
- the speed screen 105 is a screen for individually speed-processing the moving images designated as processing targets on the preview screen 102 among the imported moving images. For example, on the speed screen 105, it is possible to perform an operation such as selecting a range in which a speed (playback speed) is set in the moving image and designating a playback speed in the range.
- the display returns to the preview screen 102. More specifically, by setting the frame rate different from the frame rate set in the timing information TM included in the metadata, it is a reproduction speed for performing slow motion or high-speed reproduction.
- the display transitions to the aspect ratio setting screen 106 by a predetermined operation on the preview screen 102.
- the aspect ratio setting screen 106 is a screen for setting the aspect ratio of an output moving image for each imported moving image in file units.
- the meaning may be the same as the setting of the effective cutout area performed on the framing screen. That is, even if the effective cutout area is not set on the framing screen, the effective cutout area of the output image having a different aspect ratio is set from the imaging area.
- aspect ratio setting screen 106 For example, on the aspect ratio setting screen 106, aspect ratios such as “1:1”, “4:5”, “5:4”, “16:9”, and “9:16” can be selected. By a predetermined operation on the aspect ratio setting screen 106, the display returns to the preview screen 102.
- the aspect ratio setting screen 106 may be a screen for setting the overall aspect ratio of a plurality of frames that make up the moving image specified as the processing target on the preview screen 102 in the imported moving image.
- Setting screen 107 The display transitions to the setting screen 107 by a predetermined operation on the preview screen 102. On the setting screen 107, setting operation regarding the operation of the application program can be performed. The display returns to the preview screen 102 by a predetermined operation on the setting screen 107.
- the display transits to the export screen 108 by a predetermined operation on the preview screen 102.
- the export screen 108 is a screen during the process of writing out a moving image in which the contents of the image processing performed on each screen are reflected. That is, after performing various image processing operations, the user returns to the preview screen 102 and instructs export. As a result, the screen transitions to the export screen 108, and the writing process of the moving image processed according to the image processing content is executed.
- the written moving image can be arbitrarily recorded by the user or can be uploaded and shared on a website, an SNS (Social Networking Service) or the like via the network communication of the mobile terminal 2.
- SNS Social Networking Service
- FIG. 14 shows a procedure as preprocessing performed when the moving image (image file MF) is imported by the preprocessing unit 31 (CPU 71) in FIG. 5 and an image processing procedure performed by the image processing unit 32 (CPU 71). In addition, the relationship of information used in each process is shown.
- the preprocessing is performed on the image file MF selected as the image processing target on the import screen 101.
- metadata extraction step ST1
- all IMU data concatenation step ST2
- metadata retention step ST3
- conversion to quaternion posture information of the image pickup apparatus 1
- retention step ST4
- the preprocessing unit 31 reads the target image file MF and extracts the metadata included in the image file MF as described with reference to FIG. Note that part or all of steps ST1, ST2, ST3, and ST4 may be performed on the imaging device 1 side. In that case, in the preprocessing, the contents after the processing described below are acquired as metadata.
- the preprocessing unit 31 performs the connection process on the IMU data (angular velocity data (gyro sample) and acceleration data (accelerator sample)) in step ST2.
- IMU data angular velocity data (gyro sample) and acceleration data (accelerator sample)
- This is a process of arranging and concatenating all the IMU data associated with all the frames in chronological order to construct IMU data corresponding to the entire sequence of the moving image.
- integration processing is performed on the concatenated IMU data to calculate a Quaternion QD that represents the attitude of the image pickup apparatus 1 at each time point in the sequence of the moving image, and this is stored and held. It is an example that the quaternion QD is calculated. Note that the quaternion QD can be calculated using only the angular velocity data.
- the preprocessing unit 31 performs a process of holding the metadata other than the IMU data, that is, the coordinate conversion parameter HP, the timing information TM, and the camera parameter CP in step ST3. That is, the coordinate conversion parameter HP, the timing information TM, and the camera parameter CP are stored in a state corresponding to each frame.
- various image processings are performed via the interface of each screen starting from the preview screen 102 described above.
- the preview screen 102, the framing screen 103, the trimming screen, the speed screen 105, and the aspect ratio setting screen 106 are displayed while reflecting the information of the effective cutout area specified by the user on the framing screen 103.
- 4 shows processing that is routinely performed when a moving image of the image file MF or a still image that is being paused is reproduced.
- the image processing unit 32 takes out one frame of the moving image (step ST11), cancels internal correction of the imaging device (step ST12), pastes it on the celestial sphere model (step ST13), performs synchronization processing (step ST14), shake correction (ST15). ) Each processing is performed.
- the processing of these steps ST11 to ST15 is processing by the function of the shake correction unit 33 in FIG.
- the image processing unit 32 (CPU 71) performs various processes such as tracking (step ST16), display area designation (step ST17), and protrusion prevention (step ST18).
- the processing of these steps ST16, ST17, and ST18 is processing by the function of the effective clip region setting unit 34 of FIG.
- the image processing unit 32 (CPU 71) performs the process of plane projection and cutout (step ST19).
- the processing in step ST19 is processing by the function of the effective clipped area image generation processing unit 35 in FIG.
- the image processing unit 32 performs each processing of the above steps ST11 to ST19 for each frame when reproducing the image of the image file MF. For example, when an image is displayed on each of the above-described framing screen 103, trimming screen 104, and the like, each process of steps ST11 to ST19 is performed for each frame.
- step ST11 the image processing unit 32 decodes one frame of the moving image (image file MF) along the frame number FN. Then, the image data PD (#FN) of one frame is output. It should be noted that "(#FN)" indicates a frame number and represents information corresponding to the frame. If the moving image has not been subjected to encoding processing such as compression, the decoding processing in step ST11 is unnecessary.
- step ST12 the image processing unit 32 performs a process of canceling the internal correction performed by the imaging device 1 for the image data PD (#FN) of one frame.
- the coordinate conversion parameter HP (#FN) stored corresponding to the frame number (#FN) at the time of preprocessing is referred to, and the correction opposite to the correction performed by the imaging device 1 is performed.
- the image data iPD (#FN) in a state where the lens distortion correction, the trapezoidal distortion correction, the focal plane distortion correction, the electronic camera shake correction, and the optical camera shake correction in the image pickup apparatus 1 are canceled is obtained.
- step ST13 the image processing unit 32 attaches one frame of image data iPD (#FN) in which various corrections have been canceled to the celestial sphere model.
- the camera parameter CP (#FN) stored corresponding to the frame number (#FN), that is, the angle of view, the zoom position, and the lens distortion information is referred to.
- FIG. 15 shows an outline of attachment to the celestial sphere model.
- the image data iPD is shown in FIG. 15A.
- the image height h is the distance from the center of the image.
- Each circle in the figure indicates a position where the image heights h are equal.
- the “relationship between the image sensor surface and the incident angle ⁇ ” in the frame is calculated from the angle of view, zoom position, and lens distortion information for the frame of the image data iPD, and “data0” at each position on the image sensor surface is calculated.
- "data0"... “DataN-1” is expressed as a one-dimensional graph of the relationship between the image height h and the incident angle ⁇ as shown in FIG. 15B.
- the incident angle ⁇ is the angle of the light beam (the angle viewed from the optical axis).
- This one-dimensional graph is rotated once around the center of the captured image to find the relationship between each pixel and the incident angle. Accordingly, each pixel of the image data iPD is mapped to the celestial sphere model MT from the pixel G1 in FIG. 15C to the pixel G2 on the celestial sphere coordinates.
- an image (data) of the celestial sphere model MT in which the captured image is attached to the ideal celestial sphere with the lens distortion removed is obtained.
- this celestial sphere model MT the peculiar parameters and distortion of the image pickup apparatus 1 that originally picked up the image data iPD are removed, and the ideal pinhole camera can see the range on the celestial sphere. Therefore, in this state, the shake correction can be realized by rotating the image of the celestial sphere model MT in the predetermined direction.
- the attitude information (quarternion QD) of the image pickup apparatus 1 is used for the shake correction.
- the image processing unit 32 performs the synchronization process in step S14.
- processing is performed to identify and acquire a quaternion QD (#LN) suitable for each line corresponding to the frame number FN.
- #LN quaternion QD
- the reason why the quaternion QD (#LN) is used for each line is that the amount of shake is different for each line when the image sensor 12a is a CMOS type and imaging is performed by the rolling shutter method.
- a quaternion QD (#FN) for each frame may be used.
- the center of gravity shifts if an electronic shutter (similarly for a mechanical shutter) is used, so the center of the frame exposure period (shifts depending on the shutter speed of the electronic shutter).
- Blurring refers to image bleeding due to relative movement between the imaging device and the subject in the same frame. That is, it is a blur of an image due to shaking within the exposure time. The longer the exposure time, the stronger the influence of blurring as blur.
- Electronic image stabilization is capable of reducing/eliminating “shaking” that occurs between frames when a method of controlling the image range cut out for each frame is used.
- relative shaking within the exposure time is Image stabilization cannot reduce it.
- the posture information of each frame is used, but if the posture information is offset from the center of the exposure period such as the timing of the start or end of the exposure period, the posture Since the direction of shaking within the exposure time is biased based on, the bleeding tends to stand out. Further, in the CMOS rolling shutter, the exposure period is different for each line.
- FIG. 16 shows the synchronization signal cV of the image pickup apparatus 1 in the vertical period, the synchronization signal sV of the image sensor 12a generated from this synchronization signal cV, and the sample timing of the IMU data, and also shows the exposure timing range 120.
- the exposure timing range is a parallelogram schematically showing the exposure period of each line of one frame when the exposure time is t4 in the rolling shutter system.
- a time offset t0 of the sync signal cV and the sync signal sV an IMU sample timing offset t1, a read start timing t2, a read time (curtain speed) t3, and an exposure time t4 are shown.
- the read start timing t2 is a timing after a predetermined time t2of has passed from the synchronization signal sV.
- Each IMU data obtained at each IMU sample timing is associated with a frame.
- the IMU data in the period FH1 is the metadata associated with the current frame showing the exposure period in the parallelogram
- the IMU data in the period FH1 is the metadata associated with the next frame.
- the association between each frame and the IMU data is released and the IMU data can be managed in time series.
- IMU data corresponding to the exposure center of gravity (timing of the broken line W) of each line of the current frame is specified. This can be calculated if the temporal relationship between the IMU data and the effective pixel area of the image sensor 12a is known.
- the information that can be acquired as the timing information TM corresponding to the frame (#FN) is used to identify the IMU data corresponding to the exposure centroid of each line (the timing of the broken line W). That is, the information includes the exposure time, the exposure start timing, the read time, the number of exposure frames, the IMU sample offset, and the frame rate. Then, the quaternion QD calculated from the IMU data of the exposure center of gravity is specified and set as the quaternion QD (#LN) which is the posture information for each line.
- This quaternion QD (#LN) is provided for the shake correction in step S15.
- the image processing unit 32 cancels the change (sway) of the posture of the image of the celestial sphere model MT to which the frame image is pasted in step S14 by using the quaternion QD (#LN) for each line.
- the shake is corrected by rotating so as to cause it to rotate.
- the image of the shake-corrected celestial sphere model hMT is sent to the process of step ST19.
- step ST19 the image processing unit 32 projects the image of the shake-corrected celestial sphere model hMT on a plane and cuts it out to obtain the shake-corrected image (output image data oPD).
- the shake correction is realized by the rotation of the celestial sphere model MT, and by using the celestial sphere model MT, the trapezoidal distortion is eliminated because the trapezoidal shape does not become a trapezoid wherever it is cut out.
- the celestial sphere model MT has no lens distortion because the range that can be seen by an ideal pinhole camera is attached to the celestial sphere.
- the rotation of the celestial sphere model MT is performed according to the quaternion QD (#LN) for each line, so that the focal plane distortion correction is also eliminated. Furthermore, since the quaternion QD (#LN) corresponds to the exposure center of gravity of each line, the image has no blur.
- FIG. 17A shows an example of a rectangular coordinate plane 131 for plane projection. Let each coordinate of the image projected on a plane be (x, y). As shown in FIG. 17B, the coordinate plane 131 is arranged (normalized) in the three-dimensional space so as to be in contact with the celestial sphere model MT directly above. That is, the center of the coordinate plane 131 coincides with the center of the celestial sphere model MT and is arranged at a position in contact with the celestial sphere model MT.
- the coordinates are normalized based on the zoom magnification and the size of the effective cutout area CL.
- outh and outv are image sizes. Then, for example, the coordinates are normalized by the following formula.
- min(A, B) is a function that returns the smaller one of A and B.
- "zoom" is a parameter for controlling the enlargement/reduction.
- xnorm, ynorm, znorm are normalized x, y, z coordinates.
- the coordinates on the coordinate plane 131 are normalized to the coordinates on the spherical surface of a hemisphere having a radius of 1.0 by the respective equations of (Equation 1) above.
- the rotation for obtaining the direction of the effective cutout region CL is performed by rotating the coordinate plane 131 by a rotation matrix calculation as shown in FIG. 18A. That is, the rotation matrix of the following (Equation 2) is used to rotate the pan angle, the tilt angle, and the roll angle.
- the pan angle is a rotation angle that rotates the coordinates around the z axis.
- the tilt angle is a rotation angle for rotating the coordinates around the x axis
- the roll angle is a rotation angle for rotating around the y axis.
- the coordinates (xrot, yrot, zrot) are used to calculate the celestial sphere corresponding points in perspective projection.
- the coordinate plane 131 is perspectively projected onto the surface of the celestial sphere (region 132). That is, when a straight line is drawn from the coordinates toward the center of the celestial sphere, the point that intersects the spherical surface is obtained.
- Each coordinate is calculated as follows.
- xsph, ysph, and zsph are coordinates obtained by projecting the coordinates on the coordinate plane 131 onto the coordinates on the surface of the celestial sphere model MT. With this relationship, plane-projected image data can be obtained.
- the effective cutout area of the image projected on the plane by the above-described method is the same as that of steps ST16, ST17, and ST18 in FIG. It will be set in the process.
- This tracking process is a process of detecting at which position, in the image data PD(#FN) of the current frame, the tracking target designated by the operation information DR1 by the user is present.
- the operation information DR1 is information on an operation of operating the target designation aim 116 on the framing screen 103 to designate a tracking target as described with reference to FIG.
- the image processing unit 32 recognizes the designated subject and stores it as a tracking target. Then, after that, the process of determining the position of the tracking target on the screen is performed for each frame.
- the position of the tracking target in the screen is determined by subject determination (for example, face determination, person determination, etc.) by image analysis, or by using the in-screen position information TPp of the tracking target of the previous frame.
- the in-screen position information TP of the tracking target in the determined image data PD (#FN) of the current frame is provided to the process of step S17.
- the in-screen position information TP may be information indicating the range in which the tracking target is imaged in the coordinate system of the current frame by the coordinate value.
- step ST17 the image processing unit 32 specifies an output area.
- This is a process of setting a requested cropping area CLrq according to the operation information DR2 by the user operation. It can be said that the area of the image to be finally displayed as an output image is designated as the requested cutout area CLrq.
- the setting of the required cutout area CLrq here means a temporary setting (a candidate for the effective cutout area CL as an area in which the actual cutout processing is performed) before performing the processing of the next step ST18.
- This step ST17 is a process of designating the effective cutout region CL based on the information of the user operation or the tracking target.
- the effective cutout region CL before being corrected by the protrusion prevention process described later is called a required cutout region CLrq.
- the required cutout region CLrq set in step ST17 may be the effective cutout region CL as it is. is there.
- the operation information DR2 input by the user includes information on the operation of specifying the effective cutout region CL, the operation of selecting the aspect ratio, and the operation of specifying the tracking target arrangement position.
- the operation information of the operation of designating the effective cutout area is the information of the operation of designating the range included in the display frame 115 on the framing screen 103 as described with reference to FIG.
- the operation information of the aspect ratio selection operation is the operation information of the aspect ratio selected on the aspect ratio setting screen 106.
- the operation information of the operation for specifying the tracking target arrangement position is the information of the operation for specifying the position of the tracking target on the screen as shown in FIG. 13B.
- the information of the arrangement position of the tracking target is not limited to the coordinate system in the frame of the image data PD, but may be the coordinate value in the coordinate system in the fixed display frame 115 as the selected aspect ratio.
- step S17 the image processing unit 32 sets the requested cutout region CLrq using the operation information DR2 and the in-screen position information TP of the tracking target.
- the coordinate range as the cutout area is calculated according to the operation of designating the cutout area and the operation of selecting the aspect ratio in the operation information DR2.
- the in-screen position information TP coordinate value in the frame of the image data PD
- the in-screen position information TP matches (or approaches) the coordinate value specified as the arrangement position in the coordinate system in the display frame 115 as the effective cutout area. To do so.
- the tracking target is the face of the person who is the subject as shown in FIG. 13B, and the tracking target is arranged at the position on the upper right of the center of the screen, the position of the face is changed in each frame.
- the effective cutout area is set so that is at the upper right position from the center.
- the area (for example, the area of the face image) indicated by the in-screen position information TP (coordinate values in the frame of the image data PD) strictly corresponds to the tracking target arrangement position. No need. This is because the position of the face within the frame changes greatly for each frame, the pixel range that captures the face (the size of the face on the screen) changes, and the face part is out of the frame and cannot follow up. This is because there are some cases.
- the target arrangement position cannot be matched due to the protrusion prevention process described below. In that sense, the position of the tracking target (in-screen position information TP) may be made as close as possible to the tracking target arrangement position (specific position in the display frame 115) designated by the operation.
- the image processing unit 32 performs the protrusion prevention processing in step ST18, and sets the result as the effective cutout area CL actually used in step S19.
- the quaternion QD (#LN) and the coordinate conversion parameter HP for a plurality of frames before and after the frame are used.
- the required cutout region CLrq set as the candidate in step ST17 can be used as it is in step S19, but then, the range corresponding to the display frame 115 is projected by being rotated by the shake correction using the celestial sphere model MT. If the range is exceeded, the shake correction may not work effectively, or if the range exceeds the pixel range of the image sensor 12a, a part of the displayed image may be missing, resulting in image loss. Therefore, a protrusion prevention process is performed to limit the cutout area so that a high-quality moving image can be output without causing these problems.
- the protrusion prevention processing is called associating with the imaging area shown in FIG. 19 (first processing), calculation of a movable area (hereinafter also referred to as “available area”) (second processing), and correction of display range (third processing). It is carried out in stages.
- an imaging area hereinafter, also referred to as “captured area” 61
- an available area hereinafter, also referred to as “movable area” 62
- a requested cutout area CLrq a requested cutout area CLrq
- an effective cutout area CL an effective cutout area
- the captured area (imaging area) 61 is an area in which a subject can be displayed by capturing an image. That is, it is the range in which the subject is imaged.
- the available area (movable area) 62 is an area in which clipping is allowed in consideration of shaking of the frames before and after. That is, this is a range in which the shake correction by rotation of the shake correction celestial sphere model MT in step ST15 is effectively maintained.
- the requested cutout area CLrq is an area to be displayed, which is determined according to a user operation or a tracking result.
- the effective cutout area CL is obtained by moving the requested cutout area CLrq so as to fit in the available area 62.
- This effective cutout area CL is an area that is actually cut out.
- the first process (the process of associating with the imaging angle of view) of FIG. 19 is a process of setting the captured area 61 on the celestial sphere model MT, which coincides with the imaging region. Specifically, it is a process of assigning an imaging region on the celestial sphere model MT in consideration of the angle of view and lens distortion using the coordinate conversion parameter HP.
- the area to be assigned is one to which the inverse correction using the coordinate conversion parameter HP is applied. Further, since the shake correction is applied on the celestial sphere model MT, the captured area 61 shown in FIG. 19 is oriented in the direction of canceling the sway on the celestial sphere model MT.
- the second process is a process of calculating the available area 62 (movable region) of the current frame using the information of the preceding and succeeding frames.
- the third process is a process of correcting the required cutout area CLrq into the effective cutout area CL using the calculated available area 62.
- FIG. 20A shows the relationship between the captured area 61 and the cutout area 60 in frames #i, #i+1, and #i+2.
- the subject range included in the captured area 61 (that is, imaged) varies due to the influence of the shaking. If the cutout area 60 of each frame is set so as to keep the shake correction effective, the cutout area 60 indicated by the broken line is generated in frame #i+1, for example, and image loss occurs.
- the cutout area 60 is allowed to move in the entire captured area 61 so as not to cause image loss, the shake motion corrected with great care may appear directly. In other words, the shake correction does not work effectively.
- the cutout area 60 of the frame #i+1 is shown by a solid line, and it is possible to prevent image loss, but shaking appears.
- the available area 62 is calculated as a range in which the shake correction can be effectively maintained, and the cutout area 60 is prevented from protruding from the available area 62 in order to prevent the cutout.
- the available information 62 is set as a frame with a margin so that the cutout area 60 does not go to a portion that is likely to protrude in advance by using the shake information of the preceding and following frames, and the cutout area 60 is set only in that range. Try to move. Since the available area 62 has a meaning as a shake correction margin, the available area 62 dynamically changes for each frame according to the magnitude of the shake.
- FIG. 20B shows a state in which the available area 62 is set in the captured area 61 in the frames #i, #i+1, and #i+2 so that the cutout area 60 does not protrude from the available area 62. In this case, image loss does not occur, and shake correction is effectively maintained. In the protrusion prevention process, the required cutout region CLrq is corrected so that the effective cutout region CL such as the cutout region 60 of FIG. 20B is obtained for each frame.
- the available area 62 is set by using each captured area 61 (imaging area) of a plurality of consecutive frames including a frame to be processed and a frame at a later point in time along the time axis.
- the available area 62 is a range commonly included in the captured area 61 in the shake-corrected state in each of the plurality of frames.
- FIG. 21A shows a case where the captured area 61 of a plurality of consecutive frames (frame #i-m to frame #i+m) is overlapped when the current frame is frame #i.
- the captured area 61 of each frame reflects the shake correction and is associated with the celestial sphere model MT. That is, for each frame, using the coordinate conversion parameter HP, the imaging field angle (captured area 61) is assigned on the celestial sphere model MT in consideration of the field angle and lens distortion, and the quaternion QD (#LN) is used. To rotate. In the figure, the captured areas 61 that are linked to the celestial sphere model MT in this way and face the directions for canceling the shake correction are shown in an overlapping manner.
- a range commonly included in the captured areas 61 of a plurality of frames, that is, a range obtained by ANDing is a hatched range in FIG. 21A, which is an available area 62 as shown in FIG. 21B. Since the captured area 61 of each frame moves by the amount of shake correction, the common area is within the captured area 61 by overlapping the AND of the captured areas 61 of the front and rear ⁇ m frames. Being compensated. Therefore, this range is defined as the available area 62.
- a convex polygon is inevitably formed, and therefore, the process of intersecting two convex polygons may be repeated by the number of captured areas 61.
- the amount of shake correction applied to the captured area 61 may be reduced or the frame before shake correction may be increased. good.
- the degree of contribution is adjusted according to the temporal distance, the shape of the available area 62 changes discontinuously when a frame in which a large amount of shaking is generated falls out of the range of ⁇ m frames.
- the degree of contribution is adjusted according to the temporal distance, the shape of the available area 62 changes discontinuously when a frame in which a large amount of shaking is generated falls out of the range of ⁇ m frames.
- the captured area 61 in the range of ⁇ m frames, it is also possible to use the captured area 61 up to +m frames continuous in the subsequent direction on the time axis.
- the available area 62 As a calculation example of the available area 62, a second calculation method will be described with reference to FIG. This is the range shown when the available area 62 is set so that the low frequency fluctuation component of the change of each end point of the captured area 61 for each frame of the plurality of frames is contained in the captured area 61 of each frame. It is an example of doing. Specifically, it is a method of calculating the available area 62 based on the quaternion QD subjected to the low-pass filter.
- a solid line shows changes in the upper end and the lower end of the captured area 61 in each frame. That is, it is a change for each frame due to shaking.
- the broken lines are the low frequency fluctuation components 61L at the upper and lower ends of the captured area 61 obtained by applying the low pass filter.
- the alternate long and short dash lines indicate the upper and lower ends of the available area 62.
- the available area 62 can be said to be an area where it is desired to guarantee that it is inside the captured area 61 in a plurality of frames, but it cannot be guaranteed that it is inside the captured area 61 only by applying a low-pass filter. Therefore, the low-frequency fluctuation component 61L of the captured area 61 is compensated by weighting the amount of protrusion from the captured area 61 by a temporal distance, so that the low frequency fluctuation component 61L smoothly fits inside the captured area 61.
- Find 62. 22B is an enlarged view of a part of FIG. 22A (range of ⁇ m frames), and arrows indicate weighting directions.
- FIG. 22C shows two-dimensional weighting for accommodating the low-frequency fluctuation component 61L in the captured area 61.
- q_crct_smooth i max ⁇ slerp(q_crct i+j, q_identity; Wj) ⁇ As a result, a quaternion q_crct_smooth i for smooth correction is obtained for all four endpoints (this expression is the max function for “j”).
- q_crct_smooth i corresponds to the maximum value of weighting indicated by the arrow in FIG. 22B. Note that slerp is spherical linear interpolation and q_identity is the unit quaternion.
- the quaternion q_crct is obtained as the amount of rotation until it collides with the side of the captured area 61 when rotated in the direction toward the center of the captured area 61 for each end point of the low frequency fluctuation component 61L.
- the available area 62 can be calculated by the above first and second calculation methods. However, when the available area 62 is created by using the movements of the preceding and following frames as in the above example, when the movement is large, the available area 62 may become so small that the requested cutout region CLrq cannot fit.
- FIG. 23A shows a state in which the captured area 61 after the shake correction is largely displaced due to a violent movement between frames. In this case, the available area 62 becomes small as shown in FIG. 23B, and the requested cutout area CLrq does not fit.
- the available area 62 is expanded so that the required cutout area CLrq fits.
- the required cutout area CLrq is aligned with the center of the available area 62, and the available area 62 is updated so that the protruding portion is contained. That is, it is updated as shown in FIG. 23D.
- a new convex polygon is created by a set of “vertices of the required cutout area CLrq outside the available area 62” and “vertices of the available area 62 outside the required cutout area CLrq”. , Which is the expanded available area 62 of FIG. 23D.
- the available area 62 may protrude from the captured area 61. Therefore, as shown in FIG. 23D, the available area 62 is moved so as to be contained in the captured area 61.
- this is a process of modifying the calculated available area 62 so that the requested cutout area CLrq fits within the calculated available area 62.
- the requested cutout area CLrq is out of the available area 62, the requested cutout area CLrq is moved, and the movement direction includes a yaw direction, a pitch direction, and a roll direction.
- the correction of the yaw component and the pitch component is prioritized. That is, as shown in FIG. 24A, the required cutout region CLrq is moved toward the center CT of the available area 62 by the minimum necessary amount. Here, the roll component is not changed but moved by changing the yaw component and the pitch component (arrow yp). If the requested cutout area CLrq fits in the available area 62 by this movement, the correction of the display range is completed. That is, the moved requested cutout area CLrq is set as the effective cutout area CL.
- the required cutout region CLrq may not be well accommodated in the available area 62 only by changing the yaw component and the pitch component.
- the center of the required cutout region CLrq is made to overlap the center of the available area 62.
- the roll component is changed.
- the entire required cutout region CLrq is rotated by the minimum amount of rotation required to fit in the available area 62.
- the requested cutout region CLrq in the accommodated state is set as the effective cutout region CL.
- FIG. 25 shows the overall flow of the above-mentioned protrusion prevention processing.
- This figure shows m frames before and after the current frame #i (frame #i-m to frame #i+m).
- the celestial sphere model MT and the imaging angle of view are associated with each other by using the corresponding coordinate conversion parameter HP (HP(#i-m)... HP(#i+m)).
- HP coordinate conversion parameter
- step S21 shake correction is performed using the corresponding quaternion QD (QD(#i-m)... QD(#i+m)).
- the quaternion QD(#i) corresponding to the frame #i is the quaternion QD(LN) corresponding to each line in the frame #i.
- the available area 62 is generated in step S22 using the captured area 61 for each frame.
- the above-mentioned first calculation method, second calculation method, and the like are used.
- the calculated available area 62 is expanded as needed in step S23. That is, the required cutout area CLrq determined by the required cutout area CLrq is compared with the available area 62, and if the available cutout area CLrq does not fit, the above-described expansion processing is performed.
- step S24 the display range is corrected in step S24. That is, as described with reference to FIG. 24, the required cutout area CLrq is corrected to be the effective cutout area CL.
- This effective cutout region CL is finally provided as the cutout region CL corrected by the protrusion prevention process to the plane projection and cutout process of step ST19 in FIG.
- the shake information of the preceding and following frames is reflected in the available area 62, thereby dynamically changing the shake correction margin.
- the aspect ratio, the cutout position, and the size of the output image are expressed by the requested cutout region CLrq and stored in the available area 62, thereby realizing the processing in which the shake correction and the cutout position are taken into consideration at the same time. ing.
- FIG. 26A shows the representation on the celestial sphere model MT and the shape of the captured area 61 in the case of a normal lens
- FIG. 26B in the case of a fisheye lens.
- a circular image forming area 66 is formed within the image pickup pixel range 65 of the image sensor 12a, and therefore the captured area 61 is represented by a circle or a polygon as shown in the drawing. It will be.
- the image processing device is a frame of image data that forms a moving image, and for each frame that has been pasted to the celestial sphere model MT, the posture information (IMU data, quaternion QD) corresponding to the frame. ) Is used for the shake correction unit 33. Further, the image processing apparatus performs, on the requested cut-out region CLrq, the run-out prevention process for correcting the effective cut-out region CL from each frame so that the effective cut-out region CLr does not get out of the movable region that keeps the shake correction effective.
- An effective cutout area setting unit 34 that sets an effective cutout area CL to be applied is provided.
- the image processing apparatus is an image projected from the celestial sphere model MT onto a plane model after being subjected to shake correction by the shake correction unit 33, and an image of the effective cutout region CL set by the effective cutout region setting unit 34.
- the effective cutout area image generation processing unit 35 that performs the processing of generating the effective cutout area image that is That is, the shake caused in the image picked up by the image pickup apparatus 1 due to the hand shake or the like is corrected by the coordinate conversion on the celestial sphere model MT, and the shake correction is performed to set the effective cutout region CL of the image projected on the plane.
- the example in which the image of the effective cutout region CL is cut out after performing the shake correction with the celestial sphere model MT and performing the planar projection has been described. That is, it is also possible to generate an image of the effective cut-out region CL by cutting out the image of the effective cut-out region CL in a state where the celestial sphere model MT is shake-corrected and projecting the image in a plane.
- the shake correction unit 33 at least the process of step ST15 of FIG. 14 may be performed, and some or all of steps ST11, ST12, ST13, and ST14 are outside the function of the shake correction unit 33 (for example, shake). It may be performed by an apparatus other than the image processing apparatus having the correction unit 33).
- FIG. 8 shows the case where the RAW data is targeted for image processing, in this case, the shake correction unit 33 does not need to perform the internal correction processing of the image pickup apparatus in step ST12.
- the effective cutout area setting unit 34 sets the effective cutout area CL by using the operation information (DR1, DR2) based on the user operation.
- the shake correction is performed while appropriately reflecting the user's intention and the output area desired by the user, and the output image data oPD without trapezoidal distortion can be obtained.
- the effective cutout area setting unit 34 sets the effective cutout area CL using the tracking target information about the tracking target. This makes it possible to set the cutout area in consideration of the tracking target. Further, in the embodiment, the example has been given in which the effective cutout region setting unit 34 sets the tracking target by using the operation information DR1 based on the user operation. As a result, it is possible to set the cutout area in consideration of the subject (tracking target) that the user wants to pay attention to. That is, it is possible to obtain an output image that is appropriately shake-corrected while capturing a subject of interest.
- the processing in the case where the tracking target is not specified is naturally assumed.
- the user may not specify the tracking target as described in FIG.
- the effective cutout area CL may be set according to the operation described in FIG.
- a process may be performed in which the tracking target is automatically designated regardless of the user setting. For example, face detection is performed, and when a face is detected, the face is automatically set as a tracking target.
- the tracking target is determined based on the operation information DR1 that specifies the tracking target, and the effective cut-out region CL of each frame that constitutes the moving image is set according to the determined in-image position of the tracking target. .. That is, when the subject of the tracking target is designated by the user's operation, the effective cutout region CL is set in each frame in consideration of the arrangement of the tracking target. As a result, it is possible to set the clipping position so that the subject (tracking target) that the user wants to pay attention to does not frame out as the moving image progresses.
- the effective cutout region CL of each frame forming a moving image is set using the operation information DR2 that specifies the arrangement position of the tracking target on the screen.
- This allows the user to specify where in the screen the target (tracking target) that the user wants to display is displayed, and in each frame, the tracking target is positioned at the position (near the position) on the screen.
- the cutout area can be set. Therefore, the moving image processing is realized such that the moving image progresses in a state in which the subject as the tracking target is in the vicinity of the arrangement position desired by the user, such as the position from the center of the screen or from the left.
- the arrangement position of the tracking target is not specified.
- the tracking target arrangement position may be automatically designated. For example, it is automatically set to a predetermined position such as the center of the screen or the position on the right side. As a result, it is possible to set the cutout area so that the tracking target can be captured at a predetermined position without the user's operation of specifying the tracking target arrangement position.
- the example in which the operation information DR2 designating the output area of the image is used for setting the effective cutout area CL has been described.
- the area of the output image can be specified by a user operation on the framing screen 103 described in FIG. 12, and the operation information DR2 is used to set the effective cutout area CL. This makes it possible to obtain an output image that is appropriately shake-corrected while cutting out the output area of the image that the user has arbitrarily designated.
- the example in which the operation information DR2 designating the aspect ratio of the image is used for setting the effective cutout region CL has been described.
- the aspect ratio of the output image can be specified by the user's operation on the aspect ratio setting screen 106, and the operation information DR2 is used for the cutout region setting.
- the operation information DR2 is used for the cutout region setting.
- An example of performing the third process of setting the effective cutout region CL has been described.
- the tracking target specified by the user, the output area, and the cutout area based on the aspect ratio are not changed indefinitely depending on the image content, etc., but are corrected so that the shake correction can be appropriately maintained. It Therefore, it is possible to obtain the output image data oPD that is appropriately shake-corrected while reflecting various designations of the user.
- the imaging area (captured area 61) is set on the coordinates of the celestial sphere model MT for which the shake correction is performed, and the movable area (available area 62) is set in the imaging area.
- the required cutout area CLrq is calculated so as to fit within the available area 62.
- the corrected required cutout area CLrq is set as the final effective cutout area CL. That is, the cutout area is limited by the available area 62. Accordingly, it is possible to appropriately set the cutout area that reflects the shake correction in the celestial sphere model MT.
- the available area 62 is divided into a plurality of consecutive frames including a frame to be processed and a frame at a later time point and a frame at a previous time point in the time axis direction from the frame.
- An example of setting using the captured area 61 has been given. That is, as in the first calculation method of FIG. 21 and the second calculation method of FIG. 22, by using the captured areas 61 of a plurality of continuous frames, a certain period of time occurs in the time axis direction (between frames). Even if there is shaking, the image range commonly included in each frame can be detected. This is an area where the image is not lost during the period of the plurality of frames and the shake correction is effective. This is called an available area 62.
- the available area 62 is dynamically changed according to the magnitude of the shake, and the cutout area setting that does not cause image loss due to the shake and maintains the shake correction is realized on the moving image based on the output image data oPD. Therefore, a high quality moving image can be easily created.
- the available area 62 can be set by using each of the captured areas 61 of a plurality of consecutive frames including a frame to be processed and a frame at a time point subsequent to the frame in the time axis direction. Further, the available area 62 can be set by using each of the captured areas 61 of a plurality of consecutive frames including the frame to be processed and the frame at the previous time point in the time axis direction.
- the available area 62 is a range commonly included in the captured area 61 in the state where the shake correction is performed for each of a plurality of frames. That is, as described as the first calculation method in FIG. 21, by using the captured area 61 in which the shake correction is performed for a plurality of consecutive frames, a range in which no image loss occurs even if the cutout frame is set It is possible to set the available area 62 as follows. Since the range is common to the captured area 61 in which the shake correction is performed, the shake correction is also an effective range.
- the captured area 61 may be used as it is, but the contribution degree is adjusted according to the temporal distance by changing the degree of shake correction of the captured area 61 depending on the distance from the current frame. As a result, it is possible to soften the influence of a large shaking at a distant point and smooth the change of the available area 62. This does not cause a state in which the angle of view suddenly changes in the reproduced moving image.
- the available area 62 is a range shown when the low frequency fluctuation component 61L of the change of each end point of the captured area 61 for each frame of a plurality of frames is set to be within the captured area 61 of each frame.
- this is the example described as the second calculation method in FIG.
- the third process in the protrusion prevention process of the embodiment is performed by moving the required cutout region CLrq toward the center of the available area 62 without rotating it until the required cutout region CLrq is accommodated in the available area 62. did. That is, as described with reference to FIG. 24, as the correction of the display range, the required cutout region CLrq is moved without rotating until it is contained in the available area 62 by a required distance. As a result, the tracking target arbitrarily specified by the user, the output area, and the cutout area based on the aspect ratio are moved to the available area 62 so as not to rotate as much as possible. It is possible to prevent image rotation.
- the requested cutout area CLrq cannot be stored in the available area 62 by moving the requested cutout area CLrq toward the center of the available area 62 without rotating the requested cutout area CLrq, the requested cutout area CLrq cannot be stored in the available area 62.
- the area CLrq is rotated so that the area CLrq is accommodated in the available area 62. That is, the requested cutout region CLrq is rotated only when the requested cutout region CLrq does not fit in the available area 62 in a state where the requested cutout region is not rotated.
- the cutout area is corrected by rotating the cutout area only when it is unavoidable, so that the image deletion is prevented as much as possible.
- the shake correction unit 33 acquires the posture information (quaternion QD) corresponding to each frame based on the metadata generated when the image data (image file MF) to be processed is captured, We decided to use it for shake correction.
- the quaternion QD which is the attitude information of the image pickup apparatus, is calculated from the IMU data added as the metadata.
- the example in which the shake correction is performed for each frame of the image data by using the posture information (quartanion QD(LN)) acquired based on the timing of the exposure center of gravity for each line (step SST14 in FIG. 14). reference).
- So-called blur occurs due to relative shaking between the subject and the imaging device during the exposure period, which becomes more noticeable as the exposure time becomes longer depending on the shutter speed.
- the posture information at the exposure start timing of each line is used, the relative shake within the exposure period of each line becomes a shake in one direction from the viewpoint of the posture information, which makes it more visible on the image.
- the shake correction unit 33 performs the correction cancellation process on the image data to be processed using the metadata associated with the image data, and is in a state before the correction process that has already been performed. It is decided to perform the sticking process to the celestial sphere model MT in the state of being returned to (see step SST12 of FIG. 14).
- correction processing such as camera shake correction is performed at the time of image pickup, but shake correction is performed on image data to be processed after canceling these corrections that have already been performed.
- it is possible to perform appropriate shake correction on the original captured image data for example, the image data in the state taken out from the image sensor unit 12, without being affected by the correction at the time of image capturing. That is, high-quality shake correction can be realized according to the processing capability of the image processing apparatus without being affected by the performance of the imaging apparatus 1 that performed the image capturing.
- the shake correction unit 33 decides to cancel the correction using the coordinate conversion parameter HP associated with each frame of the image data as the metadata.
- the coordinate conversion parameter HP is information for changing the image frame (image range including the angle of view) of the captured image, such as lens distortion, trapezoidal distortion, focal plane distortion, electronic camera shake correction, and optical camera shake correction parameters. Is.
- the image processing apparatus includes the preprocessing unit 31 that extracts and stores the metadata corresponding to each frame of the image data for the image file MF including the metadata corresponding to the image data forming the moving image.
- the metadata for each frame can be used in the processing of the shake correction unit 33 and the processing of the effective clip region setting unit 34.
- FIG. 14 shows the processing of steps ST1 to ST4 as processing by the function of the preprocessing unit 31 of the image processing apparatus according to the embodiment, but the processing is not limited to this.
- the pre-processing unit 31 only needs to perform at least the processing of calculating the posture information according to the metadata (for example, step ST4) and holding the metadata (for example, step ST3).
- FIG. 14 shows the processing of steps ST11 to ST19 as processing by the function of the image processing unit 32, but the processing is not limited to this.
- the process of step ST11 may be performed externally, and in that case, the image processing unit 32 may perform the processes of step ST12 to step ST19. Further, the image processing unit 32 may not perform the correction processing in the imaging device in step ST12.
- the image processing unit 32 does not perform the processing related to tracking in step ST16. It is also possible that the image processing unit 32 does not perform the synchronization process of step ST14.
- At least the image processing device of the present disclosure includes, as the processing by the image processing unit 32, step ST13 (pasting to the celestial sphere model MT), step ST15 (shaking correction), step ST17 (output area designation), step ST18 (prevention of protrusion). Processing) and step ST19 (planar projection and cutout).
- the technique described in the embodiment can be applied as the image stabilization in the image pickup apparatus 1 in the following cases.
- the optical image stabilization described below is the correction of the fluctuation of the inter-frame component.
- the electronic image stabilization also includes the case of only focal plane correction. -When optical image stabilization is performed and electronic image stabilization is not performed-When neither optical image stabilization nor electronic image stabilization is performed-When optical image stabilization is not performed and electronic image stabilization is performed-Optical image stabilization In the case where both the electronic image stabilization is performed, the processing of the image processing apparatus according to the embodiment can be applied to the image captured by the image capturing apparatus 1 in each of these cases.
- FIG. 27 is a diagram showing an example of the import screen 101.
- the import screen 101 is a screen that appears on the display unit 77 in response to activation of an application program for moving image processing, and the user selects the image file MF to be processed.
- the import screen 101 is provided with a menu button I11, a folder selection area I12, a thumbnail display area I13, and a selection completion button I14.
- a menu button I11a shown outside the screen in the figure is displayed.
- the menu panel I11a is shown outside the screen for the convenience of illustration, and in actuality, the menu panel I11a is overlay-displayed on the menu button I11.
- a setting button I11b is arranged on the menu panel I11a, and when the setting button I11b is operated, the above-mentioned setting screen 107 is called.
- the application folder button I12a is a button for selecting a folder for an application program for moving image processing secured in the mobile terminal 2.
- the application folder button I12a is displayed in the thumbnail display area I13.
- the thumbnail image I13a of the image file MF stored therein is displayed.
- the "All" button I12b is a button for selecting a folder in which all the image files MF in the mobile terminal 2 are stored.
- the folder is displayed in the thumbnail display area I13.
- the thumbnail image I13a of the stored image file MF is displayed.
- the application folder button I12a is selected by default.
- thumbnail display area I13 As each thumbnail image I13a, a partial frame image in the image file MF is displayed, but in this example, the image of the first frame is displayed. In this example, in the case of the image file MF whose reproduction time exceeds 1 hour, the thumbnail image I13a is displayed in gray out and an error dialog is displayed when tapped.
- the import screen 101 is displayed in the mode illustrated in FIG.
- the moving image of the corresponding image file MF is overlaid and reproduced.
- an overlay display area I15 (in this example, the entire import screen 101 is overlaid) is provided, and a playback video is displayed in the overlay display area I15.
- I15a is provided, and a seek bar I15b, reproduction time information I15c, reproduction button I15d, and close button I15e are displayed.
- the play button I15d When the play button I15d is operated, the video playback in the video display area I15a is started, and when the play button I15d is operated again, the video playback is paused.
- the seek bar 15b shows the reproduced portion and the other portion in different display modes, and fast forward/fast rewind is possible by the sliding operation of the round portion.
- the reproduction time information I15c represents both the total time of the moving image and the time of the portion being reproduced in this example.
- the close button I15e When the close button I15e is operated, the overlay reproduction is ended, and the import screen 101 is returned to the state before the overlay reproduction (for example, the state of FIG. 27).
- the operation of tapping a portion of the thumbnail image I13a other than the selection acceptance button I13b is an instruction operation for overlay reproduction.
- thumbnail selecting operation operation for selecting as an import target
- the thumbnail selecting operation described below is an operation of tapping a predetermined area other than the display area of the play button Pb as shown by a satin area in the drawing.
- a selection acceptance button I13b is attached to each thumbnail image I13a in the thumbnail display area I13.
- the CPU 71 determines whether or not the import is possible based on the meta information of the image file MF. As a specific judgment, -Whether 50 image files MF have already been selected, and whether the 51st image file MF has been newly selected-If the newly selected image file MF is included, the total time of the selected movie Is over 60 minutes. It is determined whether or not the image file MF is a non-processing target image file (an image file MF generated by an imaging device 1 other than the target model).
- the CPU 71 displays the display mode of the operated selection reception button I13b as a display mode indicating the selected state (for example, Change to color display) (see FIG. 29A).
- the operated selection accepting button I13b is written with numerical information indicating the number of the selected image file MF (see FIG. 29A). For example, in the case of the image file MF selected first, "1" is described).
- the selection acceptance button I13b in the selected state is operated again, the display mode showing the selection state of the selection acceptance button I13b is canceled, and the selection state of the corresponding image file MF is also canceled. It should be noted that it is not essential to display the numerical information indicating the number of selections made to the selection acceptance button I13b.
- the selection completion button I14 is inactive by, for example, gray-out display or the like when there is no image file MF selected in the thumbnail display area I13 (see FIG. 27).
- the selection completion button I14 is changed from gray-out display to normal display and activated (FIG. 29A).
- the selection completion button I14 activated in this way is operated, a transition is made to the display of the preview screen 102 illustrated in FIG. 29B, for example.
- the selection completion button I14 By operating the selection completion button I14, the selected image file MF is confirmed as the image file MF to be image-processed.
- the selected image files MF are linked in the selected order in response to the operation of the selection completion button I14.
- the preview screen 102 includes a movie list area I21, a menu button I22, a movie menu button I23, a preview area I24, a playback button I25, a playback time display area I26, a timeline I27, an aspect ratio setting button I28, and an export.
- a button I29 is provided, and a frame button B1, a trim button B2, and a speed button B3 are provided at the bottom of the screen.
- thumbnail images of the image file MF selected as the image processing target on the import screen 101 are displayed in the moving image list area I21 in the order of selection. If the number of selected image files MF is large and cannot be displayed at one time, swipe to enable horizontal scrolling.
- a thumbnail image in the moving image list area I21 is tapped, a focus frame is displayed on the thumbnail image and the top frame of the corresponding image file MF is displayed in the preview area I24.
- the reproduction position bar I27a on the timeline I27 also moves to that position (when tapped during reproduction, the reproduction is continued and a jump is made).
- the order of moving images can be changed by a drag and drop operation (when the order is changed, the timeline I27 is redrawn).
- the moving image menu button I23 is arranged near the moving image list area I21 and functions as a call instruction button of the moving image menu panel I23a.
- FIG. 31 illustrates the preview screen 102 when the moving image menu panel I23a is called.
- a moving image addition button I23b, a moving image deletion button I23c, and a moving image copy button I23d are arranged on the moving image menu panel I23a.
- the moving image addition button I23b is operated, the screen transitions to the import screen, and it becomes possible to add a moving image to be image-processed.
- the moving image delete button I23b When the moving image delete button I23b is operated, a confirmation dialog (not shown) is displayed on the preview screen 102, and when OK is tapped on the dialog, the focused moving image is deleted in the moving image list area I21 (excluded from image processing targets). ).
- the focus frame in the moving picture list area I21 shifts to the next moving picture (thumbnail image) (when the moving picture at the end of the list is deleted, shifts to the previous one).
- the moving image copy button I23d When the moving image copy button I23d is operated, the focused moving image is copied in the moving image list area I21 and is inserted after the focused moving image.
- the moving image to be copied is a moving image that has undergone image processing such as framing, trimming, and speed, which will be described later, the moving image is copied with the image processing content maintained.
- image processing such as framing, trimming, and speed
- the moving image copy button I23d is operated and copying takes more than one hour in total, an error dialog is displayed according to the operation of the moving image copy button I23d.
- the menu button I22 functions as a call instruction button of the menu panel I22a as shown outside the screen in the figure.
- the menu panel I22a is actually displayed as an overlay on the screen, similar to the menu panel I11a (FIG. 27).
- a new project button I22b, a setting button I22c, and a process reset button I22d are displayed on the menu panel I22a.
- a confirmation dialog is displayed, and when OK is tapped on the dialog, all the contents of the image processing performed up to that point are discarded and the screen transitions to the import screen 101.
- the setting button I22b is operated, the screen changes to the setting screen 107.
- the process reset button I22d is operated, a confirmation dialog is displayed.
- OK is tapped on the dialog, all the image processing contents of framing, trimming, and speed are returned to the state of being discarded.
- the addition of a moving image and the aspect ratio change (change on the aspect ratio setting screen 106) are not reset.
- the preview area I24 is an area in which the moving image being reproduced is displayed and, when the reproduction is paused (temporarily stopped), the frame image at the corresponding reproduction position is displayed.
- a display frame 115 is arranged in the preview area I24, and in the preview screen 102 shown in FIG. 30 (that is, in the preview screen 102 in which the preview area I24 is in a zoom-in display state described later), a playback moving image or a pause is displayed in the display frame 115.
- the image inside is displayed.
- the display frame 115 corresponds to a frame representing a cutout range from the original image (see the description of the framing screen 103 described later).
- the area in the display frame 115 is one mode of the "display area" in the claims.
- the playback button I25 functions as a playback start instruction button for the currently targeted moving image (moving image focused in the moving image list area I21).
- reproduction button I25 When the reproduction button I25 is operated, reproduction of the moving image currently targeted in the preview area I24 is started.
- the display of the reproduction button I25 is switched to the display of the pause button (not shown).
- this pause button When this pause button is operated, the playback of the moving image in the preview area I24 is paused, and the display of the pause button is switched to the display of the playback button I25.
- the total playback time (the total playback time of all the moving images selected as image processing targets) and the time of the portion currently being played back are displayed.
- a timeline in which all the moving images selected for image processing are connected is displayed.
- a reproduction position bar I27a is displayed in the timeline I27, which represents the current reproduction position on the timeline I27.
- the reproduction position bar I27a is fixed at the left and right center position of the timeline I27.
- the left side of the playback position bar I27a is filled with black, and the current playback position is linked. If it is at the end of the moving image, the right side of the reproduction position bar I27a is displayed in black.
- FIG. 32 shows an example of a display on the timeline I27 in which the sections where the reproduction speed is changed and the tracking processing are respectively performed.
- the section in which the reproduction speed is changed is displayed as the speed bar Ss
- the section in which the tracking process is performed is set as the tracking bar St. it's shown.
- the speed bar Ss information (“ ⁇ 2” in the illustrated example) indicating the reproduction speed set in the corresponding section is displayed.
- the tracking bar St information (in the illustrated example, an illustration simulating the upper half of the body of the person and a frame surrounding the upper body) indicating that the tracking process is performed is displayed in the tracking bar St.
- the display colors of the speed bar Ss and the tracking bar St are made different.
- the reduction button I30 is a button for switching the display of the preview area I24 to the zoom-out display.
- FIG. 33 illustrates the preview screen 102 in which the preview area I24 is in the zoom-out display state in response to the operation of the reduction button I30.
- the size of the display frame 115 is reduced, and the image portion outside the display frame 115 of the moving image in focus is also displayed. That is, the image portion outside the display frame 115 (corresponding to the display area 63 in FIG. 19) in the entire image area as the captured area 61 (FIG. 19) described above is also displayed.
- the image of the captured area 61 can be rephrased as the image of the cutout source when the cutout is performed by the display frame 115, and is hereinafter referred to as “original image” in this sense.
- the image portion outside the display frame 115 in the original image is referred to as the image portion inside the display frame 115 so that the range cut out from the original image by the display frame 115 and the other range are clear. It is supposed to be displayed in different display modes. Specifically, in this example, the image portion of the original image outside the display frame 115 is grayed out.
- the reduction button I30 when the reduction button I30 is operated, the preview area I24 is brought into the zoom-out display state as described above, and the reduction button I30 is switched to the enlargement button I31 (see FIG. 33). ).
- the display in the preview area I24 is switched to the zoom-in display shown in FIGS. 30 and 32.
- the size of the display frame 115 is enlarged compared to that in the zoomed-out state, and only the image portion in the display frame 115 in the original image is displayed.
- the display of the enlargement button I31 is switched to the display of the reduction button I30, whereby the preview area I24 can be switched to the zoom-out display state again.
- the frame button B1, trim button B2, and speed button B3 provided on the preview screen 102 function as buttons for instructing transition to the framing screen 103, trimming screen 104, and speed screen 105, respectively.
- the aspect ratio setting button I28 functions as a button for instructing the transition to the aspect ratio setting screen 106.
- the export button I29 functions as a button for instructing a transition to the export screen 108 (display state of a size selection dialog I70 described later).
- the length of the moving image that can be exported is limited to 2 seconds to 1 hour. Therefore, when the export button I29 is operated, the CPU 71 confirms the total time of the moving images to be image-processed, and when the total time exceeds 1 hour and is less than 2 seconds, the export screen is displayed. A predetermined error dialog is displayed on the preview screen 102 without transition to 108.
- the aspect ratio setting screen 106 shown in FIG. 34 is provided with a return button I35 and an aspect ratio selection area I36. Further, the aspect ratio setting screen 106 is provided with a preview area I24 similar to the preview screen 102, a reproduction button I25, a reproduction time display area I26, a timeline I27, and a reduction button I30.
- the return button I35 functions as a button for instructing the transition to the preview screen 102.
- the return button I35 is operated on the aspect ratio setting screen 106, the image processing content on the aspect ratio setting screen 106 is confirmed and the screen transitions to the preview screen 102.
- selection buttons for selecting the aspect ratio of the display frame 115 are provided for each of the various aspect ratios.
- the corresponding aspect ratio is collectively reflected in all the moving images to be image-processed.
- the position (cutout position) of the display frame 115 is at the center (for example, at the center of the original image), but it can be changed on the framing screen 103 described later.
- the default value of the aspect ratio is the aspect ratio of the movie exported last time. If the export has not been performed even once, the initial value "1:1" is the default value. Also, after updating the application program, the last minute is forgotten and the initial value is restored.
- the display of the preview area I24 can be switched from the zoom-in display shown in FIG. 34 to the zoom-out display as shown in FIG. Also in this case, the display of the reduction button I30 is switched to the display of the enlargement button I31, and the zoom-out display state and the zoom-in display state can be switched to each other.
- FIG. 36 shows an example of the trimming screen 104.
- the trimming screen 104 is provided with a moving picture list area I21, a preview area I24, a play button I25, a timeline I27, and a reduction button I30, which are the same as the preview screen 102, and a return button I35, which is the same as the aspect ratio setting screen 106. It is provided.
- a start point icon I41 and an end point icon I42 are provided for the timeline I27, and a time contrast display area I43 is provided above the timeline I27.
- the trimming screen 104 is provided with a reset button I44.
- the trimming screen 104 of this example is a screen for accepting designation of a trimming section for a moving image focused in the moving image list area I21. Therefore, the timeline I27 on the trimming screen 104 displays the timeline for the moving image focused in the moving image list area I21.
- the playback position bar I27a on the trimming screen 104 can be moved left and right by a swipe operation, and when the playback position bar I27a is moved, the display image in the preview area I24 is displayed at the playback position indicated by the playback position bar I27a. Change to an image. This facilitates the user's search work for the trimming start point and end point.
- the start point icon I41 functions as an operator for instructing the trimming start point
- the end point icon I42 functions as an operator for instructing the trimming end point.
- Each of the start point icon I41 and the end point icon I42 can be moved by a swipe operation, and the start point and end point of trimming can be arbitrarily designated.
- the initial position of the start point icon I41 is the reproduction position of the first frame of the moving image being focused
- the initial position of the end point icon I43 is the reproduction position of the last frame of the moving image being focused.
- FIG. 37 illustrates the trimming screen 104 when the start point icon I41 and the end point icon I42 are operated.
- thumbnails of moving image portions excluded by trimming on the timeline I27 are displayed in gray out, and the moving image portions extracted by trimming are clarified.
- illustration is omitted, regarding the start point icon I41 and the end point icon I42, during tapping of the icon, for example, information of the reproduction time corresponding to the position of the icon is displayed near the icon such as the upper part of the icon.
- the trimming screen 104 in the time contrast display area I43, the reproduction time of the entire moving image in focus and the reproduction time after the trimming (reproduction time of the moving image section instructed by the start point icon I41 and the end point icon I42) are displayed. Is displayed.
- the trimming content returns to the initial state (at this time, the start point/end point icons move to the left end/right end), and the return button I35 is operated. Then, the content of the image processing on the trimming screen 104 is confirmed, and the screen transitions to the preview screen 102.
- the display of the preview area I24 can be switched from the zoom-in display shown in FIG. 36 to the zoom-out display as shown in FIG. Also in this case, the display of the reduction button I30 is switched to the display of the enlargement button I31, and the zoom-out display state and the zoom-in display state can be switched to each other.
- FIG. 39 shows an example of the speed screen 105.
- the speed screen 105 is provided with a moving picture list area I21, a preview area I24, a play button I25, a timeline I27, and a reduction button I30, which are the same as those on the preview screen 102, and a return button I35, which is the same as the aspect ratio setting screen 106.
- a speed selection area I50 are provided.
- the speed screen 105 is also a screen for the moving image in focus in the moving image list area I21, and the timeline I27 displays the timeline of the moving image in focus.
- the reproduction position bar I27a can be moved left and right by a swipe operation as in the case of the trimming screen 104, and in the preview area I24, the image at the reproduction position indicated by the reproduction position bar I27a is displayed. Is displayed. This facilitates the user's search work for the start and end points of speed setting.
- a time contrast display area I43' is provided.
- the reproduction time before the speed setting and the reproduction time after the speed setting are displayed for the moving image in focus.
- selection buttons for selecting a reproduction speed are provided for each reproduction speed, and a reset button is arranged.
- a start point icon I51 and an end point icon I52 are displayed on the timeline I27 as illustrated in FIG.
- the reproduction time at the position indicated by the icon is also displayed as the start point icon I51 and the end point icon I52.
- FIG. 41 exemplifies a case where the notation “ ⁇ 2” is written in the section bar I53 in correspondence with the case where the reproduction speed “ ⁇ 2” is selected. Note that such information display in the section bar I53 is not performed when the section bar I53 is too short.
- the display of the preview area I24 can be switched from the zoom-in display shown in FIG. 39 to the zoom-out display shown in FIG. 41. Also in this case, the display of the reduction button I30 is switched to the display of the enlargement button I31, and the zoom-out display state and the zoom-in display state can be switched to each other.
- the framing screen 103 is provided with a moving picture list area I21, a preview area I24, a playback button I25, a playback time display area I26, a timeline I27, and a reduction button I30, which are similar to those of the preview screen 102.
- a return button I35 similar to the aspect ratio setting screen 106 is also provided.
- the framing screen 103 is provided with a rotation button I61, a tracking button I62, and a tracking start button I63, and the above-described target designation aim 116 is displayed in the display frame 115 of the preview area I24.
- the framing screen 103 when the still image of a certain frame in the moving image being focused is displayed, that is, when the preview reproduction in the preview area I24 is in the paused state, the range of cutting out the image from the original image is designated. It is possible to perform operations such as designation of a tracking target and designation of an arrangement position of the tracking target on the screen. As described above, in the framing screen 103 of the present example, by performing a drag operation or a pinch-out/pinch-in operation in the display frame 115, the range included in the display frame 115 in the original image is moved or enlarged/reduced.
- the cutout range from the original image is specified by moving the original image in the vertical and horizontal diagonal directions with respect to the display frame 115, and the cutout range from the original image is specified by enlarging/reducing the original image with respect to the display frame 115. It can be performed. Further, it is possible to change the rotation angle of the original image with respect to the display frame 115 by performing a rotation operation using two fingers in the display frame 115. That is, it is possible to specify the cutout range from the original image by rotating the original image with respect to the display frame 115.
- the rotation angle of the original image with respect to the display frame 115 can be changed by operating the rotation button I61, but the rotation by operating the rotation button I61 is performed in 90 degree units. It is restricted. Specifically, in this example, each time the rotation button I61 is operated, the original image is rotated 90 degrees clockwise. At this time, even if the rotation operation with the two fingers has a halfway angle, the rotation angle of the original image is adjusted to a multiple of 90 by operating the rotation button I61.
- the display of the preview area I24 can be switched from the zoom-in display shown in FIG. 42 to the zoom-out display as shown in FIG. Also in this case, the display of the reduction button I30 is switched to the display of the enlargement button I31, and it is possible to switch between the zoom-out display state and the zoom-in display state.
- FIG. 44 shows a state in which the cutout range is designated by an operation on the preview area I24 in the zoom-out display state.
- a leftward swipe operation is performed on the inside of the display frame 115 as shown as an operation Sw in FIG. 44A.
- the original image is moved to the left (swipe direction) with respect to the display frame 115 as shown in FIG. 44B, and as a result, the range included in the display frame 115 in the original image changes. That is, the cutout range from the original image changes.
- the image inside the display frame 115 and the image outside the display frame 115 are displayed in different display modes. I am making it. By doing so, the user can clearly recognize what range in the original image is the cutout range.
- the tracking image processing the user specifies the position of the tracking target on the screen.
- the user wants to perform an operation related to tracking, the user operates the tracking button I62 on the framing screen 103 (for example, tap operation).
- FIG. 45 illustrates the framing screen 103 (first screen) in the tracking mode, which appears in response to the operation of the tracking button I62.
- the display mode is changed, for example, the image in the display frame 115 is grayed out so that the user can easily perceive the mode transition. ing.
- the operation on the display frame 115 functions as an operation of moving the target designation aim 116, that is, an operation of designating the arrangement position of the subject (target subject) as the tracking target in the cutout image.
- the target designation aim 116 in response to the operation of tapping inside the display frame 115 (operation Tc of FIG. 46A), the target designation aim 116 is moved to the tapped position (FIG. 46B). ).
- the tapped position is recognized as the arrangement position in the cutout image of the target subject.
- the tap operation also functions as an operation of designating a tracking target object among the objects displayed in the original image.
- the position of the target designation aim 116 is set to a predetermined initial position (the center of the display frame 115 in this example) (see FIG. 42).
- it is possible to specify the arrangement position of the target subject in the cutout image not only by an operation of tapping the display frame 115 but also by an operation of moving the target designation aim 116 by a drag operation. To be done.
- a tracking start button I63 as illustrated in FIG. 47 is displayed on the framing screen 103. R.
- the tracking start button I63 When the tracking start button I63 is operated, the reproduction of the tracking image is started in the preview area I24. That is, the moving image display of the cut-out image cut out from the original image is started so that the target subject is arranged at the position designated in the display frame 115 by the target designation aim 116. At this time, in the moving image to be preview-reproduced, the display of the tracking frame Ft indicating the recognition position of the target subject designated by the target designation aim 116 is started.
- the process of cutting out from the original image so that the target subject is arranged at the designated position in the display frame 115 is displayed in the display frame 115.
- each frame image sequentially positioned after the frame image is also performed. That is, when generating a moving image in which the target subject is placed at the designated position in the display frame 115, the user does not need to perform the placement position designation operation for each frame image. In this respect, the operation load is reduced.
- a moving image is an image group composed of a plurality of images, and it can be said that the image group is composed of a plurality of continuous images in a predetermined order.
- a cancel button I64 and a stop button I65 as illustrated in FIG. 48 are displayed on the framing screen 103.
- the stop button I65 has a function of instructing to stop the preview reproduction, and also in a tracking section, that is, a section for cutting out from the original image so that the target subject is arranged at a designated position in the display frame 115. Takes the function of indicating the end point.
- the display of the section bar I66 indicating the tracking section is also started in the timeline I27.
- the section bar I66 gradually extends from the tracking start frame (the frame displayed in the preview area I24 when the tracking start button I63 is operated) as shown in FIG.
- the bar display is performed, and the extension of the section bar I66 is stopped in response to the end point of the tracking section being determined by the operation of the stop button I65 or the like. As a result, the tracking section is shown on the timeline I27.
- the tracking may be disabled due to, for example, the target subject being framed out.
- the tracking ends, and the frame immediately before the tracking disabled frame is determined as the end point of the tracking section.
- the tracking ends, and in this case, the final frame of the moving image is set as the end point of the tracking section.
- the reset button I67 as shown in the lower part of FIG. Is displayed in.
- the framing screen 103 returns to the state before the tracking is started (for example, the state of FIG. 47).
- the CPU 71 controls the operation on the screen in the first screen as the framing screen 103 in the tracking mode that appears in response to the operation of the tracking button I62. It is recognized as an operation related to the target by the designated aim 116. On the other hand, the CPU 71 recognizes the operation on the second screen, which is the framing screen 103 before the tracking button I62 is operated, as the operation for designating the image range to be cut out from the image. As a result, it is possible to clearly separate the operation of specifying the cutout range and the operation of specifying the tracking target or the arrangement position thereof on the same screen.
- a display for changing the range of the image that is the cut-out range is displayed corresponding to the operation recognized on the second screen (see FIG. 44), and the operation recognized on the first screen is displayed.
- the display for moving the specified position by the target specifying aim 116 is displayed in correspondence with (see FIG. 46). Accordingly, when the user performs an operation in the state of the second screen, the image is moved, enlarged, reduced, or rotated, so that the user can clearly recognize that the operation is a cutout range designation operation. Similarly, when the operation is performed in the state of the first screen, the target designation aim 116 is moved, so that the user can clearly recognize that the operation is the designation operation of the tracking target and its arrangement position.
- the above-described image processing is performed by the image processing unit 32 on the moving image to be processed. That is, the processing includes the shake correction (ST15), tracking (ST16), display angle of view designation (ST17), protrusion prevention (ST18), plane projection and clipping (ST19), and the like.
- the CPU 71 controls to display the moving image obtained by the image processing by the image processing unit 32 as the preview moving image in the preview area I24.
- the image processing by the image processing unit 32 is also executed for the frame image displayed in the pause state in the preview area I24. That is, the frame image displayed in the preview area I24 on the framing screen 103 before entering the tracking mode as shown in FIG. 42 is an image that has been subjected to image processing such as shake correction and protrusion prevention.
- the above-mentioned available area 62 (see FIG. 19) is calculated by the process of preventing the overflow.
- the display control is performed on the framing screen 103 in consideration of the available area 62 when the cutout range is designated.
- FIG. 50 exemplifies the relationship among the captured area 61, the available area 62, and the display frame 115 described above with respect to the original image displayed in the preview.
- the lower side of the display frame 115 is in a state of matching with the lower side of the available area 62.
- the cutout from the original image as shown as the operation Sw in FIG. 50 is performed. It is assumed that an instruction operation for moving the range downward is performed. Such an instruction operation is an operation for instructing to include the image portion outside the available area 62 in the cutout range.
- the original image is displayed above the display frame 115 (in the cutout range).
- the image portion outside the available area 62 is displayed.
- the image portion outside the available area 62 to be displayed in the display frame 115 is different from the image portion inside the available area 62, such as being grayed out (see the shaded portion in the drawing). It is displayed in the display mode.
- a display indicating the boundary line L62 of the available area 62 in the display frame 115 (for example, a thick line in a predetermined color such as red). Is displayed.
- the operation of specifying the cutout range is restricted based on the available area 62.
- the image portion outside the available area 62 is displayed in the display frame 115 according to the operation Sw shown in FIG. 50.
- Such a display state is referred to as the operation Sw.
- the swipe operation is completed (while the contact state with the screen continues), it continues only for a temporary period, and when the swipe operation is completed, the area outside the available area 62 is displayed in the display frame 115.
- the position of the original image with respect to the display frame 115 is adjusted so that the image portion is not included. That is, for example, as in the positional relationship between the display frame 115 and the original image shown in FIG. 50, the lower side of the display frame 115 matches the lower side of the available area 62. In this way, the operation of specifying the cutout range is restricted based on the available area 62.
- the available area 62 such as the display of the boundary line L62 and the gray-out display
- the cutout range can be specified in the available area 62.
- by displaying the operation for specifying the cutout range based on the available area 62 it becomes easier for the user to understand the situation where the operation for changing the cutout range is restricted.
- the display control for expressing the available area 62 and the restriction operation of the cutout range based on the available area 62 are not limited to the range specification in the vertical and horizontal diagonal directions by the swipe operation, but the cutout range by the reduction operation or the rotation operation described above. It is also performed at the time of the designation operation of.
- the display representing the available area 62 is not limited to the gray-out display shown in FIG. 51, and it may be possible to display it in black as shown in FIG. Further, in the preview area I24 in the zoomed-out display state (see FIG. 33 and the like), it is possible to display the available area 62 in a region outside the display frame 115.
- the export screen 108 is provided with a size selection dialog I70 for selecting the final output size of the clipped image.
- the size selection dialog I70 includes a dialog title I70a and a full HD button I70b. And an HD button I70c are arranged.
- the export screen 108 in the initial state which is displayed in response to the operation of the export button I29, is overlay-displayed on the preview screen 102. Tap outside the size selection dialog I70 to return to the preview screen 102.
- tapping the full HD button I70b starts rendering in full HD size
- tapping the HD button I70c starts rendering in HD size.
- the full HD button I70b is grayed out in a model that cannot render in full HD, and an error dialog is displayed when tapped.
- FIG. 54 illustrates the export screen 108 during rendering.
- a progress bar I71a is displayed in the in-process status area I71, and the in-process wording and the in-process animation are displayed in the in-process notation area I71b.
- a cancel button I72 is provided on the export screen 108 during rendering, and a confirmation dialog (not shown) is displayed when the cancel button I72 is operated.
- OK is selected on the dialog, the rendering process is canceled and the preview is displayed. Return to screen 102.
- FIG. 55 illustrates the export screen 108 after the rendering is completed.
- the export screen 108 is provided with a preview area I24 (including the display frame 115), a playback button I25, a playback time display area I26, and a timeline I27. It is possible to perform preview reproduction using the reproduction position bar I27a or the like.
- the export screen 108 in this case is provided with a return button I35 and a share button I73. When the return button I35 is operated, the preview screen 102 is displayed again. When the share button I73 is operated, an SNS selection screen (OS standard) is displayed. Through this selection screen, the user can upload the moving image after image processing to a desired SNS site.
- OS standard SNS selection screen
- Processing related to UI> Among the UIs related to the image processing described above, the processing particularly related to the UI of the framing screen 103 will be described with reference to the flowcharts of FIGS. 56 to 58.
- the processes described below are processes executed by the CPU 71 as the UI processing unit 36, and the CPU 71 executes these processes according to the application program for moving image processing described above.
- step S101 the CPU 71 waits until a state in which the framing screen 103 should be entered is reached. Specifically, in this example, the process waits until the frame button B1 on the preview screen 102 is operated. In response to the operation of the frame button B1 and the transition to the framing screen 103, the CPU 71 executes a head frame output process in step S102. That is, as described above, the process of displaying the framing screen 103 in which the image of the first frame is displayed in the preview area I24 for the moving image in focus in the moving image list area I21 is performed (see FIG. 42).
- the preview area I24 is in the zoom-in display state on the framing screen 103 in the initial state displayed according to the operation of the frame button B1, and the reduction button I30 is displayed on the framing screen 103. R. Further, in this example, as the frame image displayed in the preview area I24, an image on which the above-described shake correction and overflow prevention processing (calculation of the available area 62) has been performed by the editing processing unit 32 is displayed.
- step S103 the CPU 71 determines whether or not the moving image has a tracking section set therein. That is, it is determined whether or not the moving image in focus is the specified moving image in the tracking section.
- the CPU 71 performs processing for displaying the bar of the tracking section in step S104. Specifically, the above-described section bar I66 (see FIG. 48) is displayed on the timeline I27 of the framing screen 103. Then, the process proceeds to step S105. On the other hand, if it is not a moving image in which the tracking section is set, the CPU 71 skips the process of step S104 and advances the process to step S105.
- step S105 the CPU 71 determines whether or not the pause state, that is, whether or not the preview reproduction in the preview area I24 is in the pause state. If there is a pause state, the CPU 71 shifts to a process related to the cutout range designation and tracking shown in FIG. 57 (details will be described later).
- step S107 determines whether or not there is a tracking section, that is, whether or not the preview reproduction target moving image is a moving image in which the tracking section is designated. judge. If there is no tracking section, the CPU 71 proceeds to step S108 and executes the display start processing of the cutout moving image in which the current cutout range is maintained.
- step S108 executes the display start processing of the cutout moving image in which the current cutout range is maintained.
- the image processing unit 32 also executes the shake correction and the protrusion prevention processing for the moving image to be preview-reproduced.
- step S107 the CPU 71 proceeds to step S109 and executes the display start processing of the cutout moving image on which the tracking processing is applied in the tracking section.
- the tracking processing (STST16) by the image processing unit 32 described above is applied in the designated tracking section so that the target subject is arranged at the designated position in the display frame 115.
- the process of displaying the cut-out image cut out from the original image in the preview area I24 is started.
- the CPU 71 executes the process of steps S110 and S111 in the pause state (that is, the state in which the pause operation of the preview reproduction is performed) and the reproduction end state (the last frame). Wait for the arrival of any of the above).
- the CPU 71 returns to step S105.
- the CPU 71 temporarily stops the reproduction stop process, that is, the preview reproduction of the moving image being reproduced in step S112, and returns to step S105.
- the processing of FIG. 57 is executed when it is determined in step 105 that the pose state is set.
- the CPU 71 executes the operation of the reduction button I30 (S115), the operation of the enlargement button I31 (S116), the operation of moving the cutout range (S117), the rotation operation (S118), and the enlargement/reduction operation by the processing of steps S115 to S120. (S119), the operation of the tracking button I62 (S120) is awaited.
- the swipe operation in the display frame 115 corresponds to the operation of moving the cutout range in step S117.
- step S118 comprehensively represents the rotation operation with two fingers in the display frame 115 and the operation of the rotation button I61. Further, the enlargement/reduction operation in step S118 corresponds to the pinch-out/pinch-in operation in the display frame 115 in this example.
- the CPU 71 returns to step S105 shown in FIG.
- step S115 If it is determined in step S115 that the reduction button I30 has been operated, the CPU 71 proceeds to step S121 to execute processing for bringing the preview area I24 into the zoom-out display state (see FIG. 43), and then in step S122, the enlargement button I31. Display processing is performed, and the process returns to step S105 in FIG.
- step S121 the image portion outside the display frame 115 in the original image is displayed in gray-out.
- step S116 If it is determined in step S116 that the enlargement button I31 has been operated, the CPU 71 proceeds to step S123 to execute a process of bringing the preview area I24 into the zoom-in display state (see FIG. 42), and then in step S124, clicks the reduction button I30. Display processing is performed, and the process returns to step S105.
- step S117 If it is determined in step S117 that the operation of moving the cutout range has been performed, the CPU 71 proceeds to step S125 to execute the process of moving the original image in accordance with the operation, and in the subsequent step S126, to execute the setting process of the cutout range, It returns to step S105. Further, when it is determined in step S118 that the rotation operation is performed, the CPU 71 executes processing of moving the original image in accordance with the operation in step S127, executes cutting area setting processing in subsequent step S128, and returns to step S105.
- step S119 If it is determined in step S119 that the enlargement/reduction operation has been performed, the CPU 71 executes processing of moving the original image in accordance with the operation in step S129, executes cutout range setting processing in subsequent step S130, and proceeds to step S105.
- the CPU 71 performs the display process expressing the above-mentioned available area 62 and the cutout based on the available area 62 as necessary.
- a display process is executed to indicate that the range specifying operation (specifically, in this example, the cutout range moving operation, rotating operation, and enlarging/reducing operation) is restricted.
- step S120 If it is determined in step S120 that the tracking button I62 has been operated, the CPU 71 executes the tracking support process in step S131.
- FIG. 58 is a flowchart of the tracking support process of step S131.
- the CPU 71 executes screen content update processing. That is, the processing of updating the screen content of the framing screen 103 to the screen content in the tracking mode illustrated in FIG. 45 is executed.
- step S202 the CPU 71 waits for the position designation operation (S202) and the operation of the return button I35 (S203) by the processes of steps S202 and S203.
- the position designation operation of step S202 is an operation of designating the position of the target designation aim 116 in this example (in this example, an operation of tapping an arbitrary position in the display frame 115 or an operation of dragging and moving the target designation aim 116). Is applicable.
- the CPU 71 determines in step S203 that the return button I35 has been operated, the CPU 71 performs a transition process to the preview screen 102.
- step S202 If it is determined in step S202 that the position designation operation has been performed, the CPU 71 performs the setting process of the position of the target subject and the position thereof in step S204. That is, the processing for setting the position of the tracking target subject and the position of the clipped image of the target subject within the image frame is executed.
- step S205 the CPU 71 executes screen content update processing.
- the screen content of the framing screen 103 is updated to the screen content including the tracking start button I63 as illustrated in FIG. 47.
- the CPU 71 waits for the tracking start operation, that is, the operation of the tracking start button I63.
- the CPU 71 executes the screen content updating process in step S207.
- the screen content of the framing screen 103 is updated to the screen content including the cancel button I64 and the stop button I65 as illustrated in FIG.
- step S208 subsequent to step S207, the CPU 71 performs display start processing of the clipped image cut out according to the designated position and the designated arrangement position of the target subject. That is, the display of the cutout image in the preview area I24, which has been cut out so that the subject at the position designated in step S202 is arranged at the position within the designated image frame, is started.
- step S209 following step S208 the CPU 71 starts the bar extending process in the tracking section. That is, the display process of extending the section bar I66 illustrated in FIG. 48 in the timeline I27 is started.
- the CPU 71 In response to executing the stretching start process in step S209, the CPU 71 operates the stop button I65 or reaches the end of the moving image (S210), arrives in the untrackable state (S211), and cancel button I64 by the processes of steps S210 to S212. The operation (S212) is awaited.
- the CPU 71 proceeds to step S213, displays the cutout operation started in step S208, and starts the operation in step S209.
- the bar stretching stop process is executed, and the tracking section is set in the subsequent step S214.
- step S211 determines in step S211 that the tracking is impossible (for example, the frame out of the target subject)
- the CPU 71 proceeds to step S214 to set the tracking section.
- step S212 determines in step S212 that the cancel button I64 has been operated
- the CPU 71 returns to step S201.
- the framing screen 103 is returned to the state before the start of tracking (for example, the state of FIG. 47).
- step S215 following the setting process of step S214, the CPU 71 executes a process of updating to a screen including the reset button I67 (see the lower part of FIG. 48), and by the processes of steps S216 and S217, the operation of the reset button I67 (S216), The operation of the return button I35 (S217) is awaited.
- step S216 that the reset button I67 has been operated
- the CPU 71 returns to step S201.
- the cancel button I64 is operated, the framing screen 103 is returned to the state before the tracking is started (for example, the state of FIG. 47).
- step S217 that the return button I35 has been operated, the CPU 71 executes a transition process to the preview screen 102.
- an enlargement/viewpoint change mode button B4 is a button for instructing the shift to the enlargement/viewpoint change mode for accepting the operation of specifying the cutout range by the enlargement/reduction of the original image or the movement of the original image, and the tilt correction mode.
- the button B5 is a button for instructing a shift to a tilt correction mode in which a cutout range designation operation by rotation of the original image is accepted.
- the tracking mode button B6 like the above-mentioned tracking button I62, is a mode for instructing the shift to the tracking mode.
- a guide dialog showing an operation method for specifying a tracking target and a tracking section is displayed, and the OK displayed on the dialog is displayed.
- the button is operated, it is possible to specify the position of the tracking target subject and the arrangement position within the image frame by touch operation.
- tracking can be started by operating the start button B7, and the end point of tracking can be specified by operating the stop button B8 displayed during tracking.
- the OK button B9 and the reset button B10 are displayed according to the fact that the tracking end point has been determined, the processing content is confirmed by the operation of the OK button B9, and the processing content is discarded by the operation of the reset button B10 and the framing is performed.
- the content of the screen 103' returns to the content of the initial state shown in FIG.
- the shape of the target-designating aim 116 for designating the target subject for tracking and designating the arrangement position of the target subject in the image frame is not limited to the shape illustrated so far, and for example, as shown in FIG. 61.
- a shape can also be adopted and the specific shape is not limited.
- FIG. 62 shows an example of screen transition when the enlargement/viewpoint change mode button B4 is operated on the framing screen 103′.
- a guide dialog is displayed on the screen, which describes the operations that can be performed in the enlargement/viewpoint change mode, and the OK button displayed in the dialog is operated.
- the display frame 115 By operating the display frame 115, it is possible to enlarge/reduce the original image and specify the cutout range by moving the original image. Also in this case, the screen content is returned to the initial state by operating the OK button B9 or the reset button B10.
- FIG. 63 shows an example of screen transition when the tilt correction mode button B5 is operated on the framing screen 103′.
- a guide dialog is displayed on the screen, which describes the operations that can be performed in the tilt correction mode, and when the OK button displayed in the dialog is operated, as shown in the figure.
- a left rotation button B11 and a right rotation button B12 are displayed on the screen, and it is possible to instruct rotation of the original image with respect to the display frame 115 by operating these buttons. Also in this case, the contents of the screen are returned to the initial state by operating the OK button B9 or the reset button B10.
- the aspect ratio setting button I28′ shown in FIG. 64 is arranged and the aspect ratio setting button I28 is arranged. It is also possible to display an aspect ratio selection dialog as shown in FIG. 65 on the screen in response to the operation of'and accept the specification of the aspect ratio in the selection dialog.
- the aspect ratio setting button I28′ shown in FIG. 64 is arranged not only on the preview screen 102 but also on the framing screen 103 and other screens related to various image processing, and can be called up on various screens. can do.
- the dialog can be changed from the display state to the non-display state and the screen state immediately before the dialog display can be restored.
- the display frame 115 is displayed with the designated aspect ratio.
- the display form of the aspect ratio setting button I28′ is not limited to the display form exemplified above, and may be a form in which the aspect ratio currently set is described, for example, as in the aspect ratio setting button I28′′ shown in FIG.
- the image can be arranged on the screen (in the example in the figure, it is arranged near the preview area I24).
- the dialog of FIG. 65 is displayed on various screens to accept the specification of the aspect ratio.
- the information processing apparatus (for example, the mobile terminal 2) of the embodiment specifies the arrangement position in the display area of the tracking target on the first screen displaying the predetermined image in the display area (display frame 115).
- the reception unit (36a) is provided.
- the user can specify the position (position within the display area) where the subject to be tracked is arranged while the image content can be recognized on the display screen.
- the arrangement position of the target subject in the display area it becomes possible for the user to specify the arrangement position of the target subject in the display area to an arbitrary position, for example, by the method shown in FIGS. 13 and 46. Therefore, the degree of freedom of the arrangement position of the tracking target subject in the image frame is improved, and the degree of freedom of drawing can be improved.
- the predetermined image is an image cut out from the original image. That is, the image displayed in the display area is a cutout image from the original image.
- the user can be allowed to specify the arrangement position of the target object in the image frame as an arbitrary position. It will be possible. Therefore, the degree of freedom of the arrangement position of the tracking target subject in the image frame is improved, and the degree of freedom of drawing can be improved.
- the reception unit receives the designation of the tracking target. That is, the designation of the subject as the tracking target is received from the subjects in the image.
- the user can specify any subject in the image as a tracking subject, and the degree of freedom in drawing in this respect can be improved.
- the information processing apparatus includes a display control unit (36b) for performing display control of a predetermined image so that the tracking target is arranged at a position in the display area based on the designated arrangement position. ing. For example, an image that reflects the arrangement position of the tracking target subject designated by the user is displayed. This allows the user to confirm whether or not the placement position of the tracking target subject is appropriate, and can provide a good working environment for the task of designating the placement position of the tracking target subject.
- the reception unit receives the designation of the image range to be cut out from the original image.
- the user can specify the range of the original image included in the image frame of the cutout image. Specifically, for example, as shown in FIG. 12A to FIG. 12B or FIG. 44, the original image (entire frame image) appearing in the display range is moved, or the enlargement or reduction operation for the original image is performed as described in FIG. 12C. Then, the range used as the cutout image, that is, the cutout range CL′ can be designated. As a result, it is possible to specify an arbitrary cut-out range from the original image and perform image editing using a desired image range after the image is picked up.
- the display control unit causes the first screen to display the operation image (target designation aim 116) used for the designation operation of the arrangement position of the tracking target.
- the operation image used for the designation operation of the arrangement position of the tracking target.
- an operation image serving as a sight for designating the arrangement position is displayed in a superimposed manner on the display area so that the user can specify the position in the image frame by the operation image.
- the user can specify the arrangement position of the tracking target in the clipped image by moving the target designation aim 116.
- the target designation aim 116 enables an intuitive operation of designating the arrangement position, and can improve the operability.
- the reception unit receives the designation of the tracking target and the designation of the arrangement position of the tracking target based on the operation on the operation image. For example, an operation of designating a certain portion on the display area with the operation image allows the subject of the portion to be the tracking target and the position of the operation image to be accepted as the arrangement position of the tracking target. By doing so, the user can simultaneously specify the tracking target and the arrangement position thereof by moving the target specifying aim 116, and the operability can be improved.
- the predetermined image is an image cut out from the original image
- the reception unit performs, as an operation on the screen, designation of a range to be cut out from the original image and an operation related to a tracking target by the operation image.
- the range cut out from the original image is displayed on the display screen, and the operation image is displayed on the image.
- the change of the cutout range and the movement of the operation image are accepted.
- the user can seamlessly specify the clipping range, the tracking target by moving the target specifying aim 116, and the arrangement position. Specifically, for example, by moving the cutout range, the subject to be the tracking target is located at a desired position in the cutout range. Then, the subject is designated by the target designation aim 116 (see FIGS. 12, 13 and 44, 46). With this configuration, the user can intuitively and easily perform the operation of specifying the cutout range and the target arrangement position while recognizing the target.
- the reception unit recognizes an operation on the screen as a state of recognizing an operation to specify a range to be cut out from the original image and an operation related to the tracking target by the operation image. Switching between states. For example, the recognition mode of the user operation performed on the screen is switched by the operation prepared by the icon on the display screen. For example, according to the operation of the tracking button I62, the operation input is separately recognized as the cutout range specifying operation and the target specifying aim 116 moving operation. By doing so, the user operation on the same screen can be accurately recognized.
- the accepting unit recognizes the operation on the screen on the second screen as the operation of designating the image range to be cut out from the original image, and the accepting unit on the screen on the first screen.
- the operation is recognized as an operation related to the tracking target by the operation image.
- the recognition of the user operation performed on the screen is switched depending on whether the display screen is the first screen state or the second screen state. For example, in the initial state when the screen changes to the framing screen 103, the image of the cutout range and the target designation aim 116 are displayed, but the target designation aim 116 is the second screen that is fixed. In this case, it is assumed that the image is moved and the designation of the cutout range is changed by the user's operation such as dragging.
- the first screen is displayed.
- the first screen here is a screen in which the target designation aim 116 is movable.
- the user's operation on the screen in this case is recognized as a movement operation of the target designation aim 116.
- the display control unit performs a display for changing the range of the image that is the cutout range in accordance with the operation recognized by the reception unit on the second screen,
- On the first screen a display for moving the designated position by the operation image corresponding to the operation recognized by the reception unit is displayed.
- the display screen is the second screen, for example, the image of the cutout range is displayed on the entire screen or in the display area, but it is changed according to the operation.
- the screen is the first screen, the position designated by the operation image is moved according to the operation.
- the target designation aim 116 is moved, so that the user can clearly recognize that the operation is the designation operation of the tracking target and its arrangement position. This makes it possible to provide a user-friendly operating environment.
- the image cut out from the original image in the display area changes on the second screen in response to the operation, and the image is displayed on the first screen in response to the operation.
- the arrangement position of the operation image changes in the area. That is, on the second screen, image changes such as movement, enlargement, reduction, and rotation of the original image occur in the display area in response to the operation, and on the first screen, in the display area, for example, in the display area.
- the original image does not change, but the arrangement position of the operation image changes.
- the original image is one image of an image group composed of a plurality of images.
- the user can specify the arrangement position of the target subject in the image frame of the clipped image as an arbitrary position. Therefore, the degree of freedom of the arrangement position of the tracking target subject in the image frame is improved, and the degree of freedom of drawing can be improved.
- the information processing device of the embodiment among a plurality of images consecutive in a predetermined order, at least one image after the order of the images for which the designation of the placement position is accepted is placed at the designated placement position.
- the image cutout processing is performed so that the tracking target is arranged at a position within the display area based on the above.
- the arrangement position of the tracking target is specified for one image among a plurality of images that are consecutive in a predetermined order, so that the frame images that are sequentially positioned after that are also tracked to the position based on the specified position.
- Image cutting processing for positioning the target will be performed. Therefore, it is possible to reduce the user operation load when performing image cutout in which the tracking target is positioned at a position based on the designated position for a plurality of consecutive images in a predetermined order.
- the image group is composed of a series of frame images forming a moving image. This makes it possible to allow the user to specify an arbitrary position for the position of the target subject in the image frame of the clipped image when the image clipping is performed for each frame image forming the moving image. Therefore, the degree of freedom of the arrangement position of the tracking target subject in the image frame is improved, and the degree of freedom of drawing can be improved.
- the reception unit determines a tracking section that is a section for cutting out from the original image so that the tracking target is arranged at a position in the display area based on the specified arrangement position. Accepting designation. This allows the user to arbitrarily specify the tracking section. Therefore, the degree of freedom in designating the tracking section can be improved, and also in this aspect, the degree of freedom in drawing can be improved.
- the predetermined image is an image cut out from the original image
- the display control unit sets the image within the cutout range from the original image and the image outside the cutout range to each other. It is controlled to display in different display modes. For example, the entire original image is displayed on the display screen, but the display mode is such that the inside and outside of the cutout range can be distinguished from each other. By doing so, the user can clearly recognize what range is included in the original image as the cutout range, and can provide an image useful for determining whether the cutout range is good or bad and changing the cutout range.
- a shake correction unit that performs sticking processing on a virtual celestial sphere for each frame of image data forming a moving image and performs shake correction using posture information corresponding to the frame (Id. 33), and the clipping range setting unit that corrects the clipping range according to the designation of the clipping range received by the accepting unit so as not to run out of the area where shake correction is effectively maintained (Id. 34).
- the display control unit performs display control of the cutout image that reflects the protrusion prevention processing performed by the cutout range setting unit.
- the protrusion prevention processing is performed so that the cutout range does not exceed the range in which the shake correction is effectively maintained.
- the display control unit performs display control so that the user can recognize the cutout range limited by the protrusion prevention process.
- the range of the protrusion prevention processing allows the user to be clearly informed of the limit of the cutout range designation. For example, as shown in FIG. 51 and the like, the user can specify an appropriate cutout range by performing a display indicating that the cutout range cannot be specified so as to exceed the available area 62 by the protrusion prevention process.
- the display control unit performs control so that the display is performed based on the allowable movable range that is set in the protrusion prevention process and that allows the variation of the cutout range of the image.
- the cut-out range set on the basis of the operation information is set within the effective range of the shake correction.
- the allowable movable range is set as the range in which the shake correction is effectively maintained. That is, it is a range in which the cutout range may be moved as long as it is within the allowable movable range.
- the display is such that the user can recognize the allowable movable range.
- the display control unit performs control so that a display clearly indicating that the operation of designating the cutout range exceeding the allowable movable range is restricted is performed. For example, if the cutout range cannot be changed or the cutout range returns to the allowable moveable range when the allowable moveable range is exceeded, the display is executed.
- the cutout range is specified on the display of the framing screen 103, when the available area 62 is exceeded, the user can perform a display such that the operation cannot be performed or the user returns to the available area 62. Understand the situation where the changing operation of the cutout range is restricted.
- the available area 62 is also displayed, which makes it easier to understand that the operation is restricted, not a malfunction when the designation is impossible.
- the program according to the embodiment is a program that causes, for example, a CPU, a DSP, or a device including these to execute the processing illustrated in FIGS. 56 to 58. That is, the program of the embodiment is a program that causes the information processing apparatus to execute a process of accepting the designation of the arrangement position of the tracking target in the display area on the first screen that displays a predetermined image in the display area.
- the information processing apparatus according to the above-described embodiments can be realized in a device such as the mobile terminal 2, the personal computer 3, or the imaging device 1.
- Such a program can be recorded in advance in a HDD as a recording medium built in a device such as a computer or a ROM in a microcomputer having a CPU.
- a flexible disk a CD-ROM (Compact Disc Read Only Memory), an MO (Magnet optical) disc, a DVD (Digital Versatile Disc), a Blu-ray disc (Blu-ray Disc (registered trademark)), a magnetic disc, a semiconductor memory
- a removable recording medium such as a memory card.
- a removable recording medium can be provided as so-called package software.
- such a program can be installed from a removable recording medium to a personal computer or the like, or can be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
- LAN Local Area Network
- Such a program is suitable for providing a wide range of information processing apparatuses according to the embodiments.
- a personal computer a portable information processing device, a mobile phone, a game device, a video device, a PDA (Personal Digital Assistant), or the like
- the personal computer or the like functions as the information processing device of the present technology.
- An information processing apparatus comprising: on a first screen that displays a predetermined image in a display area, a reception unit that receives designation of an arrangement position in the display area that is a tracking target.
- the information processing apparatus according to (1) wherein the predetermined image is an image cut out from an original image.
- the information processing device according to (1) or (2) wherein the reception unit receives the designation of the tracking target.
- the information processing device according to 1.
- the information processing apparatus receives designation of a range to be cut out from the original image.
- the display control unit causes the first screen to display an operation image used for specifying an arrangement position of a tracking target.
- the reception unit receives designation of the tracking target and designation of the arrangement position of the tracking target based on an operation performed on the operation image.
- the predetermined image is an image cut out from the original image.
- the information processing apparatus receives, as an operation on the screen, designation of a range to be cut out from the original image and operation on the tracking target by the operation image.
- the display control unit On the second screen, a display for changing the range of the image that is the cut-out range is displayed in accordance with the operation recognized by the reception unit, The information processing apparatus according to (10), wherein a display for moving a designated position by the operation image is displayed on the first screen in response to an operation recognized by the reception unit. (12) On the second screen, the original image changes in the display area according to an operation, The information processing device according to (10) or (11), in which, on the first screen, the arrangement position of the operation image changes in the display area according to an operation. (13) The information processing device according to any one of (2) to (12), wherein the original image is one image of an image group including a plurality of images.
- the predetermined image is an image cut out from the original image
- the display control unit performs control to display an image within a cutout range from the original image and an image outside the cutout range in different display modes from each other (4) to (16).
- Information processing device For each frame of the image data that makes up the moving image, a shake correction unit that performs a sticking process on the virtual celestial sphere and performs shake correction using the posture information corresponding to the frame, A cutout range according to the specification of the cutout range received by the reception unit, and a cutout range setting unit that performs a protrusion prevention process to correct the cutout range so that it does not protrude from the area where shake correction is effectively maintained, Equipped with The information processing apparatus according to any one of (4) to (16), wherein the display control unit performs display control of a cutout image that reflects the protrusion prevention processing performed by the cutout range setting unit.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
被写体のトラッキングに関して、作画自由度の向上を図る。 所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の表示エリアにおける配置位置の指定を受け付ける。例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
Description
本技術は情報処理装置、情報処理方法、及びプログラムに関し、特に画像処理に係る各種の指定を受け付けるためのユーザインタフェースついての技術分野に関する。
撮像装置で撮像した動画について各種の画像処理を行う技術が知られている。
また、画像処理の分野では、画像内に映し出される被写体のうち対象被写体を追尾するトラッキング技術が広く知られている(例えば、下記特許文献1を参照)
また、画像処理の分野では、画像内に映し出される被写体のうち対象被写体を追尾するトラッキング技術が広く知られている(例えば、下記特許文献1を参照)
ところで昨今は、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像編集を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザは撮像した画像をそのまま出力するのではなく、構図等を考慮して、撮像した画像(元画像)の一部を切り出すという画像処理を実行させることがある。このような画像の切り出しは、元画像における対象被写体が映し出されている部分が含まれるように行うことが考えられるが、この際、画像処理を行う装置が、被写体のトラッキング技術を利用して、ユーザにより指定された対象被写体が画枠内に含まれるように切り出し範囲を設定し、設定した範囲の画像を切り出すことが考えられる。
このような環境下では、ユーザは撮像した画像をそのまま出力するのではなく、構図等を考慮して、撮像した画像(元画像)の一部を切り出すという画像処理を実行させることがある。このような画像の切り出しは、元画像における対象被写体が映し出されている部分が含まれるように行うことが考えられるが、この際、画像処理を行う装置が、被写体のトラッキング技術を利用して、ユーザにより指定された対象被写体が画枠内に含まれるように切り出し範囲を設定し、設定した範囲の画像を切り出すことが考えられる。
そこで本技術では、被写体のトラッキングに関して、作画自由度の向上を図ることを目的とする。
本技術に係る情報処理装置は、所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備えるものである。
例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
上記した本技術に係る情報処理装置においては、前記所定の画像は元画像から切り出した画像であることが考えられる。
すなわち、表示エリア内に表示される画像は、元画像からの切出画像とされる。
すなわち、表示エリア内に表示される画像は、元画像からの切出画像とされる。
上記した本技術に係る情報処理装置においては、前記受付部は、前記トラッキング対象の指定を受け付けることが考えられる。
すなわち、画像内の被写体のうちから、トラッキング対象としての被写体の指定を受け付けるようにする。
すなわち、画像内の被写体のうちから、トラッキング対象としての被写体の指定を受け付けるようにする。
上記した本技術に係る情報処理装置においては、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えることが考えられる。
例えばユーザが指定したトラッキング対象被写体の配置位置を反映した画像が表示されるようにする。
例えばユーザが指定したトラッキング対象被写体の配置位置を反映した画像が表示されるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、前記元画像から切り出す範囲の指定を受け付けることが考えられる。
例えば、表示画面上で、ユーザが元画像のうちで切出画像の画枠に含まれる範囲を指定できるようにする。
例えば、表示画面上で、ユーザが元画像のうちで切出画像の画枠に含まれる範囲を指定できるようにする。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記第1の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させることが考えられる。
例えば表示エリア上に、配置位置の指定のための照準となる操作画像を重畳表示させ、ユーザが操作画像により、画枠内の位置を指定できるようにする。
例えば表示エリア上に、配置位置の指定のための照準となる操作画像を重畳表示させ、ユーザが操作画像により、画枠内の位置を指定できるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付けることが考えられる。
例えば、表示エリア上で、或る箇所を操作画像で指定する操作により、その部分の被写体をトラッキングターゲットとし、かつその操作画像の位置を、トラッキングターゲットの配置位置として受け付けるようにする。
例えば、表示エリア上で、或る箇所を操作画像で指定する操作により、その部分の被写体をトラッキングターゲットとし、かつその操作画像の位置を、トラッキングターゲットの配置位置として受け付けるようにする。
上記した本技術に係る情報処理装置においては、前記所定の画像は元画像から切り出した画像であり、前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付けることが考えられる。
例えば表示画面上で元画像から切り出される範囲を表示させ、その画像に操作画像を表示させる。その画面上で、切り出し範囲の変更や操作画像の移動を受け付けるようにする。
例えば表示画面上で元画像から切り出される範囲を表示させ、その画像に操作画像を表示させる。その画面上で、切り出し範囲の変更や操作画像の移動を受け付けるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替えることが考えられる。
例えば表示画面上のアイコンにより用意される操作により、画面上で行われるユーザ操作の認識モードを切り替えるようにする。
例えば表示画面上のアイコンにより用意される操作により、画面上で行われるユーザ操作の認識モードを切り替えるようにする。
上記した本技術に係る情報処理装置においては、前記受付部は、第2の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第1の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識することが考えられる。
表示画面が第1の画面の状態か第2の画面の状態かにより、画面上で行われるユーザ操作の認識を切り替えるようにする。
表示画面が第1の画面の状態か第2の画面の状態かにより、画面上で行われるユーザ操作の認識を切り替えるようにする。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記第2の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、前記第1の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行うことが考えられる。
表示画面が第2の画面であるときは、例えば画面全体、或いは表示エリア内に、切り出し範囲の画像を表示させるが、それが操作に応じて変更されるようにする。第1の画面であるときは、操作に応じて操作画像による指定位置が移動されるようにする。
表示画面が第2の画面であるときは、例えば画面全体、或いは表示エリア内に、切り出し範囲の画像を表示させるが、それが操作に応じて変更されるようにする。第1の画面であるときは、操作に応じて操作画像による指定位置が移動されるようにする。
上記した本技術に係る情報処理装置においては、前記第2の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、前記第1の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する構成とすることが考えられる。
すなわち、第2の画面では、操作に応じて、表示エリアにおいて例えば元画像の移動、拡大、縮小、回転等の画像変化が生じ、第1の画面では、操作に応じて、例えば表示エリア内での元画像の変化は生じないが、操作画像の配置位置が変化する。
すなわち、第2の画面では、操作に応じて、表示エリアにおいて例えば元画像の移動、拡大、縮小、回転等の画像変化が生じ、第1の画面では、操作に応じて、例えば表示エリア内での元画像の変化は生じないが、操作画像の配置位置が変化する。
上記した本技術に係る情報処理装置においては、前記元画像は、複数の画像から構成される画像群の一画像とされることが考えられる。
これにより、画像群を構成する個々の画像について、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
これにより、画像群を構成する個々の画像について、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
上記した本技術に係る情報処理装置においては、所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行うことが考えられる。
これにより、所定の順番で連続した複数の画像のうち一枚の画像についてトラッキング対象の配置位置が指定されることで、順番的に以降に位置するフレーム画像についても、指定位置に基づく位置にトラッキング対象を位置させる画像切り出し処理が行われることになる。
これにより、所定の順番で連続した複数の画像のうち一枚の画像についてトラッキング対象の配置位置が指定されることで、順番的に以降に位置するフレーム画像についても、指定位置に基づく位置にトラッキング対象を位置させる画像切り出し処理が行われることになる。
上記した本技術に係る情報処理装置においては、前記画像群は、動画を構成する一連のフレーム画像により構成されたことが考えられる。
これにより、動画を構成する各フレーム画像について画像切り出しを行う場合において、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
これにより、動画を構成する各フレーム画像について画像切り出しを行う場合において、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
上記した本技術に係る情報処理装置においては、前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付けることが考えられる。
これにより、ユーザはトラッキング区間についても任意に指定することが可能とされる。
これにより、ユーザはトラッキング区間についても任意に指定することが可能とされる。
上記した本技術に係る情報処理装置においては、前記表示制御部は、元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行うことが考えられる。
例えば表示画面上で元画像の全体を表示させるが、その中で切り出し範囲内と切り出し範囲外とが区別できるような表示態様とする。
例えば表示画面上で元画像の全体を表示させるが、その中で切り出し範囲内と切り出し範囲外とが区別できるような表示態様とする。
上記した本技術に係る情報処理装置においては、動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、を備え、前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行うことが考えられる。
例えば撮像装置で撮像された画像における手ぶれ等に起因する揺れを仮想天球面上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し範囲をユーザの操作に基づいて設定する。この場合に、切り出し範囲が揺れ補正を有効に保つ範囲を越えないようにはみ出し防止処理を行う。表示制御部は、このはみ出し防止処理で制限される範囲の切り出し範囲がユーザに認識できるように表示制御を行う。
例えば撮像装置で撮像された画像における手ぶれ等に起因する揺れを仮想天球面上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し範囲をユーザの操作に基づいて設定する。この場合に、切り出し範囲が揺れ補正を有効に保つ範囲を越えないようにはみ出し防止処理を行う。表示制御部は、このはみ出し防止処理で制限される範囲の切り出し範囲がユーザに認識できるように表示制御を行う。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御することが考えられる。
はみ出し防止処理は、操作情報に基づいて設定した切り出し範囲を、揺れ補正が有効な範囲に収める処理となるが、その際に揺れ補正が有効に保たれる範囲として許容可動範囲を設定する。つまり許容可動範囲内であれば、切り出し範囲を移動してもよいという範囲である。表示上では、この許容可動範囲をユーザが認識できるような表示が行われるようにする。
はみ出し防止処理は、操作情報に基づいて設定した切り出し範囲を、揺れ補正が有効な範囲に収める処理となるが、その際に揺れ補正が有効に保たれる範囲として許容可動範囲を設定する。つまり許容可動範囲内であれば、切り出し範囲を移動してもよいという範囲である。表示上では、この許容可動範囲をユーザが認識できるような表示が行われるようにする。
上記した本技術に係る情報処理装置においては、前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御することが考えられる。
例えば許容可動範囲を越える場合に、切り出し範囲の変更ができなくなったり、切り出し範囲が許容可動範囲内に戻ってしまうような表示を実行させる。
例えば許容可動範囲を越える場合に、切り出し範囲の変更ができなくなったり、切り出し範囲が許容可動範囲内に戻ってしまうような表示を実行させる。
本技術に係る情報処理方法は、情報処理装置が、所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を行うようにする。
これにより、例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
本技術に係るプログラムは、このような情報処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本技術に係る処理を各種の情報処理装置で実行可能とする。
これにより、例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
本技術に係るプログラムは、このような情報処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本技術に係る処理を各種の情報処理装置で実行可能とする。
以下、実施の形態を次の順序で説明する。
<1.画像処理装置として適用できる機器の構成>
<2.画像ファイル及びメタデータ>
<3.画面遷移概要>
<4.画像処理>
<5.画像処理についてのまとめ及び変形例>
<6.画像処理のUIについて>
<7.UIに係る処理>
<8.UIについての変形例>
<9.UIについてのまとめ>
<10.プログラム>
<11.本技術>
<1.画像処理装置として適用できる機器の構成>
<2.画像ファイル及びメタデータ>
<3.画面遷移概要>
<4.画像処理>
<5.画像処理についてのまとめ及び変形例>
<6.画像処理のUIについて>
<7.UIに係る処理>
<8.UIについての変形例>
<9.UIについてのまとめ>
<10.プログラム>
<11.本技術>
<1.画像処理装置として適用できる機器の構成>
以下の実施の形態では、主にスマートフォンなどの携帯端末により本技術に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本技術を適用できる機器について説明しておく。
以下の実施の形態では、主にスマートフォンなどの携帯端末により本技術に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本技術を適用できる機器について説明しておく。
図1Aは画像ソースと、画像ソースから画像ファイルMFを取得する画像処理装置としての例を示している。
画像ソースとしては撮像装置1、サーバ4、記録媒体5などが想定される。
画像処理装置としてはスマートフォンなどの携帯端末2やパーソナルコンピュータ3などが想定される。
画像ソースとしては撮像装置1、サーバ4、記録媒体5などが想定される。
画像処理装置としてはスマートフォンなどの携帯端末2やパーソナルコンピュータ3などが想定される。
画像ソースとしての撮像装置1は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルMFを有線通信や無線通信を介して携帯端末2やパーソナルコンピュータ3に転送する。
サーバ4はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置1で撮像された画像ファイルMFを提供できる装置を指す。このサーバ4がなんらかの伝送路を介して画像ファイルMFを携帯端末2やパーソナルコンピュータ3に転送することが考えられる。
サーバ4はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置1で撮像された画像ファイルMFを提供できる装置を指す。このサーバ4がなんらかの伝送路を介して画像ファイルMFを携帯端末2やパーソナルコンピュータ3に転送することが考えられる。
記録媒体5はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置1で撮像された動画ファイルMFが記録されたリムーバブル記録媒体を指している。この記録媒体5から読み出された動画ファイルMFが携帯端末2やパーソナルコンピュータ3に読み取られることが考えられる。
画像処理装置としての携帯端末2やパーソナルコンピュータ3は、以上の画像ソースから取得した画像ファイルMFに対する画像処理が可能とされている。ここでいう画像処理とは、例えば揺れ補正処理、切り出し領域設定処理、実効切り出し領域(effective cropping area)画像生成処理を含む。
揺れ補正処理は、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて行う揺れ補正処理である。
切り出し領域設定処理は、画像の切り出し領域をユーザの操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う処理である。
実効切り出し領域画像生成処理は、揺れ補正処理が行なわれた状態で平面に投影した画像について、はみ出し防止処理を施した切り出し領域(実効切り出し領域CL)で画像を切り出すことで、実効切り出し領域画像を生成する処理である。切り出した画像は出力画像とすることができる。
揺れ補正処理は、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて行う揺れ補正処理である。
切り出し領域設定処理は、画像の切り出し領域をユーザの操作情報に基づいて設定したうえで、該切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う処理である。
実効切り出し領域画像生成処理は、揺れ補正処理が行なわれた状態で平面に投影した画像について、はみ出し防止処理を施した切り出し領域(実効切り出し領域CL)で画像を切り出すことで、実効切り出し領域画像を生成する処理である。切り出した画像は出力画像とすることができる。
なお、或る携帯端末2やパーソナルコンピュータ3が、画像処理装置として機能する他の携帯端末2やパーソナルコンピュータ3に対する画像ソースとなることもある。
図1Bは、画像処理装置として機能する1つの機器が画像ソースを兼ねる場合としての撮像装置1や携帯端末2を示している。
例えば撮像装置1の内部のマイクロコンピュータ等が上記の画像処理を行う。つまり撮像装置1は撮像によって生成した画像ファイルMFを、そのまま上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができるものとする。
例えば撮像装置1の内部のマイクロコンピュータ等が上記の画像処理を行う。つまり撮像装置1は撮像によって生成した画像ファイルMFを、そのまま上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができるものとする。
携帯端末2も同様であり、撮像機能を備えることで画像ソースとなり得るため、撮像によって生成した画像ファイルMFについて上記の画像処理を行うことで、画像処理結果としての画像出力を行うことができる。
もちろん撮像装置1や携帯端末2に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
もちろん撮像装置1や携帯端末2に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。
以上のように実施の形態の画像処理装置として機能する装置及び画像ソースは多様であるが、以下では、撮像装置1が画像ソースとなり、携帯端末2が画像処理装置とされる例で説明している。即ち撮像装置1での撮像によって形成された画像ファイルMFを携帯端末2に転送し、携帯端末2において、取得した画像ファイルMFに対する画像処理が行われる例である。
まず画像ソースとなる撮像装置1の構成例を図2で説明する。
なお図1Bで説明したように携帯端末2で撮像した画像ファイルMFについてその携帯端末2で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置1と同等の構成を携帯端末2が備えればよいことになる。
なお図1Bで説明したように携帯端末2で撮像した画像ファイルMFについてその携帯端末2で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置1と同等の構成を携帯端末2が備えればよいことになる。
図2に示すように撮像装置1は、レンズ系11、撮像素子部12、カメラ信号処理部13、記録制御部14、表示部15、出力部16、操作部17、カメラ制御部18、メモリ部19、ドライバ部22、センサ部23を有する。
レンズ系11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像素子部12に集光される。
なお、図示していないがレンズ系11には手ぶれ等による画像の揺れ(フレーム間揺れ:interframe shake)及びブラー(blur)を補正する光学手ぶれ補正機構(optical image stabilization mechanism)が設けられている場合がある。
なお、図示していないがレンズ系11には手ぶれ等による画像の揺れ(フレーム間揺れ:interframe shake)及びブラー(blur)を補正する光学手ぶれ補正機構(optical image stabilization mechanism)が設けられている場合がある。
撮像素子部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12a(撮像素子)を有して構成される。
この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系11側ではなく、イメージセンサ12a側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構(balanced optical image stabilization mechanism)の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ(interframe shake)に加えて後述するがフレーム内のブラーも合わせて補正される。
この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系11側ではなく、イメージセンサ12a側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構(balanced optical image stabilization mechanism)の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ(interframe shake)に加えて後述するがフレーム内のブラーも合わせて補正される。
カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部13は各種補正処理も行う。但し手ぶれ補正については、撮像装置1内で行う場合もあれば、行わない場合も想定される。
またカメラ信号処理部13は各種補正処理も行う。但し手ぶれ補正については、撮像装置1内で行う場合もあれば、行わない場合も想定される。
前処理では、撮像素子部12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
カメラ信号処理部13で行われる各種補正処理(撮像装置1の内部補正)については図3に例を挙げる。図3ではレンズ系11で行われる光学手ぶれ補正とともに、カメラ信号処理部13で行われる補正処理を、その実行順序により例示している。
処理F1としての光学手ぶれ補正では、レンズ系11のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ12aのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ12aに結像するようにされる。このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正(electrical image stabilization)のみ、または、光学手ぶれ補正のみが行われる場合もある。
処理F1としての光学手ぶれ補正では、レンズ系11のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ12aのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ12aに結像するようにされる。このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正(electrical image stabilization)のみ、または、光学手ぶれ補正のみが行われる場合もある。
カメラ信号処理部13では処理F2から処理F7までの処理が各画素に対する空間座標変換により行われる。
処理F2ではレンズ歪み補正が行われる。
処理F3では電子手ぶれ補正の1つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばCMOS型のイメージセンサ12aによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
処理F2ではレンズ歪み補正が行われる。
処理F3では電子手ぶれ補正の1つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばCMOS型のイメージセンサ12aによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。
処理F4ではロール補正が行われる。即ち電子手ぶれ補正の1つの要素としてのロール成分の補正が行われる。
処理F5では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理F6では、電子手ぶれ補正の1つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
処理F5では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理F6では、電子手ぶれ補正の1つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。
カメラ信号処理部13におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルMFの生成を行う。また静止画ファイルとしてJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部13はカメラ制御部18からの情報等を用いて、画像ファイルMFに付加するメタデータの生成も行う。
また図2では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルMFには動画としての画像データとともに音声データも含まれるようにしてもよい。
なお、この画像データは予め設定されたアスペクト比を持ち、画像データのフレーム全体が後述する撮像領域(captured area)に相当する。
なおカメラ信号処理部13はカメラ制御部18からの情報等を用いて、画像ファイルMFに付加するメタデータの生成も行う。
また図2では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルMFには動画としての画像データとともに音声データも含まれるようにしてもよい。
なお、この画像データは予め設定されたアスペクト比を持ち、画像データのフレーム全体が後述する撮像領域(captured area)に相当する。
記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像ファイルMFやサムネイル画像等を記録する処理を行う。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよいし、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよいし、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
表示部15は撮像者に対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
出力部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また出力部16はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)の送信出力を行う。
また出力部16はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなど包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなど包括的に示している。
メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部23としては例えばIMU( inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ-、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、位置情報センサ、照度センサ等が搭載されていても良い。
センサ部23としては例えばIMU( inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ-、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
またセンサ部23としては、位置情報センサ、照度センサ等が搭載されていても良い。
例えば以上の撮像装置1によって撮像され生成された動画としての画像ファイルMFは、携帯端末2等の画像処理装置に転送されて画像処理を施されることが可能とされる。
携帯端末2は、例えば図4に示す構成を備えた情報処理装置として実現できる。なお、パーソナルコンピュータ3やサーバ4についても、同様に図4の構成の情報処理装置により実現できる。
携帯端末2は、例えば図4に示す構成を備えた情報処理装置として実現できる。なお、パーソナルコンピュータ3やサーバ4についても、同様に図4の構成の情報処理装置により実現できる。
図4において、情報処理装置70のCPU71は、ROM72に記憶されているプログラム、または記憶部79からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。
例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
また入出力インタフェース75には、LCD或いは有機ELパネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスであったり、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスであったり、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
入出力インタフェース75には、ハードディスクや固体メモリなどより構成される記憶部79や、モデムなどより構成される通信部80が接続される場合もある。
通信部80は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線/無線通信、バス通信などによる通信を行う。
通信部80は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線/無線通信、バス通信などによる通信を行う。
入出力インタフェース75にはまた、必要に応じてドライブ82が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体81が適宜装着される。
ドライブ82により、リムーバブル記録媒体81からは画像ファイルMF等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
ドライブ82により、リムーバブル記録媒体81からは画像ファイルMF等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体81から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
この情報処理装置70では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部80によるネットワーク通信やリムーバブル記録媒体81を介してインストールすることができる。或いは当該ソフトウエアは予めROM72や記憶部79等に記憶されていてもよい。
例えばこのようなソフトウエア(アプリケーションプログラム)によって、図5のような機能構成が情報処理装置70のCPU71において構築される。
即ち情報処理装置70(CPU71)は、前処理部31、画像処理部32、UI処理部36としての機能を備える。
即ち情報処理装置70(CPU71)は、前処理部31、画像処理部32、UI処理部36としての機能を備える。
前処理部31は例えば撮像装置1により生成された動画を構成する画像ファイルMFのインポート及びインポート時の前処理を行う機能である。
なお本明細書において「インポート」とは、情報処理装置70が例えば記憶部79などに取り込んでいることでアクセス可能な画像ファイルMFなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置1から携帯端末2に転送することを指すものではない。
前処理部31は、ユーザ操作等により指定された画像ファイルMFを画像処理対象となるようにインポートするとともに、前処理として画像ファイルMFに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
なお本明細書において「インポート」とは、情報処理装置70が例えば記憶部79などに取り込んでいることでアクセス可能な画像ファイルMFなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置1から携帯端末2に転送することを指すものではない。
前処理部31は、ユーザ操作等により指定された画像ファイルMFを画像処理対象となるようにインポートするとともに、前処理として画像ファイルMFに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
画像処理部32は、インポートした画像ファイルMFについて画像処理を行う機能を示している。この画像処理部32としての機能は、図示する揺れ補正部33、実効切り出し領域設定部34、実効切り出し領域画像生成処理部35としての機能を有する。
揺れ補正部33は、画像ファイルMFとして動画を構成する画像データとしてのフレーム毎に、そのフレームに対応する姿勢情報を用いて揺れ補正を行う機能である。例えば揺れ補正部33はフレーム毎に平面モデルから天球モデルへの貼付処理が行われた状態で揺れ補正を行う。即ち画像ファイルMFとしての画像の撮像時には、被写体画像は平面に投影されているが、これを天球モデルに投影した状態で揺れ補正を行うものである。
ここで、補正する「揺れ」とは、その画像ファイルMFの撮像を行った撮像装置1の動きによる画像の振動を指すが、特にはフレーム間で生じる振動成分(フレーム間での画像の揺らぎ)をいう。そして「(フレーム間)揺れ補正」とは、このようなフレーム間の振動としてあらわれる揺れを補正することを指す。上述したシフトや切り出しによる方式の電子手ぶれ補正は「揺れ補正」に含まれる。また、前述した光学手ぶれ補正では、「揺れ補正(interframe shake correction」と「ブラー補正」が同時に行われることになる。
なお撮像素子部12がローリングシャッター方式のCMOS型のイメージセンサ12aを搭載する場合は、ライン毎に揺れ及びブラーの量は異なることになる。
ここで、補正する「揺れ」とは、その画像ファイルMFの撮像を行った撮像装置1の動きによる画像の振動を指すが、特にはフレーム間で生じる振動成分(フレーム間での画像の揺らぎ)をいう。そして「(フレーム間)揺れ補正」とは、このようなフレーム間の振動としてあらわれる揺れを補正することを指す。上述したシフトや切り出しによる方式の電子手ぶれ補正は「揺れ補正」に含まれる。また、前述した光学手ぶれ補正では、「揺れ補正(interframe shake correction」と「ブラー補正」が同時に行われることになる。
なお撮像素子部12がローリングシャッター方式のCMOS型のイメージセンサ12aを搭載する場合は、ライン毎に揺れ及びブラーの量は異なることになる。
実効切り出し領域設定部34は、画像の実効切り出し領域をユーザの操作情報やトラッキングターゲットの情報などに基づいて設定する。この実効切り出し領域設定部34は、切り出し領域が揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う機能を含む。
実効切り出し領域の設定については、ユーザの操作に応じて固定的な切り出し領域の設定をすることに限られず、ユーザのトラッキングターゲット(追尾対象)の指定に応じて、トラッキングターゲットを含むように実効切り出し領域の設定を行うようにしてもよい。
この場合、実効切り出し領域設定部34は、画像解析やフレーム間比較などにより動画の各フレームにおいてトラッキングターゲットの位置を特定する処理も行う。
実効切り出し領域の設定については、ユーザの操作に応じて固定的な切り出し領域の設定をすることに限られず、ユーザのトラッキングターゲット(追尾対象)の指定に応じて、トラッキングターゲットを含むように実効切り出し領域の設定を行うようにしてもよい。
この場合、実効切り出し領域設定部34は、画像解析やフレーム間比較などにより動画の各フレームにおいてトラッキングターゲットの位置を特定する処理も行う。
実効切り出し領域画像生成処理部35は、揺れ補正部33で揺れ補正が行なわれた状態で天球モデルの仮想球面から平面に投影した画像から、実効切り出し領域設定部34によって指定される実効切り出し領域の画像である出力画像を切り出す処理を行う機能である。
UI処理部36は、インポートや画像処理のためのユーザ操作の受け付けや、処理に応じた表示出力の制御などを行う機能である。
図示のようにUI処理部36は、受付部36aと表示制御部36bとを有している。受付部36aは、主として画像処理のためのユーザ操作の受け付けを行い、表示制御部36bは、主として画像処理のためのユーザ操作に基づき実行される処理に応じた表示制御を行う。
UI処理部36は、これら受付部36aや表示制御部26bによって、後述するインポート画面、プレビュー画面、フレーミング画面、トリミング画面、スピード画面、アスペクト比設定画面、エクスポート画面といった各画面により、ユーザの操作の受付や表示の制御を行う。
なお、CPU71が受付部36aや表示制御部36bとして実行する処理の詳細については後に改めて説明する。
図示のようにUI処理部36は、受付部36aと表示制御部36bとを有している。受付部36aは、主として画像処理のためのユーザ操作の受け付けを行い、表示制御部36bは、主として画像処理のためのユーザ操作に基づき実行される処理に応じた表示制御を行う。
UI処理部36は、これら受付部36aや表示制御部26bによって、後述するインポート画面、プレビュー画面、フレーミング画面、トリミング画面、スピード画面、アスペクト比設定画面、エクスポート画面といった各画面により、ユーザの操作の受付や表示の制御を行う。
なお、CPU71が受付部36aや表示制御部36bとして実行する処理の詳細については後に改めて説明する。
以上の図5の機能による処理の詳細は後述する。
例えば撮像装置1と、図5の機能を備えた情報処理装置70に該当する携帯端末2により、例えば図6のような流れで処理が行われることになる。
例えば撮像装置1と、図5の機能を備えた情報処理装置70に該当する携帯端末2により、例えば図6のような流れで処理が行われることになる。
撮像装置1において撮像(ステップS91)、カメラプロセス(ステップS92)、メタデータ生成処理(ステップS93)、画像ファイル生成処理(ステップS94)が行われる。
ステップS91の撮像とは、撮像素子部12による撮像画像信号の出力(RAWデータ出力)を示している。
ステップS92のカメラプロセスはいわゆる現像処理であり、撮像画像信号に対してカメラ信号処理部13において行われる上述した各種の信号処理のことである。図3で説明した各種の補正処理を含む。
またステップS93のメタデータ生成処理は、例えばセンサ部23により得られるIMUデータやカメラの制御信号に応じて画像に関連づけるメタデータを生成する処理であり、カメラ信号処理部13或いはカメラ制御部18において行われる。
カメラ信号処理部13では、ステップS92のカメラプロセスが行われた画像データとステップS93のメタデータ生成処理で生成されたメタデータを含めてステップS94の画像ファイル生成処理が行われ、画像ファイルMFが生成される。
ステップS91の撮像とは、撮像素子部12による撮像画像信号の出力(RAWデータ出力)を示している。
ステップS92のカメラプロセスはいわゆる現像処理であり、撮像画像信号に対してカメラ信号処理部13において行われる上述した各種の信号処理のことである。図3で説明した各種の補正処理を含む。
またステップS93のメタデータ生成処理は、例えばセンサ部23により得られるIMUデータやカメラの制御信号に応じて画像に関連づけるメタデータを生成する処理であり、カメラ信号処理部13或いはカメラ制御部18において行われる。
カメラ信号処理部13では、ステップS92のカメラプロセスが行われた画像データとステップS93のメタデータ生成処理で生成されたメタデータを含めてステップS94の画像ファイル生成処理が行われ、画像ファイルMFが生成される。
画像ファイルMFは上述のように何らかの経路を経て携帯端末2に取得される。
携帯端末2では画像ファイルMFのインポート時の前処理(ステップS95)として、画像ファイルMFを画像処理対象とし、また各フレームに対応づけたメタデータの記憶管理が行われる。
また、インポートされ前処理が行われた画像ファイルMFについてはステップS96の画像処理を任意の時点で行うことができる。この画像処理では、揺れ補正部33による揺れ補正や実効切り出し領域設定部34による実効切り出し領域設定、実効切り出し領域画像生成処理部35による平面投影及び切り出し処理等が行われる。
そして画像処理の経過や結果を表示或いは保存のためにステップS97として保存/表示処理が行われる。
このような流れにより、ユーザは撮像装置1で撮像した動画を携帯端末2において画像処理し、再生、記憶、アップロード等をすることができる。
携帯端末2では画像ファイルMFのインポート時の前処理(ステップS95)として、画像ファイルMFを画像処理対象とし、また各フレームに対応づけたメタデータの記憶管理が行われる。
また、インポートされ前処理が行われた画像ファイルMFについてはステップS96の画像処理を任意の時点で行うことができる。この画像処理では、揺れ補正部33による揺れ補正や実効切り出し領域設定部34による実効切り出し領域設定、実効切り出し領域画像生成処理部35による平面投影及び切り出し処理等が行われる。
そして画像処理の経過や結果を表示或いは保存のためにステップS97として保存/表示処理が行われる。
このような流れにより、ユーザは撮像装置1で撮像した動画を携帯端末2において画像処理し、再生、記憶、アップロード等をすることができる。
なお、図1Bのように撮像装置1が本開示の画像処理装置としての画像処理機能を備える場合、カメラ制御部18やカメラ信号処理部13において、図5のような機能を備えるようにすれば良い。
その場合の処理の流れを図7に示している。即ち撮像装置1内でステップS95の前処理、ステップS96の画像処理、ステップS97の保存/表示処理も行われるようにした場合を示している。
また図1Bでは携帯端末2が撮像を行う場合も言及したが、その場合、この図7に示した処理が携帯端末2内で行われるようにすることが考えられる。
その場合の処理の流れを図7に示している。即ち撮像装置1内でステップS95の前処理、ステップS96の画像処理、ステップS97の保存/表示処理も行われるようにした場合を示している。
また図1Bでは携帯端末2が撮像を行う場合も言及したが、その場合、この図7に示した処理が携帯端末2内で行われるようにすることが考えられる。
図8は他の例として、RAWデータを画像処理対象とする場合を示している。
例えば破線で囲って示すように撮像と画像処理が撮像装置1と携帯端末2で行われる場合、撮像装置1ではステップS91の撮像により得た撮像画像信号(RAWデータ)と、ステップS93のメタデータ生成処理で生成したメタデータにより、ステップS94の画像ファイル生成処理を行って画像ファイルMFを生成する。RAWデータの場合は図6,図7のステップS92としたカメラプロセスは行われない。
携帯端末2では、このような画像ファイルMFに対して前処理(ステップS95)、画像処理(ステップS96)、保存/表示処理(ステップS97)を行う。
なお図8のようにRAWデータを画像処理対象とする場合において、撮像装置1内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
付言すれば、カメラプロセスが行われる図6,図7の場合も、撮像装置1内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
例えば破線で囲って示すように撮像と画像処理が撮像装置1と携帯端末2で行われる場合、撮像装置1ではステップS91の撮像により得た撮像画像信号(RAWデータ)と、ステップS93のメタデータ生成処理で生成したメタデータにより、ステップS94の画像ファイル生成処理を行って画像ファイルMFを生成する。RAWデータの場合は図6,図7のステップS92としたカメラプロセスは行われない。
携帯端末2では、このような画像ファイルMFに対して前処理(ステップS95)、画像処理(ステップS96)、保存/表示処理(ステップS97)を行う。
なお図8のようにRAWデータを画像処理対象とする場合において、撮像装置1内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
付言すれば、カメラプロセスが行われる図6,図7の場合も、撮像装置1内で電子手ぶれ補正や光学手ぶれ補正が行われる場合も想定されるし、行われない場合も想定される。
また図8において一点鎖線で囲って示す撮像装置1(又は携帯端末2)は、撮像装置1内(又は携帯端末2内)で撮像やRAWデータを対象とした画像処理が行われる場合を示したものである。
即ち撮像装置1内で、ステップS95の前処理、ステップS96の画像処理、ステップS97の保存/表示処理が行われる場合も有り得る。
また携帯端末2内で、ステップS91の撮像、ステップS93のメタデータ生成処理、ステップS94の画像ファイル生成処理が行われる場合も有り得る。
即ち撮像装置1内で、ステップS95の前処理、ステップS96の画像処理、ステップS97の保存/表示処理が行われる場合も有り得る。
また携帯端末2内で、ステップS91の撮像、ステップS93のメタデータ生成処理、ステップS94の画像ファイル生成処理が行われる場合も有り得る。
<2.画像ファイル及びメタデータ>
画像ファイルMFの内容とメタデータの内容を説明する。
図9Aは画像ファイルMFに含まれるデータを示している。図示のように画像ファイルMFには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
画像ファイルMFの内容とメタデータの内容を説明する。
図9Aは画像ファイルMFに含まれるデータを示している。図示のように画像ファイルMFには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。
「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば2チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム(#1、#2、#3・・・)としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム(#1、#2、#3・・・)に対応づけられた付加情報が記述される。
「サウンド」は動画とともに収録された音声データである。例えば2チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム(#1、#2、#3・・・)としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム(#1、#2、#3・・・)に対応づけられた付加情報が記述される。
メタデータの内容例を図9Bに示す。例えば1つのフレームに対して、IMUデータ、座標変換パラメータHP、タイミング情報TM、カメラパラメータCPが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。
IMUデータとしては、ジャイロ(角速度データ)、アクセル(加速度データ)、サンプリングレートが記述される。
センサ部23として撮像装置1に搭載されるIMUでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため1フレーム期間に多くのIMUデータサンプルが得られるものとなっている。
センサ部23として撮像装置1に搭載されるIMUでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため1フレーム期間に多くのIMUデータサンプルが得られるものとなっている。
そのため角速度データとしては、図9Cに示すジャイロサンプル#1、ジャイロサンプル#2・・・ジャイロサンプル#nというように、1フレームについてn個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル#1、アクセルサンプル#2・・・アクセルサンプル#mというように、1フレームについてm個のサンプルが対応づけられる。
n=mの場合もあるし、n≠mの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばIMUデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報TMにおけるIMUサンプルタイミングオフセットとして持つようにされる。
また加速度データとしても、アクセルサンプル#1、アクセルサンプル#2・・・アクセルサンプル#mというように、1フレームについてm個のサンプルが対応づけられる。
n=mの場合もあるし、n≠mの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばIMUデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報TMにおけるIMUサンプルタイミングオフセットとして持つようにされる。
座標変換パラメータHPは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な座標変換も含む。
そして、座標変換パラメータHPとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
そして、座標変換パラメータHPとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。
レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの1つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図10Aにはレンズ系11とイメージセンサ12aの模式図において、像高Y、角度α、入射瞳位置d1、射出瞳位置d2を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ12aの各画素についての入射角度を知りたいために用いられる。そのため像高Y、角度αの関係がわかれば良い。
図10Aにはレンズ系11とイメージセンサ12aの模式図において、像高Y、角度α、入射瞳位置d1、射出瞳位置d2を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ12aの各画素についての入射角度を知りたいために用いられる。そのため像高Y、角度αの関係がわかれば良い。
図10Bはレンズ歪み補正前の画像110とレンズ歪み補正後の画像111を示している。最大像高H0は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高H1は歪み補正後の最大像高である。
像高Y、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高H0と、N個の各像高に対する入射角度のデータd0、d1、・・・d(N-1)となる。“N”は一例として10程度であることが想定される。
像高Y、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高H0と、N個の各像高に対する入射角度のデータd0、d1、・・・d(N-1)となる。“N”は一例として10程度であることが想定される。
図9Bに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。
フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。
電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。
なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部12のイメージセンサ12aの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの1つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部12のイメージセンサ12aに結像したときの状態に戻すことができる。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部12のイメージセンサ12aに結像したときの状態に戻すことができる。
またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。
メタデータにおけるタイミング情報TMとしては、露光時間(シャッタースピード)、露光開始タイミング、読み出し時間(幕速)、露光フレーム数(長秒露光情報)、IMUサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとIMUデータを対応づけるために用いられる。
但しイメージセンサ12aがCCDの場合やグローバルシャッター方式のCMOSの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとIMUデータを対応づけるために用いられる。
但しイメージセンサ12aがCCDの場合やグローバルシャッター方式のCMOSの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。
メタデータにおけるカメラパラメータCPとしては、画角(焦点距離)、ズーム位置、レンズ歪み情報が記述される。
<3.画面遷移概要>
携帯端末2における画像処理時の画面遷移の例を説明する。
図11に携帯端末2の表示画面上に現れる各種画面の遷移を示している。各画面について簡単に説明する。
なお、以下説明する各画面のうち、プレビュー画面102、フレーミング画面103、トリミング画面104、スピード画面105、アスペクト比設定画面106、エクスポート画面108で出力される画像は、後述する図14のステップST19の処理を経た出力画像oPDである。
但し、これらの画面で出力される画像は、必ずしも図14の処理を経た出力画像oPDでなくてもよいが、その場合、ユーザが設定したり視認している領域と、最終的な図14の処理後の領域や歪み具合が若干異なる可能性もある。
携帯端末2における画像処理時の画面遷移の例を説明する。
図11に携帯端末2の表示画面上に現れる各種画面の遷移を示している。各画面について簡単に説明する。
なお、以下説明する各画面のうち、プレビュー画面102、フレーミング画面103、トリミング画面104、スピード画面105、アスペクト比設定画面106、エクスポート画面108で出力される画像は、後述する図14のステップST19の処理を経た出力画像oPDである。
但し、これらの画面で出力される画像は、必ずしも図14の処理を経た出力画像oPDでなくてもよいが、その場合、ユーザが設定したり視認している領域と、最終的な図14の処理後の領域や歪み具合が若干異なる可能性もある。
[インポート画面101]
動画処理のためのアプリケーションプログラムを起動すると、インポート画面101が現れる。
インポート画面101は動画処理開始前の画面である。このインポート画面101では画像ファイルMFのサムネイル等が表示され、処理対象とする画像ファイルMFをユーザが選択できるようにしている。
選択された画像ファイルMFは処理対象の画像ファイルMFとしてインポート及び前処理される。
動画処理のためのアプリケーションプログラムを起動すると、インポート画面101が現れる。
インポート画面101は動画処理開始前の画面である。このインポート画面101では画像ファイルMFのサムネイル等が表示され、処理対象とする画像ファイルMFをユーザが選択できるようにしている。
選択された画像ファイルMFは処理対象の画像ファイルMFとしてインポート及び前処理される。
[プレビュー画面102]
インポート画面101においてユーザが1又は複数の画像ファイルMFを選択する操作を完了することで、インポート処理を経て表示はプレビュー画面102に遷移する。プレビュー画面102ではインポートされた画像処理可能な動画(画像ファイルMF)のリストが表示されるとともに、その中で指定された動画のプレビュー再生が可能とされる。
インポート画面101においてユーザが1又は複数の画像ファイルMFを選択する操作を完了することで、インポート処理を経て表示はプレビュー画面102に遷移する。プレビュー画面102ではインポートされた画像処理可能な動画(画像ファイルMF)のリストが表示されるとともに、その中で指定された動画のプレビュー再生が可能とされる。
プレビュー画面102に示される画像ファイルMFについては、ユーザはプレビュー画面を起点として各種の画像処理のための操作、例えば明るさを変えたり色味を変えたりするなどの操作を行うことができる。
プレビュー画面102では、ユーザは選択した動画(画像ファイルMF)の再生、動画の追加、削除、画像処理のリセットなどの操作を行うことができる。
動画再生はプレビュー画面102上で行われる。
画像処理対象とする動画の追加や新規プロジェクト(新たな画像処理アクション)の操作が行われた場合、インポート画面101に戻って選択が可能とされる。動画の削除(画像処理対象からの除外)はプレビュー画面102において可能とされる。
プレビュー画面102では、ユーザは選択した動画(画像ファイルMF)の再生、動画の追加、削除、画像処理のリセットなどの操作を行うことができる。
動画再生はプレビュー画面102上で行われる。
画像処理対象とする動画の追加や新規プロジェクト(新たな画像処理アクション)の操作が行われた場合、インポート画面101に戻って選択が可能とされる。動画の削除(画像処理対象からの除外)はプレビュー画面102において可能とされる。
[フレーミング画面103]
プレビュー画面102からの所定の操作により、表示はフレーミング画面103に遷移する。フレーミング画面103はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にフレーミング処理するための画面である。
このフレーミング画面103では、例えば処理対象となっている動画の或るフレームの静止画像が表示された状態において、ユーザはそのフレームの画像上で、画像の実効切り出し領域の指定、画像の拡大縮小、画像の回転、トラッキングターゲット(追尾対象)の指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
その後、フレーミング画面103からの所定の操作により、表示はプレビュー画面102に戻る。
プレビュー画面102からの所定の操作により、表示はフレーミング画面103に遷移する。フレーミング画面103はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にフレーミング処理するための画面である。
このフレーミング画面103では、例えば処理対象となっている動画の或るフレームの静止画像が表示された状態において、ユーザはそのフレームの画像上で、画像の実効切り出し領域の指定、画像の拡大縮小、画像の回転、トラッキングターゲット(追尾対象)の指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
その後、フレーミング画面103からの所定の操作により、表示はプレビュー画面102に戻る。
フレーミング画面103で表示される画像は、或るフレーム(動画の先頭フレームや、一時停止されているフレームなど)の画像全体であったり、画像全体から切り出された一部である。ユーザは表示されている範囲を上下左右に移動させたり、拡大・縮小・回転の操作を行うことで、画像の実効切り出し領域を指定できる。
例を挙げる。図12Aは、或るフレームの画像全体114と、表示枠115を示している。この表示枠115の範囲がフレーミング画面103で表示される範囲であるとする。つまりフレーミング画面103上では、画像全体114のうちの一部が切り出されて表示されている。この表示枠115の範囲内が実効切り出し領域に相当する。
例を挙げる。図12Aは、或るフレームの画像全体114と、表示枠115を示している。この表示枠115の範囲がフレーミング画面103で表示される範囲であるとする。つまりフレーミング画面103上では、画像全体114のうちの一部が切り出されて表示されている。この表示枠115の範囲内が実効切り出し領域に相当する。
ユーザがフレーミング画面103上で例えばドラッグ操作やピンチアウト/ピンチイン操作などを行うことで、表示枠115に含まれる範囲を移動させたり、拡大・縮小・回転をさせることができる。
例えば画面上のドラッグ操作により、図12Aから図12Bのように表示枠115に含まれる範囲が移動される。つまり表示枠115に対して画像が上下左右に移動されることで、表示される範囲が変化する。
またユーザが例えばピンチアウト/ピンチイン操作により画像の拡大・縮小を指示することで、表示枠115に含まれる範囲が変化する。例えば図12Bから縮小操作が行われると、図12Cのようになる。つまり表示枠115に含まれる(ユーザが視認している)画像が縮小されるように、表示枠115に対して画像全体114が縮小され、表示枠115に含まれる被写体の範囲が広くなる。即ち表示されている画像が縮小されることで、より広い範囲が表示される状態となる。
図示しないが、逆にユーザが拡大操作を行うことで、表示枠115に対して画像全体114が拡大され、表示枠115に含まれる被写体の範囲が狭くなる。即ちより狭い範囲が拡大されて表示される状態となる。
このような表示枠115で表示される範囲についての操作は、ユーザによる切り出し領域の指定操作となる。
例えば画面上のドラッグ操作により、図12Aから図12Bのように表示枠115に含まれる範囲が移動される。つまり表示枠115に対して画像が上下左右に移動されることで、表示される範囲が変化する。
またユーザが例えばピンチアウト/ピンチイン操作により画像の拡大・縮小を指示することで、表示枠115に含まれる範囲が変化する。例えば図12Bから縮小操作が行われると、図12Cのようになる。つまり表示枠115に含まれる(ユーザが視認している)画像が縮小されるように、表示枠115に対して画像全体114が縮小され、表示枠115に含まれる被写体の範囲が広くなる。即ち表示されている画像が縮小されることで、より広い範囲が表示される状態となる。
図示しないが、逆にユーザが拡大操作を行うことで、表示枠115に対して画像全体114が拡大され、表示枠115に含まれる被写体の範囲が狭くなる。即ちより狭い範囲が拡大されて表示される状態となる。
このような表示枠115で表示される範囲についての操作は、ユーザによる切り出し領域の指定操作となる。
またユーザは、以上のように実効切り出し領域を指定するとともにトラッキングターゲット及びその配置位置を指定できる。
例えばフレーミング画面103においてユーザがトラッキングターゲット指定のための操作を行うと、図13Aのようにターゲット指定照準116が表示される。ユーザはドラッグ操作やタップ操作などでターゲット指定照準の位置を任意に指定できる。例えば図13Bのように人の顔の部分を指定することができる。
この図13Bの状態では、当該人物の顔をトラッキングターゲットとして指定したことになり、さらに、トラッキングターゲットの画面内で右上に配置するという、トラッキングターゲットの画面内での配置位置を指定したことにもなる。
例えばフレーミング画面103においてユーザがトラッキングターゲット指定のための操作を行うと、図13Aのようにターゲット指定照準116が表示される。ユーザはドラッグ操作やタップ操作などでターゲット指定照準の位置を任意に指定できる。例えば図13Bのように人の顔の部分を指定することができる。
この図13Bの状態では、当該人物の顔をトラッキングターゲットとして指定したことになり、さらに、トラッキングターゲットの画面内で右上に配置するという、トラッキングターゲットの画面内での配置位置を指定したことにもなる。
つまりフレーミング画面103では、表示枠115に含まれる範囲の選択により、実効切り出し領域を指定することができ、さらに表示枠115に含まれる範囲とトラッキングターゲット指定の操作を組み合わせることで、トラッキングターゲットの指定及びその配置位置の指定の操作が可能とされる。
以上の操作は、表示されている1フレームの静止画像上の操作として行われるが、同じ動画内の他のフレームについても、その指定が反映される。
表示枠115内の画像範囲の移動、拡大、縮小、回転のみでトラッキングターゲットが指定されていない場合は、各フレームでは、その画像範囲の移動、拡大・縮小・回転の操作で指定された範囲が固定的に実効切り出し領域となる。
一方で上記のように表示枠に含める画像範囲とともにトラッキングターゲット及びその配置位置が指定された場合、動画内の他のフレームは、その指定に応じて実効切り出し領域が計算されることになる。即ち動画を構成する各フレームでは、トラッキングターゲットの画面内位置も変化するため、フレーム毎に実効切り出し領域は計算されて変化する。
具体的には、各フレームでは、表示枠115の拡大縮小操作で指定された実効切り出し領域のサイズにおいて、指定されたトラッキングターゲットが、指定された配置位置に位置するように、実効切り出し領域がそれぞれ計算される。
トラッキングターゲットの大きさの変化に応じて、適切に実効切り出し領域の大きさを変化させても良い。
表示枠115内の画像範囲の移動、拡大、縮小、回転のみでトラッキングターゲットが指定されていない場合は、各フレームでは、その画像範囲の移動、拡大・縮小・回転の操作で指定された範囲が固定的に実効切り出し領域となる。
一方で上記のように表示枠に含める画像範囲とともにトラッキングターゲット及びその配置位置が指定された場合、動画内の他のフレームは、その指定に応じて実効切り出し領域が計算されることになる。即ち動画を構成する各フレームでは、トラッキングターゲットの画面内位置も変化するため、フレーム毎に実効切り出し領域は計算されて変化する。
具体的には、各フレームでは、表示枠115の拡大縮小操作で指定された実効切り出し領域のサイズにおいて、指定されたトラッキングターゲットが、指定された配置位置に位置するように、実効切り出し領域がそれぞれ計算される。
トラッキングターゲットの大きさの変化に応じて、適切に実効切り出し領域の大きさを変化させても良い。
なお、フレーミング画面103では動画を再生表示しながら表示枠115に含まれる範囲の移動、拡大、縮小、回転の操作ができるようにしたり、トラッキングターゲット指定やその配置位置の指定操作ができるようにしてもよい。
[トリミング画面104]
プレビュー画面102からの所定の操作により、表示はトリミング画面104に遷移する。トリミング画面104はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にトリミング処理(時間軸方向のカット)するための画面である。
トリミング画面104では、動画内でトリミングする範囲を選択できる。例えば動画の時間軸方向にバーを表示し、切り取りする範囲の開始点、終了点を指定するような操作が可能とされる。
トリミング画面104からの所定の操作により、表示はプレビュー画面102に戻る。
なお、本明細書においては、トリミングは1フレーム内の一部領域を切り出す処理を含まない。
プレビュー画面102からの所定の操作により、表示はトリミング画面104に遷移する。トリミング画面104はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にトリミング処理(時間軸方向のカット)するための画面である。
トリミング画面104では、動画内でトリミングする範囲を選択できる。例えば動画の時間軸方向にバーを表示し、切り取りする範囲の開始点、終了点を指定するような操作が可能とされる。
トリミング画面104からの所定の操作により、表示はプレビュー画面102に戻る。
なお、本明細書においては、トリミングは1フレーム内の一部領域を切り出す処理を含まない。
[スピード画面105]
プレビュー画面102からの所定の操作により、表示はスピード画面105に遷移する。スピード画面105はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にスピード処理するための画面である。
例えばスピード画面105では、動画内でスピード(再生速度)を設定する範囲を選択したり、当該範囲の再生速度を指定するような操作が可能とされる。
スピード画面105からの所定の操作により、表示はプレビュー画面102に戻る。
より具体的には、メタデータに含まれるタイミング情報TMで設定されているフレームレートと異なるフレームレートとすることで、スローモーションや高速再生を行うための再生速度である。
プレビュー画面102からの所定の操作により、表示はスピード画面105に遷移する。スピード画面105はインポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を個別にスピード処理するための画面である。
例えばスピード画面105では、動画内でスピード(再生速度)を設定する範囲を選択したり、当該範囲の再生速度を指定するような操作が可能とされる。
スピード画面105からの所定の操作により、表示はプレビュー画面102に戻る。
より具体的には、メタデータに含まれるタイミング情報TMで設定されているフレームレートと異なるフレームレートとすることで、スローモーションや高速再生を行うための再生速度である。
[アスペクト比設定画面106]
プレビュー画面102からの所定の操作により、表示はアスペクト比設定画面106に遷移する。アスペクト比設定画面106はインポートした動画についてファイル単位で出力動画のアスペクト比を設定するための画面である。
なお、インポートした動画と設定された出力画像(出力動画)のアスペクト比が異なる場合は、フレーミング画面で行われる実効切り出し領域の設定と同様の意味合いを持つことがある。
即ち、フレーミング画面で実効切り出し領域が設定されていなくても、撮像領域から、アスペクト比が異なる出力画像の実効切り出し領域が設定されることになる。
例えばアスペクト比設定画面106では、「1:1」「4:5」「5:4」「16:9」「9:16」などのアスペクト比が選択可能とされる。
アスペクト比設定画面106からの所定の操作により、表示はプレビュー画面102に戻る。
プレビュー画面102からの所定の操作により、表示はアスペクト比設定画面106に遷移する。アスペクト比設定画面106はインポートした動画についてファイル単位で出力動画のアスペクト比を設定するための画面である。
なお、インポートした動画と設定された出力画像(出力動画)のアスペクト比が異なる場合は、フレーミング画面で行われる実効切り出し領域の設定と同様の意味合いを持つことがある。
即ち、フレーミング画面で実効切り出し領域が設定されていなくても、撮像領域から、アスペクト比が異なる出力画像の実効切り出し領域が設定されることになる。
例えばアスペクト比設定画面106では、「1:1」「4:5」「5:4」「16:9」「9:16」などのアスペクト比が選択可能とされる。
アスペクト比設定画面106からの所定の操作により、表示はプレビュー画面102に戻る。
なお、アスペクト比設定画面106の機能の全部又は一部、例えばアスペクト比の一括選択操作は例えばプレビュー画面102上で表示させるダイアログなどにより操作可能としてもよい。
またアスペクト比設定画面106を、インポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を構成する複数フレームの全体のアスペクト比を設定できるようにするための画面としてもよい。
またアスペクト比設定画面106を、インポートした動画のうちで、プレビュー画面102で処理対象として指定した動画を構成する複数フレームの全体のアスペクト比を設定できるようにするための画面としてもよい。
[設定画面107]
プレビュー画面102からの所定の操作により、表示は設定画面107に遷移する。設定画面107では当該アプリケーションプログラムの動作等についての設定操作が可能とされる。
設定画面107からの所定の操作により、表示はプレビュー画面102に戻る。
プレビュー画面102からの所定の操作により、表示は設定画面107に遷移する。設定画面107では当該アプリケーションプログラムの動作等についての設定操作が可能とされる。
設定画面107からの所定の操作により、表示はプレビュー画面102に戻る。
[エクスポート画面108]
プレビュー画面102からの所定の操作により、表示はエクスポート画面108に遷移する。エクスポート画面108は、上記各画面で行った画像処理内容を反映させた動画を書き出す処理を行っているときの画面である。即ちユーザは、各種画像処理の操作を行ったら、プレビュー画面102に戻ってエクスポートを指示する。これにより、エクスポート画面108に遷移し、画像処理内容どおりに加工された動画の書き出し処理が実行される。
書き出された動画は、ユーザが任意に記録したり、携帯端末2のネットワーク通信を介してウェブサイト、SNS(Social Networking Service)等にアップロードしてシェアしたりすることができる。
なお、書き出し処理中にユーザがキャンセル操作をおこなった場合や、書き出し処理が完了した場合、表示はプレビュー画面102に戻る。
プレビュー画面102からの所定の操作により、表示はエクスポート画面108に遷移する。エクスポート画面108は、上記各画面で行った画像処理内容を反映させた動画を書き出す処理を行っているときの画面である。即ちユーザは、各種画像処理の操作を行ったら、プレビュー画面102に戻ってエクスポートを指示する。これにより、エクスポート画面108に遷移し、画像処理内容どおりに加工された動画の書き出し処理が実行される。
書き出された動画は、ユーザが任意に記録したり、携帯端末2のネットワーク通信を介してウェブサイト、SNS(Social Networking Service)等にアップロードしてシェアしたりすることができる。
なお、書き出し処理中にユーザがキャンセル操作をおこなった場合や、書き出し処理が完了した場合、表示はプレビュー画面102に戻る。
<4.画像処理>
以上の各画面でのユーザインタフェースを行いながら実行される動画に関する処理の具体例を説明していく。
図14は、図5の前処理部31(CPU71)によって動画(画像ファイルMF)のインポート時に行われる前処理としての手順、及び画像処理部32(CPU71)によって行われる画像処理としての手順を示すとともに、各処理で用いる情報の関係性を示している。
以上の各画面でのユーザインタフェースを行いながら実行される動画に関する処理の具体例を説明していく。
図14は、図5の前処理部31(CPU71)によって動画(画像ファイルMF)のインポート時に行われる前処理としての手順、及び画像処理部32(CPU71)によって行われる画像処理としての手順を示すとともに、各処理で用いる情報の関係性を示している。
まず前処理について説明する。前処理はインポート画面101で画像処理対象として選択された画像ファイルMFに対して行われる。この前処理では、メタデータ抽出(ステップST1)、全IMUデータ連結(ステップST2)、メタデータの保持(ステップST3)、クオータニオン(撮像装置1の姿勢情報)への変換、保持(ステップST4)が行われる。
ステップST1のメタデータ抽出としては、前処理部31は、対象の画像ファイルMFを読み込んで、図9で説明したように画像ファイルMFに含まれているメタデータを抽出する。
なおステップST1,ST2,ST3,ST4の一部又は全部を撮像装置1側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
なおステップST1,ST2,ST3,ST4の一部又は全部を撮像装置1側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。
前処理部31は、抽出されたメタデータのうち、IMUデータ(角速度データ(ジャイロサンプル)と加速度データ(アクセルサンプル))については、ステップST2で連結処理を行う。
これは、全フレームについて対応づけられているIMUデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するIMUデータを構築する処理となる。
そして連結したIMUデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置1の姿勢を表すクオータニオン(Quaternion)QDを算出し、これを記憶保持する。クオータニオンQDを算出するとしているのは一例である。
なお角速度データのみでクオータニオンQDを計算することもできる。
これは、全フレームについて対応づけられているIMUデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するIMUデータを構築する処理となる。
そして連結したIMUデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置1の姿勢を表すクオータニオン(Quaternion)QDを算出し、これを記憶保持する。クオータニオンQDを算出するとしているのは一例である。
なお角速度データのみでクオータニオンQDを計算することもできる。
前処理部31は、抽出されたメタデータのうち、IMUデータ以外のメタデータ、即ち座標変換パラメータHP、タイミング情報TM、カメラパラメータCPについては、ステップST3で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータHP、タイミング情報TM、カメラパラメータCPを記憶する。
以上の前処理が行われることで、上述したプレビュー画面102を起点とする各画面によるインタフェースを介して、各種の画像処理が行われる。
図14の画像処理は、フレーミング画面103でユーザに指定される実効切り出し領域の情報を反映させながら、プレビュー画面102、フレーミング画面103、トリミング画面、スピード画面105、アスペクト比設定画面106としての各画面で、画像ファイルMFの動画或いは一時停止中の静止画が再生される際に定常的に行われる処理を示している。
図14の画像処理は、フレーミング画面103でユーザに指定される実効切り出し領域の情報を反映させながら、プレビュー画面102、フレーミング画面103、トリミング画面、スピード画面105、アスペクト比設定画面106としての各画面で、画像ファイルMFの動画或いは一時停止中の静止画が再生される際に定常的に行われる処理を示している。
画像処理部32(CPU71)は、動画1フレーム取り出し(ステップST11)、撮像装置内部補正キャンセル(ステップST12)、天球モデルへの貼り付け(ステップST13)、同期処理(ステップST14)、揺れ補正(ST15)としての各処理を行う。これらステップST11からST15の処理は、図5の揺れ補正部33の機能による処理となる。
また画像処理部32(CPU71)は、トラッキング(ステップST16)、表示領域指定(ステップST17)、はみ出し防止(ステップST18)としての各処理を行う。これらステップST16、ST17、ST18の処理は、図5の実効切り出し領域設定部34の機能による処理となる。
また画像処理部32(CPU71)は、平面投影及び切り出し(ステップST19)の処理を行う。このステップST19の処理は、図5の実効切り出し領域画像生成処理部35の機能による処理となる。
また画像処理部32(CPU71)は、トラッキング(ステップST16)、表示領域指定(ステップST17)、はみ出し防止(ステップST18)としての各処理を行う。これらステップST16、ST17、ST18の処理は、図5の実効切り出し領域設定部34の機能による処理となる。
また画像処理部32(CPU71)は、平面投影及び切り出し(ステップST19)の処理を行う。このステップST19の処理は、図5の実効切り出し領域画像生成処理部35の機能による処理となる。
画像処理部32は、以上のステップST11からST19の各処理は、画像ファイルMFの画像再生の際に毎フレームについて行うことになる。例えば上述のフレーミング画面103やトリミング画面104等の各画面における画像表示の際に、ステップST11からST19の各処理が毎フレームについて行われる。
ステップST11で画像処理部32は、フレーム番号FNに沿って動画(画像ファイルMF)の1フレームをデコードする。そして1フレームの画像データPD(#FN)を出力する。なお『(#FN)』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップST11でのデコード処理は不要である。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップST11でのデコード処理は不要である。
ステップST12で画像処理部32は、1フレームの画像データPD(#FN)について撮像装置1で行われた内部補正をキャンセルする処理を行う。このために、前処理時に当該フレーム番号(#FN)に対応して記憶された座標変換パラメータHP(#FN)を参照し、撮像装置1で行われた補正とは逆補正を行う。これにより撮像装置1におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データiPD(#FN)を得る。
ステップST13で画像処理部32は、各種補正がキャンセルされた状態の1フレームの画像データiPD(#FN)について天球モデルへの貼付を行う。このとき、当該フレーム番号(#FN)に対応して記憶されたカメラパラメータCP(#FN)、即ち画角、ズーム位置、レンズ歪み情報を参照する。
図15に天球モデルへの貼付の概要を示す。
図15Aに画像データiPDを示している。像高hは画像中心からの距離である。図中の各円は像高hが等しくなる位置を示している。
この画像データiPDのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図15Bのような像高hと入射角φの関係の1次元のグラフとして表現する。入射角φは光線の角度(光軸から見た角度)である。
この1次元のグラフを撮像画像の真ん中を中心に1回転させて、各ピクセルと入射角の関係を求める。
それに従って図15Cの画素G1から天球座標上の画素G2のように、画像データiPDの各画素について天球モデルMTへのマッピングを行うことになる。
図15Aに画像データiPDを示している。像高hは画像中心からの距離である。図中の各円は像高hが等しくなる位置を示している。
この画像データiPDのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図15Bのような像高hと入射角φの関係の1次元のグラフとして表現する。入射角φは光線の角度(光軸から見た角度)である。
この1次元のグラフを撮像画像の真ん中を中心に1回転させて、各ピクセルと入射角の関係を求める。
それに従って図15Cの画素G1から天球座標上の画素G2のように、画像データiPDの各画素について天球モデルMTへのマッピングを行うことになる。
以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルMTの画像(データ)が得られる。この天球モデルMTは、その画像データiPDを元々撮像した撮像装置1の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルMTの画像を所定方向に回転させることで、揺れ補正が実現できることになる。
従ってこの状態で天球モデルMTの画像を所定方向に回転させることで、揺れ補正が実現できることになる。
ここで揺れ補正には撮像装置1の姿勢情報(クオータニオンQD)を用いることになる。このために画像処理部32はステップS14で同期処理を行うようにしている。
同期処理では、フレーム番号FNに対応して、ライン毎に適したクオータニオンQD(#LN)を特定し取得する処理を行う。なお『(#LN)』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
同期処理では、フレーム番号FNに対応して、ライン毎に適したクオータニオンQD(#LN)を特定し取得する処理を行う。なお『(#LN)』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。
なお、ライン毎のクオータニオンQD(#LN)を用いるのは、イメージセンサ12aがCMOS型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ12aがCCD型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンQD(#FN)を用いれば良い。
なお、イメージセンサ12aとしてのCCDやCMOSのグローバルシャッターの時でも電子シャッター(メカシャッターでも同様)を用いていると重心がずれるので、フレームの露光期間の中心(電子シャッターのシャッター速度に応じてずれる)のタイミングのクオータニオンを用いると良い。
例えばイメージセンサ12aがCCD型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンQD(#FN)を用いれば良い。
なお、イメージセンサ12aとしてのCCDやCMOSのグローバルシャッターの時でも電子シャッター(メカシャッターでも同様)を用いていると重心がずれるので、フレームの露光期間の中心(電子シャッターのシャッター速度に応じてずれる)のタイミングのクオータニオンを用いると良い。
ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減/解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、CMOSのローリングシャッターではラインごとに露光期間が異なる。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減/解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、CMOSのローリングシャッターではラインごとに露光期間が異なる。
そこでステップST14の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンQDを取得するようにする。
図16には、撮像装置1の垂直期間の同期信号cVと、この同期信号cVから生成されるイメージセンサ12aの同期信号sV、及びIMUデータのサンプルタイミングを示すとともに、露光タイミング範囲120を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間t4としたときの1フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号cVと同期信号sVの時間的なオフセットt0、IMUサンプルタイミングオフセットt1、読み出し開始タイミングt2、読み出し時間(幕速)t3、露光時間t4を示している。なお読み出し開始タイミングt2は同期信号sVから所定時間t2ofを経たタイミングとなる。
各IMUサンプルタイミングで得られる各IMUデータについてはフレームに紐づけられる。例えば期間FH1におけるIMUデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間FH1におけるIMUデータは次のフレームに紐付いたメタデータとされる。但し図14のステップST2で全IMUデータを連結することで、各フレームとIMUデータの紐付けを解除し時系列でIMUデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心(破線Wのタイミング)に相当するIMUデータを特定する。これはIMUデータとイメージセンサ12aの有効画素領域との時間的な関係がわかれば計算できる。
図16には、撮像装置1の垂直期間の同期信号cVと、この同期信号cVから生成されるイメージセンサ12aの同期信号sV、及びIMUデータのサンプルタイミングを示すとともに、露光タイミング範囲120を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間t4としたときの1フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号cVと同期信号sVの時間的なオフセットt0、IMUサンプルタイミングオフセットt1、読み出し開始タイミングt2、読み出し時間(幕速)t3、露光時間t4を示している。なお読み出し開始タイミングt2は同期信号sVから所定時間t2ofを経たタイミングとなる。
各IMUサンプルタイミングで得られる各IMUデータについてはフレームに紐づけられる。例えば期間FH1におけるIMUデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間FH1におけるIMUデータは次のフレームに紐付いたメタデータとされる。但し図14のステップST2で全IMUデータを連結することで、各フレームとIMUデータの紐付けを解除し時系列でIMUデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心(破線Wのタイミング)に相当するIMUデータを特定する。これはIMUデータとイメージセンサ12aの有効画素領域との時間的な関係がわかれば計算できる。
そこで当該フレーム(#FN)に対応するタイミング情報TMとして取得できる情報を用いて、各ラインの露光重心(破線Wのタイミング)に相当するIMUデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、IMUサンプルオフセット、フレームレートの情報である。
そして露光重心のIMUデータから計算されたクオータニオンQDを特定し、ライン毎の姿勢情報であるクオータニオンQD(#LN)とする。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、IMUサンプルオフセット、フレームレートの情報である。
そして露光重心のIMUデータから計算されたクオータニオンQDを特定し、ライン毎の姿勢情報であるクオータニオンQD(#LN)とする。
このクオータニオンQD(#LN)はステップS15の揺れ補正に提供される。
画像処理部32はステップS15の揺れ補正では、ステップS14でフレームの画像が貼り付けられた天球モデルMTの画像を、ライン毎にクオータニオンQD(#LN)を用いて姿勢の変化(揺れ)をキャンセルさせるように回転させることで、揺れ補正を行う。揺れ補正済天球モデルhMTの画像は、ステップST19の処理に送られる。
画像処理部32はステップS15の揺れ補正では、ステップS14でフレームの画像が貼り付けられた天球モデルMTの画像を、ライン毎にクオータニオンQD(#LN)を用いて姿勢の変化(揺れ)をキャンセルさせるように回転させることで、揺れ補正を行う。揺れ補正済天球モデルhMTの画像は、ステップST19の処理に送られる。
そしてステップST19で画像処理部32は、揺れ補正済天球モデルhMTの画像を平面に投影し、切り出すことで、揺れ補正がなされた画像(出力画像データoPD)が得られる。
この場合、天球モデルMTの回転により揺れ補正が実現されているとともに、天球モデルMTを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルMTは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルMTの回転がライン毎のクオータニオンQD(#LN)に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンQD(#LN)が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
さらにクオータニオンQD(#LN)が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。
ステップS19で平面投影された後の画像と天球モデルMTの対応付けは次のようになる。
図17Aは、平面投影する矩形の座標平面131の一例を示している。平面投影される画像の各座標を(x,y)とする。
図17Bに示すように座標平面131を、天球モデルMTの真上に真ん中で接するように3次元空間上に配置(正規化)する。即ち、その座標平面131の中心が天球モデルMTの中心と一致し、かつ天球モデルMTと接する位置に配置されるようにする。
図17Aは、平面投影する矩形の座標平面131の一例を示している。平面投影される画像の各座標を(x,y)とする。
図17Bに示すように座標平面131を、天球モデルMTの真上に真ん中で接するように3次元空間上に配置(正規化)する。即ち、その座標平面131の中心が天球モデルMTの中心と一致し、かつ天球モデルMTと接する位置に配置されるようにする。
この場合、ズーム倍率や実効切り出し領域CLのサイズに基づいて座標を正規化する。例えば図17Aのように座標平面131の水平座標を0乃至outhとし、垂直座標を0乃至outvとする場合、outhおよびoutvが画像サイズとされる。そして例えば、次の式により座標を正規化する。
上記(数1)において、min(A、B)は、AおよびBのうち値が小さい方を返す関数である。また、「zoom」は、拡大縮小を制御するためのパラメータである。
またxnorm、ynorm、znormは、正規化したx、y、z座標である。
上記(数1)の各式により、座標平面131の座標は、半径1.0の半球の球面上の座標に正規化される。
またxnorm、ynorm、znormは、正規化したx、y、z座標である。
上記(数1)の各式により、座標平面131の座標は、半径1.0の半球の球面上の座標に正規化される。
実効切り出し領域CLの向きを求めるための回転は図18Aのように、座標平面131を回転行列演算により回転させる。即ち下記(数2)の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をz軸周りに回転させる回転角度である。また、チルト角は、座標をx軸周りに回転させる回転角度であり、ロール角は、y軸周りに回転させる回転角度である。
上記(数2)において、「Rt」はチルト角、「Rr」はロール角、「Rp」はパン角である。また、(xrot、yrot、zrot)は回転後の座標である。
この座標(xrot、yrot、zrot)を透視射影での天球対応点算出に用いる。
図18Bのように、座標平面131を、天球表面に透視射影する(領域132)。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
図18Bのように、座標平面131を、天球表面に透視射影する(領域132)。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。
(数3)において、xsph、ysph、zsphは座標平面131上の座標を天球モデルMTの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。
この関係で平面投影された画像データが得られる。
以上は、実効切り出し領域設定部34による処理を考慮せずに説明したが、例えば以上のような手法で平面に投影された画像についての実効切り出し領域が、図14のステップST16、ST17,ST18の処理で設定されることになる。
ステップST16として画像処理部32はトラッキングを行う。
このトラッキング処理は、ユーザによる操作情報DR1により指定されたトラッキングターゲットが、現フレームの画像データPD(#FN)のうちで、どの位置に存在するかを検出する処理となる。
このトラッキング処理は、ユーザによる操作情報DR1により指定されたトラッキングターゲットが、現フレームの画像データPD(#FN)のうちで、どの位置に存在するかを検出する処理となる。
操作情報DR1とは、図13で説明したようにフレーミング画面103においてターゲット指定照準116を操作して、トラッキングターゲットを指定する操作の情報である。
画像処理部32は、トラッキングターゲットを指定する操作が行われた場合、指定された被写体を認識し、追尾対象として記憶する。そしてその後、フレーム毎に、当該トラッキングターゲットの画面内の位置を判定する処理を行っていくことになる。
トラッキングターゲットの画面内の位置の判定は、画像解析による被写体判定(例えば顔判定、人物判定など)を行ったり、前フレームのトラッキングターゲットの画面内位置情報TPpを用いて行う。
そして判定した現フレームの画像データPD(#FN)におけるトラッキングターゲットの画面内位置情報TPをステップS17の処理に提供する。画面内位置情報TPは、現在のフレームの座標系において、トラッキングターゲットが撮像されている範囲を座標値により示した情報であればよい。
画像処理部32は、トラッキングターゲットを指定する操作が行われた場合、指定された被写体を認識し、追尾対象として記憶する。そしてその後、フレーム毎に、当該トラッキングターゲットの画面内の位置を判定する処理を行っていくことになる。
トラッキングターゲットの画面内の位置の判定は、画像解析による被写体判定(例えば顔判定、人物判定など)を行ったり、前フレームのトラッキングターゲットの画面内位置情報TPpを用いて行う。
そして判定した現フレームの画像データPD(#FN)におけるトラッキングターゲットの画面内位置情報TPをステップS17の処理に提供する。画面内位置情報TPは、現在のフレームの座標系において、トラッキングターゲットが撮像されている範囲を座標値により示した情報であればよい。
ステップST17で画像処理部32は出力領域指定を行う。これはユーザ操作による操作情報DR2に応じて要求切り出し領域(requested cropping area)CLrqを設定する処理である。画像のうちで最終的に出力画像として表示させようとする領域を要求切り出し領域CLrqとして指定する処理ともいえる。
ここでの要求切り出し領域CLrqの設定とは、次のステップST18の処理を行う前の仮設定(実際に切り出し処理を行う領域としての実効切り出し領域CLの候補)という意味である。このステップST17は、ユーザ操作やトラッキングターゲットの情報に基づいて実効切り出し領域CLを指定する処理であるが、後述するはみ出し防止処理で修正する前の実効切り出し領域CLを、要求切り出し領域CLrqと呼んでいる。
例えばはみ出し防止処理が行われない場合や、はみ出し防止処理が行われても実質的な修正が行われない場合など、ステップST17で設定される要求切り出し領域CLrqがそのまま実効切り出し領域CLとなる場合もある。
ここでの要求切り出し領域CLrqの設定とは、次のステップST18の処理を行う前の仮設定(実際に切り出し処理を行う領域としての実効切り出し領域CLの候補)という意味である。このステップST17は、ユーザ操作やトラッキングターゲットの情報に基づいて実効切り出し領域CLを指定する処理であるが、後述するはみ出し防止処理で修正する前の実効切り出し領域CLを、要求切り出し領域CLrqと呼んでいる。
例えばはみ出し防止処理が行われない場合や、はみ出し防止処理が行われても実質的な修正が行われない場合など、ステップST17で設定される要求切り出し領域CLrqがそのまま実効切り出し領域CLとなる場合もある。
ユーザにより入力される操作情報DR2としては、実効切り出し領域CLの指定操作、アスペクト比の選択操作、トラッキングターゲット配置位置の指定操作についての情報を含む。
実効切り出し領域の指定操作の操作情報とは、図12で説明したようにフレーミング画面103において表示枠115に入る範囲を指定する操作の情報となる。
アスペクト比の選択操作の操作情報とは、アスペクト比設定画面106で選択したアスペクト比の操作情報である。アスペクト比設定画面106での選択により、例えばフレーミング画面103等における表示枠115のアスペクト比が変化することで、ユーザは任意のアスペクト比を指定した上で、そのアスペクト比の状態において、フレーミング画面103で実効切り出し領域を指定できる。
実効切り出し領域の指定操作の操作情報とは、図12で説明したようにフレーミング画面103において表示枠115に入る範囲を指定する操作の情報となる。
アスペクト比の選択操作の操作情報とは、アスペクト比設定画面106で選択したアスペクト比の操作情報である。アスペクト比設定画面106での選択により、例えばフレーミング画面103等における表示枠115のアスペクト比が変化することで、ユーザは任意のアスペクト比を指定した上で、そのアスペクト比の状態において、フレーミング画面103で実効切り出し領域を指定できる。
トラッキングターゲット配置位置の指定操作の操作情報とは、図13Bのように画面内でトラッキングターゲットをどの位置に配置するかを指定する操作の情報である。
トラッキングターゲットの配置位置の情報は、画像データPDのフレーム内の座標系ではなく、選択されたアスペクト比としての固定の表示枠115内の座標系としての座標値であればよい。
トラッキングターゲットの配置位置の情報は、画像データPDのフレーム内の座標系ではなく、選択されたアスペクト比としての固定の表示枠115内の座標系としての座標値であればよい。
画像処理部32はステップS17において、これらの操作情報DR2と、トラッキングターゲットの画面内位置情報TPを用いて、要求切り出し領域CLrqを設定する。
具体的には例えば、操作情報DR2における切り出し領域の指定操作とアスペクト比の選択操作に応じて切り出し領域としての座標範囲を計算する。そしてトラッキングターゲットの画面内位置情報TP(画像データPDのフレーム内での座標値)が、実効切り出し領域としての表示枠115内の座標系で配置位置として指定された座標値に一致(又は近接)するようにする。
具体的には例えば、操作情報DR2における切り出し領域の指定操作とアスペクト比の選択操作に応じて切り出し領域としての座標範囲を計算する。そしてトラッキングターゲットの画面内位置情報TP(画像データPDのフレーム内での座標値)が、実効切り出し領域としての表示枠115内の座標系で配置位置として指定された座標値に一致(又は近接)するようにする。
このようにすると、例えば図13Bのように被写体となっている人の顔がトラッキングターゲットとされ、画面の中央より右上の位置にトラッキングターゲットの配置位置とされた場合、各フレームにおいて、顔の位置が中央より右上の位置になるように実効切り出し領域が設定されることになる。
なお必ずしも、画面内位置情報TP(画像データPDのフレーム内での座標値)で示される領域(例えば顔画像の領域)の全部又は一部が、トラッキングターゲット配置位置に厳密に該当するようにする必要はない。これはフレーム毎にフレーム内での顔の位置が大きく変化したり、顔を撮像している画素範囲(画面上の顔のサイズ)が変化したり、顔部分がフレームアウトして追従しきれないこともあるためである。或いは、以降で説明するはみ出し防止処理のためにターゲット配置位置に一致させることができない場合も考えられる。その意味で、できるだけトラッキングターゲットの位置(画面内位置情報TP)を、操作により指定されたトラッキングターゲット配置位置(表示枠115内での特定の位置)に近づけるようにすればよい。
以上のように設定された要求切り出し領域CLrqについては、画像処理部32はステップST18のはみ出し防止処理を加え、その結果を実際にステップS19で使用する実効切り出し領域CLとするようにしている。
このはみ出し防止処理では、当該フレームを含む前後の複数フレームについてのクオータニオンQD(#LN)や座標変換パラメータHPを用いる。
このはみ出し防止処理では、当該フレームを含む前後の複数フレームについてのクオータニオンQD(#LN)や座標変換パラメータHPを用いる。
例えばステップST17で設定した候補としての要求切り出し領域CLrqをそのままステップS19で使用することもできるが、すると、表示枠115内に相当する範囲が、天球モデルMTを用いた揺れ補正で回転させて投影させた範囲を越えてしまって、揺れ補正が有効に機能しなくなったり、イメージセンサ12aの画素範囲を越えてしまって表示される画像の一部が欠ける画欠けが生じてしまうことがある。
そこでこれらが生じずに品質のよい動画を出力できるようにするための切り出し領域を制限するはみ出し防止処理を行う。
そこでこれらが生じずに品質のよい動画を出力できるようにするための切り出し領域を制限するはみ出し防止処理を行う。
はみ出し防止処理は図19に示す撮像領域との紐付け(第1処理)、可動領域(以下「アベイラブルエリア」ともいう)の算出(第2処理)、表示範囲の修正(第3処理)という3段階の処理で行われる。
この図19では、撮像領域(以下「キャプチャードエリア」ともいう)61、アベイラブルエリア(可動領域)62、要求切り出し領域CLrq、実効切り出し領域CLを示している。
この図19では、撮像領域(以下「キャプチャードエリア」ともいう)61、アベイラブルエリア(可動領域)62、要求切り出し領域CLrq、実効切り出し領域CLを示している。
キャプチャードエリア(撮像領域)61とは画像が写っていることで被写体の表示が可能な領域である。つまり被写体が撮像された範囲である。
アベイラブルエリア(可動領域)62は、前後のフレームの揺れを考慮した、切り出しを許容する領域である。つまりステップST15での揺れ補正天球モデルMTの回転による揺れ補正を有効に保つ範囲である。
アベイラブルエリア(可動領域)62は、前後のフレームの揺れを考慮した、切り出しを許容する領域である。つまりステップST15での揺れ補正天球モデルMTの回転による揺れ補正を有効に保つ範囲である。
要求切り出し領域CLrqは、ユーザ操作やトラッキング結果に従って決まる、表示したい領域である。
実効切り出し領域CLは、アベイラブルエリア62に収まるように要求切り出し領域CLrqを移動したものである。この実効切り出し領域CLが、実際に切り出される領域となる。
実効切り出し領域CLは、アベイラブルエリア62に収まるように要求切り出し領域CLrqを移動したものである。この実効切り出し領域CLが、実際に切り出される領域となる。
そして図19の第1処理(撮像画角との紐付けの処理)は、天球モデルMT上でキャプチャードエリア61を設定する処理であり、これは撮像領域と一致する。
具体的には、座標変換パラメータHPを使って、画角やレンズの歪みを考慮して天球モデルMT上に撮像領域を割り当てる処理となる。
割り当てる領域は、座標変換パラメータHPを使った逆補正が適用されたものを用いる。
さらに天球モデルMT上で揺れ補正を適用するため、図19に示すキャプチャードエリア61は天球モデルMT上で揺れをキャンセルする方向を向いている。
具体的には、座標変換パラメータHPを使って、画角やレンズの歪みを考慮して天球モデルMT上に撮像領域を割り当てる処理となる。
割り当てる領域は、座標変換パラメータHPを使った逆補正が適用されたものを用いる。
さらに天球モデルMT上で揺れ補正を適用するため、図19に示すキャプチャードエリア61は天球モデルMT上で揺れをキャンセルする方向を向いている。
第2処理(可動領域の算出)は、前後のフレームの情報を用いて現フレームのアベイラブルエリア62(可動領域)を算出する処理である。
第3処理(表示範囲の修正)は、算出されたアベイラブルエリア62を用いて、要求切り出し領域CLrqを、実効切り出し領域CLに修正する処理となる。
第3処理(表示範囲の修正)は、算出されたアベイラブルエリア62を用いて、要求切り出し領域CLrqを、実効切り出し領域CLに修正する処理となる。
少なくとも最終的に実効切り出し領域CLが、被写体が存在するキャプチャードエリア61内であれば再生画像や表示画像において画欠けは生じないことになる。つまり切り出し領域がキャプチャードエリア61からはみ出さなければ画欠けは生じない。
図20Aは、フレーム#i、#i+1、#i+2においてキャプチャードエリア61と切り出し領域60の関係を示している。
揺れの影響でキャプチャードエリア61に含まれる(つまり撮像されている)被写体範囲は変動する。ここで揺れ補正を有効に保つように各フレームの切り出し領域60を設定すると、例えばフレーム#i+1では破線で示す切り出し領域60となり、画欠けが生じることとなってしまう。
図20Aは、フレーム#i、#i+1、#i+2においてキャプチャードエリア61と切り出し領域60の関係を示している。
揺れの影響でキャプチャードエリア61に含まれる(つまり撮像されている)被写体範囲は変動する。ここで揺れ補正を有効に保つように各フレームの切り出し領域60を設定すると、例えばフレーム#i+1では破線で示す切り出し領域60となり、画欠けが生じることとなってしまう。
その一方で、キャプチャードエリア61内の全域について切り出し領域60の移動を許容し、画欠けが生じないようにすると、せっかく補正した揺れの動きがダイレクトに現れてしまう場合がある。つまり揺れ補正が有効に働かない状態になる。例えばフレーム#i+1の切り出し領域60は実線で示すようになり、画欠けは生じないようにすることができるが、揺れが現れる。
そこで揺れ補正が有効に維持できる範囲としてアベイラブルエリア62を算出し、はみ出し防止としては、切り出し領域60がアベイラブルエリア62をはみ出さないようにする。
具体的には前後のフレームのゆれ情報を使って、切り出し領域60が予めはみ出しそうな部分には行かないように余裕を持った枠としてアベイラブルエリア62を設定し、切り出し領域60をその範囲でのみ動かすようにする。
アベイラブルエリア62は揺れ補正マージンとしての意味を持つため、揺れの大きさに従ってフレーム毎に動的に変化することになる。
具体的には前後のフレームのゆれ情報を使って、切り出し領域60が予めはみ出しそうな部分には行かないように余裕を持った枠としてアベイラブルエリア62を設定し、切り出し領域60をその範囲でのみ動かすようにする。
アベイラブルエリア62は揺れ補正マージンとしての意味を持つため、揺れの大きさに従ってフレーム毎に動的に変化することになる。
図20Bにフレーム#i、#i+1、#i+2においてキャプチャードエリア61内でアベイラブルエリア62を設定し、切り出し領域60がアベイラブルエリア62からはみ出さないようにした様子を示している。この場合、画欠けも生じず、かつ揺れ補正も有効に維持されることになる。
はみ出し防止処理では、各フレームについて、この図20Bの切り出し領域60のような実効切り出し領域CLが得られるように要求切り出し領域CLrqを修正することになる。
はみ出し防止処理では、各フレームについて、この図20Bの切り出し領域60のような実効切り出し領域CLが得られるように要求切り出し領域CLrqを修正することになる。
アベイラブルエリア62の算出例について説明する。
第1の算出手法を図21に示す。
アベイラブルエリア62は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61(撮像領域)を用いて設定する。この場合に、アベイラブルエリア62は、複数フレームの各フレームにおいて揺れ補正した状態のキャプチャードエリア61に共通に含まれる範囲とする。
第1の算出手法を図21に示す。
アベイラブルエリア62は、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61(撮像領域)を用いて設定する。この場合に、アベイラブルエリア62は、複数フレームの各フレームにおいて揺れ補正した状態のキャプチャードエリア61に共通に含まれる範囲とする。
図21Aに、現在のフレームをフレーム#iとしたときに前後に連続する複数のフレーム(フレーム#i-mからフレーム#i+m)のキャプチャードエリア61を重ねたものを示している。
各フレームのキャプチャードエリア61は揺れ補正を反映して天球モデルMTに紐づけられている。つまり、各フレームについて、座標変換パラメータHPを使って、画角やレンズの歪みを考慮して天球モデルMT上に撮像画角(キャプチャードエリア61)を割り当て、さらにクオータニオンQD(#LN)を用いて回転させる。図ではこのように天球モデルMTに紐づけられてそれぞれ揺れ補正をキャンセルする方向を向いているキャプチャードエリア61を重ねて示している。
各フレームのキャプチャードエリア61は揺れ補正を反映して天球モデルMTに紐づけられている。つまり、各フレームについて、座標変換パラメータHPを使って、画角やレンズの歪みを考慮して天球モデルMT上に撮像画角(キャプチャードエリア61)を割り当て、さらにクオータニオンQD(#LN)を用いて回転させる。図ではこのように天球モデルMTに紐づけられてそれぞれ揺れ補正をキャンセルする方向を向いているキャプチャードエリア61を重ねて示している。
複数のフレームのキャプチャードエリア61に共通に含まれる範囲、つまりANDをとった範囲とは、図21Aの斜線を付した範囲であり、これを図21Bに示すようにアベイラブルエリア62とする。
各フレームのキャプチャードエリア61は揺れ補正の分だけ動いているため、前後±m個のフレームのキャプチャードエリア61を重ねてANDを取ることで、その共通の範囲は、キャプチャードエリア61内にいることが補償される。そこで、この範囲をアベイラブルエリア62とする。
ANDの取り方としては、必ず凸多角形になるので、2つの凸多角形の交差を取る処理をキャプチャードエリア61の数だけ繰り返せばよい。
各フレームのキャプチャードエリア61は揺れ補正の分だけ動いているため、前後±m個のフレームのキャプチャードエリア61を重ねてANDを取ることで、その共通の範囲は、キャプチャードエリア61内にいることが補償される。そこで、この範囲をアベイラブルエリア62とする。
ANDの取り方としては、必ず凸多角形になるので、2つの凸多角形の交差を取る処理をキャプチャードエリア61の数だけ繰り返せばよい。
なお、現在のフレームから時間的に離れたフレームほど、その寄与度合を小さくするために、キャプチャードエリア61に揺れ補正を掛ける量を小さくしたり、揺れ補正を掛ける前の枠を大きくしても良い。
時間的距離に応じて寄与度合の調整をしないと、±mフレームの範囲から大きな揺れが生じているフレームが抜けた場合にアベイラブルエリア62の形が不連続に変化してしまう。これに対し、時間的に遠いフレームのキャプチャードエリア61については、アベイラブルエリア62への寄与度合いを下げることで、アベイラブルエリア62が一時的に大きく変動するようなことを防止できる。
時間的距離に応じて寄与度合の調整をしないと、±mフレームの範囲から大きな揺れが生じているフレームが抜けた場合にアベイラブルエリア62の形が不連続に変化してしまう。これに対し、時間的に遠いフレームのキャプチャードエリア61については、アベイラブルエリア62への寄与度合いを下げることで、アベイラブルエリア62が一時的に大きく変動するようなことを防止できる。
また±mフレームの範囲のキャプチャードエリア61を用いることとしたが、時間軸で後の方向に連続する+mフレームまでのキャプチャードエリア61を用いることも考えられる。
アベイラブルエリア62の算出例として第2の算出手法を図22で説明する。これは、アベイラブルエリア62を、複数フレームの各フレームについてのキャプチャードエリア61の各端点の変化の低周波変動成分を、各フレームのキャプチャードエリア61内に収まるようにしたときに示される範囲とする例である。
具体的には、ローパスフィルタを掛けたクオータニオンQDに基づいてアベイラブルエリア62を算出する手法である。
具体的には、ローパスフィルタを掛けたクオータニオンQDに基づいてアベイラブルエリア62を算出する手法である。
図22Aは、図示及び説明の簡略化のため一次元で表現しているが、実線は各フレームでのキャプチャードエリア61の上端及び下端の変化を示す。即ち揺れによるフレーム毎の変化である。
破線はローパスフィルタをかけることで得たキャプチャードエリア61の上端及び下端の低周波変動成分61Lである。
一点鎖線がアベイラブルエリア62としての上端と下端を示す。
破線はローパスフィルタをかけることで得たキャプチャードエリア61の上端及び下端の低周波変動成分61Lである。
一点鎖線がアベイラブルエリア62としての上端と下端を示す。
ここでアベイラブルエリア62は、複数のフレームにおいてキャプチャードエリア61内であることを保証したいエリアともいえるが、ローパスフィルタを掛けただけでは、キャプチャードエリア61の内側にいることは保証できない。
そこでキャプチャードエリア61の低周波変動成分61Lが、キャプチャードエリア61からはみ出した量を時間的な距離で重みづけして補償することで、滑らかにキャプチャードエリア61の内側に収めるようにアベイラブルエリア62を求める。
図22Bは、図22Aの一部(±mフレームの範囲)を拡大し、矢印で重みづけの方向を示している。
図22Cは、低周波変動成分61Lをキャプチャードエリア61内に収める重み付けを二次元で示している。
そこでキャプチャードエリア61の低周波変動成分61Lが、キャプチャードエリア61からはみ出した量を時間的な距離で重みづけして補償することで、滑らかにキャプチャードエリア61の内側に収めるようにアベイラブルエリア62を求める。
図22Bは、図22Aの一部(±mフレームの範囲)を拡大し、矢印で重みづけの方向を示している。
図22Cは、低周波変動成分61Lをキャプチャードエリア61内に収める重み付けを二次元で示している。
具体的な計算の例は次のようになる。
各フレーム(#i)について、低周波変動成分61Lをキャプチャードエリア61内に収めるのに必要なクオータニオン(q_crct i)を求める。
j∈[-m,m]について、
Wj=1-|j/m|
q_crct_smooth i=max{slerp(q_crct i+j,q_identity;Wj)}
として、なめらかに補正するためのクオータニオンq_crct_smooth iを4つの端点全てについて求める(なお、この式は“j”に対するmax関数である)。
クオータニオンq_crct_smooth iは図22Bに矢印で示す重み付けの最大値に相当する。
なおslerpは球面線形補間、q_identity は単位クオータニオンである。
各フレーム(#i)について、低周波変動成分61Lをキャプチャードエリア61内に収めるのに必要なクオータニオン(q_crct i)を求める。
j∈[-m,m]について、
Wj=1-|j/m|
q_crct_smooth i=max{slerp(q_crct i+j,q_identity;Wj)}
として、なめらかに補正するためのクオータニオンq_crct_smooth iを4つの端点全てについて求める(なお、この式は“j”に対するmax関数である)。
クオータニオンq_crct_smooth iは図22Bに矢印で示す重み付けの最大値に相当する。
なおslerpは球面線形補間、q_identity は単位クオータニオンである。
これを図22Cのように低周波変動成分61Lの端点毎に計算し、適用する。
クオータニオンq_crctは低周波変動成分61Lの端点毎に、キャプチャードエリア61の中心に方向に回転させた際のキャプチャードエリア61の辺とぶつかるまでの回転量として求められる。
クオータニオンq_crctは低周波変動成分61Lの端点毎に、キャプチャードエリア61の中心に方向に回転させた際のキャプチャードエリア61の辺とぶつかるまでの回転量として求められる。
アベイラブルエリア62は以上の第1、第2の算出手法などにより計算できる。
但し、以上の例のように前後のフレームの動きを使ってアベイラブルエリア62を作ると、動きが大きい場合、アベイラブルエリア62が、要求切り出し領域CLrqが収まらないほど小さくなることがある。
図23Aは、フレーム間で激しい動きがあって揺れ補正後のキャプチャードエリア61が大きくずれている状態を示している。この場合、アベイラブルエリア62が図23Bのように小さくなり、要求切り出し領域CLrqが収まらない。
但し、以上の例のように前後のフレームの動きを使ってアベイラブルエリア62を作ると、動きが大きい場合、アベイラブルエリア62が、要求切り出し領域CLrqが収まらないほど小さくなることがある。
図23Aは、フレーム間で激しい動きがあって揺れ補正後のキャプチャードエリア61が大きくずれている状態を示している。この場合、アベイラブルエリア62が図23Bのように小さくなり、要求切り出し領域CLrqが収まらない。
そこでアベイラブルエリア62に要求切り出し領域CLrqが収まらないサイズ又は形状となる場合は、要求切り出し領域CLrqが収まるようにアベイラブルエリア62を拡張することとする。
その手法として、図23Cのように、アベイラブルエリア62の中心に要求切り出し領域CLrqを合わせ、はみ出した分が収まるようにアベイラブルエリア62を更新する。即ち図23Dのように更新する。
具体的には、図23Cの状態で「アベイラブルエリア62の外側にある要求切り出し領域CLrqの頂点」「要求切り出し領域CLrqの外側にあるアベイラブルエリア62の頂点」の集合で新たな凸多角形を作り、それを図23Dの拡張したアベイラブルエリア62とする。
具体的には、図23Cの状態で「アベイラブルエリア62の外側にある要求切り出し領域CLrqの頂点」「要求切り出し領域CLrqの外側にあるアベイラブルエリア62の頂点」の集合で新たな凸多角形を作り、それを図23Dの拡張したアベイラブルエリア62とする。
このとき、アベイラブルエリア62の拡張によって、アベイラブルエリア62がキャプチャードエリア61内に収まることが保証できなくなる。例えば図23Eのようにアベイラブルエリア62がキャプチャードエリア61からはみ出すことが有り得る。
そこで図23Dのように、アベイラブルエリア62をキャプチャードエリア61内に収まるように移動させる。
そこで図23Dのように、アベイラブルエリア62をキャプチャードエリア61内に収まるように移動させる。
以上のようなアベイラブルエリア62の拡張を行うことで、揺れが激しい場合にも対応できるようにする。
続いて図19で第3処理として示した表示範囲の修正について説明する。即ち計算したアベイラブルエリア62内に要求切り出し領域CLrqが収まるように修正する処理である。
要求切り出し領域CLrqがアベイラブルエリア62からはみ出している場合、要求切り出し領域CLrqを移動させることになるが、移動方向としてはヨー方向、ピッチ方向、ロール方向がある。
要求切り出し領域CLrqがアベイラブルエリア62からはみ出している場合、要求切り出し領域CLrqを移動させることになるが、移動方向としてはヨー方向、ピッチ方向、ロール方向がある。
本例では、要求切り出し領域CLrqがアベイラブルエリア62からはみ出している場合、ヨー成分とピッチ成分の修正を優先させる。
即ち図24Aのように、要求切り出し領域CLrqを、アベイラブルエリア62の中心CTに向かって必要最低限の量だけ動かす。ここではロール成分は変更せず、ヨー成分とピッチ成分の変更により移動させる(矢印yp)。
この移動により要求切り出し領域CLrqがアベイラブルエリア62に収まれば、それで表示範囲の修正を完了させる。即ち移動された要求切り出し領域CLrqを実効切り出し領域CLとする。
即ち図24Aのように、要求切り出し領域CLrqを、アベイラブルエリア62の中心CTに向かって必要最低限の量だけ動かす。ここではロール成分は変更せず、ヨー成分とピッチ成分の変更により移動させる(矢印yp)。
この移動により要求切り出し領域CLrqがアベイラブルエリア62に収まれば、それで表示範囲の修正を完了させる。即ち移動された要求切り出し領域CLrqを実効切り出し領域CLとする。
一方、アベイラブルエリア62の形状やサイズによっては、ヨー成分とピッチ成分の変更による移動のみでは、要求切り出し領域CLrqがうまくアベイラブルエリア62に収まらないこともある。
そのような場合には、まずアベイラブルエリア62の中心に要求切り出し領域CLrqの中心が重なるようにする。そして図24B、図24Cのように、ロール成分の変更を行う。この場合、各図で矢印Rとして示すように、要求切り出し領域CLrqの全体をアベイラブルエリア62内に収めるために必要な最小の回転量だけ回転させる。そして収まった状態の要求切り出し領域CLrqを実効切り出し領域CLとする。
そのような場合には、まずアベイラブルエリア62の中心に要求切り出し領域CLrqの中心が重なるようにする。そして図24B、図24Cのように、ロール成分の変更を行う。この場合、各図で矢印Rとして示すように、要求切り出し領域CLrqの全体をアベイラブルエリア62内に収めるために必要な最小の回転量だけ回転させる。そして収まった状態の要求切り出し領域CLrqを実効切り出し領域CLとする。
図25は、以上のはみ出し防止処理の全体の流れを示している。
この図では現在のフレーム#iの前後mフレーム(フレーム#i-mからフレーム#i+m)を示している。
各フレームについては、それぞれステップS20として、対応する座標変換パラメータHP(HP(#i-m)・・・HP(#i+m))を用いて天球モデルMTと撮像画角の紐付けが行われる。これにより理想天球上でキャプチャードエリア61が表現される。
この図では現在のフレーム#iの前後mフレーム(フレーム#i-mからフレーム#i+m)を示している。
各フレームについては、それぞれステップS20として、対応する座標変換パラメータHP(HP(#i-m)・・・HP(#i+m))を用いて天球モデルMTと撮像画角の紐付けが行われる。これにより理想天球上でキャプチャードエリア61が表現される。
その上でステップS21として、対応するクオータニオンQD(QD(#i-m)・・・QD(#i+m))を用いて揺れ補正が行われる。
なお、例えばフレーム#iに対応するクオータニオンQD(#i)とは、当該フレーム#iにおけるライン毎に対応するクオータニオンQD(LN)のこととなる。
このステップS21により、天球モデルMT上で揺れをキャンセルするような方向を向いたキャプチャードエリア61が表現される。
なお、例えばフレーム#iに対応するクオータニオンQD(#i)とは、当該フレーム#iにおけるライン毎に対応するクオータニオンQD(LN)のこととなる。
このステップS21により、天球モデルMT上で揺れをキャンセルするような方向を向いたキャプチャードエリア61が表現される。
これらのフレーム毎のキャプチャードエリア61を用いて、ステップS22でアベイラブルエリア62が生成される。上述の第1の算出手法、第2の算出手法などが用いられる。
算出されたアベイラブルエリア62については、ステップS23で必要に応じて拡張される。即ち要求切り出し領域CLrqにより決められる要求切り出し領域CLrqとアベイラブルエリア62が比較され、収まらない場合は上述の拡張処理が行われる。
算出されたアベイラブルエリア62については、ステップS23で必要に応じて拡張される。即ち要求切り出し領域CLrqにより決められる要求切り出し領域CLrqとアベイラブルエリア62が比較され、収まらない場合は上述の拡張処理が行われる。
アベイラブルエリア62が確定されたら、ステップS24で表示範囲の修正が行われる。つまり図24で説明したように要求切り出し領域CLrqが修正されて実効切り出し領域CLとされる。この実効切り出し領域CLが、最終的にはみ出し防止処理で修正された切り出し領域CLとして、図14のステップST19の平面投影及び切り出しの処理に提供されることになる。
この図25のようなはみ出し防止処理では、前後のフレームの揺れ情報をアベイラブルエリア62に反映することで、揺れ補正マージンの動的な変更を実現している。
また出力画像のアスペクト比、切り出し位置、大きさを要求切り出し領域CLrqで表現し、それをアベイラブルエリア62の内側に収める方式にすることで、揺れ補正と切り出し位置等を同時に考慮した処理を実現している。
また出力画像のアスペクト比、切り出し位置、大きさを要求切り出し領域CLrqで表現し、それをアベイラブルエリア62の内側に収める方式にすることで、揺れ補正と切り出し位置等を同時に考慮した処理を実現している。
なお、以上は通常レンズで撮像された画像ファイルMFを想定して説明してきたが、例えば魚眼レンズを用いて撮像された画像ファイルMFでも、同様に処理が適用できる。
但し通常レンズと魚眼レンズの場合、キャプチャードエリア61の表現が異なることになる。
図26Aは通常レンズの場合、図26Bは魚眼レンズの場合とで天球モデルMT上での表現とキャプチャードエリア61の形状を示している。魚眼レンズを用いた撮像の場合、イメージセンサ12aの撮像画素範囲65内で円形の結像領域66が形成されることになるため、キャプチャードエリア61としては図示のように円や多角形で表現することになる。
但し通常レンズと魚眼レンズの場合、キャプチャードエリア61の表現が異なることになる。
図26Aは通常レンズの場合、図26Bは魚眼レンズの場合とで天球モデルMT上での表現とキャプチャードエリア61の形状を示している。魚眼レンズを用いた撮像の場合、イメージセンサ12aの撮像画素範囲65内で円形の結像領域66が形成されることになるため、キャプチャードエリア61としては図示のように円や多角形で表現することになる。
<5.画像処理についてのまとめ及び変形例>
以上の実施の形態としての画像処理によっては次のような効果が得られる。
実施の形態の画像処理装置は、動画を構成する画像データのフレームであって、天球モデルMTへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報(IMUデータ、クオータニオンQD)を用いて揺れ補正を行う揺れ補正部33を備える。また画像処理装置は、要求切り出し領域CLrqに対して、各フレームからの実効切り出し領域CLが揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、各フレームに適用する実効切り出し領域CLを設定する実効切り出し領域設定部34を備える。さらに画像処理装置は、揺れ補正部33で揺れ補正が行なわれた上で天球モデルMTから平面モデルに投影された画像であって、実効切り出し領域設定部34で設定された実効切り出し領域CLの画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部35を備える。
即ち撮像装置1で撮像された画像における手ぶれ等に起因する揺れを天球モデルMT上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の実効切り出し領域CLを設定する。
天球モデルMT上でフレーム毎に揺れに対する補正を加味した回転を行って揺れ補正を行うことで、台形歪みが生じない補正が可能となる。そのうえで例えばユーザ操作や何らかの自動制御などによって設定される要求切り出し領域CLrqに応じて平面投影画像を得ることで、要求切り出し領域CLrqが反映された実効切り出し領域CLが設定され、そのうえで揺れ補正が行われかつ台形歪みのない出力画像データoPDが得られる。さらにはみ出し防止処理が行われることで、揺れ補正が適切に反映された動画出力とすることができる。
これらにより元の画像ファイルMFに対してユーザや自動制御の要求に適った出力領域を反映したうえで揺れや歪みの少ない高品位な画像が得られることになる。
以上の実施の形態としての画像処理によっては次のような効果が得られる。
実施の形態の画像処理装置は、動画を構成する画像データのフレームであって、天球モデルMTへの貼付処理が行われたフレーム毎に、当該各フレームに対応する姿勢情報(IMUデータ、クオータニオンQD)を用いて揺れ補正を行う揺れ補正部33を備える。また画像処理装置は、要求切り出し領域CLrqに対して、各フレームからの実効切り出し領域CLが揺れ補正を有効に保つ可動領域からはみ出さないように修正するはみ出し防止処理を行うことで、各フレームに適用する実効切り出し領域CLを設定する実効切り出し領域設定部34を備える。さらに画像処理装置は、揺れ補正部33で揺れ補正が行なわれた上で天球モデルMTから平面モデルに投影された画像であって、実効切り出し領域設定部34で設定された実効切り出し領域CLの画像である実効切り出し領域画像を生成する処理を行う実効切り出し領域画像生成処理部35を備える。
即ち撮像装置1で撮像された画像における手ぶれ等に起因する揺れを天球モデルMT上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の実効切り出し領域CLを設定する。
天球モデルMT上でフレーム毎に揺れに対する補正を加味した回転を行って揺れ補正を行うことで、台形歪みが生じない補正が可能となる。そのうえで例えばユーザ操作や何らかの自動制御などによって設定される要求切り出し領域CLrqに応じて平面投影画像を得ることで、要求切り出し領域CLrqが反映された実効切り出し領域CLが設定され、そのうえで揺れ補正が行われかつ台形歪みのない出力画像データoPDが得られる。さらにはみ出し防止処理が行われることで、揺れ補正が適切に反映された動画出力とすることができる。
これらにより元の画像ファイルMFに対してユーザや自動制御の要求に適った出力領域を反映したうえで揺れや歪みの少ない高品位な画像が得られることになる。
なお、実施の形態では、天球モデルMTで揺れ補正を行って平面投影した後に、実効切り出し領域CLの画像を切り出す例を述べたがこれに限らない。即ち天球モデルMTで揺れ補正を行った状態で実効切り出し領域CLの画像を切り出して、それを平面投影することによって、実効切り出し領域CLの画像を生成することもできる。
また揺れ補正部33としては、少なくとも図14のステップST15の処理が行われるものであればよく、ステップST11、ST12、ST13、ST14の一部又は全部は揺れ補正部33の機能の外部(例えば揺れ補正部33を有する画像処理装置とは別の装置)でおこなわれてもよい。
また、図8ではRAWデータを画像処理対象とする場合を示したが、その場合、揺れ補正部33では、ステップST12の撮像装置内部補正キャンセルの処理は不要となる。
また揺れ補正部33としては、少なくとも図14のステップST15の処理が行われるものであればよく、ステップST11、ST12、ST13、ST14の一部又は全部は揺れ補正部33の機能の外部(例えば揺れ補正部33を有する画像処理装置とは別の装置)でおこなわれてもよい。
また、図8ではRAWデータを画像処理対象とする場合を示したが、その場合、揺れ補正部33では、ステップST12の撮像装置内部補正キャンセルの処理は不要となる。
実施の形態では、実効切り出し領域設定部34は、ユーザ操作に基づく操作情報(DR1,DR2)を用いて、実効切り出し領域CLを設定する例を挙げた。
これによりユーザの意図やユーザの望む出力領域が適切に反映されたうえで揺れ補正が行われ、かつ台形歪みのない出力画像データoPDが得られる。
これによりユーザの意図やユーザの望む出力領域が適切に反映されたうえで揺れ補正が行われ、かつ台形歪みのない出力画像データoPDが得られる。
実施の形態では、実効切り出し領域設定部34は、トラッキングターゲットに関するトラッキングターゲット情報を用いて実効切り出し領域CLの設定を行う例を挙げた。
これによりトラッキングターゲットを考慮した切り出し領域設定が可能となる。
また実施の形態では、実効切り出し領域設定部34は、ユーザ操作に基づく操作情報DR1を用いてトラッキングターゲットを設定する例を挙げた。
これによりユーザが注目したい被写体(トラッキングターゲット)を考慮した切り出し領域設定が可能となる。即ち注目したい被写体をとらえながら適切に揺れ補正がなされた出力画像を得ることができる。
これによりトラッキングターゲットを考慮した切り出し領域設定が可能となる。
また実施の形態では、実効切り出し領域設定部34は、ユーザ操作に基づく操作情報DR1を用いてトラッキングターゲットを設定する例を挙げた。
これによりユーザが注目したい被写体(トラッキングターゲット)を考慮した切り出し領域設定が可能となる。即ち注目したい被写体をとらえながら適切に揺れ補正がなされた出力画像を得ることができる。
なお、トラッキングターゲットを指定しない場合の処理も当然想定される。例えばユーザが図13で説明したようなトラッキングターゲットの指定を行わない場合もある。そのような場合は、図12で説明した操作に応じた実効切り出し領域CLの設定が行われればよい。
また、トラッキングターゲットをユーザによる設定によらず自動的に指定するような処理を行っても良い。例えば顔検出を行い、顔を検出したら自動的に、その顔をトラッキングターゲットとするような処理である。
また、トラッキングターゲットをユーザによる設定によらず自動的に指定するような処理を行っても良い。例えば顔検出を行い、顔を検出したら自動的に、その顔をトラッキングターゲットとするような処理である。
実施の形態では、トラッキングターゲットを指定する操作情報DR1によりトラッキングターゲットを判定し、判定したトラッキングターゲットの画像内位置に応じて、動画を構成する各フレームの実効切り出し領域CLを設定する例を挙げた。
即ちユーザの操作によりトラッキングターゲットの被写体が指定された場合、各フレームにおいてそのトラッキングターゲットの配置を考慮して実効切り出し領域CLを設定する。
これによりユーザが注目したい被写体(トラッキングターゲット)が、動画が進行する上でフレームアウトしないような切り出し位置設定が可能となる。
即ちユーザの操作によりトラッキングターゲットの被写体が指定された場合、各フレームにおいてそのトラッキングターゲットの配置を考慮して実効切り出し領域CLを設定する。
これによりユーザが注目したい被写体(トラッキングターゲット)が、動画が進行する上でフレームアウトしないような切り出し位置設定が可能となる。
実施の形態では、トラッキングターゲットについての画面内での配置位置を指定する操作情報DR2を用いて、動画を構成する各フレームの実効切り出し領域CLを設定する例を挙げた。
これによりユーザが注目したい被写体(トラッキングターゲット)を、画面内でどのあたりに表示させたいかを指定し、各フレームにおいて、その画面内の配置位置(配置位置付近)にトラッキングターゲットが位置するような切り出し領域設定が可能となる。従ってトラッキングターゲットとされた被写体が、例えば画面の中央や左よりの位置など、ユーザが望む配置位置付近にある状態で動画が進行するような動画処理が実現されることになる。
これによりユーザが注目したい被写体(トラッキングターゲット)を、画面内でどのあたりに表示させたいかを指定し、各フレームにおいて、その画面内の配置位置(配置位置付近)にトラッキングターゲットが位置するような切り出し領域設定が可能となる。従ってトラッキングターゲットとされた被写体が、例えば画面の中央や左よりの位置など、ユーザが望む配置位置付近にある状態で動画が進行するような動画処理が実現されることになる。
なおトラッキングターゲットの配置位置を指定しない処理例もありえる。例えば少なくともトラッキングターゲットがフレームアウトしないようにする処理例などである。
またトラッキングターゲット配置位置を自動指定してもよい。例えば画面の中央、或いは、右寄りの位置など、所定の位置に自動設定する。これによりユーザによるトラッキングターゲット配置位置の指定操作がなくとも、所定位置にトラッキングターゲットをとらえるような切り出し領域設定が可能となる。
またトラッキングターゲット配置位置を自動指定してもよい。例えば画面の中央、或いは、右寄りの位置など、所定の位置に自動設定する。これによりユーザによるトラッキングターゲット配置位置の指定操作がなくとも、所定位置にトラッキングターゲットをとらえるような切り出し領域設定が可能となる。
実施の形態では、画像の出力領域を指定する操作情報DR2を実効切り出し領域CLの設定に用いる例を挙げた。
例えば図12で説明したフレーミング画面103上でのユーザ操作により出力画像の領域を指定できるようにしており、その操作情報DR2を実効切り出し領域CLの設定に用いる。
これによりユーザが任意に指定した画像の出力領域を切り出しながら、適切に揺れ補正がなされた出力画像を得ることができる。
例えば図12で説明したフレーミング画面103上でのユーザ操作により出力画像の領域を指定できるようにしており、その操作情報DR2を実効切り出し領域CLの設定に用いる。
これによりユーザが任意に指定した画像の出力領域を切り出しながら、適切に揺れ補正がなされた出力画像を得ることができる。
実施の形態では、画像のアスペクト比を指定する操作情報DR2を実効切り出し領域CLの設定に用いる例を挙げた。
例えばアスペクト比設定画面106でのユーザの操作により出力画像のアスペクト比を指定できるようにしており、その操作情報DR2を切り出し領域設定に用いる。
これによりユーザが任意に指定したアスペクト比であって、適切に揺れ補正がなされた出力画像を得ることができる。
例えばアスペクト比設定画面106でのユーザの操作により出力画像のアスペクト比を指定できるようにしており、その操作情報DR2を切り出し領域設定に用いる。
これによりユーザが任意に指定したアスペクト比であって、適切に揺れ補正がなされた出力画像を得ることができる。
実施の形態では、画像データのフレーム毎に行うはみ出し防止処理として、揺れ補正部33が揺れ補正を行った天球モデルMTの座標上で要求切り出し領域CLrqを設定する第1処理と、撮像領域(キャプチャードエリア61)内で要求切り出し領域CLrqの変動を許容する可動領域(アベイラブルエリア62)を求める第2処理と、要求切り出し領域CLrqが可動領域(アベイラブルエリア62)内に収まるように修正することで実効切り出し領域CLを設定する第3処理とを行う例を挙げた。
これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域は、画像内容などにより無制限に変動するものではなく、あくまでも揺れ補正が適切に維持できる範囲となるように修正される。従って、ユーザの各種指定を反映しながらも、揺れ補正が適切に行われた出力画像データoPDを得ることができる。
また揺れ補正が適切に維持できるようにするためには、揺れ補正を行った天球モデルMTの座標上で撮像領域(キャプチャードエリア61)を設定し、その中で可動領域(アベイラブルエリア62)を計算し、さらにアベイラブルエリア62内に収まるように要求切り出し領域CLrqを修正する。そして修正した要求切り出し領域CLrqを最終的な実効切り出し領域CLとする。つまりアベイラブルエリア62により切り出し領域を制限する。これにより天球モデルMTでの揺れ補正を反映する切り出し領域設定を適切に行うことができる。
これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域は、画像内容などにより無制限に変動するものではなく、あくまでも揺れ補正が適切に維持できる範囲となるように修正される。従って、ユーザの各種指定を反映しながらも、揺れ補正が適切に行われた出力画像データoPDを得ることができる。
また揺れ補正が適切に維持できるようにするためには、揺れ補正を行った天球モデルMTの座標上で撮像領域(キャプチャードエリア61)を設定し、その中で可動領域(アベイラブルエリア62)を計算し、さらにアベイラブルエリア62内に収まるように要求切り出し領域CLrqを修正する。そして修正した要求切り出し領域CLrqを最終的な実効切り出し領域CLとする。つまりアベイラブルエリア62により切り出し領域を制限する。これにより天球モデルMTでの揺れ補正を反映する切り出し領域設定を適切に行うことができる。
実施の形態のはみ出し防止処理における第2処理では、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームと前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定する例を挙げた。
即ち図21の第1の算出手法や図22の第2の算出手法のように、連続する複数フレームのキャプチャードエリア61を用いることで、ある程度の期間の時間軸方向(フレーム間)で発生する揺れがあっても、各フレームに共通に含まれている画像範囲を検出することができる。これは、当該複数フレームの期間において画像が欠けず、また揺れ補正が有効な領域である。これをアベイラブルエリア62とする。これによりアベイラブルエリア62を揺れの大きさによって動的に変化させることになり、出力画像データoPDによる動画上で、揺れによって画欠けが生じず揺れ補正も維持できる切り出し領域設定が実現される。従って品質の高い動画を容易に作成できることになる。
なお、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定することもできる。
また、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定することもできる。
即ち図21の第1の算出手法や図22の第2の算出手法のように、連続する複数フレームのキャプチャードエリア61を用いることで、ある程度の期間の時間軸方向(フレーム間)で発生する揺れがあっても、各フレームに共通に含まれている画像範囲を検出することができる。これは、当該複数フレームの期間において画像が欠けず、また揺れ補正が有効な領域である。これをアベイラブルエリア62とする。これによりアベイラブルエリア62を揺れの大きさによって動的に変化させることになり、出力画像データoPDによる動画上で、揺れによって画欠けが生じず揺れ補正も維持できる切り出し領域設定が実現される。従って品質の高い動画を容易に作成できることになる。
なお、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に後の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定することもできる。
また、アベイラブルエリア62を、処理対象のフレーム及び該フレームから時間軸方向に前の時点のフレームを含んで連続する複数フレームの各キャプチャードエリア61を用いて設定することもできる。
実施の形態においてアベイラブルエリア62は、複数フレームの各フレームについての揺れ補正を行った状態のキャプチャードエリア61に共通に含まれる範囲とする例を挙げた。
即ち図21で第1の算出手法として説明したように、連続する複数フレームについての揺れ補正を行った状態のキャプチャードエリア61を用いることで、切り出し枠を設定しても画欠けが生じない範囲となるアベイラブルエリア62を設定することができる。揺れ補正を行った状態のキャプチャードエリア61に共通の範囲であるため揺れ補正も有効な範囲ともなる。
またこの場合に、キャプチャードエリア61をそのまま用いてもよいが、現在フレームとの遠近によって、キャプチャードエリア61の揺れ補正の度合いを変えることなどで、時間的距離に応じて寄与度合いを調整することで、遠い時点での大きい揺れなどの影響を和らげ、アベイラブルエリア62の変化をなめらかにすることができる。これは再生される動画において急激に画角が変化するような状態を生じさせないものとなる。
即ち図21で第1の算出手法として説明したように、連続する複数フレームについての揺れ補正を行った状態のキャプチャードエリア61を用いることで、切り出し枠を設定しても画欠けが生じない範囲となるアベイラブルエリア62を設定することができる。揺れ補正を行った状態のキャプチャードエリア61に共通の範囲であるため揺れ補正も有効な範囲ともなる。
またこの場合に、キャプチャードエリア61をそのまま用いてもよいが、現在フレームとの遠近によって、キャプチャードエリア61の揺れ補正の度合いを変えることなどで、時間的距離に応じて寄与度合いを調整することで、遠い時点での大きい揺れなどの影響を和らげ、アベイラブルエリア62の変化をなめらかにすることができる。これは再生される動画において急激に画角が変化するような状態を生じさせないものとなる。
実施の形態においてアベイラブルエリア62は、複数フレームの各フレームについてのキャプチャードエリア61の各端点の変化の低周波変動成分61Lを各フレームのキャプチャードエリア61内に収まるようにしたときに示される範囲とする例を挙げた。
即ち図22で第2の算出手法として説明した例である。
キャプチャードエリア61の各端点の変化の低周波変動成分61Lを用いて各フレームのアベイラブルエリア62を設定することで、時間軸方向のアベイラブルエリア62の変化をなめらかにし、急激に切り出し領域の変化が生じない動画を得ることができる。
但し、単に低周波変動成分61Lを用いたのみでは画欠けが生じないこと(つまり切り出し領域がキャプチャードエリア61内であること)を補償できないため、フレーム毎に、キャプチャードエリア61内に収まるように低周波変動成分61Lで規定される各端点の位置を修正する。これにより、画欠けが生じずかつ切り出し領域の変化がなめらかな動画を得ることができる。
即ち図22で第2の算出手法として説明した例である。
キャプチャードエリア61の各端点の変化の低周波変動成分61Lを用いて各フレームのアベイラブルエリア62を設定することで、時間軸方向のアベイラブルエリア62の変化をなめらかにし、急激に切り出し領域の変化が生じない動画を得ることができる。
但し、単に低周波変動成分61Lを用いたのみでは画欠けが生じないこと(つまり切り出し領域がキャプチャードエリア61内であること)を補償できないため、フレーム毎に、キャプチャードエリア61内に収まるように低周波変動成分61Lで規定される各端点の位置を修正する。これにより、画欠けが生じずかつ切り出し領域の変化がなめらかな動画を得ることができる。
実施の形態のはみ出し防止処理における第3処理は、アベイラブルエリア62内に要求切り出し領域CLrqが収まるまで、要求切り出し領域CLrqを回転させずにアベイラブルエリア62の中心に向けて移動させることにより行うこととした。
即ち表示範囲の修正として図24で説明したように、アベイラブルエリア62に収まるまで必要な距離だけ要求切り出し領域CLrqを回転させずに移動させる。これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域については、できるだけ回転を生じないようにアベイラブルエリア62内に移動させることになり、再生される動画上ではむやみな画像の回転が生じないようにすることができる。
即ち表示範囲の修正として図24で説明したように、アベイラブルエリア62に収まるまで必要な距離だけ要求切り出し領域CLrqを回転させずに移動させる。これによりユーザが任意に指定したトラッキングターゲットや出力領域、アスペクト比等に基づく切り出し領域については、できるだけ回転を生じないようにアベイラブルエリア62内に移動させることになり、再生される動画上ではむやみな画像の回転が生じないようにすることができる。
また実施の形態の第3処理において要求切り出し領域CLrqを回転させずにアベイラブルエリア62の中心に向けて移動させることによっては、要求切り出し領域CLrqをアベイラブルエリア62内に収められない場合は、要求切り出し領域CLrqを回転させることでアベイラブルエリア62内に収めるようにすることとした。
即ち回転をさせない状態ではアベイラブルエリア62に収まらないときのみ要求切り出し領域CLrqを回転させる。このように切り出し領域の修正としては、やむを得ないときのみ回転させることとし、これによって画欠けができるだけ生じないようにする。
即ち回転をさせない状態ではアベイラブルエリア62に収まらないときのみ要求切り出し領域CLrqを回転させる。このように切り出し領域の修正としては、やむを得ないときのみ回転させることとし、これによって画欠けができるだけ生じないようにする。
実施の形態では、揺れ補正部33は、処理対象の画像データ(画像ファイルMF)の撮像の際に生成されたメタデータに基づいて、各フレームに対応する姿勢情報(クオータニオンQD)を取得し、揺れ補正に用いることとした。
メタデータとして付加されたIMUデータから撮像装置の姿勢情報であるクオータニオンQDを計算する。これを用いて天球モデルMT上での揺れ補正を行うことで、撮像時の状況に対応した適切な揺れ補正を行うことができる。特に本実施の形態の場合、撮像時に行われたカメラ内部補正はキャンセルされているため、撮像時の撮像装置1の姿勢をそのまま反映することで最適な揺れ補正が可能となる。
メタデータとして付加されたIMUデータから撮像装置の姿勢情報であるクオータニオンQDを計算する。これを用いて天球モデルMT上での揺れ補正を行うことで、撮像時の状況に対応した適切な揺れ補正を行うことができる。特に本実施の形態の場合、撮像時に行われたカメラ内部補正はキャンセルされているため、撮像時の撮像装置1の姿勢をそのまま反映することで最適な揺れ補正が可能となる。
実施の形態では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報(クオータニオンQD(LN))を用いて揺れ補正を行う例を挙げた(図14のステップSST14参照)。
露光期間内における被写体と撮像装置の相対的な揺れにより、いわゆるブラーが生じ、これはシャッタースピードによって露光時間が長くなるほど目立つ。この場合に、各ラインの露光開始タイミングの姿勢情報を用いると、各ラインの露光期間内の相対的揺れが、姿勢情報からみて一方向の揺れとなり、画像上で目立ちやすくなる。
一方で図16のように各ラインの露光期間内の重心位置のIMUデータに基づいて姿勢情報を取得することとすると、露光期間内の相対的揺れが、姿勢情報の状態からみて双方向の揺れとなり、視覚上、時間方向に相殺されるように感じられ、これによって画像においてブラーが目立たなくなるようにすることができる。
露光期間内における被写体と撮像装置の相対的な揺れにより、いわゆるブラーが生じ、これはシャッタースピードによって露光時間が長くなるほど目立つ。この場合に、各ラインの露光開始タイミングの姿勢情報を用いると、各ラインの露光期間内の相対的揺れが、姿勢情報からみて一方向の揺れとなり、画像上で目立ちやすくなる。
一方で図16のように各ラインの露光期間内の重心位置のIMUデータに基づいて姿勢情報を取得することとすると、露光期間内の相対的揺れが、姿勢情報の状態からみて双方向の揺れとなり、視覚上、時間方向に相殺されるように感じられ、これによって画像においてブラーが目立たなくなるようにすることができる。
実施の形態では、揺れ補正部33は、処理対象の画像データを、該画像データに対応づけられたメタデータを用いて補正キャンセル処理を行って既に行われていた補正処理が行われる前の状態に戻した状態で、天球モデルMTへの貼付処理を行うこととした(図14のステップSST12参照)。
例えば撮像装置1においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。
これにより、撮像時の補正の影響を受けずに、元々の撮像画像データ、例えば撮像素子部12から取り出された状態の画像データに対して、適切な揺れ補正を行うことができる。つまり撮像を行った撮像装置1の性能等に影響を受けずに、画像処理装置の処理能力に応じて高品質な揺れ補正を実現できる。
例えば撮像装置1においては撮像時に手ぶれ補正などの補正処理が行われるが、処理対象の画像データに対して、これらの既に行われている補正をキャンセルした後に揺れ補正を行うようにする。
これにより、撮像時の補正の影響を受けずに、元々の撮像画像データ、例えば撮像素子部12から取り出された状態の画像データに対して、適切な揺れ補正を行うことができる。つまり撮像を行った撮像装置1の性能等に影響を受けずに、画像処理装置の処理能力に応じて高品質な揺れ補正を実現できる。
実施の形態では、揺れ補正部33は、メタデータとして画像データの各フレームに対応づけられた座標変換パラメータHPを用いて補正キャンセルを行うこととした。
座標変換パラメータHPは、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠(画角を含めた画像の範囲)を変化させる場合の情報である。
これにより、撮像時の画枠に関する補正をキャンセルすることができ、撮像装置1で画枠(画像の範囲)を補正した場合に、それを元に戻すことができる。
座標変換パラメータHPは、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠(画角を含めた画像の範囲)を変化させる場合の情報である。
これにより、撮像時の画枠に関する補正をキャンセルすることができ、撮像装置1で画枠(画像の範囲)を補正した場合に、それを元に戻すことができる。
実施の形態の画像処理装置は、動画を構成する画像データと対応するメタデータを含む画像ファイルMFについて、画像データの各フレームに対応するメタデータを抽出して記憶する前処理部31を備える。
これにより、揺れ補正部33の処理や実効切り出し領域設定部34の処理においてフレーム毎のメタデータを使用できる。
これにより、揺れ補正部33の処理や実効切り出し領域設定部34の処理においてフレーム毎のメタデータを使用できる。
なお実施の形態の画像処理装置の前処理部31の機能による処理として図14にステップST1からステップST4の処理を示したがこれに限られない。前処理部31では少なくともメタデータに応じた姿勢情報の算出(例えばステップST4)の処理と、メタデータの保持(例えばステップST3)が行われれば良い。
また画像処理部32の機能による処理として図14にステップST11からステップST19の処理を示したがこれに限られない。例えばステップST11の処理は外部で行われてもよく、その場合、画像処理部32はステップST12からステップST19の処理を行うものとしても良い。
さらに、画像処理部32はステップST12の撮像装置内補正キャンセルの処理を行わないものでも良い。
また画像処理部32はステップST16のトラッキングに関する処理を行わないことも考えられる。
また画像処理部32はステップST14の同期処理を行わないことも考えられる。
少なくとも本開示の画像処理装置としては、画像処理部32による処理として、ステップST13(天球モデルMTへの貼り付け)、ステップST15(揺れ補正)、ステップST17(出力領域指定)、ステップST18(はみ出し防止処理)、ステップST19(平面投影及び切り出し)の処理が行われるようにすれば良い。
また画像処理部32の機能による処理として図14にステップST11からステップST19の処理を示したがこれに限られない。例えばステップST11の処理は外部で行われてもよく、その場合、画像処理部32はステップST12からステップST19の処理を行うものとしても良い。
さらに、画像処理部32はステップST12の撮像装置内補正キャンセルの処理を行わないものでも良い。
また画像処理部32はステップST16のトラッキングに関する処理を行わないことも考えられる。
また画像処理部32はステップST14の同期処理を行わないことも考えられる。
少なくとも本開示の画像処理装置としては、画像処理部32による処理として、ステップST13(天球モデルMTへの貼り付け)、ステップST15(揺れ補正)、ステップST17(出力領域指定)、ステップST18(はみ出し防止処理)、ステップST19(平面投影及び切り出し)の処理が行われるようにすれば良い。
実施の形態で説明した技術は、撮像装置1における手ぶれ補正として、次のような各例の場合に適用可能である。なお以下でいう光学手ぶれ補正とはフレーム間成分の揺れの補正となる。また電子手ぶれ補正とはフォーカルプレーン補正のみの場合も含む。
・光学手ぶれ補正が行われ、電子手ぶれ補正が行われない場合
・光学手ぶれ補正も、電子手ぶれ補正も行われない場合
・光学手ぶれ補正が行われず、電子手ぶれ補正が行われる場合
・光学手ぶれ補正と、電子手ぶれ補正の両方が行われる場合
これらそれぞれの場合の撮像装置1で撮像された画像に対して、実施の形態の画像処理装置の処理を適用することができる。
・光学手ぶれ補正が行われ、電子手ぶれ補正が行われない場合
・光学手ぶれ補正も、電子手ぶれ補正も行われない場合
・光学手ぶれ補正が行われず、電子手ぶれ補正が行われる場合
・光学手ぶれ補正と、電子手ぶれ補正の両方が行われる場合
これらそれぞれの場合の撮像装置1で撮像された画像に対して、実施の形態の画像処理装置の処理を適用することができる。
<6.画像処理のUIについて>
続いて、先の図11等によりその概要を示した画像処理に係る表示画面の詳細について説明する。
ここで、以下で説明する各種画面におけるユーザ操作の受け付けや操作に応じた表示制御については、前述したUI処理部36の受付部36aや表示制御部36bとして示したCPU71の処理により実現されるものである。
続いて、先の図11等によりその概要を示した画像処理に係る表示画面の詳細について説明する。
ここで、以下で説明する各種画面におけるユーザ操作の受け付けや操作に応じた表示制御については、前述したUI処理部36の受付部36aや表示制御部36bとして示したCPU71の処理により実現されるものである。
[インポート画面について]
図27は、インポート画面101の例を示した図である。前述のように、インポート画面101は、動画処理のためのアプリケーションプログラムの起動に応じて表示部77に現れる画面であり、ユーザによって処理対象とする画像ファイルMFの選択が行われる。
図27は、インポート画面101の例を示した図である。前述のように、インポート画面101は、動画処理のためのアプリケーションプログラムの起動に応じて表示部77に現れる画面であり、ユーザによって処理対象とする画像ファイルMFの選択が行われる。
図27に示すように、インポート画面101には、メニューボタンI11、フォルダ選択エリアI12、サムネイル表示エリアI13、及び選択完了ボタンI14が設けられている。
メニューボタンI11が操作(例えばタッチ操作)されると、図中の画面外に示したメニューパネルI11aが表示される。なお、メニューパネルI11aを画面外に示したのは図示の都合からであり、実際には、メニューパネルI11aはメニューボタンI11上にオーバーレイ表示される。
メニューパネルI11aには、設定ボタンI11bが配置され、該設定ボタンI11bが操作されると、前述した設定画面107が呼び出される。
メニューボタンI11が操作(例えばタッチ操作)されると、図中の画面外に示したメニューパネルI11aが表示される。なお、メニューパネルI11aを画面外に示したのは図示の都合からであり、実際には、メニューパネルI11aはメニューボタンI11上にオーバーレイ表示される。
メニューパネルI11aには、設定ボタンI11bが配置され、該設定ボタンI11bが操作されると、前述した設定画面107が呼び出される。
フォルダ選択エリアI12には、アプリフォルダボタンI12aと「All」ボタンI12bが表示される。アプリフォルダボタンI12aは、携帯端末2において確保された動画処理のためのアプリケーションプログラム用のフォルダを選択するためのボタンであり、アプリフォルダボタンI12aが操作されると、サムネイル表示エリアI13にはアプリフォルダ内に格納された画像ファイルMFのサムネイル画像I13aが表示される。また、「All」ボタンI12bは、携帯端末2における全ての画像ファイルMFが格納されたフォルダを選択するためのボタンであり、「All」ボタンが操作されるとサムネイル表示エリアI13には該フォルダに格納された画像ファイルMFのサムネイル画像I13aが表示される。
なお、フォルダ選択エリアI12においては、アプリフォルダボタンI12aがデフォルトで選択状態とされる。
なお、フォルダ選択エリアI12においては、アプリフォルダボタンI12aがデフォルトで選択状態とされる。
サムネイル表示エリアI13において、各サムネイル画像I13aとしては、画像ファイルMFにおける一部のフレーム画像が表示されるが、本例では、先頭フレームの画像を表示するものとしている。なお、本例において、再生時間が1時間を超える画像ファイルMFの場合は、サムネイル画像I13aをグレーアウト表示し、タップ時にエラーダイアログを表示する。
サムネイル表示エリアI13に表示されたサムネイル画像I13aに対し所定の操作(例えば、後述する選択受付ボタンI13b以外の部分をタップする操作)が行われると、図28に例示する態様により、インポート画面101において該当する画像ファイルMFの動画がオーバーレイ再生される。この、オーバーレイ再生時のインポート画面101では、オーバーレイ表示エリアI15(本例ではインポート画面101の全域をオーバーレイしている)が設けられ、オーバーレイ表示エリアI15内には再生動画が表示される動画表示エリアI15aが設けられると共に、シークバーI15b、再生時間情報I15c、再生ボタンI15d、及び閉じるボタンI15eが表示される。
再生ボタンI15dが操作されると動画表示エリアI15aにおける動画再生が開始され、再度再生ボタンI15dが操作されると動画再生が一時停止される。シークバー15bは、再生済みの部分とそれ以外の部分とを異なる表示態様で表すと共に、丸い部分のスライド操作により早送り/早戻しが可能とされる。
再生時間情報I15cは、本例では動画の総時間と再生中の箇所の時間の双方を表す。
閉じるボタンI15eが操作されると、オーバーレイ再生が終了し、インポート画面101がオーバーレイ再生前の状態に戻される(例えば図27の状態)。
なお、上記では、サムネイル画像I13aにおける選択受付ボタンI13b以外の部分をタップする操作がオーバーレイ再生の指示操作となる例を挙げたが、例えば図27下部の丸破線内に示すように、オーバーレイ再生指示のための再生ボタンPbを設けることもできる。この場合、以下で説明するサムネイルの選択操作(インポート対象として選択するための操作)は、図中の梨地部で表すような、再生ボタンPbの表示領域以外の所定領域をタップする操作とすることもできる。
再生ボタンI15dが操作されると動画表示エリアI15aにおける動画再生が開始され、再度再生ボタンI15dが操作されると動画再生が一時停止される。シークバー15bは、再生済みの部分とそれ以外の部分とを異なる表示態様で表すと共に、丸い部分のスライド操作により早送り/早戻しが可能とされる。
再生時間情報I15cは、本例では動画の総時間と再生中の箇所の時間の双方を表す。
閉じるボタンI15eが操作されると、オーバーレイ再生が終了し、インポート画面101がオーバーレイ再生前の状態に戻される(例えば図27の状態)。
なお、上記では、サムネイル画像I13aにおける選択受付ボタンI13b以外の部分をタップする操作がオーバーレイ再生の指示操作となる例を挙げたが、例えば図27下部の丸破線内に示すように、オーバーレイ再生指示のための再生ボタンPbを設けることもできる。この場合、以下で説明するサムネイルの選択操作(インポート対象として選択するための操作)は、図中の梨地部で表すような、再生ボタンPbの表示領域以外の所定領域をタップする操作とすることもできる。
図27に示すように、サムネイル表示エリアI13における各サムネイル画像I13aには、それぞれ選択受付ボタンI13bが付されている。選択受付ボタンI13bが操作されると、CPU71は画像ファイルMFのメタ情報に基づいてインポート可否の判定を行う。具体的な判定としては、
・既に50個の画像ファイルMFが選択状態で、新たに51個目の画像ファイルMFが選択された状態か否か
・新たに選択された画像ファイルMFを含めると、選択中の動画の総時間が60分を超えるか否か
・処理対象外の画像ファイルMF(対象機種以外の撮像装置1により生成された画像ファイルMF)であるか否か
をそれぞれ判定する。
上記判定の結果、インポート可能と判定した場合(上記全ての判定で否定結果が得られた場合)、CPU71は操作された選択受付ボタンI13bの表示態様を、選択状態を表す表示態様(例えば、特定色表示とする)に変化させる(図29A参照)。また、これと共に、操作された選択受付ボタンI13bには、何番目に選択状態となった画像ファイルMFであるかを表すための数値情報を表記する(図29A参照)。例えば、1番目に選択された画像ファイルMFであれば「1」の表記を行う)。
ここで、選択状態の選択受付ボタンI13bが再度操作された場合、該選択受付ボタンI13bの選択状態を表す表示態様は解除され、該当する画像ファイルMFの選択状態も解除される。
なお、選択受付ボタンI13bに対し何番目に選択されたかを表す数値情報を表示することは必須ではない。
・既に50個の画像ファイルMFが選択状態で、新たに51個目の画像ファイルMFが選択された状態か否か
・新たに選択された画像ファイルMFを含めると、選択中の動画の総時間が60分を超えるか否か
・処理対象外の画像ファイルMF(対象機種以外の撮像装置1により生成された画像ファイルMF)であるか否か
をそれぞれ判定する。
上記判定の結果、インポート可能と判定した場合(上記全ての判定で否定結果が得られた場合)、CPU71は操作された選択受付ボタンI13bの表示態様を、選択状態を表す表示態様(例えば、特定色表示とする)に変化させる(図29A参照)。また、これと共に、操作された選択受付ボタンI13bには、何番目に選択状態となった画像ファイルMFであるかを表すための数値情報を表記する(図29A参照)。例えば、1番目に選択された画像ファイルMFであれば「1」の表記を行う)。
ここで、選択状態の選択受付ボタンI13bが再度操作された場合、該選択受付ボタンI13bの選択状態を表す表示態様は解除され、該当する画像ファイルMFの選択状態も解除される。
なお、選択受付ボタンI13bに対し何番目に選択されたかを表す数値情報を表示することは必須ではない。
インポート画面101において、選択完了ボタンI14は、サムネイル表示エリアI13において選択状態とされた画像ファイルMFが無い状態では、例えばグレーアウト表示等により非アクティブとされている(図27参照)。サムネイル表示エリアI13において少なくとも一つの画像ファイルMFが選択状態とされると、選択完了ボタンI14は例えばグレーアウト表示から通常表示に変更されてアクティブ化される(図29A)。
このようにアクティブ化された選択完了ボタンI14が操作されると、例えば図29Bに例示するプレビュー画面102の表示に遷移する。
選択完了ボタンI14の操作により、選択された画像ファイルMFが画像処理対象の画像ファイルMFとして確定される。本例では、選択完了ボタンI14の操作に応じ、選択された画像ファイルMFが選択された順に連結される。
このようにアクティブ化された選択完了ボタンI14が操作されると、例えば図29Bに例示するプレビュー画面102の表示に遷移する。
選択完了ボタンI14の操作により、選択された画像ファイルMFが画像処理対象の画像ファイルMFとして確定される。本例では、選択完了ボタンI14の操作に応じ、選択された画像ファイルMFが選択された順に連結される。
[プレビュー画面について]
図30を参照し、プレビュー画面102の詳細を説明する。
図示のようにプレビュー画面102には、動画リストエリアI21、メニューボタンI22、動画メニューボタンI23、プレビューエリアI24、再生ボタンI25、再生時間表示エリアI26、タイムラインI27、アスペクト比設定ボタンI28、及びエクスポートボタンI29が設けられると共に、画面下部にはフレームボタンB1、トリムボタンB2、及びスピードボタンB3が設けられている。
図30を参照し、プレビュー画面102の詳細を説明する。
図示のようにプレビュー画面102には、動画リストエリアI21、メニューボタンI22、動画メニューボタンI23、プレビューエリアI24、再生ボタンI25、再生時間表示エリアI26、タイムラインI27、アスペクト比設定ボタンI28、及びエクスポートボタンI29が設けられると共に、画面下部にはフレームボタンB1、トリムボタンB2、及びスピードボタンB3が設けられている。
プレビュー画面102において、動画リストエリアI21には、インポート画面101において画像処理対象として選択された画像ファイルMFのサムネイル画像が、選択された順に表示される。選択された画像ファイルMFの数が多く、一度に表示できない場合はスワイプで横スクロール可能とされる。動画リストエリアI21におけるサムネイル画像をタップすると、そのサムネイル画像にフォーカス枠が表示され、該当する画像ファイルMFの先頭フレームがプレビューエリアI24に表示される。なおこのとき、タイムラインI27上の再生位置バーI27aもその位置に移動する(再生中にタップした場合は再生を継続したままジャンプする)。
また、動画リストエリアI21において、サムネイル画像を長押しすると、ドラッグ&ドロップ操作により動画の順番の入れ替えが可能とされる(順番入れ替え時はタイムラインI27が再描画される)。
また、動画リストエリアI21において、サムネイル画像を長押しすると、ドラッグ&ドロップ操作により動画の順番の入れ替えが可能とされる(順番入れ替え時はタイムラインI27が再描画される)。
動画メニューボタンI23は、動画リストエリアI21の近傍に配置され、動画メニューパネルI23aの呼び出し指示ボタンとして機能する。
図31は、動画メニューパネルI23aが呼び出された際のプレビュー画面102を例示している。図示のように動画メニューパネルI23aには、動画追加ボタンI23b、動画削除ボタンI23c、及び動画コピーボタンI23dが配置される。動画追加ボタンI23bが操作されるとインポート画面に遷移し、画像処理対象の動画の追加が可能となる。動画削除ボタンI23bが操作されると、プレビュー画面102において不図示の確認ダイアログが表示され、ダイアログ上でOKをタップすると動画リストエリアI21においてフォーカス中の動画が削除される(画像処理対象から除外される)。このように動画が削除された際、動画リストエリアI21におけるフォーカス枠が一つ後ろの動画(サムネイル画像)へずれる(リスト末尾の動画が削除された際は一つ前へずれる)。
動画コピーボタンI23dが操作されると、動画リストエリアI21においてフォーカス中の動画がコピーされ、該フォーカス中の動画の一つ後ろに挿入される。なお、コピー対象の動画が後述するフレーミング、トリミング、スピードなどの画像処理が行われた動画である場合は、画像処理内容を維持した状態でコピーされる。なお、動画コピーボタンI23dが操作されたとき、コピーを行うと合計1時間を超える場合には、動画コピーボタンI23dの操作に応じてエラーダイアログが表示される。
図31は、動画メニューパネルI23aが呼び出された際のプレビュー画面102を例示している。図示のように動画メニューパネルI23aには、動画追加ボタンI23b、動画削除ボタンI23c、及び動画コピーボタンI23dが配置される。動画追加ボタンI23bが操作されるとインポート画面に遷移し、画像処理対象の動画の追加が可能となる。動画削除ボタンI23bが操作されると、プレビュー画面102において不図示の確認ダイアログが表示され、ダイアログ上でOKをタップすると動画リストエリアI21においてフォーカス中の動画が削除される(画像処理対象から除外される)。このように動画が削除された際、動画リストエリアI21におけるフォーカス枠が一つ後ろの動画(サムネイル画像)へずれる(リスト末尾の動画が削除された際は一つ前へずれる)。
動画コピーボタンI23dが操作されると、動画リストエリアI21においてフォーカス中の動画がコピーされ、該フォーカス中の動画の一つ後ろに挿入される。なお、コピー対象の動画が後述するフレーミング、トリミング、スピードなどの画像処理が行われた動画である場合は、画像処理内容を維持した状態でコピーされる。なお、動画コピーボタンI23dが操作されたとき、コピーを行うと合計1時間を超える場合には、動画コピーボタンI23dの操作に応じてエラーダイアログが表示される。
図30において、メニューボタンI22は、図中の画面外に示すようなメニューパネルI22aの呼び出し指示ボタンとして機能する。なお、メニューパネルI22aは、先のメニューパネルI11a(図27)と同様、実際には画面内にオーバーレイ表示される。 メニューパネルI22aには、新規プロジェクトボタンI22b、設定ボタンI22c、及び処理リセットボタンI22dが表示される。新規プロジェクトボタンI22bが操作されると、確認ダイアログが表示され、ダイアログ上でOKをタップするとそれまで行われた画像処理の内容を全て破棄してインポート画面101へ遷移する。設定ボタンI22bが操作されると、設定画面107へ遷移する。処理リセットボタンI22dが操作されると確認ダイアログが表示され、ダイアログ上でOKをタップすると、フレーミング、トリミング、スピードの画像処理内容を全て破棄した状態に戻る。なお、本例では、動画の追加及びアスペクト比変更(アスペクト比設定画面106での変更)はリセットされない。
プレビューエリアI24は、再生中の動画が表示されると共に、再生がポーズ中(一時停止中)である場合には該当する再生位置のフレーム画像が表示されるエリアである。プレビューエリアI24には、表示枠115が配置され、図30に示すプレビュー画面102(つまりプレビューエリアI24が後述するズームイン表示状態とされたプレビュー画面102)においては、表示枠115内で再生動画やポーズ中の画像が表示される。
ここで、表示枠115は、元画像からの切り出し範囲を表す枠に相当するものである(後述するフレーミング画面103の説明を参照)。この表示枠115内の領域は、請求項に言う「表示エリア」の一態様である。
ここで、表示枠115は、元画像からの切り出し範囲を表す枠に相当するものである(後述するフレーミング画面103の説明を参照)。この表示枠115内の領域は、請求項に言う「表示エリア」の一態様である。
再生ボタンI25は、現在対象とされている動画(動画リストエリアI21においてフォーカスされている動画)についての再生開始指示ボタンとして機能する。再生ボタンI25が操作されると、プレビューエリアI24において現在対象とされている動画の再生が開始される。再生が開始されると、再生ボタンI25の表示は一時停止ボタン(不図示)の表示に切り替わる。この一時停止ボタンが操作されると、プレビューエリアI24における動画再生が一時停止し、一時停止ボタンの表示から再生ボタンI25の表示に切り替わる。
再生時間表示エリアI26には、総再生時間(画像処理対象として選択されている全ての動画の再生時間を合計した時間)、及び現在再生中の箇所の時間が表示される。
再生時間表示エリアI26には、総再生時間(画像処理対象として選択されている全ての動画の再生時間を合計した時間)、及び現在再生中の箇所の時間が表示される。
タイムラインI27には、画像処理対象として選択されている全ての動画が連結したタイムラインが表示される。本例では、タイムラインI27内に再生位置バーI27aが表示され、タイムラインI27上における現在の再生位置を表す。本例におけるプレビュー画面102では、再生位置バーI27aは、タイムラインI27の左右中央位置に固定されている。
また、本例のプレビュー画面102におけるタイムラインI27では、現在の再生位置が連結された動画の先頭である場合には、再生位置バーI27aより左側が黒色に塗りつぶされ、現在の再生位置が連結された動画の末尾である場合には再生位置バーI27aより右側が黒色に塗りつぶされて表示される。
また、本例のプレビュー画面102におけるタイムラインI27では、現在の再生位置が連結された動画の先頭である場合には、再生位置バーI27aより左側が黒色に塗りつぶされ、現在の再生位置が連結された動画の末尾である場合には再生位置バーI27aより右側が黒色に塗りつぶされて表示される。
ここで、本例のプレビュー画面102におけるタイムラインI27では、後述するスピード画面105における再生速度の変更処理やフレーミング画面103におけるトラッキングの処理が行われた動画区間がある場合には、それらの動画区間を示すための表示が行われる。
図32は、これら再生速度の変更やトラッキングの処理がそれぞれ行われた区間をタイムラインI27上で示す表示の例を示している。
図示のようにこの図の例では、プレビュー画面102のタイムラインI27上において、再生速度の変更が行われた区間をスピードバーSsとして表示し、トラッキングの処理が行われた区間をトラッキングバーStとして表示している。本例では、スピードバーSs内には、該当する区間に設定された再生速度を表す情報(図示の例では「×2」)を表示している。また、トラッキングバーSt内には、トラッキングの処理が行われた区間である旨を表す情報(図示の例では人の上半身とそれを囲う枠とを模したイラスト)を表示している。
また、それぞれの区間の区別を容易化するために、本例では、スピードバーSsとトラッキングバーStの表示色を異ならせるものとしている。
図32は、これら再生速度の変更やトラッキングの処理がそれぞれ行われた区間をタイムラインI27上で示す表示の例を示している。
図示のようにこの図の例では、プレビュー画面102のタイムラインI27上において、再生速度の変更が行われた区間をスピードバーSsとして表示し、トラッキングの処理が行われた区間をトラッキングバーStとして表示している。本例では、スピードバーSs内には、該当する区間に設定された再生速度を表す情報(図示の例では「×2」)を表示している。また、トラッキングバーSt内には、トラッキングの処理が行われた区間である旨を表す情報(図示の例では人の上半身とそれを囲う枠とを模したイラスト)を表示している。
また、それぞれの区間の区別を容易化するために、本例では、スピードバーSsとトラッキングバーStの表示色を異ならせるものとしている。
図30において、縮小ボタンI30は、プレビューエリアI24の表示をズームアウト表示に切り替えるためのボタンとされる。
図33は、縮小ボタンI30の操作に応じてプレビューエリアI24がズームアウト表示状態とされたプレビュー画面102を例示している。
図示のようにズームアウト表示状態のプレビューエリアI24では、表示枠115の大きさが縮小されると共に、フォーカス中の動画について、表示枠115の外側の画像部分も表示される。すなわち、前述したキャプチャードエリア61(図19)としての画像全域のうち、表示枠115(図19ではディスプレイエリア63に相当)の外側の画像部分も表示されるものである。
ここで、キャプチャードエリア61の画像は、表示枠115による切り出しが行われる場合における、切り出し元の画像と換言できるものであり、以下、この意味で「元画像」と表記する。
本例では、表示枠115により元画像から切り出される範囲とそれ以外の範囲との区別が明確となるように、元画像における表示枠115外の画像部分を、表示枠115内の画像部分とは異なる表示態様で表示するものとしている。具体的に本例では、元画像における表示枠115外の画像部分をグレーアウト表示するものとしている。
図33は、縮小ボタンI30の操作に応じてプレビューエリアI24がズームアウト表示状態とされたプレビュー画面102を例示している。
図示のようにズームアウト表示状態のプレビューエリアI24では、表示枠115の大きさが縮小されると共に、フォーカス中の動画について、表示枠115の外側の画像部分も表示される。すなわち、前述したキャプチャードエリア61(図19)としての画像全域のうち、表示枠115(図19ではディスプレイエリア63に相当)の外側の画像部分も表示されるものである。
ここで、キャプチャードエリア61の画像は、表示枠115による切り出しが行われる場合における、切り出し元の画像と換言できるものであり、以下、この意味で「元画像」と表記する。
本例では、表示枠115により元画像から切り出される範囲とそれ以外の範囲との区別が明確となるように、元画像における表示枠115外の画像部分を、表示枠115内の画像部分とは異なる表示態様で表示するものとしている。具体的に本例では、元画像における表示枠115外の画像部分をグレーアウト表示するものとしている。
本例において、縮小ボタンI30が操作された場合には、上記のようにプレビューエリアI24がズームアウト表示状態とされると共に、縮小ボタンI30の表示が拡大ボタンI31の表示に切り替えられる(図33参照)。この拡大ボタンI31が操作されることで、プレビューエリアI24の表示が図30や図32に示したズームイン表示に切り替えられる。このズームイン表示状態のプレビューエリアI24では、表示枠115の大きさがズームアウト状態時よりも拡大されると共に、元画像における表示枠115内の画像部分のみが表示される。
また、拡大ボタンI31が操作されると、拡大ボタンI31の表示が縮小ボタンI30の表示に切り替えられ、これによりプレビューエリアI24をズームアウト表示状態に再度切り替えることが可能とされる。
また、拡大ボタンI31が操作されると、拡大ボタンI31の表示が縮小ボタンI30の表示に切り替えられ、これによりプレビューエリアI24をズームアウト表示状態に再度切り替えることが可能とされる。
図30において、プレビュー画面102に設けられたフレームボタンB1、トリムボタンB2、スピードボタンB3は、それぞれフレーミング画面103、トリミング画面104、スピード画面105への遷移を指示するためのボタンとして機能する。また、アスペクト比設定ボタンI28は、アスペクト比設定画面106への遷移を指示するためのボタンとして機能する。
エクスポートボタンI29は、エクスポート画面108(後述するサイズ選択ダイアログI70の表示状態)への遷移を指示するためのボタンとして機能する。
エクスポートボタンI29は、エクスポート画面108(後述するサイズ選択ダイアログI70の表示状態)への遷移を指示するためのボタンとして機能する。
なお、本例では、エクスポートできる動画の長さは2秒~1時間までに制限している。このため、エクスポートボタンI29が操作された場合、CPU71は、画像処理対象の動画の合計時間を確認し、該合計時間が1時間を超えている場合、2秒未満の場合のそれぞれにおいて、エクスポート画面108への遷移は行わずに、プレビュー画面102において所定のエラーダイアログを表示する。
[アスペクト比設定画面について]
続いて、図34に示すアスペクト比設定画面106について説明する。
図示のようにアスペクト比設定画面106には、戻るボタンI35、及びアスペクト比選択エリアI36が設けられている。またアスペクト比設定画面106には、プレビュー画面102と同様のプレビューエリアI24、再生ボタンI25、再生時間表示エリアI26、タイムラインI27、及び縮小ボタンI30が設けられている。
続いて、図34に示すアスペクト比設定画面106について説明する。
図示のようにアスペクト比設定画面106には、戻るボタンI35、及びアスペクト比選択エリアI36が設けられている。またアスペクト比設定画面106には、プレビュー画面102と同様のプレビューエリアI24、再生ボタンI25、再生時間表示エリアI26、タイムラインI27、及び縮小ボタンI30が設けられている。
戻るボタンI35は、プレビュー画面102への遷移を指示するためのボタンとして機能する。アスペクト比設定画面106において、戻るボタンI35が操作されると、当該アスペクト比設定画面106での画像処理内容が確定され、プレビュー画面102に遷移される。
アスペクト比選択エリアI36には、表示枠115のアスペクト比(つまり切出画像のアスペクト比)を選択するための選択ボタンが、各種のアスペクト比ごとに設けられている。これら選択ボタンのうち任意の選択ボタンが操作されると、画像処理対象の全ての動画に一括で、該当するアスペクト比が反映される。このとき、表示枠115の位置(切り出し位置)は中央になる(例えば、元画像の中央になる)が、後述するフレーミング画面103において変更可能である。
なお、アスペクト比のデフォルト値は、前回エクスポートした動画のアスペクト比である。1度もエクスポートが行われていない場合は初期値である「1:1」がデフォルト値となる。また、アプリケーションプログラムのアップデート後は前回分を忘れて初期値に戻される。
なお、アスペクト比のデフォルト値は、前回エクスポートした動画のアスペクト比である。1度もエクスポートが行われていない場合は初期値である「1:1」がデフォルト値となる。また、アプリケーションプログラムのアップデート後は前回分を忘れて初期値に戻される。
アスペクト比設定画面106においても、縮小ボタンI30が設けられることで、プレビューエリアI24の表示は、図34に示すズームイン表示から図35に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンI30の表示は拡大ボタンI31の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
[トリミング画面について]
図36は、トリミング画面104の例を示している。
トリミング画面104においては、プレビュー画面102と同様の動画リストエリアI21、プレビューエリアI24、再生ボタンI25、タイムラインI27、及び縮小ボタンI30が設けられると共に、アスペクト比設定画面106と同様の戻るボタンI35が設けられている。
また、トリミング画面104においては、タイムラインI27に対し、開始点アイコンI41、終了点アイコンI42が設けられると共に、タイムラインI27の上方に時間対比表示エリアI43が設けられている。さらに、トリミング画面104にはリセットボタンI44が設けられる。
図36は、トリミング画面104の例を示している。
トリミング画面104においては、プレビュー画面102と同様の動画リストエリアI21、プレビューエリアI24、再生ボタンI25、タイムラインI27、及び縮小ボタンI30が設けられると共に、アスペクト比設定画面106と同様の戻るボタンI35が設けられている。
また、トリミング画面104においては、タイムラインI27に対し、開始点アイコンI41、終了点アイコンI42が設けられると共に、タイムラインI27の上方に時間対比表示エリアI43が設けられている。さらに、トリミング画面104にはリセットボタンI44が設けられる。
本例のトリミング画面104は、動画リストエリアI21においてフォーカスされている動画についてトリミング区間の指定を受け付ける画面とされる。このため、トリミング画面104におけるタイムラインI27には、動画リストエリアI21においてフォーカスされている動画についてのタイムラインが表示される。
また、トリミング画面104における再生位置バーI27aは、スワイプ操作により左右に移動可能とされ、再生位置バーI27aが移動されたときは、プレビューエリアI24における表示画像が、再生位置バーI27aが示す再生位置の画像に変化する。これにより、ユーザによるトリミング開始点、終了点の探索作業の容易化が図られる。
また、トリミング画面104における再生位置バーI27aは、スワイプ操作により左右に移動可能とされ、再生位置バーI27aが移動されたときは、プレビューエリアI24における表示画像が、再生位置バーI27aが示す再生位置の画像に変化する。これにより、ユーザによるトリミング開始点、終了点の探索作業の容易化が図られる。
開始点アイコンI41はトリミングの開始点を指示するための操作子として機能し、終了点アイコンI42はトリミングの終了点を指示するための操作子として機能する。これら開始点アイコンI41、終了点アイコンI42はそれぞれスワイプ操作により移動可能とされ、トリミングの開始点、終了点を任意に指定することが可能とされる。本例において、開始点アイコンI41の初期位置はフォーカス中の動画の先頭フレームの再生位置、終了点アイコンI43の初期位置はフォーカス中の動画の末尾フレームの再生位置とされる。
図37は、開始点アイコンI41、終了点アイコンI42が操作された際のトリミング画面104を例示している。
開始点アイコンI41、終了点アイコンI42が操作されると、図示のようにタイムラインI27におけるトリミングにより除外される動画部分のサムネイルがグレーアウト表示され、トリミングによって抽出される動画部分が明確化される。
また、図示は省略したが、開始点アイコンI41、終了点アイコンI42について、アイコンのタップ中には、例えばアイコン上部等のアイコン近傍に、アイコンの位置に対応する再生時間の情報が表示される。
開始点アイコンI41、終了点アイコンI42が操作されると、図示のようにタイムラインI27におけるトリミングにより除外される動画部分のサムネイルがグレーアウト表示され、トリミングによって抽出される動画部分が明確化される。
また、図示は省略したが、開始点アイコンI41、終了点アイコンI42について、アイコンのタップ中には、例えばアイコン上部等のアイコン近傍に、アイコンの位置に対応する再生時間の情報が表示される。
トリミング画面104において、時間対比表示エリアI43には、フォーカス中の動画全体の再生時間と、トリミング後の再生時間(開始点アイコンI41、終了点アイコンI42により指示中の動画区間の再生時間)とが表示される。
また、トリミング画面104において、リセットボタンI44が操作されると、トリミング内容が初期状態に戻り(このとき、開始点/終了点のアイコンが左端/右端に移動する)、戻るボタンI35が操作されると、トリミング画面104での画像処理内容が確定され、プレビュー画面102に遷移される。
トリミング画面104においても、縮小ボタンI30が設けられることで、プレビューエリアI24の表示は、図36に示すズームイン表示から図38に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンI30の表示は拡大ボタンI31の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
[スピード画面について]
図39は、スピード画面105の例を示している。
スピード画面105においては、プレビュー画面102と同様の動画リストエリアI21、プレビューエリアI24、再生ボタンI25、タイムラインI27、及び縮小ボタンI30が設けられると共に、アスペクト比設定画面106と同様の戻るボタンI35、及びスピード選択エリアI50が設けられている。
図39は、スピード画面105の例を示している。
スピード画面105においては、プレビュー画面102と同様の動画リストエリアI21、プレビューエリアI24、再生ボタンI25、タイムラインI27、及び縮小ボタンI30が設けられると共に、アスペクト比設定画面106と同様の戻るボタンI35、及びスピード選択エリアI50が設けられている。
スピード画面105としても、先のトリミング画面104と同様に動画リストエリアI21においてフォーカス中の動画を対象とする画面とされており、タイムラインI27にはフォーカス中の動画のタイムラインが表示される。
また、スピード画面105においても、再生位置バーI27aは、トリミング画面104の場合と同様にスワイプ操作により左右に移動可能とされており、プレビューエリアI24においては再生位置バーI27aが示す再生位置の画像が表示される。これにより、ユーザによるスピード設定の開始点、終了点の探索作業の容易化が図られる。
また、スピード画面105においても、再生位置バーI27aは、トリミング画面104の場合と同様にスワイプ操作により左右に移動可能とされており、プレビューエリアI24においては再生位置バーI27aが示す再生位置の画像が表示される。これにより、ユーザによるスピード設定の開始点、終了点の探索作業の容易化が図られる。
また、この場合のタイムラインI27の上方には、時間対比表示エリアI43’が設けられている。この時間対比表示エリアI43’には、フォーカス中の動画について、スピード設定前の再生時間とスピード設定後の再生時間とが表示される。
スピード選択エリアI50には、再生速度を選択するための選択ボタンが各種の再生速度ごとに設けられると共に、リセットボタンが配置されている。
スピード選択エリアI50において何れかの再生速度を表す選択ボタンが操作されると、図40に例示するように、タイムラインI27に対して開始点アイコンI51、終了点アイコンI52が表示される。なお、これら開始点アイコンI51、終了点アイコンI52としても、先の開始点アイコンI41、終了点アイコンI42と同様に、アイコンタップ中にはアイコンの示す位置の再生時間の表示が行われる。
ユーザはこれらアイコンをスワイプ操作することで、スピード選択エリアI50において選択した再生速度を適用したい動画区間を指定することができる。
また、このように動画区間が指定されると、タイムラインI27においては、該動画区間を表す区間バーI53が表示される。本例において、この区間バーI53内には、スピード選択エリアI50において選択した再生速度を表す情報が表示される。図41では、「×2」の再生速度が選択された場合に対応して、区間バーI53内に「×2」の表記が行われた場合を例示している。なお、このような区間バーI53内における情報表示は、区間バーI53が短すぎる場合には行われない。
スピード選択エリアI50において何れかの再生速度を表す選択ボタンが操作されると、図40に例示するように、タイムラインI27に対して開始点アイコンI51、終了点アイコンI52が表示される。なお、これら開始点アイコンI51、終了点アイコンI52としても、先の開始点アイコンI41、終了点アイコンI42と同様に、アイコンタップ中にはアイコンの示す位置の再生時間の表示が行われる。
ユーザはこれらアイコンをスワイプ操作することで、スピード選択エリアI50において選択した再生速度を適用したい動画区間を指定することができる。
また、このように動画区間が指定されると、タイムラインI27においては、該動画区間を表す区間バーI53が表示される。本例において、この区間バーI53内には、スピード選択エリアI50において選択した再生速度を表す情報が表示される。図41では、「×2」の再生速度が選択された場合に対応して、区間バーI53内に「×2」の表記が行われた場合を例示している。なお、このような区間バーI53内における情報表示は、区間バーI53が短すぎる場合には行われない。
また、スピード選択エリアI50内で何れかの再生速度が選択されて図40に示したような区間指定中の状態となった以降に、スピード選択エリアI50内で別の再生速度が選択された場合には、再生速度と時間対比表示エリアI43’における再生時間(スピード設定適用後の再生時間)のみが変更される。
さらに、スピードの適用区間設定中においてスピード選択エリアI50内のリセットボタンが操作されたときは、スピード設定内容をリセットし、図39に示す初期状態のスピード画面105に画面状態を戻す。
さらに、スピードの適用区間設定中においてスピード選択エリアI50内のリセットボタンが操作されたときは、スピード設定内容をリセットし、図39に示す初期状態のスピード画面105に画面状態を戻す。
スピード画面105においても、縮小ボタンI30が設けられることで、プレビューエリアI24の表示は、図39に示すズームイン表示から図41に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンI30の表示は拡大ボタンI31の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
[フレーミング画面について]
続いて、フレーミング画面103について説明する。
図42に例示するように、フレーミング画面103には、プレビュー画面102と同様の動画リストエリアI21、プレビューエリアI24、再生ボタンI25、再生時間表示エリアI26、タイムラインI27、及び縮小ボタンI30が設けられると共に、アスペクト比設定画面106と同様の戻るボタンI35が設けられている。
さらに、フレーミング画面103には、回転ボタンI61、トラッキングボタンI62、及びトラッキング開始ボタンI63が設けられると共に、プレビューエリアI24の表示枠115内には、前述したターゲット指定照準116が表示されている。
続いて、フレーミング画面103について説明する。
図42に例示するように、フレーミング画面103には、プレビュー画面102と同様の動画リストエリアI21、プレビューエリアI24、再生ボタンI25、再生時間表示エリアI26、タイムラインI27、及び縮小ボタンI30が設けられると共に、アスペクト比設定画面106と同様の戻るボタンI35が設けられている。
さらに、フレーミング画面103には、回転ボタンI61、トラッキングボタンI62、及びトラッキング開始ボタンI63が設けられると共に、プレビューエリアI24の表示枠115内には、前述したターゲット指定照準116が表示されている。
フレーミング画面103では、フォーカス中の動画における或るフレームの静止画像が表示された状態、つまりプレビューエリアI24でのプレビュー再生がポーズ状態とされている場合において、元画像からの画像の切り出し範囲の指定、トラッキングターゲットの指定、トラッキングターゲットの画面内での配置位置の指定などの操作が可能とされる。
前述のように、本例のフレーミング画面103では、表示枠115内でのドラッグ操作やピンチアウト/ピンチイン操作を行うことで、元画像における表示枠115に含まれる範囲を移動させたり、拡大/縮小させることができる。すなわち、表示枠115に対し元画像を縦横斜め方向に移動させることによる元画像からの切り出し範囲の指定や、表示枠115に対し元画像を拡大/縮小させることによる元画像からの切り出し範囲の指定を行うことができる。また、表示枠115内における2本指を用いた回転操作を行うことで、元画像の表示枠115に対する回転角度を変化させることも可能とされる。すなわち、表示枠115に対し元画像を回転させることによる元画像からの切り出し範囲の指定を行うことも可能とされる。
前述のように、本例のフレーミング画面103では、表示枠115内でのドラッグ操作やピンチアウト/ピンチイン操作を行うことで、元画像における表示枠115に含まれる範囲を移動させたり、拡大/縮小させることができる。すなわち、表示枠115に対し元画像を縦横斜め方向に移動させることによる元画像からの切り出し範囲の指定や、表示枠115に対し元画像を拡大/縮小させることによる元画像からの切り出し範囲の指定を行うことができる。また、表示枠115内における2本指を用いた回転操作を行うことで、元画像の表示枠115に対する回転角度を変化させることも可能とされる。すなわち、表示枠115に対し元画像を回転させることによる元画像からの切り出し範囲の指定を行うことも可能とされる。
本例のフレーミング画面103では、回転ボタンI61の操作によっても元画像の表示枠115に対する回転角度を変化させることが可能とされているが、この回転ボタンI61の操作による回転は、90度単位に制限されている。具体的に本例では、回転ボタンI61が操作されるごとに、元画像が時計回りに90度ずつ回転される。
このとき、上記した2本指による回転操作で中途半端な角度になっていた場合でも、回転ボタンI61の操作により元画像の回転角度は90の倍数の角度に調整される。
このとき、上記した2本指による回転操作で中途半端な角度になっていた場合でも、回転ボタンI61の操作により元画像の回転角度は90の倍数の角度に調整される。
フレーミング画面103においても、縮小ボタンI30が設けられることで、プレビューエリアI24の表示は、図42に示すズームイン表示から図43に示すようなズームアウト表示に切り替えることが可能とされる。この場合も、縮小ボタンI30の表示は拡大ボタンI31の表示に切り替えられ、ズームアウト表示状態とズームイン表示状態の相互の切り替えが可能とされる。
図44を参照し、切り出し範囲の指定の例について説明する。
なお、図44では、ズームアウト表示状態とされたプレビューエリアI24に対する操作で切り出し範囲が指定される様子を示している。
例えば、図44Aに操作Swとして示すような表示枠115内に対する左方向へのスワイプ操作が行われたとする。このような操作に応じては、図44Bに示すように元画像が表示枠115に対して左方向(スワイプ方向)に移動され、結果として元画像における表示枠115に含まれる範囲が変化する。つまり、元画像からの切り出し範囲が変化する。
なお、図44では、ズームアウト表示状態とされたプレビューエリアI24に対する操作で切り出し範囲が指定される様子を示している。
例えば、図44Aに操作Swとして示すような表示枠115内に対する左方向へのスワイプ操作が行われたとする。このような操作に応じては、図44Bに示すように元画像が表示枠115に対して左方向(スワイプ方向)に移動され、結果として元画像における表示枠115に含まれる範囲が変化する。つまり、元画像からの切り出し範囲が変化する。
ここで、図44に例示するように、本例のフレーミング画面103では、ズームアウト表示状態のプレビューエリアI24において、表示枠115内の画像と表示枠115外の画像とを互いに異なる表示態様で表示させている。
このようにすることで、元画像の中でどのような範囲を切り出し範囲としているかをユーザに明確に認識させることができる。
このようにすることで、元画像の中でどのような範囲を切り出し範囲としているかをユーザに明確に認識させることができる。
続いて、トラッキングの画像処理について説明する。
トラッキングの画像処理では、トラッキングターゲットの画面内での配置位置の指定をユーザより受け付ける。トラッキングに係る操作を行いたい場合、ユーザはフレーミング画面103におけるトラッキングボタンI62を操作する(例えばタップ操作)。
トラッキングの画像処理では、トラッキングターゲットの画面内での配置位置の指定をユーザより受け付ける。トラッキングに係る操作を行いたい場合、ユーザはフレーミング画面103におけるトラッキングボタンI62を操作する(例えばタップ操作)。
図45は、トラッキングボタンI62の操作に応じて現れるトラッキングモード時のフレーミング画面103(第1の画面)を例示している。
本例において、トラッキングモード時のフレーミング画面103では、表示枠115内の画像が例えばグレーアウト表示される等、表示態様が変更されることで、モードが移行したことをユーザが容易に知覚できるようにしている。
本例において、トラッキングモード時のフレーミング画面103では、表示枠115内の画像が例えばグレーアウト表示される等、表示態様が変更されることで、モードが移行したことをユーザが容易に知覚できるようにしている。
トラッキングモード時には、表示枠115内に対する操作が、ターゲット指定照準116を移動させる操作、すなわち、トラッキングターゲットとしての被写体(対象被写体)の切出画像内での配置位置を指定する操作として機能する。
具体的には、図46に示すように、表示枠115内をタップする操作(図46Aの操作Tc)が行われたことに応じ、タップされた位置にターゲット指定照準116を移動させる(図46B)。このタップされた位置が、対象被写体の切出画像内での配置位置として認識される。また、このタップ操作は、元画像に映し出される被写体のうちトラッキングの対象被写体を指定する操作としても機能する。
なお、トラッキング開始ボタンI63が操作される前のフレーミング画面103において、ターゲット指定照準116の位置は、所定の初期位置(本例では表示枠115の中央)とされる(図42参照)。
また、本例では、表示枠115内をタップする操作のみでなく、ターゲット指定照準116をドラッグ操作により移動させる操作によっても対象被写体の切出画像内での配置位置の指定を行うことが可能とされる。
なお、トラッキング開始ボタンI63が操作される前のフレーミング画面103において、ターゲット指定照準116の位置は、所定の初期位置(本例では表示枠115の中央)とされる(図42参照)。
また、本例では、表示枠115内をタップする操作のみでなく、ターゲット指定照準116をドラッグ操作により移動させる操作によっても対象被写体の切出画像内での配置位置の指定を行うことが可能とされる。
図46のように表示枠115内をタップする操作(ターゲット指定照準116の位置を指定する操作)が行われると、フレーミング画面103には、図47に例示するようなトラッキング開始ボタンI63が表示される。このトラッキング開始ボタンI63が操作されると、プレビューエリアI24においてトラッキング画像の再生が開始される。すなわち、ターゲット指定照準116により表示枠115内で指定された位置に対象被写体が配置されるように元画像からの切り出しが行われた切出画像の動画表示が開始される。このとき、プレビュー再生される動画においては、ターゲット指定照準116により指定された対象被写体の認識位置を表す追尾枠Ftの表示が開始される。
ここで、上記説明から理解されるように、本実施の形態では、表示枠115内の指定位置に対象被写体が配置されるように元画像からの切り出しを行う処理は、表示枠115内に表示された画像、すなわち、動画を構成する1枚のフレーム画像に対して行われた指定操作に応じて、順番的にそのフレーム画像よりも以降に位置する各フレーム画像についても行われることになる。つまり、表示枠115内の指定位置に対象被写体が配置されるように切り出しが行われた動画を生成させるにあたり、ユーザは、各フレーム画像に対して配置位置の指定操作を行う必要はなく、この点で操作負担の軽減が図られている。
なお、動画は、複数の画像から構成される画像群であって、該画像群が、所定の順番で連続した複数の画像で構成されたものと換言できる。
ここで、上記説明から理解されるように、本実施の形態では、表示枠115内の指定位置に対象被写体が配置されるように元画像からの切り出しを行う処理は、表示枠115内に表示された画像、すなわち、動画を構成する1枚のフレーム画像に対して行われた指定操作に応じて、順番的にそのフレーム画像よりも以降に位置する各フレーム画像についても行われることになる。つまり、表示枠115内の指定位置に対象被写体が配置されるように切り出しが行われた動画を生成させるにあたり、ユーザは、各フレーム画像に対して配置位置の指定操作を行う必要はなく、この点で操作負担の軽減が図られている。
なお、動画は、複数の画像から構成される画像群であって、該画像群が、所定の順番で連続した複数の画像で構成されたものと換言できる。
また、トラッキング開始ボタンI63が操作されたことに応じ、フレーミング画面103には、図48に例示するようなキャンセルボタンI64、及びストップボタンI65が表示される。ストップボタンI65は、プレビュー再生の停止を指示する機能を担うと共に、トラッキングの区間、すなわち、表示枠115内の指定された位置に対象被写体が配置されるように元画像からの切り出しを行う区間の終点を指示する機能を担う。
また、トラッキング開始ボタンI63が操作されたことに応じては、タイムラインI27内において、トラッキングの区間を示す区間バーI66の表示も開始される。
この区間バーI66は、トラッキングの開始フレーム(トラッキング開始ボタンI63が操作されたときにプレビューエリアI24において表示されていたフレーム)から、プレビュー再生の進行に応じて、図49のように徐々に延伸するバー表示とされ、該区間バーI66の延伸は、ストップボタンI65の操作等によりトラッキングの区間の終点が定まったことに応じて停止される。これにより、タイムラインI27上においてトラッキング区間が示される。
また、トラッキング開始ボタンI63が操作されたことに応じては、タイムラインI27内において、トラッキングの区間を示す区間バーI66の表示も開始される。
この区間バーI66は、トラッキングの開始フレーム(トラッキング開始ボタンI63が操作されたときにプレビューエリアI24において表示されていたフレーム)から、プレビュー再生の進行に応じて、図49のように徐々に延伸するバー表示とされ、該区間バーI66の延伸は、ストップボタンI65の操作等によりトラッキングの区間の終点が定まったことに応じて停止される。これにより、タイムラインI27上においてトラッキング区間が示される。
ここで、トラッキング開始ボタンI63の操作に応じたトラッキングの開始後、例えば対象被写体がフレームアウトする等の理由によりトラッキングが不能な状態となることもある。このようにトラッキングが不能な状態となった場合には、トラッキングが終了し、トラッキングが不能となったフレームの直前のフレームがトラッキング区間の終点として定まる。
また、トラッキング処理の対象としている動画の最後まで達した場合にも、トラッキングが終了し、この場合は該動画の最終フレームがトラッキング区間の終点として定まる。
また、トラッキング処理の対象としている動画の最後まで達した場合にも、トラッキングが終了し、この場合は該動画の最終フレームがトラッキング区間の終点として定まる。
フレーミング画面103において、ストップボタンI65が操作される、又は動画の最後まで達する、或いはトラッキング不能の何れかによってトラッキングが終了した場合には、図48の下部に示すようなリセットボタンI67がフレーミング画面103に表示される。
トラッキングの終了後にこのリセットボタンI67が操作されるか、或いはトラッキング中にキャンセルボタンI64が操作されると、フレーミング画面103がトラッキング開始前の状態(例えば図47の状態)に戻る。
トラッキングの終了後にこのリセットボタンI67が操作されるか、或いはトラッキング中にキャンセルボタンI64が操作されると、フレーミング画面103がトラッキング開始前の状態(例えば図47の状態)に戻る。
ここで、上記のように本実施の形態では、CPU71は、トラッキングボタンI62が操作されたことに応じて現れるトラッキングモード時のフレーミング画面103としての第1の画面では、画面上の操作を、ターゲット指定照準116によるターゲットに関する操作として認識している。一方、CPU71は、トラッキングボタンI62が操作される前のフレーミング画面103としての第2の画面では、画面上の操作を、画像から切り出す画像範囲の指定操作として認識している。
これにより、同一画面上で切り出し範囲の指定と、トラッキングターゲット又はその配置位置の指定の操作を明確に切り分けることができる。
これにより、同一画面上で切り出し範囲の指定と、トラッキングターゲット又はその配置位置の指定の操作を明確に切り分けることができる。
また、本実施の形態では、第2の画面で認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示が行われ(図44参照)、第1の画面で認識された操作に対応してターゲット指定照準116による指定位置を移動させる表示が行われる(図46参照)。
これによりユーザは、第2の画面の状態で操作を行ったときは、画像が移動、拡大、縮小、回転されることで、切り出し範囲の指定操作であることが明確に認識できる。同様に第1の画面の状態で操作を行ったときは、ターゲット指定照準116が移動されることで、ユーザはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。
これによりユーザは、第2の画面の状態で操作を行ったときは、画像が移動、拡大、縮小、回転されることで、切り出し範囲の指定操作であることが明確に認識できる。同様に第1の画面の状態で操作を行ったときは、ターゲット指定照準116が移動されることで、ユーザはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。
ここで、図47等で説明したトラッキング区間のプレビュー再生時には、処理対象の動画について前述した画像処理部32による画像処理(図14を参照)が行われる。すなわち、前述した揺れ補正(ST15)やトラッキング(ST16)、表示画角指定(ST17)、はみ出し防止(ST18)、及び平面投影及び切り出し(ST19)等の処理である。
CPU71は、このような画像処理部32による画像処理で得られる動画を、プレビュー動画としてプレビューエリアI24に表示させる制御を行う。
CPU71は、このような画像処理部32による画像処理で得られる動画を、プレビュー動画としてプレビューエリアI24に表示させる制御を行う。
また、本例では、このような画像処理部32による画像処理は、プレビューエリアI24においてポーズ状態で表示されるフレーム画像についても実行される。すなわち、図42に示したようなトラッキングモードに入る前のフレーミング画面103においてプレビューエリアI24に表示されるフレーム画像は、揺れ補正やはみ出し防止等の画像処理が施された画像とされる。
従って、本例では、プレビューエリアI24に表示されるフレーム画像については、はみ出し防止の処理により、前述したアベイラブルエリア62(図19参照)が算出されている。本例では、フレーミング画面103において、切り出し範囲の指定受付時にこのようなアベイラブルエリア62を考慮した表示制御を行う。
図50は、プレビュー表示される元画像について、前述したキャプチャードエリア61とアベイラブルエリア62と表示枠115との関係を例示している。
この図の例では、表示枠115の下辺がアベイラブルエリア62の下辺と一致した状態とされている。
この図の例では、表示枠115の下辺がアベイラブルエリア62の下辺と一致した状態とされている。
ここで、先の図42や図43に示したフレーミング画面103、すなわち、切り出し範囲の指定受付が可能な状態のフレーミング画面103において、例えば図50の操作Swとして示すような、元画像からの切り出し範囲を下方に移動させる指示操作が行われたとする。このような指示操作は、切り出し範囲内にアベイラブルエリア62外の画像部分を含ませることを指示する操作となる。
このように切り出し範囲内にアベイラブルエリア62外の画像部分を含ませる指示操作が行われた場合、本例では、図51に示すように、元画像を表示枠115に対して上方(切り出し範囲の移動指示方向)に移動させて、表示枠115内にアベイラブルエリア62外の画像部分が表示されるようにする。このとき、本例では、表示枠115内に表示させるアベイラブルエリア62外の画像部分については、例えばグレーアウト表示(図中の斜線部を参照)にする等、アベイラブルエリア62内の画像部分とは異なる表示態様で表示させる。また、本例では、表示枠115内にアベイラブルエリア62の画像部分が表示される場合には、表示枠115内においてアベイラブルエリア62の境界線L62を表す表示(例えば赤色等の所定色による太線)を表示する。
さらに本例では、切り出し範囲の指定操作は、アベイラブルエリア62に基づき制限する。
具体的に、本例では、上記説明のように図50に示した操作Swに応じて表示枠115内にアベイラブルエリア62外の画像部分を表示させるが、このような表示状態は、操作Swとしてのスワイプ操作が完了するまでの間(画面に対する接触状態が継続している間)の、一時的な期間のみ継続し、スワイプ操作が完了したことに応じ、表示枠115内にアベイラブルエリア62外の画像部分が含まれなくなるように、表示枠115に対する元画像の位置を調整する。つまり、例えば図50に示す表示枠115と元画像の位置関係のように、表示枠115の下辺がアベイラブルエリア62の下辺に一致する状態とする。このように、切り出し範囲の指定操作が、アベイラブルエリア62に基づき制限される。
具体的に、本例では、上記説明のように図50に示した操作Swに応じて表示枠115内にアベイラブルエリア62外の画像部分を表示させるが、このような表示状態は、操作Swとしてのスワイプ操作が完了するまでの間(画面に対する接触状態が継続している間)の、一時的な期間のみ継続し、スワイプ操作が完了したことに応じ、表示枠115内にアベイラブルエリア62外の画像部分が含まれなくなるように、表示枠115に対する元画像の位置を調整する。つまり、例えば図50に示す表示枠115と元画像の位置関係のように、表示枠115の下辺がアベイラブルエリア62の下辺に一致する状態とする。このように、切り出し範囲の指定操作が、アベイラブルエリア62に基づき制限される。
上記の境界線L62を表す表示やグレーアウト表示等、アベイラブルエリア62を表現する表示を行うことで、アベイラブルエリア62内で切り出し範囲の指定が可能であることをユーザに理解させ易くなる。
また、上記のようにアベイラブルエリア62に基づき切り出し範囲の指定操作を制限する表示を行うことで、ユーザに切り出し範囲の変更操作が制限される状況を理解させ易くなる。
また、上記のようにアベイラブルエリア62に基づき切り出し範囲の指定操作を制限する表示を行うことで、ユーザに切り出し範囲の変更操作が制限される状況を理解させ易くなる。
本例では、これらアベイラブルエリア62を表現する表示制御、アベイラブルエリア62に基づく切り出し範囲の指定操作制限は、スワイプ操作による縦横斜め方向の範囲指定時に限らず、前述した縮小操作や回転操作による切り出し範囲の指定操作の際にも行われる。
なお、アベイラブルエリア62を表現する表示については、図51に示したようなグレーアウト表示に限らず、図52のような黒塗り表示とすることも考えられる。
また、ズームアウト表示状態のプレビューエリアI24において(図33等参照)、表示枠115外の領域にアベイラブルエリア62を表現する表示を行うこともできる。
また、ズームアウト表示状態のプレビューエリアI24において(図33等参照)、表示枠115外の領域にアベイラブルエリア62を表現する表示を行うこともできる。
また、上記では、アベイラブルエリア62を超える操作を一時的に許容(スワイプ操作完了までの許容)する例を挙げたが、アベイラブルエリア62を超える操作に対し、表示枠115に対する元画像の移動を、表示枠115内にアベイラブルエリア62外の画像部分が含まれない範囲で停止させる等として、アベイラブルエリア62を超える操作自体が不能となるようにすることもできる。
[エクスポート画面について]
続いて、エクスポート画面108について説明する。
図53に例示するように、エクスポート画面108には、切出画像の最終出力サイズを選択するためのサイズ選択ダイアログI70が設けられ、サイズ選択ダイアログI70には、ダイアログタイトルI70aと、フルHDボタンI70bと、HDボタンI70cとが配置されている。
本例では、エクスポートボタンI29が操作されたことに応じて表示される初期状態のエクスポート画面108は、プレビュー画面102上にオーバーレイ表示される。サイズ選択ダイアログI70の外部をタップするとプレビュー画面102に戻ることができる。
続いて、エクスポート画面108について説明する。
図53に例示するように、エクスポート画面108には、切出画像の最終出力サイズを選択するためのサイズ選択ダイアログI70が設けられ、サイズ選択ダイアログI70には、ダイアログタイトルI70aと、フルHDボタンI70bと、HDボタンI70cとが配置されている。
本例では、エクスポートボタンI29が操作されたことに応じて表示される初期状態のエクスポート画面108は、プレビュー画面102上にオーバーレイ表示される。サイズ選択ダイアログI70の外部をタップするとプレビュー画面102に戻ることができる。
サイズ選択ダイアログI70において、フルHDボタンI70bをタップするとフルHDサイズでのレンダリングが開始され、HDボタンI70cをタップするとHDサイズでのレンダリングが開始される。
なお、フルHDボタンI70bについては、フルHDでのレンダリングが不能な機種ではグレーアウト表示され、タップ時にエラーダイアログが表示される。
なお、フルHDボタンI70bについては、フルHDでのレンダリングが不能な機種ではグレーアウト表示され、タップ時にエラーダイアログが表示される。
図54は、レンダリング中のエクスポート画面108を例示している。
レンダリング中のエクスポート画面108においては、処理中ステータスエリアI71において、プログレスバーI71aが表示されると共に、処理中表記エリアI71b内に処理中文言と処理中アニメーションが表示される。
また、レンダリング中のエクスポート画面108にはキャンセルボタンI72が設けられ、キャンセルボタンI72が操作されると不図示の確認ダイアログが表示され、ダイアログ上でOKが選択されるとレンダリング処理がキャンセルされ、プレビュー画面102に戻る。
レンダリング中のエクスポート画面108においては、処理中ステータスエリアI71において、プログレスバーI71aが表示されると共に、処理中表記エリアI71b内に処理中文言と処理中アニメーションが表示される。
また、レンダリング中のエクスポート画面108にはキャンセルボタンI72が設けられ、キャンセルボタンI72が操作されると不図示の確認ダイアログが表示され、ダイアログ上でOKが選択されるとレンダリング処理がキャンセルされ、プレビュー画面102に戻る。
図55は、レンダリング完了後のエクスポート画面108を例示している。
この場合のエクスポート画面108には、プレビューエリアI24(表示枠115を含む)、再生ボタンI25、再生時間表示エリアI26、タイムラインI27が設けられ、レンダリングされた動画について再生ボタンI25やタイムラインI27内の再生位置バーI27a等を用いたプレビュー再生を行うことが可能とされる。
また、この場合のエクスポート画面108には、戻るボタンI35とシェアボタンI73が設けられている。戻るボタンI35が操作されるとプレビュー画面102に戻る。シェアボタンI73が操作されると、SNSの選択画面(OS標準)が表示される。この選択画面を介して、ユーザは画像処理後の動画を所望のSNSサイトにアップロードすることが可能とされる。
この場合のエクスポート画面108には、プレビューエリアI24(表示枠115を含む)、再生ボタンI25、再生時間表示エリアI26、タイムラインI27が設けられ、レンダリングされた動画について再生ボタンI25やタイムラインI27内の再生位置バーI27a等を用いたプレビュー再生を行うことが可能とされる。
また、この場合のエクスポート画面108には、戻るボタンI35とシェアボタンI73が設けられている。戻るボタンI35が操作されるとプレビュー画面102に戻る。シェアボタンI73が操作されると、SNSの選択画面(OS標準)が表示される。この選択画面を介して、ユーザは画像処理後の動画を所望のSNSサイトにアップロードすることが可能とされる。
<7.UIに係る処理>
上記により説明した画像処理に係るUIのうち、特にフレーミング画面103のUIに係る処理について図56から図58のフローチャートを参照して説明する。
以下で説明する処理は、CPU71がUI処理部36として実行する処理であり、CPU71は、前述した動画処理のためのアプリケーションプログラムに従ってこれらの処理を実行する。
上記により説明した画像処理に係るUIのうち、特にフレーミング画面103のUIに係る処理について図56から図58のフローチャートを参照して説明する。
以下で説明する処理は、CPU71がUI処理部36として実行する処理であり、CPU71は、前述した動画処理のためのアプリケーションプログラムに従ってこれらの処理を実行する。
図56において、先ずCPU71はステップS101で、フレーミング画面103に遷移すべき状態となるまで待機する。具体的に本例では、プレビュー画面102におけるフレームボタンB1が操作されるまで待機する。
フレームボタンB1が操作されフレーミング画面103に遷移すべき状態となったことに応じ、CPU71はステップS102で先頭フレーム出力処理を実行する。すなわち、前述したように動画リストエリアI21でフォーカス中の動画について、先頭フレームの画像がプレビューエリアI24に表示されたフレーミング画面103を表示させる処理を行う(図42参照)。先の説明から理解されるように、フレームボタンB1の操作に応じて表示される初期状態のフレーミング画面103では、プレビューエリアI24はズームイン表示状態であり、フレーミング画面103には縮小ボタンI30が表示される。
また、本例では、プレビューエリアI24に表示されるフレーム画像については、前述した編集処理部32によるゆれ補正やはみ出し防止の処理(アベイラブルエリア62の算出)が行われた画像を表示する。
フレームボタンB1が操作されフレーミング画面103に遷移すべき状態となったことに応じ、CPU71はステップS102で先頭フレーム出力処理を実行する。すなわち、前述したように動画リストエリアI21でフォーカス中の動画について、先頭フレームの画像がプレビューエリアI24に表示されたフレーミング画面103を表示させる処理を行う(図42参照)。先の説明から理解されるように、フレームボタンB1の操作に応じて表示される初期状態のフレーミング画面103では、プレビューエリアI24はズームイン表示状態であり、フレーミング画面103には縮小ボタンI30が表示される。
また、本例では、プレビューエリアI24に表示されるフレーム画像については、前述した編集処理部32によるゆれ補正やはみ出し防止の処理(アベイラブルエリア62の算出)が行われた画像を表示する。
次いで、CPU71はステップS103で、トラッキング区間が設定された動画であるか否かを判定する。すなわち、フォーカス中の動画について、前述したトラッキング区間が指定された動画であるか否かを判定する。
トラッキング区間が設定された動画であると判定した場合、CPU71はステップS104でトラッキング区間のバーを表示するための処理を行う。具体的には、フレーミング画面103のタイムラインI27において前述した区間バーI66(図48参照)を表示させる処理を行う。その後、処理をステップS105に進める。
一方、トラッキング区間が設定された動画でなければ、CPU71はステップS104の処理をパスしてステップS105に処理を進める。
トラッキング区間が設定された動画であると判定した場合、CPU71はステップS104でトラッキング区間のバーを表示するための処理を行う。具体的には、フレーミング画面103のタイムラインI27において前述した区間バーI66(図48参照)を表示させる処理を行う。その後、処理をステップS105に進める。
一方、トラッキング区間が設定された動画でなければ、CPU71はステップS104の処理をパスしてステップS105に処理を進める。
ステップS105でCPU71は、ポーズ状態か否か、すなわちプレビューエリアI24におけるプレビュー再生が一時停止状態か否かを判定する。
ポーズ状態あれば、CPU71は図57に示す切り出し範囲指定、及びトラッキングに係る処理に移行する(詳細は後述する)。
ポーズ状態あれば、CPU71は図57に示す切り出し範囲指定、及びトラッキングに係る処理に移行する(詳細は後述する)。
一方、ポーズ状態でない、つまりプレイ状態である場合、CPU71はステップS107に進み、トラッキング区間があるか否か、すなわちプレビュー再生対象の動画がトラッキング区間の指定が行われた動画であるか否かを判定する。
トラッキング区間がなければ、CPU71はステップS108に進み、現在の切り出し範囲を維持した切出動画の表示開始処理を実行する。このステップS108の表示開始処理としては、現在の表示枠115によって指定されている切り出し範囲で元画像から切り出しが行われた切出画像を、プレビューエリアI24において表示させる処理を開始する。なお、前述のように本例では、プレビュー再生する動画についても画像処理部32によるゆれ補正やはみ出し防止の処理を実行させる。
トラッキング区間がなければ、CPU71はステップS108に進み、現在の切り出し範囲を維持した切出動画の表示開始処理を実行する。このステップS108の表示開始処理としては、現在の表示枠115によって指定されている切り出し範囲で元画像から切り出しが行われた切出画像を、プレビューエリアI24において表示させる処理を開始する。なお、前述のように本例では、プレビュー再生する動画についても画像処理部32によるゆれ補正やはみ出し防止の処理を実行させる。
また、ステップS107において、トラッキング区間があれば、CPU71はステップS109に進み、トラッキング区間においてトラッキング処理を作用させた切出動画の表示開始処理を実行する。このステップS109の表示開始処理としては、指定されたトラッキング区間において前述した画像処理部32によるトラッキングの処理(STST16)を作用させて、表示枠115内の指定位置に対象被写体が配置されるように元画像からの切り出しが行われた切出画像をプレビューエリアI24において表示させる処理を開始する。
ステップS108、又はステップS109の表示開始処理を実行したことに応じ、CPU71はステップS110及びS111の処理により、ポーズ状態(つまりプレビュー再生の一時停止操作が行われた状態)、再生終了状態(末尾フレームまでの再生が終了した状態)の何れかの到来を待機する。
ステップS111で再生終了状態と判定した場合、CPU71はステップS105に戻る。一方、ステップS110でポーズ状態と判定した場合、CPU71はステップS112で再生停止処理、すなわち再生中の動画のプレビュー再生を一時停止させ、ステップS105に戻る。
ステップS111で再生終了状態と判定した場合、CPU71はステップS105に戻る。一方、ステップS110でポーズ状態と判定した場合、CPU71はステップS112で再生停止処理、すなわち再生中の動画のプレビュー再生を一時停止させ、ステップS105に戻る。
続いて、図57の処理を説明する。
前述のように図57の処理は、ステップ105でポーズ状態と判定された場合に実行される。
先ず、CPU71は、ステップS115からS120の処理により、縮小ボタンI30の操作(S115)、拡大ボタンI31の操作(S116)、切り出し範囲の移動操作(S117)、回転操作(S118)、拡大/縮小操作(S119)、トラッキングボタンI62(S120)の操作を待機する。
ステップS117の切り出し範囲の移動操作とは、本例では表示枠115内でのスワイプ操作が該当する。また、ステップS118の回転操作は、表示枠115内での2本指による回転操作や、回転ボタンI61の操作を包括的に表す。さらに、ステップS118の拡大/縮小操作は、本例では表示枠115内でのピンチアウト/ピンチインの操作が該当する。
ここで、ステップS120でトラッキングボタンI62の操作がないと判定した場合、CPU71は図56に示したステップS105に戻る。
前述のように図57の処理は、ステップ105でポーズ状態と判定された場合に実行される。
先ず、CPU71は、ステップS115からS120の処理により、縮小ボタンI30の操作(S115)、拡大ボタンI31の操作(S116)、切り出し範囲の移動操作(S117)、回転操作(S118)、拡大/縮小操作(S119)、トラッキングボタンI62(S120)の操作を待機する。
ステップS117の切り出し範囲の移動操作とは、本例では表示枠115内でのスワイプ操作が該当する。また、ステップS118の回転操作は、表示枠115内での2本指による回転操作や、回転ボタンI61の操作を包括的に表す。さらに、ステップS118の拡大/縮小操作は、本例では表示枠115内でのピンチアウト/ピンチインの操作が該当する。
ここで、ステップS120でトラッキングボタンI62の操作がないと判定した場合、CPU71は図56に示したステップS105に戻る。
ステップS115で縮小ボタンI30の操作があったと判定した場合、CPU71はステップS121に進んでプレビューエリアI24をズームアウト表示状態(図43参照)とする処理を実行した上で、ステップS122で拡大ボタンI31の表示処理を行い、図56のステップS105に戻る。ここで、本例において、ステップS121のズームアウト表示の処理では、元画像における表示枠115外の画像部分についてはグレーアウト表示を行う。
ステップS116で拡大ボタンI31の操作があったと判定した場合、CPU71はステップS123に進んでプレビューエリアI24をズームイン表示状態(図42参照)とする処理を実行した上で、ステップS124で縮小ボタンI30の表示処理を行い、ステップS105に戻る。
また、ステップS117で切り出し範囲の移動操作があったと判定した場合、CPU71はステップS125に進み、操作に応じて元画像を動かす処理を実行し、続くステップS126で切り出し範囲の設定処理を実行し、ステップS105に戻る。
さらに、ステップS118で回転操作があったと判定した場合、CPU71はステップS127で操作に応じて元画像を動かす処理を実行し、続くステップS128で切り出し範囲の設定処理を実行し、ステップS105に戻る。
また、ステップS119で拡大/縮小操作があったと判定した場合、CPU71はステップS129で操作に応じて元画像を動かす処理を実行し、続くステップS130で切り出し範囲の設定処理を実行し、ステップS105に戻る。
ここで、本例では、ステップS125、S127、S129の操作に応じて元画像を動かす処理において、CPU71は必要に応じ、前述したアベイラブルエリア62を表現する表示の処理や、アベイラブルエリア62に基づき切り出し範囲の指定操作(具体的に本例では切り出し範囲の移動操作、回転操作、拡大/縮小操作)が制限されることを示す表示の処理を実行する。
さらに、ステップS118で回転操作があったと判定した場合、CPU71はステップS127で操作に応じて元画像を動かす処理を実行し、続くステップS128で切り出し範囲の設定処理を実行し、ステップS105に戻る。
また、ステップS119で拡大/縮小操作があったと判定した場合、CPU71はステップS129で操作に応じて元画像を動かす処理を実行し、続くステップS130で切り出し範囲の設定処理を実行し、ステップS105に戻る。
ここで、本例では、ステップS125、S127、S129の操作に応じて元画像を動かす処理において、CPU71は必要に応じ、前述したアベイラブルエリア62を表現する表示の処理や、アベイラブルエリア62に基づき切り出し範囲の指定操作(具体的に本例では切り出し範囲の移動操作、回転操作、拡大/縮小操作)が制限されることを示す表示の処理を実行する。
また、ステップS120でトラッキングボタンI62の操作があったと判定した場合、CPU71はステップS131のトラッキング対応処理を実行する。
図58は、ステップS131のトラッキング対応処理のフローチャートである。
先ず、CPU71はステップS201で、画面内容更新処理を実行する。すなわち、フレーミング画面103の画面内容を、図45に例示したトラッキングモード時の画面内容に更新する処理を実行する。
先ず、CPU71はステップS201で、画面内容更新処理を実行する。すなわち、フレーミング画面103の画面内容を、図45に例示したトラッキングモード時の画面内容に更新する処理を実行する。
ステップS201の更新処理を実行したことに応じ、CPU71は、ステップS202及びS203の処理により、位置指定操作(S202)、戻るボタンI35の操作(S203)を待機する。ステップS202の位置指定操作は、本例ではターゲット指定照準116の位置を指定する操作(本例では表示枠115内の任意位置をタップする操作、又はターゲット指定照準116をドラッグして移動させる操作)が該当する。
ここで、CPU71は、ステップS203で戻るボタンI35の操作があったと判定した場合には、プレビュー画面102への遷移処理を行う。
ここで、CPU71は、ステップS203で戻るボタンI35の操作があったと判定した場合には、プレビュー画面102への遷移処理を行う。
ステップS202で位置指定操作があったと判定した場合、CPU71はステップS204で対象被写体の位置及びその配置位置の設定処理を行う。すなわち、トラッキングの対象被写体の位置、及び該対象被写体の切出画像の画枠内での配置位置を設定する処理を実行する。
ステップS204に続くステップS205でCPU71は、画面内容更新処理を実行する。このステップS205の更新処理では、フレーミング画面103の画面内容を先の図47に例示したようにトラッキング開始ボタンI63を含む画面内容に更新する処理を行う。
そして、さらに続くステップS205でCPU71は、トラッキング開始操作、すなわちトラッキング開始ボタンI63の操作を待機する。
トラッキング開始ボタンI63が操作され、トラッキング開始操作があったと判定した場合、CPU71はステップS207で画面内容更新処理を実行する。ステップS207の更新処理では、フレーミング画面103の画面内容を、先の図48で例示したようなキャンセルボタンI64、及びストップボタンI65を含む画面内容に更新する。
そして、さらに続くステップS205でCPU71は、トラッキング開始操作、すなわちトラッキング開始ボタンI63の操作を待機する。
トラッキング開始ボタンI63が操作され、トラッキング開始操作があったと判定した場合、CPU71はステップS207で画面内容更新処理を実行する。ステップS207の更新処理では、フレーミング画面103の画面内容を、先の図48で例示したようなキャンセルボタンI64、及びストップボタンI65を含む画面内容に更新する。
ステップS207に続くステップS208でCPU71は、対象被写体の指定位置及び指定配置位置に従って切り出された切出画像の表示開始処理を行う。すなわち、ステップS202で指定された位置の被写体が、同じく指定された画枠内の位置に配置されるように切り出しが行われた切出画像のプレビューエリアI24での表示を開始させる。
さらに、CPU71はステップS208に続くステップS209で、トラッキング区間のバー延伸処理を開始する。すなわち、図48に例示したような区間バーI66をタイムラインI27内において延伸させる表示処理を開始する。
ステップS209の延伸開始処理を実行したことに応じ、CPU71はステップS210からS212の処理により、ストップボタンI65の操作又は動画の最後まで到達(S210)、トラッキング不能状態の到来(S211)、キャンセルボタンI64の操作(S212)を待機する。
ステップS210でストップボタンI65の操作があった、又は動画の最後まで到達したと判定した場合、CPU71はステップS213に進み、ステップS208で開始させた切出動作の表示、及びステップS209で開始させたバー延伸の停止処理を実行し、続くステップS214でトラッキング区間の設定を行う。
また、CPU71はステップS211でトラッキング不能状態(例えば対象被写体のフレーアウト等)であると判定した場合にも、ステップS214に進んでトラッキング区間の設定を行う。
ここで、ステップS212でキャンセルボタンI64の操作があったと判定した場合、CPU71はステップS201に戻る。これにより、フレーミング画面103がトラッキング開始前の状態(例えば図47の状態)に戻される。
ステップS210でストップボタンI65の操作があった、又は動画の最後まで到達したと判定した場合、CPU71はステップS213に進み、ステップS208で開始させた切出動作の表示、及びステップS209で開始させたバー延伸の停止処理を実行し、続くステップS214でトラッキング区間の設定を行う。
また、CPU71はステップS211でトラッキング不能状態(例えば対象被写体のフレーアウト等)であると判定した場合にも、ステップS214に進んでトラッキング区間の設定を行う。
ここで、ステップS212でキャンセルボタンI64の操作があったと判定した場合、CPU71はステップS201に戻る。これにより、フレーミング画面103がトラッキング開始前の状態(例えば図47の状態)に戻される。
ステップS214の設定処理に続くステップS215でCPU71は、リセットボタンI67(図48の下部参照)を含む画面に更新する処理を実行し、ステップS216及びS217の処理によりリセットボタンI67の操作(S216)、戻るボタンI35の操作(S217)を待機する。ステップS216でリセットボタンI67の操作があったと判定した場合、CPU71はステップS201に戻る。これにより、上記したキャンセルボタンI64が操作された場合と同様に、フレーミング画面103がトラッキング開始前の状態(例えば図47の状態)に戻される。
また、ステップS217で戻るボタンI35の操作があったと判定した場合、CPU71はプレビュー画面102への遷移処理を実行する。
また、ステップS217で戻るボタンI35の操作があったと判定した場合、CPU71はプレビュー画面102への遷移処理を実行する。
<8.UIについての変形例>
ここで、画像処理に係るUIの詳細については各種の変形例が考えられる。
例えば、図59に示す変形例としてのフレーミング画面103’のように、画面内に拡大/視点変更モードボタンB4、傾き補正モードボタンB5、トラッキングモードボタンB6を配置し、これらボタンが示す各モードにおいてそれぞれ異なる種別の操作受付を行うようにすることもできる。
具体的に、拡大/視点変更モードボタンB4は、元画像の拡大/縮小や元画像の移動による切り出し範囲の指定操作を受け付ける拡大/視点変更モードへの移行を指示するボタンとされ、傾き補正モードボタンB5は、元画像の回転による切り出し範囲の指定操作を受け付ける傾き補正モードへの移行を指示するボタンとされる。トラッキングモードボタンB6は、前述したトラッキングボタンI62と同様、トラッキングモードへの移行を指示するモードである。
ここで、画像処理に係るUIの詳細については各種の変形例が考えられる。
例えば、図59に示す変形例としてのフレーミング画面103’のように、画面内に拡大/視点変更モードボタンB4、傾き補正モードボタンB5、トラッキングモードボタンB6を配置し、これらボタンが示す各モードにおいてそれぞれ異なる種別の操作受付を行うようにすることもできる。
具体的に、拡大/視点変更モードボタンB4は、元画像の拡大/縮小や元画像の移動による切り出し範囲の指定操作を受け付ける拡大/視点変更モードへの移行を指示するボタンとされ、傾き補正モードボタンB5は、元画像の回転による切り出し範囲の指定操作を受け付ける傾き補正モードへの移行を指示するボタンとされる。トラッキングモードボタンB6は、前述したトラッキングボタンI62と同様、トラッキングモードへの移行を指示するモードである。
図60の遷移図に示すように、トラッキングモードボタンB6が操作されると、トラッキング対象の指定やトラッキング区間指定を行うための操作方法を記したガイドダイアログが表示され、該ダイアログに表示されたOKボタンが操作されると、タッチ操作によりトラッキング対象被写体の位置及び画枠内での配置位置の指定が可能とされる。この場合、スタートボタンB7の操作によりトラッキングを開始させることができ、また、トラッキング中に表示されるストップボタンB8の操作によりトラッキングの終了点を指示することができる。トラッキングの終了点が定まったことに応じてはOKボタンB9とリセットボタンB10が表示されるが、OKボタンB9の操作により処理内容が確定され、リセットボタンB10の操作により処理内容が破棄されてフレーミング画面103’の内容が図59に示した初期状態の内容に戻る。
なお、トラッキングの対象被写体の指定や対象被写体の画枠内での配置位置を指定するためのターゲット指定照準116の形状についてはこれまでで図示した形状に限定されず、例えば図61に示すような形状を採用することもでき、具体的な形状は限定されない。
図62は、フレーミング画面103’において拡大/視点変更モードボタンB4が操作された場合の画面遷移の例を示している。
拡大/視点変更モードボタンB4が操作されると、画面上に拡大/視点変更モードで可能な操作の説明が記されたガイドダイアログが表示され、該ダイアログに表示されたOKボタンが操作されると、表示枠115に対する操作によって元画像の拡大/縮小や元画像の移動による切り出し範囲の指定が可能とされる。この場合もOKボタンB9やリセットボタンB10の操作により、画面内容が初期状態に戻される。
拡大/視点変更モードボタンB4が操作されると、画面上に拡大/視点変更モードで可能な操作の説明が記されたガイドダイアログが表示され、該ダイアログに表示されたOKボタンが操作されると、表示枠115に対する操作によって元画像の拡大/縮小や元画像の移動による切り出し範囲の指定が可能とされる。この場合もOKボタンB9やリセットボタンB10の操作により、画面内容が初期状態に戻される。
図63は、フレーミング画面103’において傾き補正モードボタンB5が操作された場合の画面遷移の例を示している。
傾き補正モードボタンB5が操作されると、画面上に傾き補正モードで可能な操作の説明が記されたガイドダイアログが表示され、該ダイアログに表示されたOKボタンが操作されると、図示のように左回転ボタンB11、右回転ボタンB12が表示され、これらのボタン操作によって表示枠115に対する元画像の回転を指示することができる。この場合もOKボタンB9やリセットボタンB10の操作により、画面内容が初期状態に戻る。
傾き補正モードボタンB5が操作されると、画面上に傾き補正モードで可能な操作の説明が記されたガイドダイアログが表示され、該ダイアログに表示されたOKボタンが操作されると、図示のように左回転ボタンB11、右回転ボタンB12が表示され、これらのボタン操作によって表示枠115に対する元画像の回転を指示することができる。この場合もOKボタンB9やリセットボタンB10の操作により、画面内容が初期状態に戻る。
また、これまでの説明では、アスペクト比の指定がアスペクト比設定画面106において行われるものとしたが、例えば図64に示すようなアスペクト比設定ボタンI28’を配置して、該アスペクト比設定ボタンI28’の操作に応じて図65に示すようなアスペクト比の選択ダイアログを画面上に表示し、該選択ダイアログにおいてアスペクト比の指定を受け付けるようにすることもできる。
ここで、図64に示したアスペクト比設定ボタンI28’はプレビュー画面102のみではなくフレーミング画面103を始めとした各種の画像処理に係る画面上に配置しておき、各種の画面上に呼び出し可能とすることができる。このとき、ダイアログ上でアスペクト比の指定操作が行われると、ダイアログを表示状態から非表示状態として、ダイアログ表示直前の画面状態に戻すこともできる。なお、アスペクト比が指定された場合は、表示枠115を指定されたアスペクト比で表示する。
なお、アスペクト比設定ボタンI28’の表示形態は上記で例示した表示形態に限定されず、例えば図66に示すアスペクト比設定ボタンI28’’のように現在設定されているアスペクト比を表記した形態の画像を画面内に配置することもできる(図中の例ではプレビューエリアI24近傍に配置する例としている)。このアスペクト比設定ボタンI28’’の操作に応じて各種の画面上において図65のダイアログを表示して縦横比の指定を受け付ける。
ここで、図64に示したアスペクト比設定ボタンI28’はプレビュー画面102のみではなくフレーミング画面103を始めとした各種の画像処理に係る画面上に配置しておき、各種の画面上に呼び出し可能とすることができる。このとき、ダイアログ上でアスペクト比の指定操作が行われると、ダイアログを表示状態から非表示状態として、ダイアログ表示直前の画面状態に戻すこともできる。なお、アスペクト比が指定された場合は、表示枠115を指定されたアスペクト比で表示する。
なお、アスペクト比設定ボタンI28’の表示形態は上記で例示した表示形態に限定されず、例えば図66に示すアスペクト比設定ボタンI28’’のように現在設定されているアスペクト比を表記した形態の画像を画面内に配置することもできる(図中の例ではプレビューエリアI24近傍に配置する例としている)。このアスペクト比設定ボタンI28’’の操作に応じて各種の画面上において図65のダイアログを表示して縦横比の指定を受け付ける。
<9.UIについてのまとめ>
上記のように実施の形態の情報処理装置(例えば携帯端末2)は、所定の画像を表示エリア(表示枠115)に表示する第1の画面において、トラッキング対象の表示エリアにおける配置位置の指定を受け付ける受付部(同36a)を備えるものである。
例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
これにより、ユーザに、例えば図13や図46のような手法で、対象被写体の表示エリア内での配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
上記のように実施の形態の情報処理装置(例えば携帯端末2)は、所定の画像を表示エリア(表示枠115)に表示する第1の画面において、トラッキング対象の表示エリアにおける配置位置の指定を受け付ける受付部(同36a)を備えるものである。
例えば表示画面上で画像内容を認識できる状態で、ユーザがトラッキングの対象被写体を配置する位置(表示エリア内の位置)を指定できるようにする。
これにより、ユーザに、例えば図13や図46のような手法で、対象被写体の表示エリア内での配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
また、実施の形態の情報処理装置においては、所定の画像は元画像から切り出した画像である。
すなわち、表示エリア内に表示される画像は、元画像からの切出画像とされる。
これにより、画枠内にトラッキングの対象被写体が含まれるように元画像から画像を切り出す画像処理が行われる場合において、ユーザに画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
すなわち、表示エリア内に表示される画像は、元画像からの切出画像とされる。
これにより、画枠内にトラッキングの対象被写体が含まれるように元画像から画像を切り出す画像処理が行われる場合において、ユーザに画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
さらに、実施の形態の情報処理装置においては、受付部は、トラッキング対象の指定を受け付けている。
すなわち、画像内の被写体のうちから、トラッキング対象としての被写体の指定を受け付けるようにする。
これにより、ユーザは画像内の任意の被写体をトラッキングの対象被写体として指定することが可能となり、この点での作画自由度の向上が図られる。
すなわち、画像内の被写体のうちから、トラッキング対象としての被写体の指定を受け付けるようにする。
これにより、ユーザは画像内の任意の被写体をトラッキングの対象被写体として指定することが可能となり、この点での作画自由度の向上が図られる。
また、実施の形態の情報処理装置においては、指定された配置位置に基づく表示エリア内の位置にトラッキング対象が配置されるように所定の画像の表示制御を行う表示制御部(同36b)を備えている。
例えばユーザが指定したトラッキング対象被写体の配置位置を反映した画像が表示されるようにする。
これによりユーザはトラッキング対象被写体の配置位置の指定が適切であるか否かを確認でき、トラッキング対象被写体の配置位置の指定作業について、良好な作業環境を提供することができる。
例えばユーザが指定したトラッキング対象被写体の配置位置を反映した画像が表示されるようにする。
これによりユーザはトラッキング対象被写体の配置位置の指定が適切であるか否かを確認でき、トラッキング対象被写体の配置位置の指定作業について、良好な作業環境を提供することができる。
さらに、実施の形態の情報処理装置においては、受付部は、元画像からの切り出す画像範囲の指定を受け付けている。
例えば、表示画面上で、ユーザが元画像のうちで切出画像の画枠に含まれる範囲を指定できるようにする。
具体的には、例えば図12Aから図12Bや図44のように、表示範囲内に現れる元画像(フレーム画像全体)を移動させたり、図12Cで説明したように元画像に対する拡大や縮小の操作を行って、切出画像として用いる範囲、つまり切り出し範囲CL’を指定することができる。これにより撮像後において、元画像から任意の切り出し範囲を指定し、望ましい画像範囲を採用する画像編集が可能となる。
例えば、表示画面上で、ユーザが元画像のうちで切出画像の画枠に含まれる範囲を指定できるようにする。
具体的には、例えば図12Aから図12Bや図44のように、表示範囲内に現れる元画像(フレーム画像全体)を移動させたり、図12Cで説明したように元画像に対する拡大や縮小の操作を行って、切出画像として用いる範囲、つまり切り出し範囲CL’を指定することができる。これにより撮像後において、元画像から任意の切り出し範囲を指定し、望ましい画像範囲を採用する画像編集が可能となる。
さらにまた、実施の形態の情報処理装置においては、表示制御部は、第1の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像(ターゲット指定照準116)を表示させている。
例えば表示エリア上に、配置位置の指定のための照準となる操作画像を重畳表示させ、ユーザが操作画像により、画枠内の位置を指定できるようにする。
ユーザはターゲット指定照準116を移動させることで、トラッキングターゲットの切り出し画像内での配置位置を指定できる。特にターゲット指定照準116によって、直感的な配置位置指定の操作が可能となり、操作性を向上させることができる。
例えば表示エリア上に、配置位置の指定のための照準となる操作画像を重畳表示させ、ユーザが操作画像により、画枠内の位置を指定できるようにする。
ユーザはターゲット指定照準116を移動させることで、トラッキングターゲットの切り出し画像内での配置位置を指定できる。特にターゲット指定照準116によって、直感的な配置位置指定の操作が可能となり、操作性を向上させることができる。
また、実施の形態の情報処理装置においては、受付部は、操作画像に対する操作に基づき、トラッキング対象の指定とトラッキング対象の配置位置の指定を受け付けている。
例えば、表示エリア上で、或る箇所を操作画像で指定する操作により、その部分の被写体をトラッキングターゲットとし、かつその操作画像の位置を、トラッキングターゲットの配置位置として受け付けるようにする。
このようにすることで、ユーザはターゲット指定照準116の移動により、トラッキングターゲットの指定と、その配置位置を同時に指定でき、操作性を向上させることができる。
例えば、表示エリア上で、或る箇所を操作画像で指定する操作により、その部分の被写体をトラッキングターゲットとし、かつその操作画像の位置を、トラッキングターゲットの配置位置として受け付けるようにする。
このようにすることで、ユーザはターゲット指定照準116の移動により、トラッキングターゲットの指定と、その配置位置を同時に指定でき、操作性を向上させることができる。
さらに、実施の形態の情報処理装置においては、所定の画像は元画像から切り出した画像であり、受付部は、画面に対する操作として、元画像から切り出す範囲の指定と操作画像によるトラッキング対象に関する操作を受け付けている。
例えば表示画面上で元画像から切り出される範囲を表示させ、その画像に操作画像を表示させる。その画面上で、切り出し範囲の変更や操作画像の移動を受け付けるようにする。
このようにすることで、ユーザは切り出し範囲の指定とターゲット指定照準116の移動によるトラッキングターゲットの指定や配置位置の指定をシームレスに行うことができる。
具体的には例えば、切り出し範囲を移動させることで、トラッキングターゲットにしたい被写体が切り出し範囲内で所望の配置位置となるようにする。そしてその被写体をターゲット指定照準116で指定する(図12,図13や図44,図46参照)。このようにすれば、ユーザがターゲットを認識しながら切り出し範囲やターゲット配置位置を指定する操作を直感的で容易なものとすることができる。
例えば表示画面上で元画像から切り出される範囲を表示させ、その画像に操作画像を表示させる。その画面上で、切り出し範囲の変更や操作画像の移動を受け付けるようにする。
このようにすることで、ユーザは切り出し範囲の指定とターゲット指定照準116の移動によるトラッキングターゲットの指定や配置位置の指定をシームレスに行うことができる。
具体的には例えば、切り出し範囲を移動させることで、トラッキングターゲットにしたい被写体が切り出し範囲内で所望の配置位置となるようにする。そしてその被写体をターゲット指定照準116で指定する(図12,図13や図44,図46参照)。このようにすれば、ユーザがターゲットを認識しながら切り出し範囲やターゲット配置位置を指定する操作を直感的で容易なものとすることができる。
さらにまた、実施の形態の情報処理装置においては、受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替えている。
例えば表示画面上のアイコンにより用意される操作により、画面上で行われるユーザ操作の認識モードを切り替えるようにする。
例えばトラッキングボタンI62の操作に応じて、操作入力を切り出し範囲の指定操作とターゲット指定照準116の移動操作とを切り分けて認識する。このようにすることで同一画面上でのユーザ操作を的確に認識できる。
例えば表示画面上のアイコンにより用意される操作により、画面上で行われるユーザ操作の認識モードを切り替えるようにする。
例えばトラッキングボタンI62の操作に応じて、操作入力を切り出し範囲の指定操作とターゲット指定照準116の移動操作とを切り分けて認識する。このようにすることで同一画面上でのユーザ操作を的確に認識できる。
また、実施の形態の情報処理装置においては、受付部は、第2の画面では、画面上の操作を、元画像から切り出す画像範囲の指定操作として認識し、第1の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識している。
表示画面が第1の画面の状態か第2の画面の状態かにより、画面上で行われるユーザ操作の認識を切り替えるようにする。
例えばフレーミング画面103に遷移したときの初期状態では、切り出し範囲の画像とターゲット指定照準116の表示を行うが、ターゲット指定照準116は固定とする第2の画面である。この場合、ユーザのドラッグ等の操作によって、画像が移動され、切り出し範囲の指定が変更されるものとする。
第2の画面の状態からトラッキングボタンI62が操作された場合は、第1の画面となる。ここでいう第1の画面とは、ターゲット指定照準116が移動可能な状態の画面である。この場合のユーザの画面上の操作は、ターゲット指定照準116の移動操作と認識する。
このようにすることで、同一画面上で切り出し範囲の指定と、トラッキングターゲット又はその配置位置の指定の操作を明確に切り分けることができ、ユーザの操作に対する誤認識も生じにくい。従ってユーザにストレスの少ない操作環境を提供できる。
表示画面が第1の画面の状態か第2の画面の状態かにより、画面上で行われるユーザ操作の認識を切り替えるようにする。
例えばフレーミング画面103に遷移したときの初期状態では、切り出し範囲の画像とターゲット指定照準116の表示を行うが、ターゲット指定照準116は固定とする第2の画面である。この場合、ユーザのドラッグ等の操作によって、画像が移動され、切り出し範囲の指定が変更されるものとする。
第2の画面の状態からトラッキングボタンI62が操作された場合は、第1の画面となる。ここでいう第1の画面とは、ターゲット指定照準116が移動可能な状態の画面である。この場合のユーザの画面上の操作は、ターゲット指定照準116の移動操作と認識する。
このようにすることで、同一画面上で切り出し範囲の指定と、トラッキングターゲット又はその配置位置の指定の操作を明確に切り分けることができ、ユーザの操作に対する誤認識も生じにくい。従ってユーザにストレスの少ない操作環境を提供できる。
さらに、実施の形態の情報処理装置においては、表示制御部は、前記第2の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、前記第1の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行っている。
表示画面が第2の画面であるときは、例えば画面全体、或いは表示エリア内に、切り出し範囲の画像を表示させるが、それが操作に応じて変更されるようにする。
第1の画面であるときは、操作に応じて操作画像による指定位置が移動されるようにする。
ユーザは第2の画面の状態で操作を行ったときは、画像が移動、拡大、縮小、回転されることで、切り出し範囲の指定操作であることが明確に認識できる。同様に第1の画面の状態で操作を行ったときは、ターゲット指定照準116が移動されることで、ユーザはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。これによりユーザにとってわかりやすい操作環境を提供できる。
表示画面が第2の画面であるときは、例えば画面全体、或いは表示エリア内に、切り出し範囲の画像を表示させるが、それが操作に応じて変更されるようにする。
第1の画面であるときは、操作に応じて操作画像による指定位置が移動されるようにする。
ユーザは第2の画面の状態で操作を行ったときは、画像が移動、拡大、縮小、回転されることで、切り出し範囲の指定操作であることが明確に認識できる。同様に第1の画面の状態で操作を行ったときは、ターゲット指定照準116が移動されることで、ユーザはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。これによりユーザにとってわかりやすい操作環境を提供できる。
さらにまた、実施の形態の情報処理装置においては、第2の画面では、操作に応じて、表示エリアにおいて元画像から切り出された画像が変化し、第1の画面では、操作に応じて、表示エリアにおいて操作画像の配置位置が変化する。
すなわち、第2の画面では、操作に応じて、表示エリアにおいて例えば元画像の移動、拡大、縮小、回転等の画像変化が生じ、第1の画面では、操作に応じて、例えば表示エリア内での元画像の変化は生じないが、操作画像の配置位置が変化する。
これにより、ユーザは、第2の画面の状態で操作を行ったときは、切り出し範囲の指定操作であることが明確に認識でき、第1の画面の状態で操作を行ったときはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。
従って、ユーザにとってわかりやすい操作環境を提供できる。
すなわち、第2の画面では、操作に応じて、表示エリアにおいて例えば元画像の移動、拡大、縮小、回転等の画像変化が生じ、第1の画面では、操作に応じて、例えば表示エリア内での元画像の変化は生じないが、操作画像の配置位置が変化する。
これにより、ユーザは、第2の画面の状態で操作を行ったときは、切り出し範囲の指定操作であることが明確に認識でき、第1の画面の状態で操作を行ったときはトラッキングターゲット及びその配置位置の指定操作であることを明確に認識できる。
従って、ユーザにとってわかりやすい操作環境を提供できる。
また、実施の形態の情報処理装置においては、元画像は、複数の画像から構成される画像群の一画像とされている。
これにより、画像群を構成する個々の画像について、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
これにより、画像群を構成する個々の画像について、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
さらに、実施の形態の情報処理装置においては、所定の順番で連続した複数の画像のうち、配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された配置位置に基づく表示エリア内の位置にトラッキング対象が配置されるように画像の切り出し処理を行っている。
これにより、所定の順番で連続した複数の画像のうち一枚の画像についてトラッキング対象の配置位置が指定されることで、順番的に以降に位置するフレーム画像についても、指定位置に基づく位置にトラッキング対象を位置させる画像切り出し処理が行われることになる。
従って、所定の順番で連続した複数の画像について指定位置に基づく位置にトラッキング対象を位置させる画像切り出しを行う場合におけるユーザ操作負担の軽減を図ることができる。
これにより、所定の順番で連続した複数の画像のうち一枚の画像についてトラッキング対象の配置位置が指定されることで、順番的に以降に位置するフレーム画像についても、指定位置に基づく位置にトラッキング対象を位置させる画像切り出し処理が行われることになる。
従って、所定の順番で連続した複数の画像について指定位置に基づく位置にトラッキング対象を位置させる画像切り出しを行う場合におけるユーザ操作負担の軽減を図ることができる。
さらにまた、実施の形態の情報処理装置においては、画像群は、動画を構成する一連のフレーム画像から構成されている。
これにより、動画を構成する各フレーム画像について画像切り出しを行う場合において、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
これにより、動画を構成する各フレーム画像について画像切り出しを行う場合において、ユーザに切出画像の画枠内での対象被写体の配置位置を任意位置に指定させることが可能となる。
従って、トラッキングの対象被写体の画枠内における配置位置の自由度が向上し、作画自由度の向上を図ることができる。
また、実施の形態の情報処理装置においては、受付部は、指定された配置位置に基づく表示エリア内の位置にトラッキング対象が配置されるように元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付けている。
これにより、ユーザはトラッキング区間についても任意に指定することが可能とされる。
従って、トラッキング区間の指定自由度の向上が図られ、この面でも作画自由度の向上を図ることができる。
これにより、ユーザはトラッキング区間についても任意に指定することが可能とされる。
従って、トラッキング区間の指定自由度の向上が図られ、この面でも作画自由度の向上を図ることができる。
さらに、実施の形態の情報処理装置においては、所定の画像は元画像から切り出した画像であり、表示制御部は、元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行っている。
例えば表示画面上で元画像の全体を表示させるが、その中で切り出し範囲内と切り出し範囲外とが区別できるような表示態様とする。
このようにすることで、ユーザは元画像の中でどのような範囲を切り出し範囲としているかを明確に認識でき、切り出し範囲の良否判断や変更操作に有用な画像を提供できることになる。
例えば表示画面上で元画像の全体を表示させるが、その中で切り出し範囲内と切り出し範囲外とが区別できるような表示態様とする。
このようにすることで、ユーザは元画像の中でどのような範囲を切り出し範囲としているかを明確に認識でき、切り出し範囲の良否判断や変更操作に有用な画像を提供できることになる。
また、実施の形態の情報処理装置においては、動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部(同33)と、受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部(同34)と、を備え、表示制御部は、切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行っている。
例えば撮像装置で撮像された画像における手ぶれ等に起因する揺れを仮想天球面上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し範囲をユーザの操作に基づいて設定する。この場合に、切り出し範囲が揺れ補正を有効に保つ範囲を越えないようにはみ出し防止処理を行う。表示制御部は、このはみ出し防止処理で制限される範囲の切り出し範囲がユーザに認識できるように表示制御を行う。
ここで、フレーミング画面103の表示では、はみ出し防止処理が範囲されることで、ユーザに、切り出し範囲指定の限度を明確に伝えることができる。例えば図51等のように、はみ出し防止処理によるアベイラブルエリア62を越えるような切り出し範囲指定ができないことを示す表示を行うことで、ユーザは適正な切り出し範囲の指定を行うことができる。
例えば撮像装置で撮像された画像における手ぶれ等に起因する揺れを仮想天球面上での座標変換により補正し、この揺れ補正がなされて平面投影された画像の切り出し範囲をユーザの操作に基づいて設定する。この場合に、切り出し範囲が揺れ補正を有効に保つ範囲を越えないようにはみ出し防止処理を行う。表示制御部は、このはみ出し防止処理で制限される範囲の切り出し範囲がユーザに認識できるように表示制御を行う。
ここで、フレーミング画面103の表示では、はみ出し防止処理が範囲されることで、ユーザに、切り出し範囲指定の限度を明確に伝えることができる。例えば図51等のように、はみ出し防止処理によるアベイラブルエリア62を越えるような切り出し範囲指定ができないことを示す表示を行うことで、ユーザは適正な切り出し範囲の指定を行うことができる。
さらに、実施の形態の情報処理装置においては、表示制御部は、はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御している。
はみ出し防止処理は、操作情報に基づいて設定した切り出し範囲を、揺れ補正が有効な範囲に収める処理となるが、その際に揺れ補正が有効に保たれる範囲として許容可動範囲を設定する。つまり許容可動範囲内であれば、切り出し範囲を移動してもよいという範囲である。表示上では、この許容可動範囲をユーザが認識できるような表示が行われるようにする。
フレーミング画面103の表示上ではアベイラブルエリア62を表現する表示が行われることで、このアベイラブルエリア62内で切り出し範囲の指定が可能であることがわかる。これにより切り出し範囲の指定可能な範囲をユーザが理解しやすくなる。
はみ出し防止処理は、操作情報に基づいて設定した切り出し範囲を、揺れ補正が有効な範囲に収める処理となるが、その際に揺れ補正が有効に保たれる範囲として許容可動範囲を設定する。つまり許容可動範囲内であれば、切り出し範囲を移動してもよいという範囲である。表示上では、この許容可動範囲をユーザが認識できるような表示が行われるようにする。
フレーミング画面103の表示上ではアベイラブルエリア62を表現する表示が行われることで、このアベイラブルエリア62内で切り出し範囲の指定が可能であることがわかる。これにより切り出し範囲の指定可能な範囲をユーザが理解しやすくなる。
さらにまた、実施の形態の情報処理装置においては、表示制御部は、許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御している。
例えば許容可動範囲を越える場合に、切り出し範囲の変更ができなくなったり、切り出し範囲が許容可動範囲内に戻ってしまうような表示を実行させる。
フレーミング画面103の表示上で切り出し範囲の指定が行われるときに、アベイラブルエリア62を越える場合に、その操作が不能となったりアベイラブルエリア62内に戻ってしまうような表示を行うことで、ユーザは、切り出し範囲の変更操作が制限される状況を理解できる。またアベイラブルエリア62も表示されることで、指定が不能な場合に、操作の不具合ではなく、制限されていることが理解しやすいものとなる。
例えば許容可動範囲を越える場合に、切り出し範囲の変更ができなくなったり、切り出し範囲が許容可動範囲内に戻ってしまうような表示を実行させる。
フレーミング画面103の表示上で切り出し範囲の指定が行われるときに、アベイラブルエリア62を越える場合に、その操作が不能となったりアベイラブルエリア62内に戻ってしまうような表示を行うことで、ユーザは、切り出し範囲の変更操作が制限される状況を理解できる。またアベイラブルエリア62も表示されることで、指定が不能な場合に、操作の不具合ではなく、制限されていることが理解しやすいものとなる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<10.プログラム>
実施の形態のプログラムは、図56から図58に例示した処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した実施の形態の情報処理装置を、例えば携帯端末2,パーソナルコンピュータ3、或いは撮像装置1などの機器において実現できる。
実施の形態のプログラムは、図56から図58に例示した処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した実施の形態の情報処理装置を、例えば携帯端末2,パーソナルコンピュータ3、或いは撮像装置1などの機器において実現できる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態の情報処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本技術の情報処理装置として機能させることができる。
<11.本技術>
なお本技術は以下のような構成も採ることができる。
(1)
所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備える
情報処理装置。
(2)
前記所定の画像は元画像から切り出した画像である
前記(1)に記載の情報処理装置。
(3)
前記受付部は、前記トラッキング対象の指定を受け付ける
前記(1)又は(2)に記載の情報処理装置。
(4)
指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えた
前記(1)から(3)の何れかに記載の情報処理装置。
(5)
前記受付部は、前記元画像から切り出す範囲の指定を受け付ける
前記(2)から(4)の何れかに記載の情報処理装置。
(6)
前記表示制御部は、前記第1の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させる
前記(4)又は(5)に記載の情報処理装置。
(7)
前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付ける
前記(6)に記載の情報処理装置。
(8)
前記所定の画像は元画像から切り出した画像であり、
前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付ける
前記(6)又は(7)に記載の情報処理装置。
(9)
前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替える
前記(8)に記載の情報処理装置。
(10)
前記受付部は、第2の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第1の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識する
前記(8)又は(9)に記載の情報処理装置。
(11)
前記表示制御部は、
前記第2の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、
前記第1の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行う
前記(10)に記載の情報処理装置。
(12)
前記第2の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、
前記第1の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する
前記(10)又は(11)に記載の情報処理装置。
(13)
前記元画像は、複数の画像から構成される画像群の一画像とされる
前記(2)から(12)の何れかに記載の情報処理装置。
(14)
所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行う
前記(13)に記載の情報処理装置。
(15)
前記画像群は、動画を構成する一連のフレーム画像により構成された
前記(13)又は(14)に記載の情報処理装置。
(16)
前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付ける
前記(15)に記載の情報処理装置。
(17)
前記所定の画像は元画像から切り出した画像であり、
前記表示制御部は、前記元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行う
前記(4)から(16)の何れかに記載の情報処理装置。
(18)
動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、
を備え、
前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行う
前記(4)から(16)の何れかに記載の情報処理装置。
(19)
前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御する
前記(18)に記載の情報処理装置。
(20)
前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御する
前記(19)に記載の情報処理装置。
なお本技術は以下のような構成も採ることができる。
(1)
所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備える
情報処理装置。
(2)
前記所定の画像は元画像から切り出した画像である
前記(1)に記載の情報処理装置。
(3)
前記受付部は、前記トラッキング対象の指定を受け付ける
前記(1)又は(2)に記載の情報処理装置。
(4)
指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えた
前記(1)から(3)の何れかに記載の情報処理装置。
(5)
前記受付部は、前記元画像から切り出す範囲の指定を受け付ける
前記(2)から(4)の何れかに記載の情報処理装置。
(6)
前記表示制御部は、前記第1の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させる
前記(4)又は(5)に記載の情報処理装置。
(7)
前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付ける
前記(6)に記載の情報処理装置。
(8)
前記所定の画像は元画像から切り出した画像であり、
前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付ける
前記(6)又は(7)に記載の情報処理装置。
(9)
前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替える
前記(8)に記載の情報処理装置。
(10)
前記受付部は、第2の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第1の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識する
前記(8)又は(9)に記載の情報処理装置。
(11)
前記表示制御部は、
前記第2の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、
前記第1の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行う
前記(10)に記載の情報処理装置。
(12)
前記第2の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、
前記第1の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する
前記(10)又は(11)に記載の情報処理装置。
(13)
前記元画像は、複数の画像から構成される画像群の一画像とされる
前記(2)から(12)の何れかに記載の情報処理装置。
(14)
所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行う
前記(13)に記載の情報処理装置。
(15)
前記画像群は、動画を構成する一連のフレーム画像により構成された
前記(13)又は(14)に記載の情報処理装置。
(16)
前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付ける
前記(15)に記載の情報処理装置。
(17)
前記所定の画像は元画像から切り出した画像であり、
前記表示制御部は、前記元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行う
前記(4)から(16)の何れかに記載の情報処理装置。
(18)
動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、
を備え、
前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行う
前記(4)から(16)の何れかに記載の情報処理装置。
(19)
前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御する
前記(18)に記載の情報処理装置。
(20)
前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御する
前記(19)に記載の情報処理装置。
1 撮像装置、2 携帯端末、3 パーソナルコンピュータ、4 サーバ、5 記憶媒体、11 レンズ系、12 撮像素子部、13 カメラ信号処理部、14 記録部、15 表示部、16 出力部、17 操作部、18 カメラ制御部、19 メモリ部、22 ドライバ部、23 センサ部、31 前処理部、32 画像処理部、33 揺れ補正部、34 実効切り出し領域設定部、35 実効切り出し領域画像生成処理部、36 UI処理部、36a 受付部、36b 表示制御部、61 キャプチャードエリア、62 アベイラブルエリア、70 情報処理装置、71 CPU、101 インポート画面、102 プレビュー画面、103 フレーミング画面、104 トリミング画面、105 スピード画面、106 アスペクト比設定画面、107 設定画面、108 エクスポート画面、MF 画像ファイル、PD,iPD 画像データ、oPD 出力画像データ、HP 画枠補正パラメータ、TM タイミング情報、CP カメラパラメータ、QD クオータニオン、TP,TPp 画面内位置情報、DR1,DR2 操作情報、CL,CL’ 切り出し範囲、MT 天球モデル、I24 プレビューエリア
Claims (22)
- 所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける受付部を備える
情報処理装置。 - 前記所定の画像は元画像から切り出した画像である
請求項1に記載の情報処理装置。 - 前記受付部は、前記トラッキング対象の指定を受け付ける
請求項1に記載の情報処理装置。 - 指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記所定の画像の表示制御を行う表示制御部を備えた
請求項1に記載の情報処理装置。 - 前記受付部は、前記元画像から切り出す範囲の指定を受け付ける
請求項2に記載の情報処理装置。 - 前記表示制御部は、前記第1の画面に、トラッキング対象の配置位置の指定操作に用いる操作画像を表示させる
請求項4に記載の情報処理装置。 - 前記受付部は、前記操作画像に対する操作に基づき、前記トラッキング対象の指定と前記トラッキング対象の前記配置位置の指定を受け付ける
請求項6に記載の情報処理装置。 - 前記所定の画像は元画像から切り出した画像であり、
前記受付部は、画面に対する操作として、前記元画像から切り出す範囲の指定と前記操作画像による前記トラッキング対象に関する操作を受け付ける
請求項6に記載の情報処理装置。 - 前記受付部は、画面上の操作を、前記元画像から切り出す範囲の指定操作として認識する状態と、前記操作画像による前記トラッキング対象に関する操作として認識する状態とを切り替える
請求項8に記載の情報処理装置。 - 前記受付部は、第2の画面では、画面上の操作を、前記元画像から切り出す画像範囲の指定操作として認識し、前記第1の画面では、画面上の操作を、前記操作画像による前記トラッキング対象に関する操作として認識する
請求項8に記載の情報処理装置。 - 前記表示制御部は、
前記第2の画面で前記受付部に認識された操作に対応して切り出し範囲となる画像の範囲を変更する表示を行い、
前記第1の画面で前記受付部に認識された操作に対応して前記操作画像による指定位置を移動させる表示を行う
請求項10に記載の情報処理装置。 - 前記第2の画面では、操作に応じて、前記表示エリアにおいて前記元画像が変化し、
前記第1の画面では、操作に応じて、前記表示エリアにおいて前記操作画像の配置位置が変化する
請求項10に記載の情報処理装置。 - 前記元画像は、複数の画像から構成される画像群の一画像とされる
請求項2に記載の情報処理装置。 - 所定の順番で連続した前記複数の画像のうち、前記配置位置の指定を受け付けた画像の順番以降の少なくとも一つの画像に対して、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように画像の切り出し処理を行う
請求項13に記載の情報処理装置。 - 前記画像群は、動画を構成する一連のフレーム画像により構成された
請求項13に記載の情報処理装置。 - 前記受付部は、指定された前記配置位置に基づく前記表示エリア内の位置に前記トラッキング対象が配置されるように前記元画像からの切り出しを行う区間であるトラッキング区間の指定を受け付ける
請求項15に記載の情報処理装置。 - 前記所定の画像は元画像から切り出した画像であり、
前記表示制御部は、前記元画像からの切り出し範囲内の画像と、切り出し範囲外の画像とを、互いに異なる表示態様で表示させる制御を行う
請求項4に記載の情報処理装置。 - 動画を構成する画像データのフレーム毎に、仮想天球面への貼付処理をおこない、当該フレームに対応する姿勢情報を用いて揺れ補正を行う揺れ補正部と、
前記受付部が受け付けた切り出し範囲の指定に応じた切り出し範囲が、揺れ補正を有効に保つ領域からはみ出さないように修正するはみ出し防止処理を行う切り出し範囲設定部と、
を備え、
前記表示制御部は、前記切り出し範囲設定部が行ったはみ出し防止処理を反映した切り出し画像の表示制御を行う
請求項4に記載の情報処理装置。 - 前記表示制御部は、前記はみ出し防止処理で設定された、画像の切り出し範囲の変動を許容する許容可動範囲に基づく表示が行われるように制御する
請求項18に記載の情報処理装置。 - 前記表示制御部は、前記許容可動範囲を越える切り出し範囲の指定操作が制限されることを明示する表示が行われるように制御する
請求項19に記載の情報処理装置。 - 情報処理装置が、所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を行う
情報処理方法。 - 所定の画像を表示エリアに表示する第1の画面において、トラッキング対象の前記表示エリアにおける配置位置の指定を受け付ける処理を情報処理装置に実行させる
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980092000.XA CN113424515A (zh) | 2019-02-21 | 2019-12-26 | 信息处理设备、信息处理方法和程序 |
US17/310,596 US20220108541A1 (en) | 2019-02-21 | 2019-12-26 | Information processing device, information processing method, and program |
JP2021501647A JP7491297B2 (ja) | 2019-02-21 | 2019-12-26 | 情報処理装置、情報処理方法、プログラム |
EP19916222.3A EP3917130A4 (en) | 2019-02-21 | 2019-12-26 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-029889 | 2019-02-21 | ||
JP2019029889 | 2019-02-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020170604A1 true WO2020170604A1 (ja) | 2020-08-27 |
Family
ID=72144026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/051153 WO2020170604A1 (ja) | 2019-02-21 | 2019-12-26 | 情報処理装置、情報処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220108541A1 (ja) |
EP (1) | EP3917130A4 (ja) |
JP (1) | JP7491297B2 (ja) |
CN (1) | CN113424515A (ja) |
WO (1) | WO2020170604A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023234203A1 (ja) * | 2022-06-03 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法 |
WO2023234204A1 (ja) * | 2022-06-03 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113204299B (zh) * | 2021-05-21 | 2023-05-05 | 北京字跳网络技术有限公司 | 显示方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011199569A (ja) * | 2010-03-19 | 2011-10-06 | Panasonic Corp | カメラ |
JP2017092689A (ja) * | 2015-11-09 | 2017-05-25 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
JP2018133749A (ja) * | 2017-02-16 | 2018-08-23 | オリンパス株式会社 | ***縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005165929A (ja) * | 2003-12-05 | 2005-06-23 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5111088B2 (ja) | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
JP4621260B2 (ja) * | 2008-01-22 | 2011-01-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体 |
US8380008B2 (en) * | 2008-05-02 | 2013-02-19 | Apple Inc. | Automatic image cropping |
JP4715909B2 (ja) * | 2008-12-04 | 2011-07-06 | ソニー株式会社 | 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム |
AU2008259357B2 (en) * | 2008-12-18 | 2010-09-16 | Canon Kabushiki Kaisha | Automatic image cropping |
JP2013153376A (ja) * | 2012-01-26 | 2013-08-08 | Sony Corp | 画像処理装置、画像処理方法および記録媒体 |
US9760768B2 (en) | 2014-03-04 | 2017-09-12 | Gopro, Inc. | Generation of video from spherical content using edit maps |
EP3285477B1 (en) * | 2015-04-14 | 2023-06-28 | Sony Group Corporation | Image processing device, image processing method, and image processing system |
CN105263049B (zh) * | 2015-10-28 | 2019-10-29 | 努比亚技术有限公司 | 一种基于帧坐标的视频裁剪装置、方法及移动终端 |
CN108475431B (zh) * | 2015-12-18 | 2022-02-18 | 株式会社理光 | 图像处理装置、图像处理***、图像处理方法和记录介质 |
-
2019
- 2019-12-26 JP JP2021501647A patent/JP7491297B2/ja active Active
- 2019-12-26 CN CN201980092000.XA patent/CN113424515A/zh active Pending
- 2019-12-26 US US17/310,596 patent/US20220108541A1/en active Pending
- 2019-12-26 WO PCT/JP2019/051153 patent/WO2020170604A1/ja unknown
- 2019-12-26 EP EP19916222.3A patent/EP3917130A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011199569A (ja) * | 2010-03-19 | 2011-10-06 | Panasonic Corp | カメラ |
JP2017092689A (ja) * | 2015-11-09 | 2017-05-25 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
JP2018133749A (ja) * | 2017-02-16 | 2018-08-23 | オリンパス株式会社 | ***縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3917130A4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023234203A1 (ja) * | 2022-06-03 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法 |
WO2023234204A1 (ja) * | 2022-06-03 | 2023-12-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3917130A4 (en) | 2022-04-20 |
JPWO2020170604A1 (ja) | 2021-12-23 |
CN113424515A (zh) | 2021-09-21 |
US20220108541A1 (en) | 2022-04-07 |
EP3917130A1 (en) | 2021-12-01 |
JP7491297B2 (ja) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10447874B2 (en) | Display control device and display control method for automatic display of an image | |
JP7405131B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6787394B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5806623B2 (ja) | 撮像装置、撮像方法およびプログラム | |
WO2020170604A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7444162B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US8947558B2 (en) | Digital photographing apparatus for multi-photography data and control method thereof | |
KR20120002834A (ko) | 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법 | |
CN116939357A (zh) | 微距拍摄方法、电子设备和计算机可读存储介质 | |
KR20200028298A (ko) | 표시 제어장치, 촬상 장치, 제어 방법 및 컴퓨터 판독 가능한 매체 | |
US20190045136A1 (en) | Display control device, display control method, and program | |
JP2009290318A (ja) | 撮像装置およびズーム調整方法 | |
US20220264008A1 (en) | Image processing device, image processing method, and program | |
WO2020195198A1 (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置 | |
US20230103051A1 (en) | Image processing apparatus, image processing method, and program | |
JP5653509B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5441747B2 (ja) | 撮像装置及び画像処理方法 | |
US20230109911A1 (en) | Image processing apparatus, image processing method, and program | |
KR101946574B1 (ko) | 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체 | |
JP6611478B2 (ja) | 撮像装置、記録制御方法及びプログラム | |
JP2005311875A (ja) | 電子カメラ、カメラシステムおよび画像処理プログラム | |
JP2006019882A (ja) | 撮影装置および撮影方法およびプログラム | |
JP2024098310A (ja) | 電子機器、その制御方法およびプログラム | |
JP5921646B2 (ja) | 画像処理装置及び画像処理方法 | |
CN116746163A (zh) | 成像装置、成像控制方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19916222 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021501647 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019916222 Country of ref document: EP Effective date: 20210824 |