WO2014178233A1 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- WO2014178233A1 WO2014178233A1 PCT/JP2014/056711 JP2014056711W WO2014178233A1 WO 2014178233 A1 WO2014178233 A1 WO 2014178233A1 JP 2014056711 W JP2014056711 W JP 2014056711W WO 2014178233 A1 WO2014178233 A1 WO 2014178233A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- thumbnail
- display
- thumbnail image
- aspect ratio
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 312
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 155
- 230000008569 process Effects 0.000 claims description 136
- 238000010187 selection method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 abstract description 38
- 230000002194 synthesizing effect Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 96
- 238000001514 detection method Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 13
- 239000000203 mixture Substances 0.000 description 13
- 230000009467 reduction Effects 0.000 description 11
- 238000009877 rendering Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000011946 reduction process Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Definitions
- the present technology relates to an image processing apparatus, an image processing method, and a program for realizing them, and particularly to image processing suitable for thumbnail display of panoramic image data.
- a user can obtain a large number of captured images (frame image data) while sweeping the camera horizontally and synthesize these to obtain a so-called panoramic image.
- “sweep” refers to an operation of moving in an imaging direction by a rotational movement of an imaging apparatus during imaging in order to obtain a plurality of frame image data for generating a panoramic image.
- the sweep direction refers to the horizontal direction.
- an imaging apparatus such as a digital still camera
- a thumbnail image is generated for a panoramic image in the same manner as a normal still image, for example, a list display is performed.
- a method of displaying thumbnails of 3D (three dimensions) images has also been proposed.
- a panoramic image is a significantly longer (or longer) image than a normal still image. For this reason, if thumbnail images are generated by simply reducing (resolution conversion) while maintaining the image aspect ratio, the visibility of the user may be significantly deteriorated, particularly when displaying a list of a plurality of thumbnails. However, it can be said that the thumbnail image obtained by resolution conversion represents the entire panoramic image content. On the other hand, if a technique such as the 3D thumbnail image of Patent Document 1 is adopted, thumbnail images can be easily viewed even in the case of list display. However, the entire panoramic image content does not appear as it is, and display control with a large processing load such as rotating the 3D thumbnail image is required.
- thumbnail image display screen and display area it is difficult to generally determine what kind of thumbnail image is easy for the user to recognize according to the aspect ratio, size, number of thumbnail images, etc. of the thumbnail image display screen and display area.
- an image processing apparatus includes first thumbnail image data generated by resolution conversion of panoramic image data generated by combining a plurality of captured images, and aspect ratio adjustment for the panoramic image data.
- a thumbnail selection unit that selects which one is used for the thumbnail display, and the first thumbnail image data or the first thumbnail image data depending on the selection of the thumbnail selection unit
- a display data generation unit that generates display data for executing thumbnail display using any one of the two thumbnail image data. Accordingly, an appropriate one of the first thumbnail image data by the resolution conversion and the second thumbnail image data by the aspect ratio adjustment process according to various circumstances when displaying the thumbnail image data for the panorama image data. Can display thumbnail images.
- the display data generation unit records either the first thumbnail image data or the second thumbnail image data selected by the thumbnail selection unit. It is desirable that the display data is generated by reading from the medium and using the read thumbnail image data. This makes it possible to generate display data for display using the selected thumbnail image data.
- the display data generation unit selects either the first thumbnail image data or the second thumbnail image data selected by the thumbnail selection unit. It is desirable to generate display data for executing thumbnail display using the generated panoramic image data and using the generated thumbnail image data. This also makes it possible to generate display data for display using the selected thumbnail image data.
- the thumbnail selection unit is configured to display the first thumbnail image data or the second thumbnail image according to an aspect ratio of a display area of the display device that supplies the display data. It is desirable to select any of the thumbnail image data. By selecting the first and second thumbnail image data according to the aspect ratio of the display area, it is possible to select an easy-to-view one according to the circumstances of the display area.
- the display area is the entire screen of the display device. This is appropriate when thumbnail images are displayed using the entire screen of the display device.
- the display area is an area for performing thumbnail display on the screen of the display apparatus. This is appropriate when thumbnail images are displayed using a part of the screen of the display device.
- the thumbnail selection unit includes the first thumbnail image data or the second thumbnail according to a size of a display area of a display device that supplies the display data. It is desirable to select one of the image data. Since the thumbnail images that are easy to see differ depending on the display area size, they are made to correspond to them. Eighth, in the image processing device according to the present technology, the thumbnail selection unit determines whether the first thumbnail image data or the second thumbnail image data is in accordance with the number of thumbnail image data included in the display data. It is desirable to select one. When displaying a plurality of thumbnail images in a list display or the like, easy-to-see thumbnail images differ depending on the number of thumbnail images, so that the corresponding thumbnail images are set.
- the image processing method is generated by first thumbnail image data generated by resolution conversion of panoramic image data generated by combining a plurality of captured images and an aspect ratio adjustment process for the panoramic image data.
- a thumbnail selection procedure for selecting which of the second thumbnail image data to use for thumbnail display, and the first thumbnail image data or the second thumbnail according to the selection in the thumbnail selection procedure.
- a display data generation procedure for generating display data for executing thumbnail display using any of the image data.
- the program according to the present technology is a program that causes the arithmetic processing device to execute processing of each procedure. Accordingly, it is possible to realize an apparatus for selectively displaying the first thumbnail image data by resolution conversion and the second thumbnail image data by aspect ratio adjustment processing for one panoramic image data.
- the present technology when displaying a thumbnail image of panoramic image data, the first thumbnail image data obtained by resolution conversion and the second thumbnail image data obtained by the aspect ratio adjustment process are selected, thereby displaying the situation. Accordingly, an appropriate thumbnail image display can be performed, and there is an effect that the user's thumbnail recognition is improved.
- An imaging apparatus 50 according to an embodiment to be described later and a recent general imaging apparatus (digital still camera) are a plurality of still images obtained by imaging while rotating the imaging apparatus 50 about a certain rotation axis.
- a panoramic image with a wide field angle of 360 ° at the maximum can be generated by performing synthesis processing on the image (frame image data).
- FIG. 1A shows the movement of the imaging device 50 during panoramic imaging. Since the disparity between the distant view and the near view during panoramic imaging causes unnaturalness in the joints during composition, the center of rotation at the time of image capturing is a point unique to the lens that does not generate parallax, called the nodal point. It is desirable to do.
- the rotational movement of the imaging device 50 during panoramic imaging is referred to as “sweep”.
- FIG. 1B is a conceptual diagram when a plurality of still images obtained by sweeping the imaging device 50 are appropriately aligned.
- each still image obtained by imaging is shown in the temporal order of imaging. That is, frame image data captured from time 0 to time (n ⁇ 1) is set as frame image data FM # 0, FM # 1,... FM # (n ⁇ 1).
- a composition process is performed on a series of n frame image data FM # 0 to FM # (n ⁇ 1) continuously captured as illustrated. Become.
- a slight movement is generally recognized not only in the sweep direction but also in the direction perpendicular to the sweep direction. This is a shift caused by camera shake during sweeping of the photographer.
- each captured frame image data must necessarily have an overlapping portion with adjacent frame image data.
- the upper limit of the speed to be performed must be set appropriately. Since the frame image data group aligned in this way has many overlapping portions, it is necessary to determine a region to be used for a final panoramic image for each frame image data. In other words, this is the same as determining the seam of images in the panorama synthesis process.
- the seam SM0 is a joint between the frame image data FM # 0 and FM # 1
- the seam SM1 is a joint between the frame image data FM # 1 and FM # 2
- the seam SM (n ⁇ 2) is shown as a joint between the frame image data FM # (n-2) and FM # (n-1). Since these seams SM0 to SM (n-2) are used as a joint between adjacent images at the time of synthesis, the shaded portion in each frame image data is an image region that is not used for the final panoramic image. Become.
- blending may be performed on an image area near the seam for the purpose of reducing unnaturalness of the image near the seam.
- the common parts of the frame image data are joined by blending over a wide range, or pixels contributing to the panoramic image are selected for each pixel from the common part. In these cases, the joints are clear. In the present specification, this wide joint portion is also identified as a seam.
- a panoramic image having a wide angle of view with the sweep direction as the long side direction can be obtained.
- a vertical line indicates a seam
- n frame image data FM # 0 to FM # (n-1) are joined by seams SM0 to SM (n-2), respectively, to generate a panoramic image.
- the state which is present is shown schematically.
- the imaging device 50 is set to the panoramic imaging mode, and the maximum imaging field angle is set. For example, 120.degree., 180.degree., 360.degree., Etc. can be selected as the maximum imaging angle of view. When 360.degree. Is selected, so-called all-round imaging can be performed in which all surrounding scenery is captured in a photograph.
- the photographer starts panoramic imaging by pressing the shutter button of the imaging apparatus 50 and performs a sweep operation. Thereafter, the panorama imaging is completed when the panorama imaging end condition is satisfied.
- the end conditions are as follows, for example. -When the preset maximum field of view is reached-When the user stops the sweep operation-When the user presses the shutter button again-When the user releases his / her finger from the shutter button (shutter during panorama imaging) (In the specification to keep pressing the button) ⁇ If any error occurs
- panorama composition processing is automatically started. After a certain period of time, panorama image composition is completed and the panorama image data is stored in the recording device. Further, thumbnail image data is generated from the panorama image data by, for example, reduction processing by resolution conversion, and is stored in a recording device in association with the panorama image data. Thereafter, panoramic image data can be displayed in the same manner as a normal still image, or a list display by thumbnail images can be performed.
- FIG. 4A is an example in which a panoramic image is normally displayed on the display panel 105a of the imaging apparatus 50
- FIG. 4B is an example in which a list display with a plurality of thumbnail images TM1 is performed.
- thumbnail image TM1 is a horizontally long (or vertically long) panoramic image data.
- the reduced ones are arranged on the screen. For this reason, the visibility of the panoramic image content is considerably deteriorated. Therefore, the image processing apparatuses 1, 2, the imaging apparatus 50, and the computer apparatus 70 according to the embodiments described later can display a list using the thumbnail image TM 2 generated by performing the aspect ratio adjustment process as shown in FIG. 4C. To do.
- the thumbnail image TM2 subjected to the aspect ratio adjustment processing is as follows.
- -Thumbnail image generated by processing to render a panoramic image texture-mapped image for the 3D model of the projection plane of the panoramic image data-Thumbnail image generated by processing to convert the panoramic image to polar coordinates Thumbnail image generated by cutting out (trimming) a thumbnail image / panorama image generated by performing reduction processing using the pixel importance determination result in the panorama image
- the thumbnail image TM2 generated by performing these aspect ratio adjustment processes is a thumbnail image having an image aspect ratio different from that of the original panoramic image data. I will do it.
- the thumbnail image TM1 generated by resolution conversion is referred to as a “normal thumbnail image” for distinction.
- the image data for displaying the aspect ratio adjusted thumbnail image may also be expressed as “aspect ratio adjusted thumbnail image data TM2” using the code TM2.
- image data for displaying a normal thumbnail image may be expressed as “normal thumbnail image data TM1” using the code TM1.
- FIG. 4B shows a state where the visibility of the normal thumbnail image TM1 is deteriorated, but the circumstances of the display area (screen aspect ratio, display device orientation, display area size, number of thumbnails to be displayed in a list, etc.) ),
- the normal thumbnail image TM1 may have good visibility.
- the normal thumbnail image TM1 is a simple reduction of the original panoramic image and includes the entire image content of the original panoramic image.
- the aspect ratio adjusted thumbnail image TM2 is an image whose aspect ratio is adjusted to improve the visibility, but it cannot be seen at a glance the entire original panoramic image. For this reason, under various circumstances, it is assumed that the normal thumbnail image TM1 is more suitable for display and the aspect ratio adjustment thumbnail image TM2 is more suitable for display. Therefore, in the present embodiment, the normal thumbnail image TM1 and the aspect ratio adjustment thumbnail image TM2 can be used properly according to the situation.
- the image processing apparatus 1 is an apparatus that generates both the normal thumbnail image TM1 and the aspect ratio adjustment thumbnail image TM2 from the panoramic image data PD.
- the image processing apparatus 2 is an apparatus that generates display data Dd by selectively using a normal thumbnail image TM1 and an aspect ratio adjustment thumbnail image TM2.
- FIG. 5A shows the panorama synthesis unit 10 and the image processing apparatus 1.
- the panorama composition unit 10 and the image processing apparatus 1 may be provided integrally in the same device, or may be provided in separate devices.
- the panorama composition unit 10 generates panorama image data PD from the input image group FMS.
- the input image group FMS is a series of frame image data FM obtained by the imaging person performing an imaging operation while sweeping in the panoramic imaging mode.
- the panorama synthesizing unit 10 uses the plurality of frame image data FM as the input image group FMS to generate the panorama image data PD as described with reference to FIGS.
- the image processing apparatus 1 includes a normal thumbnail generation unit 1a and an aspect ratio adjustment thumbnail generation unit 1b.
- the normal thumbnail generation unit 1a generates first thumbnail image data (normal thumbnail image data TM1) by converting the resolution of panoramic image data PD generated by combining a plurality of captured images.
- the aspect ratio adjustment thumbnail generation unit 1b performs aspect ratio adjustment processing on the panoramic image data PD to generate second thumbnail image data (aspect ratio adjustment thumbnail image data TM2).
- the image processing apparatus 1 generates and outputs both the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 from one panoramic image data PD.
- FIG. 6A shows a processing example of the image processing apparatus 1.
- the image processing apparatus 1 takes in the panorama image data PD from the panorama synthesis unit 10 in step F1.
- the image processing apparatus 1 generates normal thumbnail image data TM1 by the function of the normal thumbnail generation unit 1a.
- the image processing apparatus 1 generates the aspect ratio adjustment thumbnail image data TM2 by the function of the aspect ratio adjustment thumbnail generation unit 1b.
- the image processing apparatus 1 outputs the generated normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 for recording or transmission.
- thumbnail image data TM1 and TM2 are transmitted and output from a communication unit (not shown) to an external device, or supplied to a recording device (not shown) to be recorded on a recording medium.
- the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 are prepared so that appropriate thumbnail image display can be executed according to various circumstances at the time of display. be able to.
- FIG. 5B shows a configuration example having the storage unit 11, the image processing device 2, and the display unit 12.
- the storage unit 11, the image processing device 2, and the display unit 12 may be provided integrally in the same device, or may be provided in separate devices.
- the storage unit 11 stores, for example, normal thumbnail image data TM1 generated by the image processing apparatus 1 of FIG. 5A and aspect ratio adjustment thumbnail image data TM2 corresponding to one panoramic image data PD.
- the image processing apparatus 2 includes a thumbnail selection unit 2a and a display data generation unit 2b.
- the thumbnail selection unit 2a includes normal thumbnail image data TM1 generated by converting the resolution of panoramic image data PD generated by combining a plurality of captured images, and an aspect ratio generated by aspect ratio adjustment processing for the panoramic image data PD.
- a process of selecting which of the adjustment thumbnail image data TM2 is used for thumbnail display is performed.
- the display data generation unit 2b generates display data Dd for executing thumbnail display using either the normal thumbnail image data TM1 or the aspect ratio adjustment thumbnail image data TM2 according to the selection of the thumbnail selection unit 2a.
- the display data generation unit 2b reads either the normal thumbnail image data TM1 or the aspect ratio adjustment thumbnail image data TM2 selected by the thumbnail selection unit 2a from the storage unit 11, and displays the display data using the read thumbnail image data. Dd is generated.
- the display unit 21 includes a liquid crystal panel, an organic EL (Electroluminescence) panel, a plasma display panel, a CRT (Cathode Ray Tube) and other display devices, and a display driving unit for the display device, and performs various displays.
- the display unit 21 is supplied with display data Dd from the image processing apparatus 2 and performs a display operation based on the display data Dd.
- the display unit 12 executes display including a thumbnail image based on the display data Dd. For example, a list of a plurality of thumbnail images or a single thumbnail image is displayed.
- FIG. 6B shows a processing example of the image processing apparatus 2.
- the image processing apparatus 2 confirms the selection criterion information by the function of the thumbnail selection unit 2a.
- predetermined selection criterion information such as the attitude of the display device having the display unit 12 (aspect ratio of the display area corresponding to the attitude), the aspect ratio of the display screen, the aspect ratio of the display area, the display area size, and the number of thumbnails to be displayed in a list. Confirm.
- it is selected according to the selection criterion information whether the thumbnail image used for display is the normal thumbnail image data TM1 or the aspect ratio adjustment thumbnail image data TM2.
- step F12 the image processing apparatus 2 reads out the thumbnail image data (any one of TM1 and TM2) selected in step F11 from the storage unit 11. Then, display data Dd is generated in step F13 by the function of the display data generation unit 2b. That is, the display data Dd is generated using the thumbnail image data read from the storage unit 11. In step F14, the image processing device 2 outputs the generated display data Dd to the display unit 12.
- thumbnail selection unit 2a displays the orientation of the display device having the display unit 12 as selection criterion information (the display area aspect ratio according to the orientation), the display screen aspect ratio, the display area aspect ratio, the display area size, and the list.
- selection criterion information the display area aspect ratio according to the orientation
- the display screen aspect ratio the display area aspect ratio
- the display area size the display area size
- thumbnail display suitable for the display state can be executed.
- the generation unit 2b only needs to read the selected thumbnail image data, and the processing load on the image processing apparatus 2 is small.
- FIG. 5C shows a configuration example having the storage unit 11, the image processing device 2, and the display unit 12 as in FIG. 5B.
- panoramic image data PD is stored in the storage unit 11.
- the display data generation unit 2b selects either the normal thumbnail image data TM1 or the aspect ratio adjustment thumbnail image data TM2 selected by the thumbnail selection unit 2a.
- the display data Dd is generated using the panorama image data PD, and the thumbnail image data is generated to execute thumbnail display.
- step F20 the image processing apparatus 2 confirms the selection criterion information by the function of the thumbnail selection unit 2a.
- step F21 it is selected whether the thumbnail image used for display is the normal thumbnail image data TM1 or the aspect ratio adjustment thumbnail image data TM2 according to the selection criterion information.
- step F22 the image processing apparatus 2 generates thumbnail image data (any one of TM1 and TM2) selected in step F21 by the function of the display data generation unit 2b. That is, the panorama image data PD is read from the storage unit 11, and either the resolution conversion process or the aspect ratio adjustment process is performed on the panorama image data PD to generate thumbnail image data (one of TM1 and TM2). Display data Dd is generated in step F23 using the thumbnail image data generated in this way. In step F24, the image processing apparatus 2 outputs the generated display data Dd to the display unit 12.
- thumbnail display suitable for the display state can be executed without assuming the generation operation of the two types of thumbnail image data TM1 and TM2 by the image processing apparatus 1 of FIG. 5A.
- the image processing apparatus 1 and the image processing apparatus 2 shown in FIG. 5 are configured as a single apparatus, for example, a digital still camera, a video camera, a mobile phone, a computer apparatus, a portable information processing apparatus, an image editing apparatus, It is assumed that it is built in an image reproducing device, an image recording device, or the like.
- the image processing apparatus 1 and the image processing apparatus 2 may be arranged on a network instead of a user device.
- FIG. 7 shows a configuration example of the imaging device 50.
- the imaging device 50 includes a lens unit 100, an imaging element 101, an image processing unit 102, a graphics processing unit 103, a recording device unit 104, a display unit 105, a communication unit 106, a storage unit 107, a control unit 108, an operation unit 109, and a sensor unit. 110.
- the image processing unit 102, graphics processing unit 103, recording device unit 104, display unit 105, communication unit 106, storage unit 107, control unit 108, operation unit 109, and sensor unit 110 are connected to each other via a bus 111. Then, image data, control signals, and the like are exchanged.
- the lens unit 100 condenses the optical image of the subject.
- the lens unit 100 has a mechanism for adjusting a focal length, a subject distance, an aperture, and the like so that an appropriate image can be obtained in accordance with an instruction from the control unit 103. It also has a camera shake correction mechanism for optically suppressing image blur.
- the image sensor 101 photoelectrically converts the optical image collected by the lens unit 100 into an electrical signal. Specifically, it is realized by a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like.
- CCD Charge Coupled Device
- CMOS Complementary Metal Oxide Semiconductor
- the image processing unit 102 includes a sampling circuit that samples an electrical signal from the image sensor 101, an A / D conversion circuit that converts an analog signal into a digital signal, an image processing circuit that performs predetermined image processing on the digital signal, and the like. .
- the image processing unit 102 performs processing for obtaining frame image data obtained by imaging with the image sensor 101, and also performs processing for synthesizing panoramic images and generation processing for thumbnail image data (TM1, TM2). ing.
- the image processing unit 102 includes not only a dedicated hardware circuit but also a CPU (Central Processing Unit) and a DSP (Digital Signal Processor), and can perform software processing to cope with flexible image processing.
- the graphics processing unit 103 is hardware for generating 2D and 3D graphics at high speed, and is generally called a GPU (Graphics Processing Unit).
- the GPU includes not only a hardware circuit dedicated to a specific function but also a programmable processor, and can perform flexible graphics processing. It is also possible to use the computational capability of the GPU for purposes other than graphics by making use of programmable features, and this type of GPU usage is generally called GPGPU (General Purpose computing on GPU).
- the recording device 104 includes a recording medium such as a semiconductor memory such as a flash memory, a magnetic disk, an optical disk, and a magneto-optical disk, and a recording / reproducing system circuit / mechanism for the recording medium.
- the recording device 104 records the JPEG image data encoded in the JPEG (Joint Photographic Experts Group) format by the image processing unit 102 and stored in the storage unit 107 on a recording medium during imaging by the imaging apparatus 50.
- the recording device 104 reads JPEG image data stored on the recording medium.
- the JPEG image data is read into the storage unit 107, and the image processing unit 102 performs decoding processing.
- the decoded image data can be displayed on the display unit 105 or can be transmitted and output to an external device by the communication unit 106.
- the display unit 105 is processed by the image processing unit 102 and has a D / A conversion circuit that converts the image data stored in the storage unit 107 into an analog form, and the analog image signal in a format that is compatible with a subsequent display device.
- the video encoder includes a video encoder that encodes a video signal and a display panel (display panel 105a in FIG. 4) that displays an image corresponding to the input video signal.
- the display panel 105a is realized by, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) panel, and also has a function as a finder.
- the communication unit 106 performs communication with external devices and network communication.
- the communication unit 106 is a mobile communication system called a 3G or 4G communication, a wireless communication such as a wireless local area network (LAN) using the IEEE802.11 series, or a wired LAN or USB (Universal Serial Bus). ), A module that performs wired communication such as Thunderbolt.
- LAN wireless local area network
- USB Universal Serial Bus
- Thunderbolt A module that performs wired communication
- Thunderbolt Thunderbolt
- Various examples of transmission paths for communication performed by the communication unit 106 are conceivable.
- a wireless transmission path using radio waves or infrared rays, or a wired transmission path using cable connection may be used.
- As the signal form digital electric signal communication, analog electric signal communication, optical communication, and the like are assumed.
- the storage unit 107 includes a semiconductor memory such as a DRAM (Dynamic Random Access Memory), and temporarily stores image data processed by the image processing unit 102, a control program in the control unit 108, various data, and the like.
- a semiconductor memory such as a DRAM (Dynamic Random Access Memory)
- DRAM Dynamic Random Access Memory
- the control unit 108 includes a CPU and a control program, and controls each unit of the imaging device 50.
- the control program itself is actually stored in the memory unit 105 and executed by the CPU.
- the processing as the above-described image processing apparatuses 1 and 2 is executed by the control unit 108, the image processing unit 102, and the graphics processing unit 103. That is, in the embodiment as the imaging device 50, a configuration corresponding to the above-described image processing devices 1 and 2 is realized by the control unit 108, the image processing unit 102, and the graphics processing unit 103.
- the operation unit 109 includes input devices such as a shutter button, hardware keys such as up / down / left / right arrow keys, a determination key, and a cancel key, an operation dial, a touch panel, and a zoom lever, and detects an input operation of a photographer (user). To the control unit 108. The control unit 108 determines the operation of the imaging device 50 in accordance with a user input operation, and controls each unit to perform a necessary operation.
- the sensor unit 110 includes a gyro sensor, an acceleration sensor, a geomagnetic sensor, a GPS (Global Positioning System) sensor, and the like, and detects various types of information. Such information is added to the captured image data as metadata, and is also used for various image processing and control processing.
- FIG. 8 shows the processing executed in the image processing unit 102 and the control unit 108 for the panorama synthesis processing as a functional configuration, and shows the processing (algorithm flow) executed by those functional configuration parts.
- preprocessing 200, image registration processing 201, moving subject detection processing 202, detection / recognition processing 203, reprojection processing 204, seam determination processing 205, and stitch processing 206 are performed for panorama synthesis processing. .
- the input image group FMS that is the target of the pre-processing 200 is frame image data FM # 0 and FM # sequentially obtained when the photographer is performing panoramic imaging with the imaging device 50. 1, FM # 2.
- preprocessing 200 for panorama synthesis is performed on an image (each frame image data) captured by the photographer's panorama imaging operation.
- the frame image data FM here is subjected to the same image processing as in normal imaging.
- the input image is affected by aberrations based on the characteristics of the lens unit 100. In particular, the distortion of the lens adversely affects the image registration process 201 and reduces the alignment accuracy.
- distortion aberration correction is performed in the preprocessing 200. There is also an effect of improving the accuracy of the moving subject detection process 202 and the detection / recognition process 203 by correcting the distortion.
- an image registration process 201, a moving subject detection process 202, and a detection / recognition process 203 are performed on the frame image data that has undergone the preprocessing 200.
- the image registration processing 201 is processing for inputting two consecutive frame image data and performing alignment in the panoramic coordinate system.
- the information obtained by the image registration processing 201 for the two frame image data is only a relative relationship between the two image coordinates, but one of the plural image coordinate systems (for example, the first frame image data).
- the coordinate system of all the frame image data can be converted to the panorama coordinate system by selecting the coordinate system of (2) and fixing it to the panorama coordinate system.
- Specific processing performed in the image registration processing 201 is roughly divided into the following two. 1. Detect local motion in the image. 2. The global motion of the entire image is obtained from the local motion information obtained above.
- -Block matching-Feature point extraction and feature point matching such as Harris, Hessian, SIFT, SURF, FAST, etc. are used to obtain local vectors of image feature points.
- the local vector group obtained in the process 1 is used as an input.
- LMedS Minimum median method
- RANSAC Random SAmple Consensus
- panorama composition processing combines multiple frame image data, so if there is a moving subject in the imaging scene, the moving subject may be partially broken or blurred, causing image corruption and image quality degradation. It becomes. For this reason, it is preferable to determine a panoramic seam (joint) by detecting a moving subject and avoiding the moving subject.
- the moving subject detection process 202 is a process for inputting two or more continuous frame image data and detecting a moving subject.
- a specific example of the process is that when the difference value between the pixels of the two frame image data actually aligned is greater than or equal to a threshold value based on the image registration information obtained by the image registration process 201, The pixel is determined as a moving subject. Alternatively, the determination may be performed using feature point information determined as an outlier at the time of robust estimation of the image registration processing 201.
- the detection / recognition process 203 position information such as a human face, body, and animal in the captured frame image data is detected. Humans and animals are likely to be moving subjects, and even if they are not moving, if a panoramic seam is determined on the subject, it often causes a visual discomfort compared to other objects. It is preferable to avoid these objects and determine the seam. That is, the information obtained by the detection / recognition process 203 is used to supplement the information of the moving subject detection process 202. Based on the information obtained in the moving subject detection process 202 and the detection / recognition process 203, a seam is determined in a seam determination process 207 described later.
- the reprojection process 204 based on the image registration information obtained by the image registration process 201, all frame image data is projected onto a single plane, or a single curved surface such as a cylindrical surface or a spherical surface. At the same time, the moving subject information and detection / recognition information are projected onto the same plane or curved surface.
- the projection plane may be automatically selected from the angle of view at the time of imaging, or may be set according to a user operation.
- the frame image data reprojection process 204 may be performed as a pre-stage process of the stitch process 206 or as a part of the stitch process 206 in consideration of optimization of the pixel process. Further, it may be simply performed before the image registration processing 201, for example, as a part of the preprocessing 200. Further, it may be further simplified and handled as an approximation of cylindrical projection processing without performing the processing itself.
- the seam determination process 205 includes the image data from the reprojection process 204, the image registration information from the image registration process 201, the moving subject information from the moving subject detection process 202, and the detection / recognition information from the detection / recognition process 203. This is a process for determining an appropriate seam SM (the seams SM0 to SM (n-2) described with reference to FIGS. 2 and 3) as an input and a panoramic image with few failures.
- a cost function for an overlapping region between adjacent frame image data is defined from the input information.
- the function value may be a total value obtained by appropriately weighting the moving subject information from the moving subject detection process 202 and the detection / recognition information from the detection / recognition process 203 for each pixel in the overlapping region.
- the cost function value is low in order to minimize the collapse in the panoramic image.
- a set of points may be a seam.
- n images (frame image data) are used for panoramic image synthesis
- the number of overlapping areas is n ⁇ 1, and n ⁇ 1 cost functions are defined. Therefore, in order to select an optimal seam for the entire panoramic image, a combination that minimizes these n-1 cost functions is obtained.
- This is generally called a combinatorial optimization problem, and the following solutions are known.
- All of the seams SM1 to SM (n-2) can be obtained by any of the above solutions.
- the stitch process 206 uses all the seams SM1 to SM (n-2) determined as described above and the frame image data FM # 0 to FM # (n-1) to finally generate a panoramic image. Synthesize. For the area around the seam, blend processing is performed to reduce the unnaturalness of the joint, and for other areas, only simple pixel value copying or resampling to the panoramic coordinate system is performed. Do and join all images. Finally, by trimming unnecessary portions in the direction perpendicular to the sweep in consideration of the amount of camera shake, a panoramic image (panoramic image data PD) having a wide angle of view with the sweep direction as the long side direction is obtained. Can do.
- thumbnail image data (TM1, TM2)
- thumbnail image data TM1 and TM2 are created for one panoramic image data PD.
- the thumbnail image data TM1 and TM2 can be generated mainly by performing the processing of FIG. 9 with the image processing unit 102, the graphics processing unit 103, and the control unit 108.
- one of the thumbnail image data TM1 and TM2 can be generated as necessary.
- FIG. 9 shows an outline of the thumbnail creation flow.
- the panorama image data PD is subjected to a reduction process 300 to reduce the high resolution panorama image data PD to a resolution that can be easily used for simple display and reduction display, and the normal thumbnail image data TM1.
- the thumbnail resolution is defined so that it can be stored in, for example, 640 pixels ⁇ 480 pixels or 1920 pixels ⁇ 1080 pixels.
- the number of normal thumbnail image data TM1 to be created may be one, or a plurality of normal thumbnail images with various resolutions may be created according to the purpose of use.
- the normal thumbnail image data TM1 created in this way is displayed in a display area such as 4: 3, 16: 9, 3: 2 which is a general aspect ratio at the time of display, but the panoramic image has a short side, Since the number of pixels on the long side is greatly different, the image is very long and narrow as shown in FIG. 4B, and the visibility is poor. Also, since there are many areas where nothing is displayed, the use efficiency of the display area is poor.
- the aspect ratio adjustment thumbnail image data TM2 is also created in the present embodiment. That is, as shown in FIG. 9A, conversion processing 301 for adjusting the aspect ratio is performed on the panoramic image data PD.
- the conversion process 301 for adjusting the aspect ratio is a process for converting panoramic image data PD having a very large aspect ratio into an image having an appropriate aspect ratio such as 4: 3, 16: 9, 3: 2, 1: 1. is there.
- an appropriate aspect ratio such as 4: 3, 16: 9, 3: 2, 1: 1.
- FIGS. 10A and 10B are conceptual diagrams of 3D model arrangement during cylindrical projection and spherical projection, respectively.
- an image with a general aspect ratio as shown in FIG. 11A can be created. Further, during spherical projection, rendering with the viewpoint position P1 in FIG. 10B can create an image with a general aspect ratio as shown in FIG. 11B.
- a process of performing polar coordinate conversion on the panoramic image is also conceivable. It is known that a panoramic image can be converted into a planetary image as shown in FIG. 11C by converting the coordinate system of the panoramic image from a rectangular coordinate system (x, y) to a square image of polar coordinate conversion (r, ⁇ ). Yes. By this processing, the panoramic image can be converted into a 1: 1 aspect ratio.
- FIG. 12B shows an example of an aspect ratio adjusted image obtained by changing the aspect ratio to 4: 3 by this process for the panoramic image of FIG. 12A. This is not a simple reduction, but subject pixels with high importance are retained as much as possible, while pixel portions with poor features such as sky and ground are preferentially removed. As a result, a reduced image reflecting a characteristic part of the image content is obtained.
- this trimmed image information of the entire panoramic image cannot be retained, but by cutting out to include areas detected by processes such as face detection, human body detection, general object detection, main subject detection, etc., as much as possible It is possible to generate a trimmed image including a region that seems to be important.
- the image data generated by the aspect ratio adjustment conversion process 301 is subsequently subjected to the reduction process 302 of FIG. 9A.
- the image data processed in the aspect ratio adjustment process 301 is reduced to create the aspect ratio adjustment thumbnail image data TM2.
- the reduction resolution is the same as that of the reduction process 300.
- the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 are generated by the above processing of FIG. 9A. In addition, it is good also as a process like FIG. 9B. That is, in order to generate the aspect ratio adjustment thumbnail image data TM2, the panorama image data PD may be first reduced by the reduction process 302, and then the aspect ratio adjustment conversion process 301 may be performed.
- a plurality of specific examples of the aspect ratio adjustment conversion processing 301 have been described. However, a single aspect ratio adjustment thumbnail image data TM2 may be created, or a plurality of types of aspect ratio adjustment thumbnail image data TM2 may be used depending on the purpose. May be created. For example, the aspect ratio adjustment thumbnail image data TM2 according to the processing example I and the aspect ratio adjustment thumbnail image data TM2 according to the processing example III are generated. Similarly to the normal thumbnail image data TM1, one of the same kind of aspect ratio adjustment thumbnail image data TM2 may be generated with a certain resolution, or a plurality of images may be generated with different resolutions.
- the thumbnail image by the 3D model of the processing example I as the aspect ratio adjustment conversion processing 301 is a rendering image from a specific viewpoint.
- a plurality of rendering images may be created when the is moved.
- the aspect ratio adjusted thumbnail image data TM2 at a plurality of viewpoint positions such as the viewpoint positions P1, P2,... In FIG.
- the 3D model can be rotated only by the thumbnail image, and the visibility of the entire panoramic image is improved.
- the panorama image data PD created by the panorama synthesizing process as described above, and the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 generated by the thumbnail generation process are appropriately converted into JPEG format or the like.
- the data is converted into compression format data and recorded on the recording device 104.
- the type of projection plane selected in the reprojection processing 204 (type of cylindrical surface, spherical surface, etc.) is recorded as metadata.
- metadata may be embedded in image data such as EXIF (Exchangeable Image File Format), or may be recorded as a file independent of image data.
- the control unit 108 controls the panorama imaging process in step F101.
- an input image group FMS is obtained in the image processing unit 102.
- the control of the control unit 108 and the operation of the image processing unit 102 are performed, as shown in FIG.
- the panorama image data PD is generated by performing the processing described above.
- step F102 the control unit 108 controls generation of the normal thumbnail image data TM1. That is, under the control of the control unit 108, for example, the reduction processing 300 of FIG. 9A is executed as the processing of the image processing unit 102 and the graphics processing unit 103, and the normal thumbnail image data TM1 is generated.
- step F103 the control unit 108 performs generation control of the aspect ratio adjustment thumbnail image data TM2. That is, the aspect ratio adjustment thumbnail image data TM2 is generated by executing, for example, the aspect ratio adjustment conversion process 301 and the reduction process 302 of FIG. 9A as the processes of the image processing unit 102 and the graphics processing unit 103 according to the control of the control unit 108. . Note that the order of steps F102 and F103 may be reversed or performed in parallel.
- step F104 the control unit 108 causes the recording device 104 to record the panorama image data PD, the normal thumbnail image data TM1, and the aspect ratio adjustment thumbnail image data TM2 created in each of the above steps on a recording medium.
- the panorama image data PD, the normal thumbnail image data TM1, and the aspect ratio adjusted thumbnail image data TM2 generated in steps F101, F102, and F103, respectively, are recorded on the recording medium in step F104.
- each image data (PD, TM1, TM2) may be transmitted from the communication unit 106 to an external device instead of recording on the recording medium by the recording device 104. For example, recording is performed on a recording medium by a communication destination device.
- thumbnail image data TM1 and TM2 are selected so that an appropriate one can be selected according to various circumstances at the time of display. It will be ready. Further, by performing processing for recording both the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 on the recording medium as the thumbnail image data corresponding to the panoramic image data PD, the normal thumbnail image is displayed in the subsequent display. Data TM1 and aspect ratio adjustment thumbnail image data TM2 can be selected. By such processing, it is possible to cope with a display method in which an appropriate thumbnail image is displayed according to the circumstances of thumbnail display, and it is possible to contribute to improvement of the user's thumbnail recognition.
- FIG. 13B A processing example of FIG. 13B will be described.
- the same processes as those described above are denoted by the same step numbers, and the description thereof is omitted.
- the process of FIG. 13B is obtained by adding step F110 to the process of FIG. 13A.
- the control unit 108 determines the type of the aspect ratio adjustment thumbnail image data TM2 to be generated. That is, as the aspect ratio adjustment conversion process 301 in FIG. 9, various examples such as the above-described process examples I to IV are conceivable. It is.
- control unit 108 determines the process selection condition, and selects, for example, any one of the process examples I to IV.
- the process selection condition for example, a projection process type condition, a panoramic view angle condition, a subject condition, a user setting condition, or a combination condition thereof is assumed.
- the example of the process of step F110 according to these process selection conditions is given.
- the aspect ratio adjustment thumbnail image data TM2 is generated according to the projection plane used in the reprojection process 204. For example, if the panorama image data PD has been projected onto the cylindrical surface in the reprojection processing 204 at the time of generation, an image obtained by texture-mapping the panoramic image with respect to the three-dimensional model of the cylindrical surface is used as Processing Example I. Assume that processing to be rendered is selected, and aspect ratio adjustment thumbnail image data TM2 as shown in FIG. 11A is generated. Also, if the panorama image data PD has been projected onto a spherical surface in the reprojection processing 204 at the time of generation, the processing is described as processing example I. However, the panoramic image is texture-mapped to the spherical three-dimensional model. It is assumed that the processing for rendering the image is selected, and the aspect ratio adjustment thumbnail image data TM2 as shown in FIG. 11B is generated.
- the panoramic angle of view condition is used as the processing selection condition, for example, it is conceivable to select a process depending on whether or not the angle of view of the panoramic image data PD is 360 °.
- the aspect ratio adjustment thumbnail image data TM2 as shown in FIG. 11A or FIG.
- polar coordinate transformation may be used in Processing Example II (see FIG. 11C).
- Process Example III or Process Example IV is used. This is because when the angle of view is less than 360 °, the thumbnail image according to the processing example I as shown in FIGS. 11A and 11B includes a portion where no subject exists, and the image quality may deteriorate.
- processing example III and processing example IV are performed to generate aspect ratio adjustment thumbnail image data TM2 in which the face portion and the like are exposed.
- processing example I or processing example II is selected.
- the control unit 108 determines the method of the conversion process 301 for adjusting the aspect ratio in FIG. 9 according to the process selection condition as described above, for example.
- the selected processing method is executed to generate the aspect ratio adjustment thumbnail image data TM2.
- the created panorama image data PD, normal thumbnail image data TM1, and aspect ratio adjustment thumbnail image data TM2 are recorded on the recording medium by the recording device 104.
- the example of FIG. 13B is determined by determining the type of the aspect ratio adjustment process (in this case, the conversion process 301 for adjusting the aspect ratio) based on the process selection condition among the plurality of aspect ratio adjustment processes.
- the aspect ratio adjustment thumbnail image data TM2 is generated by the aspect ratio adjustment process.
- Various processing methods can be considered as the conversion processing 301 for adjusting the aspect ratio.
- emphasis is placed on the simplicity of processing as a thumbnail image.
- Appropriate thumbnail generation is achieved, such as emphasizing maintaining image quality, emphasizing the user's panoramic image content, emphasizing user preferences, and the like.
- FIG. 14A A processing example of FIG. 14A will be described.
- the process of FIG. 14A is an example in which a plurality of aspect ratio adjustment thumbnail image data TM2 is generated by different aspect ratio adjustment processes. That is, after the processing in steps F101 and F102 similar to FIG. 13A, in step F103A, the control unit 108 generates a plurality of types of aspect ratio adjustment thumbnail image data TM2.
- the aspect ratio adjustment thumbnail image data TM2 in FIG. 10A according to the processing example I the aspect ratio adjustment thumbnail image data TM2 in FIG. 10C according to the processing example II, and the like.
- step F104A the created panorama image data PD, normal thumbnail image data TM1, and plural types of aspect ratio adjustment thumbnail image data TM2 are recorded on a recording medium by the recording device 104.
- the aspect ratio adjusted thumbnail image data TM2 is selected and generated under the above-described processing selection conditions, and in addition, the aspect ratio adjusted thumbnail image data TM2 by the trimming of the processing example IV is generated. You may make it do. This is because Process Example IV is a simple cut-out process, and does not increase the processing burden when generating a plurality of types of aspect ratio adjustment thumbnail image data TM2.
- a plurality of aspect ratio adjustment thumbnail image data TM2 is generated by different aspect ratio adjustment processes. This process is performed as follows. "Can also be considered. For example, a plurality of aspect ratio adjustment thumbnail image data TM2 having different viewpoint positions with respect to panoramic image data is generated. As described above, the aspect ratio adjustment thumbnail image data TM2 at a plurality of viewpoint positions such as the viewpoint positions P1, P2,... In FIG. If a plurality of thumbnail image data having different viewpoint positions are generated, the original panoramic image data PD can be displayed in a state in which thumbnails viewed at different viewpoint positions can be switched. For example, the 3D model can be rotated only by the thumbnail image, and the visibility of the entire panoramic image is improved. Further, the display only switches the thumbnail image, and the processing load for rotation does not increase so much.
- the process of FIG. 14B is an example in which the subject position in the panorama image data PD is determined to set the viewpoint position, and the aspect ratio adjustment thumbnail image data TM2 is generated by the aspect ratio adjustment process corresponding to the viewpoint position.
- the control unit 108 performs important subject determination. For example, a human face or human body is set as an important subject, and it is determined whether or not the panoramic image data PD includes the important subject.
- the control unit 108 sets the viewpoint position according to the presence or absence of the important subject. For example, if the important subject does not exist, the initial setting position is set as the viewpoint position. If the important subject exists, the viewpoint position is set based on the position of the subject. If there are a plurality of important subjects, a plurality of viewpoint positions are set with reference to the respective important subject positions. Alternatively, the viewpoint position is set based on the center position of a plurality of important subjects.
- step F103B the control unit 108 uses the set one or more viewpoint positions to generate one or more aspect ratio adjustment thumbnail image data TM2 in the processing example I or the processing example IV, for example.
- step F104B the created panorama image data PD, normal thumbnail image data TM1, and one or a plurality of aspect ratio adjustment thumbnail image data TM2 are recorded on a recording medium by the recording device 104.
- the important subject detection may be not only face detection and human body detection, but also general object detection, moving object detection, main subject detection, and the like.
- thumbnail generation target image data is image data (non-panoramic image) obtained by normal imaging
- normal thumbnail image data TM1 is generated
- the thumbnail generation target image data is panoramic image data PD.
- both the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 are generated.
- step F130 the control unit 108 controls normal still image capturing or panoramic image capturing processing.
- the process proceeds from step F131 to F132, and generation control of normal thumbnail image data TM1 is performed.
- step F133 the control unit 108 causes the recording device 104 to record the image data as a normal still image and the normal thumbnail image data TM1 on the recording medium.
- the control unit 108 proceeds from step F131 to the processing of F102, F110, F103, and F104, and performs the same processing as in FIG. 13B.
- thumbnail image data can be appropriately generated for both normal imaging and panoramic imaging, and aspect ratio adjusted thumbnail image data TM2 is generated only in the case of panoramic imaging. Processing can be realized.
- thumbnail images (TM1, TM2) generated as described above will be described.
- any one of a plurality of thumbnail images (TM1, TM2) recorded corresponding to the panoramic image data PD is selected and displayed.
- a functional part corresponding to the image processing apparatus 2B illustrated in FIG. 5B or 5C is realized by the control unit 108, the image processing unit 102, and the graphics processing unit 103. That is, the thumbnail selection unit for selecting which of the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail image data TM2 is used for the thumbnail display, and the normal thumbnail image data TM1 and the aspect ratio adjustment thumbnail according to the selection of the thumbnail selection unit.
- a display data generation unit that generates display data for executing thumbnail display using any one of the image data TM2 is realized by operations of the control unit 108, the image processing unit 102, and the graphics processing unit 103.
- any one of the thumbnail images (one of TM1 and TM2) is selected according to the aspect ratio of the display area, the size of the display area, the number of thumbnail image data included in the display data, and the like. Select whether to display. By selecting and displaying an appropriate thumbnail image according to the situation, the use efficiency and visibility of the display area are improved.
- 16 and 17 are display examples according to the aspect ratio of the display area.
- the display area indicates the entire display panel 105a of the imaging device 50. That is, a description will be given of a case where a thumbnail image list or a single image is displayed on the entire display panel 105a.
- the aspect ratio of the display area is usually fixed.
- the aspect ratio is 1280: 720.
- the aspect ratio visually recognized by the user varies depending on the posture of the imaging device 50 (how the user holds the image).
- 16A shows a normal posture
- FIG. 16B shows a reverse posture
- FIG. 16C shows a left 90 ° posture
- FIG. 16D shows a right 90 ° posture. Since the user holds the imaging device 50 in an arbitrary posture, the user takes each posture as described above, and the display area may be vertically long as shown in FIGS. 16C and 16D. That is, the aspect ratio (aspect ratio) of the display area visually recognized by the user is, for example, 1280: 720 or 720: 1280.
- FIG. 17 shows an example of a thumbnail image list display corresponding to such a change in the aspect ratio of the display area.
- FIG. 17A shows a state in which the display area has a horizontally long aspect ratio.
- the aspect ratio adjustment thumbnail image data TM2 is selected and displayed as a list. Since the aspect ratio adjustment thumbnail image data TM2 has an aspect ratio of 4: 3 or 1: 1, for example, it can be displayed in a list in a state of being arranged vertically and horizontally as shown in the figure.
- FIG. 17B shows a state in which the display area has a vertically long aspect ratio. In this case, normal thumbnail image data TM1 is selected and displayed as a list.
- thumbnail image data TM1 is a horizontally long image
- a large number of thumbnails can be displayed as a relatively large image by displaying the thumbnail images so as to be arranged vertically as shown in the figure.
- 17A and 17B both use the display area efficiently and make it easy for the user to see the contents of the thumbnail image.
- FIG. 18 shows an example in which one thumbnail image is displayed on the display panel 105a.
- the aspect ratio adjustment thumbnail image data TM2 is selected and displayed. If the normal thumbnail image data TM1 is selected and displayed, the result is as shown in FIG. 4A.
- the image shown in FIG. 18 is a display that uses the display area having an aspect ratio of, for example, 1280: 720 efficiently, and the image is more interesting.
- thumbnail image display area The above is an example in which the entire display panel 105a is used as a thumbnail image display area, but a thumbnail image may be displayed using a part of the display panel 105a.
- 19A and 19B show a case where an application image (such as a menu display window) is displayed on the display panel 105a, and a part of the hatched area 105b is used as a thumbnail image display area.
- an application image such as a menu display window
- a part of the hatched area 105b is used as a thumbnail image display area.
- the aspect ratio of the display area of the thumbnail image changes variously.
- the image is vertically long as shown in FIG. 19A, for example, the normal thumbnail image data TM1 is suitable, and when it is horizontally long as shown in FIG. 19B, for example, the aspect ratio adjustment thumbnail image data TM2 is suitable.
- thumbnail image (TM1, TM2) to be displayed according to various circumstances at the time of display, such as the aspect ratio of the display area visually recognized by the user, the display area can be effectively used and the visibility of the user can be improved. Appropriate thumbnail display can be realized.
- thumbnail image display processing various image processing examples executed based on the control of the control unit 108 in the imaging apparatus 50 will be described with reference to FIGS. 20, 21, 22, and 23. The following examples in each drawing are shown as control processing of the control unit 108.
- FIG. 20A A processing example of FIG. 20A will be described. This is an example of selecting and displaying a thumbnail image in accordance with the aspect ratio of the display area of the display panel 105a in the imaging device 50.
- a list example of thumbnail images is displayed using the entire surface of the display panel 105a of the imaging device 50, and a thumbnail image is selected according to each posture of the imaging device 50 in FIG.
- the control unit 108 performs vertical / horizontal discrimination of the imaging device 50 in step F201. This is a process of determining the orientation of the imaging device 50 in which orientation the user is holding the imaging device 50. For example, the control unit 108 can determine the attitude of the imaging device 50 by confirming detection information of the acceleration sensor of the sensor unit 110 of FIG. By this processing, it is determined whether the posture is the normal posture (FIG. 16A), the reverse posture (FIG. 16B), the left 90 ° posture (FIG. 16C), or the right 90 ° posture (FIG. 16D).
- step F202 the control unit 108 acquires the aspect ratio of the display area in which the thumbnail image is displayed from the determination result in step F201 and the resolution of the display panel 105a of the imaging device 50.
- the display panel 105a is a liquid crystal panel of 1280 horizontal pixels ⁇ 720 vertical pixels
- the aspect ratio when it is determined to be a normal posture is 1280: 720
- the aspect ratio when it is determined to be a right 90 ° posture is 720: 1280. .
- step F203 the control unit 108 determines a thumbnail image display mode.
- the display mode here is a display mode using the normal thumbnail image data TM1 or a display mode using the aspect ratio adjustment thumbnail image data TM2.
- “normal thumbnail display mode” is selected, and when it is determined to be horizontally long, “aspect ratio adjustment thumbnail display mode” is set.
- step F204 the process branches according to the determined display mode.
- the process proceeds to step F205, and the normal thumbnail image data TM1 is read from the recording medium in the recording device 104 and is read into the storage unit 107 for display processing.
- the process proceeds to step F206, and the aspect ratio adjustment thumbnail image data TM2 is read from the recording medium in the recording device 104 and read into the storage unit 107 for display processing.
- the control unit 108 decodes the JPEG data of the thumbnail image data (TM1 or TM2) read into the storage unit 107, and writes it in the display data buffer.
- step F208 the control unit 108 writes all the images to be displayed as a list display in the display data buffer, and determines whether preparation as display data is completed. If there is an image that has not yet been processed, the process returns to step F204 and is sequentially processed. When all the thumbnail images are reflected in the display data, the process proceeds from step F208 to F209, and each image set in the display data buffer is output as display data to the display unit 105 to execute list display.
- the thumbnail list display of FIG. 17A or 17B is executed according to the orientation of the imaging device 50, and the list display is easy to view for the user and effectively uses the display area of the display panel 105a. it can.
- step F202 when the control unit 108 performs display on the display panel 105a of the imaging device 50, the aspect ratio of the display panel 105a is a known value, and thus the process of step F202 is not necessarily performed.
- the display mode determination in step F203 may be performed based only on the determination of the portrait orientation / landscape orientation in step F201.
- thumbnail list display is performed using a part (area 105b) of the display panel 105a as shown in FIG. 19, it is necessary to detect the aspect ratio of the display area at that time in step F202. . This is based on the number of vertical and horizontal pixels of the display area allocated as the thumbnail display area on the display application executed by the control unit 108 and the orientation of the imaging device 50. And determining the display mode.
- step F202 the aspect ratio of the display area of the external display device is acquired, and the display mode is determined accordingly. It is appropriate to do.
- the thumbnail display can be executed by a separate display device.
- FIG. 20B A processing example of FIG. 20B will be described. This is an example of selecting and displaying a thumbnail image in accordance with the aspect ratio of the display area of the display panel 105a in the imaging device 50, as in FIG. 20A. However, one thumbnail image is displayed using the entire surface of the display panel 105a. It is an example of a process in the case of displaying. Steps F201 to F209 are the same processing as in FIG. 20A. FIG. 20B does not include the determination of step F208 of FIG. 20A and the loop processing of steps F204 to F207. Detailed description of each step is omitted. That is, in the process of FIG.
- a thumbnail image for one panoramic image data PD is selected based on the display mode determined by the attitude of the imaging device 50 and the aspect ratio of the display area, and the selected thumbnail image data (TM1). Alternatively, TM2) is read from the recording medium to generate display data.
- the thumbnail image to be displayed is selected according to the aspect ratio of the display area visually recognized by the user. For example, it is possible to select and display the aspect ratio adjustment thumbnail image data TM2 when the display area visually recognized by the user is vertically long, and select and display the normal thumbnail image data TM1 when horizontally long.
- switching between the display using the aspect ratio adjustment thumbnail image data TM2 as shown in FIG. 18 and the display using the normal thumbnail image data TM1 as shown in FIG. 4A may be switched.
- Good For example, it is conceivable that the first selected according to the aspect ratio of the display area is displayed, and then the user can arbitrarily switch.
- FIGS. 21A and 21B are processing examples for thumbnail image list display and single image display as in FIGS. 20A and 20B, respectively, but steps F210 and F211 are executed instead of steps F205 and F206. . Others are the same.
- step F203 when “normal thumbnail display mode” is determined in step F203, the control unit 108 proceeds to step F210, and controls generation of the normal thumbnail image data TM1. That is, by the operations of the control unit 108, the image processing unit 102, and the graphics processing unit 103, the normal thumbnail image data TM1 is generated from the target panoramic image data PD by executing the reduction processing 300 described in FIG. 9A or 9B. . If the “aspect ratio adjustment thumbnail display mode” is determined in step F203, the control unit 108 proceeds to step F211 to perform generation control of the aspect ratio adjustment thumbnail image data TM2.
- Step F207 the process proceeds to Step F207.
- either normal thumbnail image data TM1 or aspect ratio adjusted thumbnail image data TM2 is selected according to the aspect ratio of the display area. This is an example to generate.
- step F220 the control unit 108 acquires the size of the display area.
- step F203A the display mode is determined. In this case, for example, the “aspect ratio adjustment thumbnail display mode” or the “normal thumbnail display mode” is determined depending on whether the size of the display area is equal to or larger than a predetermined size. For example, if the size of the display area is small, select “Aspect Ratio Adjustment Thumbnail Display Mode” to improve the visibility as much as possible. If the size of the display area is larger than the specified size and there is room, select “Normal Thumbnail Display Mode”. select.
- the subsequent steps F204 to F209 are the same as those in FIG. 20A. In place of steps F205 and F206, steps F210 and F211 shown in FIG. 21A may be executed.
- step F230 the control unit 108 branches the process depending on whether the display operation to be executed is a list display or a single sheet display.
- the process proceeds to step F205, where the normal thumbnail image data TM1 is read from the recording medium to generate display data, and the process proceeds from step F207 to F208 to F209 to execute single image display.
- the control unit 108 checks the number of thumbnail images to be displayed in step F231.
- the display mode is determined.
- the “aspect ratio adjustment thumbnail display mode” or the “normal thumbnail display mode” is determined depending on whether or not the display number is a predetermined number or more. For example, when the number of thumbnail images to be displayed is less than a predetermined value, the normal thumbnail image TM1 does not significantly impair the visibility, so the “normal thumbnail display mode” is selected. On the other hand, when the number of thumbnail images to be displayed is equal to or greater than a predetermined value, the “aspect ratio adjustment thumbnail display mode” is selected in order to improve the visibility as much as possible.
- the subsequent steps F204 to F209 are the same as those in FIG. 20A. However, steps F210 and F211 shown in FIG. 21A may be executed instead of steps F205 and F206.
- thumbnail image data for the panorama image data PD when displaying the thumbnail image data for the panorama image data PD, the normal thumbnail image data TM1 obtained by resolution conversion and the aspect ratio adjusted thumbnail image data TM2 are selected according to various circumstances. Thumbnail image display can be executed by an appropriate person. For example, at the time of list display or single-sheet display, it is possible to realize display that is highly visible to the user or display that effectively uses the display area.
- the thumbnail image (TM1 or TM2) selected according to the determination of the display mode is read from the recording medium to generate display data.
- the display data can be created by a simple process, and the processing load at the time of display can be reduced and quick display can be performed.
- steps F210 and F211 of FIGS. 21A and 21B a process of generating a thumbnail image (TM1 or TM2) selected according to the display mode determination may be performed. In this case, it is not necessary to perform the processing described with reference to FIG. Further, since it is not necessary to record a plurality of thumbnail images (TM1, TM2) on the recording medium, the capacity consumption of the recording medium can be reduced.
- thumbnail image (TM1 or TM2) to be displayed according to the aspect ratio of the display area
- an easy-to-view display can be realized according to the circumstances of the display area (vertically long or horizontally long).
- the posture of the imaging device 50 it is possible to improve the visibility according to the situation that the user actually recognizes.
- thumbnail image display can be executed using a relatively wide area, and the visibility can be improved according to the orientation of the imaging device 50.
- a part of the display panel 105a is used as the display area, it is possible to select whether the part is vertically long or horizontally long. This makes it possible to display thumbnail images with high visibility corresponding to the display area setting.
- thumbnail image (TM1 or TM2) to be displayed according to the size of the display area, it is possible to realize an easily viewable thumbnail image display according to the display area size.
- thumbnail image (TM1 or TM2) to be displayed according to the number of thumbnail images to be displayed, an easily viewable thumbnail image display according to the number of thumbnail images can be realized.
- the present embodiment when displaying a thumbnail image of panoramic image data, it is possible to perform an appropriate thumbnail image display according to the circumstances at the time of display, thereby improving the user's thumbnail recognition. . Furthermore, the advantage of the normal thumbnail image data TM1 that can show the entire panoramic image although the resolution is low, and the advantage of the aspect ratio adjustment thumbnail image data TM2 that is suitable for display and interesting in aspect ratio are used depending on the situation. be able to.
- thumbnail image data TM2 When a plurality of aspect ratio-adjusted thumbnail image data TM2 having different resolutions are stored, an appropriate one is selected and read out according to the size, the number of thumbnail images to be displayed, and the like in the display area assigned to the thumbnail image display. Good.
- the aspect ratio adjustment thumbnail image data TM2 may be selected according to random selection, setting of a priority display type by the user, or the like.
- a thumbnail image having a viewpoint position close to the center of the panorama image data PD is selected, and thereafter, thumbnail images having different viewpoint positions in accordance with user operations. You may make it switch to.
- the selection of the aspect ratio adjustment thumbnail image data TM2 to be displayed from the plurality of aspect ratio adjustment thumbnail image data TM2 can also be applied to the case of step F211 in FIG. That is, in step F211, the processes in steps F110 and F103 in FIG. 13B are performed, and the process selection conditions are used according to the aspect ratio, size, and number of display thumbnails of the display area. Then, the aspect ratio adjustment thumbnail image data TM2 corresponding to the process selection condition is generated. In this way, even if the aspect ratio adjustment thumbnail image data TM2 is not generated in advance, the aspect ratio adjustment thumbnail image TM2 suitable for the display state at that time can be displayed at every display opportunity.
- the program according to the embodiment is a program that causes an arithmetic processing device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) to execute the processing described in the above-described embodiment. That is, the program that implements the image processing apparatus 1 generates the first thumbnail image data (normal thumbnail image data TM1) by converting the resolution of the panoramic image data PD generated by combining a plurality of captured images. And the second thumbnail generation process for generating the second thumbnail image data (aspect ratio adjustment thumbnail image data TM2) by performing the aspect ratio adjustment process on the panorama image data PD. It is a program to be executed. Specifically, this program may be a program that causes the arithmetic processing unit to execute the processing shown in FIG. 6A, FIG. 13A, FIG. 13B, FIG. 14A, FIG.
- arithmetic processing unit such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor)
- the program for realizing the image processing device 2 includes first thumbnail image data (normal thumbnail image data TM1) generated by resolution conversion of panoramic image data PD generated by combining a plurality of captured images, and a panoramic image.
- first thumbnail image data normal thumbnail image data TM1
- second thumbnail image data an aspect ratio adjustment thumbnail image data TM2
- thumbnail selection processing for selecting which one is used for thumbnail display
- this thumbnail selection procedure In response to the selection, the arithmetic processing unit is caused to execute display data generation processing for generating display data for executing thumbnail display using either the first thumbnail image data or the second thumbnail image data.
- this program may be a program that causes the arithmetic processing unit to execute the processing shown in FIG. 6B, FIG. 6C, FIG. 20A, FIG. 20B, FIG. 21A, FIG. 21B, FIG.
- the above-described image processing apparatuses 1 and 2 can be realized using an arithmetic processing apparatus.
- a program can be recorded in advance in an HDD as a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
- a removable recording medium can be provided as so-called package software.
- the program can be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
- LAN Local Area Network
- these programs are suitable for providing a wide range of the image processing apparatuses 1 and 2 according to the embodiment.
- a program for example, by downloading a program to a personal computer, a portable information processing device, a mobile phone, a game device, a video device, a PDA (Personal Digital Assistant) or the like, the portable information processing device or the like is connected to the image processing devices 1 and 2. can do.
- the same processing as that of the image processing apparatuses 1 and 2 of the embodiment can be executed.
- the CPU 71 of the computer device 70 executes various processes according to a program stored in the ROM 72 or a program loaded from the storage unit 78 to the RAM 73.
- the RAM 73 also appropriately stores data necessary for the CPU 71 to execute various processes.
- the CPU 71, ROM 72, and RAM 73 are connected to each other via a bus 74.
- An input / output interface 75 is also connected to the bus 74.
- the input / output interface 75 includes an input unit 76 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) or LCD, an organic EL panel, an output unit 77 including a speaker, a hard disk, and the like.
- a communication unit 79 including a storage unit 78 and a modem is connected. The communication unit 79 performs communication processing via a network including the Internet.
- a drive 80 is connected to the input / output interface 75 as necessary, and a removable medium 81 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is Installed in the storage unit 78 as necessary.
- a removable medium 81 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is Installed in the storage unit 78 as necessary.
- this recording medium includes a removable medium 81 distributed to distribute a program to the user, separately from the apparatus main body.
- the removable disk 81 is, for example, a magnetic disk (including a flexible disk) on which a program is recorded, an optical disk (including a Blu-ray disk, a CD-ROM, a DVD), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor. It consists of memory.
- the recording medium is also configured by a ROM 72 in which a program is recorded and a hard disk included in the storage unit 78 that is distributed to the user in a state of being incorporated in the apparatus main body in advance.
- the CPU 71 when the panoramic image data PD is input by the reception operation by the communication unit 79 or the reproduction operation by the drive 80 (removable medium 81) or the recording unit 78, the CPU 71 is based on the program.
- the functions of the normal thumbnail generation unit 1a and the aspect ratio adjustment thumbnail generation unit 1b of the image processing apparatus 1 are realized, and the generation processing of the thumbnail image data TM1 and TM2 is executed.
- the CPU 71 realizes the functions of the thumbnail selection unit 2a and the display data generation unit 2b of the image processing device 2 based on the program, and the thumbnail image data TM1 and TM2 corresponding to the situation. Perform selective display processing.
- the imaging device 50 is assumed to have both functions of the image processing devices 1 and 2. However, for example, only the function of the image processing device 1 is installed, and other playback devices, display devices, etc. A configuration with functions is also conceivable. The same applies to the computer device 70.
- the aspect ratio adjustment thumbnail image data TM2 may be generated by a method other than the processing examples I to IV.
- a plurality of normal thumbnail image data TM1 may be generated at a plurality of resolutions.
- this technique can also take the following structures.
- a thumbnail selection unit for selecting which of the data to use for thumbnail display;
- a display data generation unit that generates display data for executing thumbnail display using either the first thumbnail image data or the second thumbnail image data in accordance with the selection of the thumbnail selection unit;
- An image processing apparatus provided.
- the display data generation unit reads from the recording medium either the first thumbnail image data or the second thumbnail image data selected by the thumbnail selection unit, and uses the read thumbnail image data.
- the image processing apparatus according to (1), wherein the display data is generated.
- the display data generation unit generates and generates either the first thumbnail image data or the second thumbnail image data selected by the thumbnail selection unit using panoramic image data.
- the image processing apparatus according to (1), wherein display data for executing thumbnail display is generated using the thumbnail image data.
- the thumbnail selection unit selects either the first thumbnail image data or the second thumbnail image data according to an aspect ratio of a display area of a display device that supplies the display data.
- the image processing apparatus according to any one of 1) to (3).
- the image processing device according to (4), wherein the display area is an entire screen of the display device.
- the image processing apparatus according to (4), wherein the display area is an area for performing thumbnail display on a screen of the display device.
- the thumbnail selection unit selects either the first thumbnail image data or the second thumbnail image data according to a size of a display area of a display device that supplies the display data. ) To (3). (8) The thumbnail selection unit selects either the first thumbnail image data or the second thumbnail image data according to the number of thumbnail image data included in the display data.
- the image processing apparatus according to any one of 3). (9) First thumbnail image data generated by resolution conversion of panoramic image data generated by combining a plurality of captured images, and a second thumbnail image generated by aspect ratio adjustment processing for the panoramic image data.
- a thumbnail selection procedure for selecting which of the data to use for the thumbnail display A display data generation procedure for generating display data for executing thumbnail display using either the first thumbnail image data or the second thumbnail image data in accordance with the selection in the thumbnail selection procedure;
- An image processing method comprising: (10) First thumbnail image data generated by resolution conversion of panoramic image data generated by combining a plurality of captured images, and a second thumbnail image generated by an aspect ratio adjustment process for the panoramic image data. Thumbnail selection processing for selecting which of the data to use for thumbnail display; Display data generation processing for generating display data for executing thumbnail display using either the first thumbnail image data or the second thumbnail image data in accordance with the selection in the thumbnail selection procedure; A program that causes an arithmetic processing unit to execute.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
なお「スイープ」とは、パノラマ画像生成のための複数のフレーム画像データを得るために、撮像時に撮像装置の回転運動による撮像方向移動の動作をいう。例えば水平方向に撮像方向を移動させる場合、スイープ方向とは水平方向を指す。
デジタルスチルカメラ等の撮像装置では、パノラマ画像についても、通常の静止画と同様にサムネール画像を生成し、例えば一覧表示等を行うようにされている。
サムネール表示に関しては、上記特許文献1に示されるように、3D(three dimensions)画像のサムネールを表示する手法も提案されている。
一方で、上記特許文献1の3Dサムネイル画像ような手法をとれば、一覧表示の場合も、それぞれが見やすいサムネール画像とすることができる。ところがそのままではパノラマ画像内容全体が現れているものではなく、3Dサムネイル画像を回転させるなど、処理負担の大きな表示制御が必要になる。
これにより、パノラマ画像データについてのサムネール画像データを表示する際の各種事情に応じて、解像度変換による第1のサムネール画像データと、アスペクト比調整処理による第2のサムネール画像データのうちで適切な方でサムネール画像表示を実行できる。
これにより選択されたサムネール画像データを利用した表示のための表示データ生成が可能となる。
第3に、本技術に係る画像処理装置においては、前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを、パノラマ画像データを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データを生成することが望ましい。
これによっても選択されたサムネール画像データを利用した表示のための表示データ生成が可能となる。
表示領域のアスペクト比に応じて第1,第2のサムネール画像データを選択することで、表示領域の事情に応じて見やすい方を選択できる。
第5に、本技術に係る画像処理装置においては、前記表示領域とは、表示装置の画面全体である。
これは表示装置の画面全体を用いてサムネール画像表示を行う場合に適切である。
第6に、本技術に係る画像処理装置においては、前記表示領域とは、表示装置の画面内においてサムネイル表示を行う領域である。
これは表示装置の画面の一部を用いてサムネール画像表示を行う場合に適切である。
表示領域サイズによって、見やすいサムネール画像は異なるため、それに対応するようにする。
第8に、本技術に係る画像処理装置においては、前記サムネール選択部は、前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択することが望ましい。
一覧表示等で複数のサムネール画像を表示する場合、サムネール画像数によって見やすいサムネール画像は異なるため、それに対応するようにする。
本技術に係るプログラムは、当該各手順の処理を演算処理装置に実行させるプログラムである。
これらにより、1つのパノラマ画像データに対して、解像度変換による第1のサムネール画像データと、アスペクト比調整処理による第2のサムネール画像データを選択的に表示させるための装置を実現できる。
なお、実施の形態として、画像処理装置、画像処理装置を内蔵する撮像装置、画像処理装置として機能するコンピュータ装置、及びプログラムの各例を説明する。
<1.パノラマ合成及び再生表示の概要>
<2.第1の実施の形態(画像処理装置)>
<3.第2の実施の形態(撮像装置)>
[3-1:撮像装置の構成]
[3-2:パノラマ合成処理]
[3-3:サムネール画像生成及び種別]
[3-4:画像処理例]
[3-5:サムネール表示領域]
[3-6:サムネール表示処理例]
<4.第3の実施の形態(コンピュータ装置及びプログラム)>
<5.変形例>
まずパノラマ合成についての概要を説明する。
後述する実施の形態の撮像装置50や、近年の一般的な撮像装置(デジタルスチルカメラ)は、撮像者がある回転軸で撮像装置50を回転運動させながら撮像して得られた複数枚の静止画像(フレーム画像データ)に対し、合成処理を行うことによって最大360°の広画角のパノラマ画像を生成することができる。
この図では撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻0~時刻(n-1)までに撮像されたフレーム画像データを、フレーム画像データFM#0、FM#1・・・FM#(n-1)としている。
n枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のn個のフレーム画像データFM#0~FM#(n-1)について合成処理を行うこととなる。
各フレーム画像データの位置合わせの結果、一般的にスイープ方向だけでなく、スイープ方向と垂直な方向にも若干の移動が認められる。これは撮像者のスイープ時の手振れによって生じるズレである。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目(シーム:seam)を決めていることと同一である。
シームには、図2Aに示すようにスイープ方向に垂直な直線や、図2Bに示すように非直線(曲線など)とすることができる。
この図2A、図2Bにおいて、シームSM0はフレーム画像データFM#0,FM#1間のつなぎ目、シームSM1はフレーム画像データFM#1,FM#2間のつなぎ目、・・・シームSM(n-2)はフレーム画像データFM#(n-2),FM#(n-1)間のつなぎ目として示している。
なお、これらシームSM0~SM(n-2)が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。
そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。
図3では縦線がシームを示しており、n個のフレーム画像データFM#0~FM#(n-1)がシームSM0~SM(n-2)でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。
まず第一に、撮像装置50をパノラマ撮像モードに設定し、さらに最大撮像画角を設定する。最大撮像画角としては例えば120°、180°、360°などが選択可能であり、360°を選択した場合は、周囲の全風景をすべて写真に収めるいわゆる全周撮像ができる。
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合(パノラマ撮像中にはシャッターボタンを押し続けるという仕様において)
・何らかのエラーが発生した場合
またパノラマ画像データから例えば解像度変換による縮小処理などでサムネール画像データが生成され、パノラマ画像データと対応づけられて記録デバイスに保存される。
その後は通常の静止画像と同様にパノラマ画像データを表示したり、サムネール画像による一覧表示を行うことができる。
図4Aは撮像装置50の表示パネル105aにおいてパノラマ画像の通常表示を行っている例で、図4Bは複数のサムネール画像TM1による一覧表示を行っている例である。
そこで後述する実施の形態の画像処理装置1,2、撮像装置50、コンピュータ装置70は、図4Cのように、アスペクト比調整処理を行って生成したサムネール画像TM2を用いて一覧表示ができるようにする。詳しくは後述するが、アスペクト比調整処理が施されたサムネール画像TM2とは、以下のようなものである。
・パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を行って生成したサムネール画像
・パノラマ画像に対し極座標変換を施す処理を行って生成したサムネール画像
・パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理を行って生成したサムネール画像
・パノラマ画像から切り出し(トリミング)を行って生成したサムネール画像
一方、解像度変換によって生成するサムネール画像TM1については、区別のため「通常サムネール画像」と呼ぶ。
なお説明の便宜上、アスペクト比調整サムネール画像の表示のための画像データも、符号TM2を用いて、「アスペクト比調整サムネール画像データTM2」と表記する場合もある。同様に通常サムネール画像の表示のための画像データも、符号TM1を用いて、「通常サムネール画像データTM1」と表記する場合もある。
これに対してアスペクト比調整サムネール画像TM2は、視認性向上のためにアスペクト比を調整したものであるが、一見して元のパノラマ画像全体を見ることができるものではない。
このため、各種の状況下において、通常サムネール画像TM1の方が表示に適している場合と、アスペクト比調整サムネール画像TM2の方が表示に適している場合とが想定される。
そこで本実施の形態では、状況に応じて通常サムネール画像TM1とアスペクト比調整サムネール画像TM2とを使い分けられるようにする。
実施の形態の画像処理装置1,2の構成例を説明する。
画像処理装置1は、パノラマ画像データPDから通常サムネール画像TM1とアスペクト比調整サムネール画像TM2の両方を生成する装置である。
画像処理装置2は、通常サムネール画像TM1とアスペクト比調整サムネール画像TM2を選択的に用いて表示データDdを生成する装置である。
パノラマ合成部10は、入力画像群FMSからパノラマ画像データPDを生成する。入力画像群FMSとは、撮像者がパノラマ撮像モードにおいてスイープさせながらの撮像動作を行うことで得られる一連のフレーム画像データFMのことである。パノラマ合成部10は、入力画像群FMSとしての複数のフレーム画像データFMを用いて、上記図1~図3で説明したようにパノラマ画像データPDを生成する。
通常サムネール生成部1aは、複数の撮像画像を合成して生成されたパノラマ画像データPDを解像度変換することにより第1のサムネール画像データ(通常サムネール画像データTM1)を生成する。
アスペクト比調整サムネール生成部1bは、パノラマ画像データPDに対してアスペクト比調整処理を行って第2のサムネール画像データ(アスペクト比調整サムネール画像データTM2)を生成する。
この構成により、画像処理装置1は、1つのパノラマ画像データPDから通常サムネール画像データTM1と、アスペクト比調整サムネール画像データTM2の両方を生成して
出力する。
画像処理装置1はステップF1でパノラマ合成部10からのパノラマ画像データPDを取り込む。
ステップF2で画像処理装置1は、通常サムネール生成部1aの機能により、通常サムネール画像データTM1を生成する。
ステップF3で画像処理装置1は、アスペクト比調整サムネール生成部1bの機能により、アスペクト比調整サムネール画像データTM2を生成する。
そしてステップF4で画像処理装置1は、生成した通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2を、記録又は送信のために出力する。例えば図示しない通信部から外部装置にサムネール画像データTM1、TM2を送信出力したり、図示しない記録装置に供給して記録媒体に記録させる。
記憶部11には、例えば1つのパノラマ画像データPDに対応して、図5Aの画像処理装置1で生成された通常サムネール画像データTM1と、アスペクト比調整サムネール画像データTM2が記憶されている。
サムネール選択部2aは、複数の撮像画像を合成して生成されたパノラマ画像データPDの解像度変換により生成される通常サムネール画像データTM1と、パノラマ画像データPDに対するアスペクト比調整処理により生成されるアスペクト比調整サムネール画像データTM2のうちで、いずれをサムネール表示に用いるかを選択する処理を行う。
表示データ生成部2bは、サムネール選択部2aの選択に応じて、通常サムネール画像データTM1又はアスペクト比調整サムネール画像データTM2のいずれかを用いてサムネール表示を実行させるための表示データDdを生成する。
特に表示データ生成部2bは、サムネール選択部2aで選択された、通常サムネール画像データTM1又はアスペクト比調整サムネール画像データTM2のいずれかを記憶部11から読み出し、読み出したサムネール画像データを用いて表示データDdを生成する。
この表示部21には、画像処理装置2から表示データDdが供給されて、その表示データDdに基づく表示動作が行われる。例えば表示部12は表示データDdに基づいてサムネール画像を含む表示を実行する。例えば複数のサムネール画像の一覧表示や、1つのサムネール画像の表示等を行う。
画像処理装置2はステップF10で、サムネール選択部2aの機能により、選択基準情報を確認する。例えば表示部12を有する表示装置の姿勢(姿勢に応じた表示領域のアスペクト比)、表示画面のアスペクト比、表示領域のアスペクト比、表示領域サイズ、一覧表示するサムネイル数等の所定の選択基準情報を確認する。そしてステップF11で、選択基準情報に応じて、表示に用いるサムネール画像を通常サムネール画像データTM1とするか、或いはアスペクト比調整サムネール画像データTM2とするかを選択する。
ステップF12で画像処理装置2は、ステップF11で選択されたサムネール画像データ(TM1,TM2のいずれか)を記憶部11から読み出す。そして表示データ生成部2bの機能により、ステップF13で表示データDdを生成する。即ち記憶部11から読み出したサムネール画像データを用いて表示データDdを生成することになる。
そしてステップF14で画像処理装置2は、生成した表示データDdを、表示部12に出力する。
即ちサムネール選択部2aが、選択基準情報としての表示部12を有する表示装置の姿勢(姿勢に応じた表示領域のアスペクト比)、表示画面のアスペクト比、表示領域のアスペクト比、表示領域サイズ、一覧表示するサムネイル数等に応じて、選択を行うことで、表示状況に適したサムネール表示が実行できる。
そしてこの場合は、図5Bのような画像処理装置1で生成された通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2が記憶部11に記憶されていることを前提とすることで、表示データ生成部2bは、選択されたサムネール画像データを読み出せばよく、画像処理装置2の処理負担は小さい。
画像処理装置2においてサムネール選択部2aの動作は同様であるが、表示データ生成部2bは、サムネール選択部2aで選択された、通常サムネール画像データTM1又はアスペクト比調整サムネール画像データTM2のいずれかを、パノラマ画像データPDを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データDdを生成する。
画像処理装置2はステップF20で、サムネール選択部2aの機能により、選択基準情報を確認する。そしてステップF21で、選択基準情報に応じて、表示に用いるサムネール画像を通常サムネール画像データTM1とするか、或いはアスペクト比調整サムネール画像データTM2とするかを選択する。
ステップF22で画像処理装置2は、表示データ生成部2bの機能により、ステップF21で選択されたサムネール画像データ(TM1,TM2のいずれか)を生成する。つまり記憶部11からパノラマ画像データPDを読み出し、当該パノラマ画像データPDについて解像度変換処理、もしくはアスペクト比調整処理のいずれかを行って、サムネール画像データ(TM1,TM2のいずれか)を生成する。このように生成したサムネール画像データを用いてステップF23で表示データDdを生成する。
そしてステップF24で画像処理装置2は、生成した表示データDdを、表示部12に出力する。
また例えばクラウドコンピューティングシステムを想定した場合、画像処理装置1、画像処理装置2が、ユーザ使用機器ではなくネットワーク上に配置されることも考えられる。
[3-1:撮像装置の構成]
続いて第2の実施の形態として、上述の画像処理装置1,2に相当する構成を備えた撮像装置50を説明する。
図7は撮像装置50の構成例を示している。
撮像装置50はレンズユニット100、撮像素子101、画像処理部102、グラフィックス処理部103、記録デバイス部104、表示部105、通信部106、記憶部107、制御部108、操作部109、センサー部110を備える。
撮像素子101は、レンズユニット100で集光された光画像を光電変換して電気信号に変換する。具体的には、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより実現される。
この画像処理部102は、専用のハードウエア回路のみではなく、CPU(Central Processing Unit)やDSP(Digital Signal Processor)を備え、柔軟な画像処理に対応
するためにソフトウエア処理を行うことができる。
この記録デバイス104は、撮像装置50による撮像時には、画像処理部102でJPEG(Joint Photographic Experts Group)形式にエンコードされ、記憶部107に格納されたJPEG画像データを記録媒体に記録する。
また再生時には、記録デバイス104は記録媒体に保存されたJPEG画像データを読み出す。このJPEG画像データは記憶部107に読み込まれ、画像処理部102でデコード処理が行われる。デコードされた画像データは、表示部105で表示させたり、或いは通信部106により外部機器に送信出力することも可能である。
表示パネル105aは、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等により実現され、ファインダとしての機能も有する。
なお通信部106が行う通信の伝送路の例は各種考えられ、例えば電波、赤外線等による無線伝送路や、ケーブル接続による有線伝送路のいずれでもよい。信号形態もデジタル電気信号通信、アナログ電気信号通信、光通信などが想定される。
なお上述の画像処理装置1、2としての処理(サムネール生成やサムネール表示のための処理)は、制御部108、画像処理部102、グラフィックス処理部103によって実行される。つまり撮像装置50としての実施の形態では、上述の画像処理装置1,2に相当する構成が制御部108、画像処理部102、グラフィックス処理部103によって実現される。
センサー部110は、ジャイロセンサー、加速度センサー、地磁気センサー、GPS(Global Positioning System)センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
次に、撮像装置50のパノラマ合成処理についての詳細を説明する。
図8はパノラマ合成処理のために画像処理部102及び制御部108において実行される処理を機能構成として示し、それらの機能構成部位によって実行される処理(アルゴリズムフロー)を示している。
図示のように、パノラマ合成処理のために、前処理200、画像レジストレーション処理201、動被写体検出処理202、検出・認識処理203、再投影処理204、シーム決定処理205、スティッチ処理206が行われる。
前処理200の対象となる入力画像群FMSとは、図1で説明したように、撮像者が撮像装置50でパノラマ撮像を実行しているときに順次得られるフレーム画像データFM#0、FM#1、FM#2・・・である。
パノラマ合成部10では、まず撮像者のパノラマ撮像操作によって撮像された画像(各フレーム画像データ)に対してパノラマ合成のための前処理200を行う。なおここでのフレーム画像データFMは、通常の撮像時と同様の画像処理は行われているものとする。
入力された画像はレンズユニット100の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理201に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理200において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理202、検出・認識処理203の精度を向上させる効果もある。
パノラマ合成時には複数のフレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
画像レジストレーション処理201は、2枚の連続するフレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。2枚のフレーム画像データについての画像レジストレーション処理201によって得られる情報は、あくまで2枚の画像座標間の相対関係であるが、複数枚の画像座標系のうち一つ(例えば最初のフレーム画像データの座標系)を選び、パノラマ座標系に固定することによって、すべてのフレーム画像データの座標系をパノラマ座標系に変換することができる。
1.画像内のローカルな動きを検出する。
2.上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。
・ブロックマッチング
・Harris,Hessian,SIFT,SURF,FASTなどの特徴点抽出及び特徴点マッチング
などが用いられ、画像の特徴点のローカルベクトルを求める。
・最小二乗法
・M-Estimator
・最小メジアン法(LMedS)
・RANSAC(RANdom SAmple Consensus)
などのロバスト推定手法が用いられ、2枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列(Homography)を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。
あるいは、画像レジストレーション処理201のロバスト推定時に外れ値(アウトライア)として判断された、特徴点情報を利用して判定を行っても良い。
動被写体検出処理202および検出・認識処理203で得られた情報をもとに、後述するシーム決定処理207においてシームが決定される。
フレーム画像データの再投影処理204は、ピクセル処理の最適化を考慮して、スティッチ処理206の前段処理として、もしくはスティッチ処理206の一部として行ってもよい。また簡易的に画像レジストレーション処理201の前、例えば前処理200の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。
例えば重なり領域の各画素に対して動被写体検出処理202からの動被写体情報、検出・認識処理203からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。
・厳密解を求める解法
-分枝限定法
-Memoization
-動的計画法(Dynamic Programming)
-グラフカット
・近似解を求める解法
-局所探索法(山登り法)
-焼きなまし法(Simulated Annealing)
-タブーサーチ
-遺伝的アルゴリズム(Genetic Algorithm)
以上のいずれかの解法によりすべてのシームSM1~SM(n-2)を求めることができる。
シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像(パノラマ画像データPD)を得ることができる。
次にサムネール画像データ(TM1,TM2)の生成について説明する。
上述のように生成したパノラマ画像データPDに関しては、パノラマ画像を高速に簡易表示、縮小表示するためのサムネール画像データを作成する。特に本実施の形態では1つのパノラマ画像データPDに対して通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2を作成する。撮像装置50の場合、主に画像処理部102、グラフィックス処理部103、制御部108で図9の処理を行うことで、サムネール画像データTM1、TM2を生成することができる。或いは必要に応じてサムネール画像データTM1、TM2のうちの一方を生成するようにすることもできる。
図9Aに示すように、パノラマ画像データPDに対して、縮小処理300によって、高解像度のパノラマ画像データPDを簡易表示、縮小表示に利用しやすい解像度に縮小する処理を行い、通常サムネール画像データTM1を作成する。
一般的なアスペクト比である4:3,16:9,3:2などの比率を考慮し、例えば640画素×480画素や、1920画素×1080画素に格納可能なようにサムネール解像度を規定する。
作成する通常サムネール画像データTM1は1つであってもよいし、利用目的に応じて様々な解像度の通常サムネール画像を複数作成してもよい。
そのような場合に対応できるようにするため、本実施の形態ではアスペクト比調整サムネール画像データTM2も作成する。
即ち図9Aに示すように、パノラマ画像データPDに対しアスペクト比調整用変換処理301を行う。アスペクト比調整用変換処理301は、例えば縦横比が非常に大きいパノラマ画像データPDを、4:3、16:9、3:2、1:1などの適度なアスペクト比の画像に変換する処理である。
以下、アスペクト比調整用変換処理301としてのいくつかの具体例を述べる。
まず、パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理がある。
上述の再投影処理204で利用した円筒面、球面などの再投影面の3Dモデルに、パノラマ画像のテクスチャマッピングを行い、4:3などの一般的アスペクト比のスクリーンにレンダリング処理を行うことによって、アスペクト比が変換された画像を得ることができる。
レンダリング時の視点位置は3Dモデルの外部から俯瞰するような位置に設定する。例えば図10A、図10Bはそれぞれ円筒投影時、球面投影時の3Dモデル配置の概念図である。円筒投影時には図10Aの視点位置P1としてレンダリングを行うことで、図11Aのような一般的アスペクト比の画像を作成できる。また球面投影時には図10Bの視点位置P1としてレンダリングを行うことで、図11Bのような一般的アスペクト比の画像を作成できる。
パノラマ画像に対し極座標変換を施す処理も考えられる。
パノラマ画像の座標系を直交座標系(x,y)から極座標変換(r,θ)の正方形画像に変換することで、パノラマ画像を図11Cのような惑星状の画像に変換できることが知られている。この処理によってパノラマ画像を1:1のアスペクト比に変換できる。
パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理も考えられる。
Seam Carving for Content-Aware Image Resizing(ACM Transactionson Graphics-Proceedings of ACM SIGGRAPH 2007,Volume26 Issue 3,July 2007)では、画素の重要度をエネルギー関数(Energy Function)として定義し、エネルギー損失を最小化するように画素を除去することにより、内容を保持したまま解像度を縮小する技術が提示されている。
この技術を用いることにより、パノラマ画像の内容を損なわずにアスペクト比を4:3などに変更した画像を作成することができる。
図12Aのパノラマ画像に対して、この処理によってアスペクト比を4:3に変更したアスペクト比調整済み画像の例を図12Bに示す。これは単純な縮小ではなく、重要度が高い被写体画素がなるべく保持され、一方、空や地面などの特徴の乏しい画素部分が優先して除去されるようにする。これによって画像内容の特徴的な部分が反映された縮小画像となっている。
アスペクト比調整変換処理は、上記の処理例I~IIIのように、パノラマ画像全体の情報を保持した上でアスペクト比を変更することが望ましいが、これらの処理には一定の計算リソースが必要である。アスペクト比変換処理に計算リソースを割けない状況では、パノラマ画像の一部を所望のアスペクト比の領域で切り出すことによってアスペクト比調整済みの画像を作成することもできる。
例えば図12Bのパノラマ画像から一部を切り出して(トリミング)、図12Cのような画像を作成する処理である。
なお、このトリミング画像の場合は、パノラマ画像全体の情報を保持できないが、顔検出、人体検出、一般物体検出、主要被写体検出などの処理によって検出された領域を含むように切り出すことによって、できる限り重要と思われる領域を含むトリミング画像を生成することが可能である。
また処理例I、II、IIIによれば、単純な切り出し等によるアスペクト比調整処理を行った画像よりも視覚的効果の高いサムネール画像データを生成できる。
縮小処理302では、アスペクト比調整処理301で処理された画像データを縮小し、アスペクト比調整サムネール画像データTM2を作成する。縮小解像度については縮小処理300と同様である。
なお、図9Bのような処理としてもよい。即ちアスペクト比調整サムネール画像データTM2の生成のために、まず縮小処理302でパノラマ画像データPDを縮小してから、アスペクト比調整用変換処理301を行うようにしてもよい。
また、通常サムネール画像データTM1と同様に、同種のアスペクト比調整サムネール画像データTM2として或る解像度のものを1つ生成してもよいし、異なる解像度で複数生成してもよい。
これによりサムネール画像のみで、3Dモデルの回転が可能になり、パノラマ画像全体の視認性が向上する。
でもよい。
以下では、上述のパノラマ生成、サムネール生成を含む処理として、撮像装置50において制御部108の制御に基づいて実行される各種画像処理例を図13、図14、図15で説明していく。以下の各図の例は制御部108の制御処理として示している。
制御部108は、ステップF101でパノラマ撮像処理の制御を行う。ユーザがパノラマ撮像操作を行うことで、画像処理部102には入力画像群FMSが得られるが、この入力画像群FMSに対して、制御部108の制御及び画像処理部102の動作により、図8で説明した処理が行われ、パノラマ画像データPDが生成される。
ステップF103で制御部108はアスペクト比調整サムネール画像データTM2の生成制御を行う。即ち制御部108の制御に従って画像処理部102、グラフィックス処理部103の処理として例えば図9Aのアスペクト比調整用変換処理301及び縮小処理302が実行されてアスペクト比調整サムネール画像データTM2が生成される。なお、ステップF102,F103の順序は逆でもよいし並列的に行われてもよい。
なお、この処理例では、ステップF104で記録媒体に記録させるものとしたが、ステップF101,F102,F103で、それぞれ生成したパノラマ画像データPD、通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2を、その都度、記録媒体に記録させるようにしてもよい。
また、ステップF104では、記録デバイス104での記録媒体への記録ではなく、各画像データ(PD、TM1,TM2)を通信部106から外部機器に送信するようにしてもよい。例えば通信先の機器で記録媒体に記録させるなどである。
またパノラマ画像データPDに対応するサムネール画像データとして、通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2の両方を記録媒体に記録する処理を行うことで、その後の表示の際に、通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2を選択できるように用意ができる。
そしてこのような処理により、サムネール表示の際の事情に応じて適切な方のサムネール画像表示を行うという表示方式に対応でき、ユーザのサムネール認識性の向上に寄与できる。
なお以降のフローチャートの説明では、既述の処理と同様の処理は同一ステップ番号を付し、説明を省略する。
この図13Bの処理は、図13Aの処理にステップF110を加えたものである。ステップF110で制御部108は、生成するアスペクト比調整サムネール画像データTM2の種別を決定する。つまり図9のアスペクト比調整用変換処理301としては上述の処理例I~IVのように各種の例が考えられるが、ステップF110では、これらのうちでどのような処理を用いるかを選択するものである。
処理選択条件としては、例えば投影処理種別条件、パノラマ画角条件、被写体条件、ユーザ設定条件、或いはこれらの組み合わせの条件などが想定される。これらの処理選択条件に応じたステップF110の処理の例を挙げる。
例えばパノラマ画像データPDが、その生成時に再投影処理204において円筒面に投影処理を行ったものであれば、処理例Iとして、円筒面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を選択とし、図11Aのようなアスペクト比調整サムネール画像データTM2を生成するものとする。
また、パノラマ画像データPDが、その生成時に再投影処理204において球面に投影処理を行ったものであれば、同じく処理例Iとして述べたが、球面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を選択とし、図11Bのようなアスペクト比調整サムネール画像データTM2を生成するものとする。
例えば画角360°である場合は、処理例Iにより、図11A又は図11Bのようなアスペクト比調整サムネール画像データTM2を生成するものとする。或いは処理例IIで極座標変換を用いるものとしてもよい(図11C参照)
一方、画角が360°でなければ、処理例III又は処理例IVを用いる。画角が360°未満の場合は、図11A,図11Bのような処理例Iによるサムネール画像は、被写体が存在しない部分が含まれて、画像品質が低下する可能性があるためである。
ある程度以上のサイズで人の顔や人体が含まれている場合、その部分が特徴となってユーザが画像内容を識別しやすいという事情がある。そこで、例えば処理例III、処理例IVを行って、その顔部分等が表出するアスペクト比調整サムネール画像データTM2を生成する。一方、顔や人体が存在しない風景のみの場合、或いは人や顔が映り込んでいてもかなり小さいサイズである場合などは、処理例Iや処理例IIを選択する。
アスペクト比調整用変換処理301としては各種の処理方式が考えられるが、上記例のような処理選択条件として、適切なアスペクト比調整処理を選定することで、サムネール画像として、処理の簡易性を重視したり、画像品質を保つことを重視したり、ユーザのパノラマ画像内容の認識性を重視したり、ユーザの好みを重視したりするなど、適切なサムネール生成が実現される。
この図14Aの処理は、異なるアスペクト比調整処理により、複数のアスペクト比調整サムネール画像データTM2を生成する例である。
即ち図13Aと同様のステップF101,F102の処理の後、ステップF103Aにおいて制御部108は、複数種類のアスペクト比調整サムネール画像データTM2を生成する。例えば処理例Iによる図10Aのアスペクト比調整サムネール画像データTM2と、処理例IIによる図10Cのアスペクト比調整サムネール画像データTM2などである。そしてステップF104Aで、作成されたパノラマ画像データPD、通常サムネール画像データTM1、及び複数種類のアスペクト比調整サムネール画像データTM2を、記録デバイス104において記録媒体に記録させる。
なお、処理例I~IIIのいずれかによるアスペクト比調整サムネール画像データTM2を、上述の処理選択条件で選択して生成し、それに加えて処理例IVのトリミングによるアスペクト比調整サムネール画像データTM2を生成するようにしてもよい。処理例IVは単純な切り出し処理であり、複数種類のアスペクト比調整サムネール画像データTM2を生成する場合の処理負担増はさほど生じないからである。
例えばパノラマ画像データに対しての視点位置が異なる複数のアスペクト比調整サムネール画像データTM2を生成する。先に述べたように、処理例Iの3Dモデルによるサムネール画像として、例えば図10の視点位置P1,P2・・・など、複数の視点位置でのアスペクト比調整サムネール画像データTM2を生成する。
視点位置の異なる複数のサムネール画像データを生成しておけば、元のパノラマ画像データPDを異なる視点位置で見たサムネールを切り換えて表示することが可能な状態にできる。例えばサムネール画像のみで、3Dモデルの回転が可能になり、パノラマ画像全体の視認性が向上する。またその表示はサムネール画像を切り換えるのみであり回転のための処理負担はさほど増大しない。
この図14Bの処理は、パノラマ画像データPD内の被写体判定を行って視点位置を設定し、該視点位置に応じたアスペクト比調整処理によりアスペクト比調整サムネール画像データTM2を生成する例である。
制御部108はステップF120において重要被写体判定を行う。例えば被写体として人の顔や人体を重要被写体とし、パノラマ画像データPD内に重要被写体が含まれているか否かを判定する。
そしてステップF121で制御部108は、重要被写体の存在有無に応じて視点位置を設定する。例えば重要被写体が存在していなければ、視点位置として所期設定位置を設定するが、重要被写体が存在していれば、当該被写体の位置を基準に視点位置を設定する。また重要被写体が複数存在していれば、それぞれの重要被写***置を基準にして複数の視点位置を設定する。或いは複数の重要被写体の中央位置を基準にして視点位置を設定する。
そしてステップF104Bで、作成されたパノラマ画像データPD、通常サムネール画像データTM1、及び1又は複数のアスペクト比調整サムネール画像データTM2を、記録デバイス104において記録媒体に記録させる。
なお重要被写体検出は、顔検出、人体検出だけでなく、一般物体検出、動体検出、主要被写体検出などを行ってもよい。
この図15の処理は、サムネール生成対象の画像データが通常撮像による画像データ(非パノラマ画像)である場合は、通常サムネール画像データTM1の生成を行い、サムネール生成対象の画像データがパノラマ画像データPDである場合は、通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2の両方の生成を行う例である。
そしてステップF133で制御部108は、通常の静止画としての画像データと、通常サムネール画像データTM1を、記録デバイス104において記録媒体に記録させる。
ステップF130でパノラマ撮像が行われた場合は、制御部108はステップF131からF102、F110、F103、F104の処理に進み、図13Bと同様の処理を行う。
続いて上述のように生成したサムネール画像(TM1,TM2)の表示について説明していく。
本実施の形態の撮像装置50では、パノラマ画像データPDに対応して記録された複数のサムネール画像(TM1,TM2)のうちでいずれかを選択して表示させる。このために上述したように、図5B又は図5Cに示した画像処理装置2Bに相当する機能部位が制御部108、画像処理部102、グラフィックス処理部103によって実現される。
即ち、通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2のいずれをサムネール表示に用いるかを選択するサムネール選択部と、サムネール選択部の選択に応じて、通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2のいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部とが、制御部108、画像処理部102、グラフィックス処理部103の動作により実現される。
状況に応じて適切なサムネール画像を選択して表示させることで、表示領域の利用効率や視認性を向上させる。
図16,図17は、表示領域のアスペクト比に応じた表示例である。ここでは表示領域とは、撮像装置50の表示パネル105aの全体を指すものとする。つまり表示パネル105aの全体で、サムネール画像の一覧表示や1枚表示を行う場合として説明する。
図16Aは正姿勢、図16Bは逆姿勢、図16Cは左90°姿勢、図16Dは右90°姿勢を示している。ユーザは撮像装置50を任意の姿勢で持つため、このように各姿勢をとることになり、図16C、図16Dのように表示領域が縦長となる場合もある。
即ちユーザが視認する表示領域のアスペクト比(横縦比)は、例えば1280:720になったり720:1280になったりする。
図17Aは、表示領域が横長のアスペクト比となった状態であり、この場合、アスペクト比調整サムネール画像データTM2を選択して一覧表示を行う。アスペクト比調整サムネール画像データTM2は、例えば4:3や1:1のアスペクト比となっていることで、図のように縦横に並べる状態で一覧表示できる。
図17Bは、表示領域が縦長のアスペクト比となった状態であり、この場合、通常サムネール画像データTM1を選択して一覧表示を行う。通常サムネール画像データTM1が横長の画像である場合、図のように各サムネール画像が縦に並ぶように表示させることで、比較的大きな画像で多数のサムネールを表示できる。
これら図17A,図17Bはいずれも、表示領域を効率的に利用し、かつユーザにとってサムネール画像内容が見やすいものとなっている。
この場合、図18の方が、例えば1280:720というアスペクト比の表示領域を効率利用した表示となるとともに、面白みのある画像となる。
図19A、図19Bは、表示パネル105a上に、アプリケーション画像(メニュー表示ウインドウなど)が表示され、その一部の斜線を付した領域105bがサムネール画像の表示領域とされる場合である。
例えばこのように表示パネル105aの一部が用いられる場合は、サムネール画像の表示領域のアスペクト比は、多様に変化する。例えば図19Aのように縦長の場合は、例えば通常サムネール画像データTM1が適しており、図19Bのように横長の場合は、例えばアスペクト比調整サムネール画像データTM2が適しているなどが生ずる。
以下では、サムネール画像表示処理として、撮像装置50において制御部108の制御に基づいて実行される各種画像処理例を図20、図21、図22、図23で説明していく。以下の各図の例は制御部108の制御処理として示している。
具体的には、ステップF201,F202の結果、表示領域のアスペクト比が縦長と判断された場合は“通常サムネール表示モード”、横長と判断された場合は“アスペクト比調整サムネール表示モード”とする。
“アスペクト比調整サムネール表示モード”ではステップF206に進み、記録デバイス104における記録媒体から、アスペクト比調整サムネール画像データTM2を読み出して、表示処理のために記憶部107に読み込む。
そしてステップF207で制御部108は、記憶部107に読み込んだサムネール画像データ(TM1又はTM2)のJPEGデータをデコードし、表示データバッファに書き込む。
すべてのサムネール画像を表示データに反映させたら、ステップF208からF209に進み、表示データバッファにセットされた各画像を表示データとして表示部105に出力して一覧表示を実行させる。
一方、図19のように、表示パネル105aの一部(領域105b)を使用して、サムネール一覧表示を行う場合は、その時点の表示領域のアスペクト比をステップF202で検知することが必要になる。これは制御部108が実行している表示アプリケーション上でサムネール表示領域として割り当てられた表示領域の縦横画素数と、撮像装置50の姿勢に基づいて、実際にユーザが視認する表示領域が縦長か横長かを判定し、表示モード決定を行えばよい。
これは図20Aと同じく、撮像装置50における表示パネル105aの表示領域のアスペクト比に応じてサムネール画像を選択して表示させる例であるが、表示パネル105aの全面を使用してサムネール画像の1枚表示を行う場合の処理例である。
各ステップF201~F209は図20Aと同様の処理である。図20Bは図20AのステップF208の判断及びそれによるステップF204~F207のループ処理が設けられないものである。各ステップの詳細説明は省略する。
つまりこの図20Bの処理は、1つのパノラマ画像データPDについてのサムネール画像を、撮像装置50の姿勢と表示領域のアスペクト比により決定した表示モードに基づいて選択し、その選択したサムネール画像データ(TM1又はTM2)を記録媒体から読み出して、表示データを生成する処理となる。
例えばユーザが視認する表示領域が縦長の場合はアスペクト比調整サムネール画像データTM2、横長の場合は通常サムネール画像データTM1を選択して表示させるというような処理が可能となる。
図21A、図21Bは、それぞれ図20A、図20Bと同様にサムネール画像の一覧表示の場合と1枚表示の場合について処理例であるが、ステップF205,F206に代えてステップF210,F211を実行する。他は同様である。
またステップF203で“アスペクト比調整サムネール表示モード”と決定された場合、制御部108はステップF211に進み、アスペクト比調整サムネール画像データTM2の生成制御を行う。即ち制御部108、画像処理部102、グラフィックス処理部103の動作により、対象のパノラマ画像データPDから、図9A又は図9Bで説明したアスペクト比調整用変換処理301、縮小処理302を実行してアスペクト比調整サムネール画像データTM2を生成する。
そしてステップF207に進む。
制御部108はステップF220で表示領域のサイズを取得する。そしてステップF203Aで表示モードを決定する。この場合、例えば表示領域のサイズが所定以上か否かで“アスペクト比調整サムネール表示モード”か“通常サムネール表示モード”かを決定する。
例えば表示領域のサイズが小さい場合は、なるべく視認性を向上させるために“アスペクト比調整サムネール表示モード”を選択し、表示領域のサイズが所定以上で余裕がある場合は“通常サムネール表示モード”を選択する。
以降のステップF204~F209は図20Aと同様である。なおステップF205,F206に代えて図21Aに示したステップF210,F211を実行してもよい。
制御部108はステップF230で、まず実行する表示動作が一覧表示か1枚表示かで処理を分岐する。1枚表示の場合は、ステップF205に進み、通常サムネール画像データTM1を記録媒体から読み出して表示データを生成し、ステップF207→F208→F209と進んで1枚表示を実行させる。
例えば表示するサムネール画像数が所定値未満の場合は、通常サムネール画像TM1でもさほど視認性は阻害されないため、“通常サムネール表示モード”を選択する。一方、表示するサムネール画像数が所定値以上の場合は、なるべく視認性を向上させるために“アスペクト比調整サムネール表示モード”を選択する。
以降のステップF204~F209は図20Aと同様である。但しステップF205,F206に代えて図21Aに示したステップF210,F211を実行してもよい。
各例で明らかなように、パノラマ画像データPDについてのサムネール画像データを表示する際には、各種事情に応じて、解像度変換による通常サムネール画像データTM1と、アスペクト比調整サムネール画像データTM2のうちで適切な方でサムネール画像表示を実行できる。例えば一覧表示や1枚表示の際に、ユーザにとって視認性がよい表示や、表示領域を有効利用した表示を実現できる。
一方で、図21A、図21BのステップF210,F211のように、表示モードの決定に応じて選択されたサムネール画像(TM1又はTM2)を、生成する処理を行うようにしてもよい。この場合、図9で説明した処理を例えばパノラマ撮像時にあらかじめ行っておく必要はなくなる。また複数のサムネール画像(TM1,TM2)を記録媒体に記録しておく必要はないため記録媒体の容量消費を低減できる。
表示領域に関しては、表示パネル105aの画面全体の場合を用いることで、比較的広い領域を用いてサムネール画像表示が実行でき、しかも撮像装置50の姿勢に応じた視認性向上が実現できる。
一方、表示領域として表示パネル105aの一部を用いる場合も考慮し、その一部が縦長であるか横長であるかで選択することによれば、表示上のデザインやアプリケーション上の都合、或いはユーザの表示領域設定などにも対応して視認性のよいサムネール画像表示が可能となる。
また表示させるサムネール画像の数に応じて表示させるサムネール画像(TM1又はTM2)を選択することで、サムネール画像数に応じた見やすいサムネール画像表示が実現できる。
例えばアスペクト比が異なる複数のアスペクト比調整サムネール画像データTM2が記憶されている場合、現在の表示領域に最も適したものを選択して読み出すことが考えられる。
解像度が異なる複数のアスペクト比調整サムネール画像データTM2が記憶されている場合、当該サムネール画像表示に割り当てられた表示領域にサイズや、表示するサムネール画像数などに応じて適したものを選択して読み出すとよい。
アスペクト比が同一の複数種類のアスペクト比調整サムネール画像データTM2が記憶されている場合、ランダム選択、ユーザによる優先表示する種別の設定などに応じて選択してもよい。
視点位置が異なる複数種類のアスペクト比調整サムネール画像データTM2が記憶されている場合、パノラマ画像データPDの中心に近い視点位置のものを選択し、その後ユーザの操作に応じて視点位置の異なるサムネール画像に切り換えられるようにしてもよい。
第3の実施の形態のとして、コンピュータ装置への適用例及びプログラムについて説明する。上述した画像処理装置1,2としての処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
即ち画像処理装置1を実現するプログラムは、複数の撮像画像を合成して生成されたパノラマ画像データPDを解像度変換することにより第1のサムネール画像データ(通常サムネール画像データTM1)を生成する第1のサムネール生成処理と、パノラマ画像データPDに対してアスペクト比調整処理を行って第2のサムネール画像データ(アスペクト比調整サムネール画像データTM2)を生成する第2のサムネール生成処理とを演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図6A、図13A、図13B、図14A、図14B、又は図15に示した処理を演算処理装置に実行させるプログラムとすればよい。
具体的には、このプログラムは、図6B、図6C、図20A、図20B、図21A、図21B、図22、又は図23に示した処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
またプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
例えば、図24に示されるようなコンピュータ装置において、実施の形態の画像処理装置1,2と同様の処理が実行されるようにすることもできる。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インターフェース75も接続されている。
この記録媒体は、例えば図24に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア81により構成される。リムーバブルディスク81は、例えばプログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(ブルーレイディスク、CD-ROM、DVDを含む)、光磁気ディスク(MD(Mini Disc)を含む)、若しくは半導体メモリなどよりなる。
或いは記録媒体は、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM72や、記憶部78に含まれるハードディスクなどでも構成される。
またパノラマ画像についてのサムネール表示のために、CPU71がプログラムに基づいて、画像処理装置2のサムネール選択部2a、表示データ生成部2bの機能を実現し、状況に応じたサムネール画像データTM1、TM2の選択的な表示処理を実行する。
以上、実施の形態について説明してきたが、本開示の画像処理装置は多様な変形例が考えられる。
撮像装置50としては、画像処理装置1,2の両方の機能を搭載するものとしたが、例えば画像処理装置1の機能のみを搭載し、他の再生装置、表示装置等で画像処理装置2の機能を搭載するような構成も考えられる。コンピュータ装置70でも同様である。
また通常サムネール画像データTM1として、複数の解像度により複数個生成してもよい。
(1)複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択部と、
前記サムネール選択部の選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部と、を備えた
画像処理装置。
(2)前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを記録媒体から読み出し、読み出したサムネール画像データを用いて前記表示データを生成する
上記(1)に記載の画像処理装置。
(3)前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを、パノラマ画像データを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データを生成する
上記(1)に記載の画像処理装置。
(4)前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のアスペクト比に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)前記表示領域とは、表示装置の画面全体である
上記(4)に記載の画像処理装置。
(6)前記表示領域とは、表示装置の画面内においてサムネイル表示を行う領域である
上記(4)に記載の画像処理装置。
(7)前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のサイズに応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(8)前記サムネール選択部は、前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(9)複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択手順と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成手順と、を備えた
画像処理方法。
(10)複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択処理と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成処理と、
を演算処理装置に実行させるプログラム。
Claims (10)
- 複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用
いるかを選択するサムネール選択部と、
前記サムネール選択部の選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部と、を備えた
画像処理装置。 - 前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを記録媒体から読み出し、読み出したサムネール画像データを用いて前記表示データを生成する
請求項1に記載の画像処理装置。 - 前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを、パノラマ画像データを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データを生成する
請求項1に記載の画像処理装置。 - 前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のアスペクト比に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
請求項1に記載の画像処理装置。 - 前記表示領域とは、表示装置の画面全体である
請求項4に記載の画像処理装置。 - 前記表示領域とは、表示装置の画面内においてサムネイル表示を行う領域である
請求項4に記載の画像処理装置。 - 前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のサイズに応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
請求項1に記載の画像処理装置。 - 前記サムネール選択部は、前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
請求項1に記載の画像処理装置。 - 複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択手順と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成手順と、を備えた
画像処理方法。 - 複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択処理と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成処理と、
を演算処理装置に実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/784,558 US9986156B2 (en) | 2013-04-30 | 2014-03-13 | Image processing device, image processing method, and program |
CN201480023101.9A CN105144229B (zh) | 2013-04-30 | 2014-03-13 | 图像处理装置、图像处理方法和程序 |
JP2015514776A JP6292227B2 (ja) | 2013-04-30 | 2014-03-13 | 画像処理装置、画像処理方法、プログラム |
EP14791807.2A EP2960857B1 (en) | 2013-04-30 | 2014-03-13 | Image processing device, image processing method and program |
US15/918,333 US20180205885A1 (en) | 2013-04-30 | 2018-03-12 | Image processing device, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095430 | 2013-04-30 | ||
JP2013-095430 | 2013-04-30 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/784,558 A-371-Of-International US9986156B2 (en) | 2013-04-30 | 2014-03-13 | Image processing device, image processing method, and program |
US15/918,333 Continuation US20180205885A1 (en) | 2013-04-30 | 2018-03-12 | Image processing device, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014178233A1 true WO2014178233A1 (ja) | 2014-11-06 |
Family
ID=51843369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/056711 WO2014178233A1 (ja) | 2013-04-30 | 2014-03-13 | 画像処理装置、画像処理方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US9986156B2 (ja) |
EP (1) | EP2960857B1 (ja) |
JP (3) | JP6292227B2 (ja) |
CN (2) | CN105144229B (ja) |
WO (1) | WO2014178233A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013070A (ja) * | 2018-07-20 | 2020-01-23 | 株式会社Jvcケンウッド | 表示制御装置、表示制御方法及びプログラム |
CN115049544A (zh) * | 2021-03-09 | 2022-09-13 | 上海擎感智能科技有限公司 | 一种图片的处理方法、设备及计算机可读存储介质 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589184B1 (en) | 2012-08-16 | 2017-03-07 | Groupon, Inc. | Method, apparatus, and computer program product for classification of documents |
US10674075B2 (en) | 2013-04-30 | 2020-06-02 | Sony Corporation | Image processing device, image processing method, and program |
CN105144229B (zh) * | 2013-04-30 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
JP6167703B2 (ja) * | 2013-07-08 | 2017-07-26 | 株式会社リコー | 表示制御装置、プログラム及び記録媒体 |
JP6615545B2 (ja) * | 2015-09-15 | 2019-12-04 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
CN106254940B (zh) * | 2016-09-23 | 2019-11-01 | 北京疯景科技有限公司 | 播放全景内容的方法及装置 |
CN106548446B (zh) * | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
JP6802848B2 (ja) * | 2016-10-03 | 2020-12-23 | オリンパス株式会社 | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム |
KR20180039529A (ko) * | 2016-10-10 | 2018-04-18 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
US10181215B2 (en) * | 2017-03-30 | 2019-01-15 | EyeSpy360 Limited | Generating a virtual map |
CN108038820B (zh) * | 2017-11-14 | 2021-02-02 | 影石创新科技股份有限公司 | 一种实现子弹时间拍摄效果的方法、装置及全景相机 |
JP7183033B2 (ja) | 2018-12-26 | 2022-12-05 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP7415544B2 (ja) * | 2018-12-28 | 2024-01-17 | 株式会社リコー | 撮影システム及び撮影方法 |
JP2020202503A (ja) * | 2019-06-11 | 2020-12-17 | キヤノン株式会社 | 撮像装置、コンピュータプログラムおよび記憶媒体 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0799623A (ja) * | 1993-09-09 | 1995-04-11 | Asahi Optical Co Ltd | パノラマ撮影機能付きスチルビデオカメラ |
JP2000152168A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 画像再生装置 |
JP2007088965A (ja) * | 2005-09-26 | 2007-04-05 | Casio Hitachi Mobile Communications Co Ltd | 画像出力装置及びプログラム |
JP2007316982A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム |
JP2007325002A (ja) * | 2006-06-01 | 2007-12-13 | Canon Inc | 画像出力装置及び画像出力方法 |
WO2009066471A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | ファイル生成装置 |
JP2012099906A (ja) | 2010-10-29 | 2012-05-24 | Jvc Kenwood Corp | サムネイル表示装置 |
JP2012124614A (ja) * | 2010-12-06 | 2012-06-28 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP2012133085A (ja) * | 2010-12-21 | 2012-07-12 | Sony Corp | 表示制御装置、表示制御方法、及び、プログラム |
JP2013021730A (ja) * | 2012-10-26 | 2013-01-31 | Sony Corp | 情報処理装置、表示装置、情報処理装置の制御方法およびプログラム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
US6459451B2 (en) * | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
JPH116928A (ja) | 1997-06-18 | 1999-01-12 | Nippon Telegr & Teleph Corp <Ntt> | アレイ導波路格子型波長合分波器 |
JP2001186334A (ja) * | 1999-12-27 | 2001-07-06 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
US6964025B2 (en) * | 2001-03-20 | 2005-11-08 | Microsoft Corporation | Auto thumbnail gallery |
JP2002312778A (ja) * | 2001-04-09 | 2002-10-25 | Be Here Corp | モーションパノラマ画像を電子的に配信する方法および装置 |
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2006157123A (ja) * | 2004-11-25 | 2006-06-15 | Eizoh Co Ltd | 画像配信システム |
JP4494196B2 (ja) * | 2004-12-27 | 2010-06-30 | 京セラ株式会社 | 画像表示装置 |
US20080111831A1 (en) * | 2006-11-15 | 2008-05-15 | Jay Son | Efficient Panoramic Image Generation |
US7747107B2 (en) * | 2007-03-06 | 2010-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for retargeting images |
WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
EP2018049B1 (en) * | 2007-07-18 | 2013-05-01 | Samsung Electronics Co., Ltd. | Method of assembling a panoramic image and camera therefor |
JP4932660B2 (ja) | 2007-10-05 | 2012-05-16 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
JP4992664B2 (ja) * | 2007-10-29 | 2012-08-08 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5178543B2 (ja) * | 2009-01-14 | 2013-04-10 | キヤノン株式会社 | Tv会議システム及びその制御方法 |
JP5351593B2 (ja) * | 2009-04-15 | 2013-11-27 | キヤノン株式会社 | ファイル管理装置およびその制御方法 |
CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
KR101631912B1 (ko) | 2009-11-03 | 2016-06-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
JP2011119974A (ja) * | 2009-12-03 | 2011-06-16 | Sony Corp | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム |
JP2011205573A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 制御装置、カメラシステム及びプログラム |
JP5589644B2 (ja) * | 2010-07-27 | 2014-09-17 | 日本精機株式会社 | 周辺画像表示装置及びその表示方法 |
JP5020398B1 (ja) * | 2011-06-29 | 2012-09-05 | パナソニック株式会社 | 画像変換装置、カメラ、画像変換方法およびプログラム |
US8963962B2 (en) * | 2012-03-06 | 2015-02-24 | Apple Inc. | Display of multiple images |
KR101935039B1 (ko) * | 2012-09-11 | 2019-01-03 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
CN102982516B (zh) * | 2012-10-25 | 2015-07-29 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
US8773502B2 (en) * | 2012-10-29 | 2014-07-08 | Google Inc. | Smart targets facilitating the capture of contiguous images |
CN105144229B (zh) * | 2013-04-30 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
-
2014
- 2014-03-13 CN CN201480023101.9A patent/CN105144229B/zh active Active
- 2014-03-13 CN CN201910381940.2A patent/CN110401795A/zh active Pending
- 2014-03-13 WO PCT/JP2014/056711 patent/WO2014178233A1/ja active Application Filing
- 2014-03-13 JP JP2015514776A patent/JP6292227B2/ja active Active
- 2014-03-13 EP EP14791807.2A patent/EP2960857B1/en active Active
- 2014-03-13 US US14/784,558 patent/US9986156B2/en active Active
-
2018
- 2018-02-14 JP JP2018023691A patent/JP6673381B2/ja active Active
- 2018-03-12 US US15/918,333 patent/US20180205885A1/en not_active Abandoned
-
2020
- 2020-01-08 JP JP2020001760A patent/JP6819801B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0799623A (ja) * | 1993-09-09 | 1995-04-11 | Asahi Optical Co Ltd | パノラマ撮影機能付きスチルビデオカメラ |
JP2000152168A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 画像再生装置 |
JP2007088965A (ja) * | 2005-09-26 | 2007-04-05 | Casio Hitachi Mobile Communications Co Ltd | 画像出力装置及びプログラム |
JP2007316982A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像表示制御装置、画像表示装置、カメラ、及び画像表示制御プログラム |
JP2007325002A (ja) * | 2006-06-01 | 2007-12-13 | Canon Inc | 画像出力装置及び画像出力方法 |
WO2009066471A1 (ja) * | 2007-11-21 | 2009-05-28 | Panasonic Corporation | ファイル生成装置 |
JP2012099906A (ja) | 2010-10-29 | 2012-05-24 | Jvc Kenwood Corp | サムネイル表示装置 |
JP2012124614A (ja) * | 2010-12-06 | 2012-06-28 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP2012133085A (ja) * | 2010-12-21 | 2012-07-12 | Sony Corp | 表示制御装置、表示制御方法、及び、プログラム |
JP2013021730A (ja) * | 2012-10-26 | 2013-01-31 | Sony Corp | 情報処理装置、表示装置、情報処理装置の制御方法およびプログラム |
Non-Patent Citations (2)
Title |
---|
ACM TRANSACTIONS ON GRAPHICS-PROCEEDINGS OF ACM SIGGRAPH 2007, vol. 26, no. 3, July 2007 (2007-07-01) |
See also references of EP2960857A4 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013070A (ja) * | 2018-07-20 | 2020-01-23 | 株式会社Jvcケンウッド | 表示制御装置、表示制御方法及びプログラム |
JP7052613B2 (ja) | 2018-07-20 | 2022-04-12 | 株式会社Jvcケンウッド | 表示制御装置、表示制御方法及びプログラム |
US11394882B2 (en) | 2018-07-20 | 2022-07-19 | Jvckenwood Corporation | Display control device, display control method, and program |
CN115049544A (zh) * | 2021-03-09 | 2022-09-13 | 上海擎感智能科技有限公司 | 一种图片的处理方法、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2018136936A (ja) | 2018-08-30 |
JP2020092428A (ja) | 2020-06-11 |
EP2960857A4 (en) | 2016-08-31 |
CN105144229A (zh) | 2015-12-09 |
JPWO2014178233A1 (ja) | 2017-02-23 |
US20160073022A1 (en) | 2016-03-10 |
JP6673381B2 (ja) | 2020-03-25 |
US20180205885A1 (en) | 2018-07-19 |
JP6292227B2 (ja) | 2018-03-14 |
CN110401795A (zh) | 2019-11-01 |
JP6819801B2 (ja) | 2021-01-27 |
EP2960857B1 (en) | 2020-03-04 |
EP2960857A1 (en) | 2015-12-30 |
CN105144229B (zh) | 2019-07-05 |
US9986156B2 (en) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6673381B2 (ja) | 画像処理装置 | |
JP6471777B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20210227134A1 (en) | Image Processing Apparatus, Image Processing Method, and Program | |
CN110177211B (zh) | 图像处理装置、图像处理方法以及计算机可读存储介质 | |
CN110456967B (zh) | 信息处理方法、信息处理设备以及程序 | |
JP2012222674A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2018110375A (ja) | 表示装置、プログラム、表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201480023101.9 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14791807 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014791807 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2015514776 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14784558 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |