CN110401795A - 图像处理装置、图像处理方法和程序 - Google Patents
图像处理装置、图像处理方法和程序 Download PDFInfo
- Publication number
- CN110401795A CN110401795A CN201910381940.2A CN201910381940A CN110401795A CN 110401795 A CN110401795 A CN 110401795A CN 201910381940 A CN201910381940 A CN 201910381940A CN 110401795 A CN110401795 A CN 110401795A
- Authority
- CN
- China
- Prior art keywords
- thumbnail
- image data
- image
- processing
- thumbnail image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 355
- 238000003672 processing method Methods 0.000 title abstract description 10
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 241001269238 Data Species 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 74
- 230000008569 process Effects 0.000 description 60
- 238000003860 storage Methods 0.000 description 30
- 230000036544 posture Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 230000006854 communication Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 22
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 15
- 238000009434 installation Methods 0.000 description 12
- 230000003068 static effect Effects 0.000 description 10
- 238000010408 sweeping Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000004075 alteration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000001343 mnemonic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明涉及图像处理装置、图像处理方法和程序。[问题]为了产生用于显示全景图像的高可视性的缩略图显示的显示数据。[解决方案]本发明选择下述之一用于缩略图显示:在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据。按照所述选择,用所述第一缩略图图像数据或所述第二缩略图图像数据产生用于执行缩略图显示的显示数据。
Description
本申请是国际申请日为2014年3月13日、国家申请号为 201480023101.9、发明名称为“图像处理装置、图像处理方法和程序” 的进入中国国家阶段的PCT申请的分案申请。
技术领域
本技术涉及图像处理装置、图像处理方法和用于实现图像处理装 置和图像处理方法的程序。具体地,本技术涉及适于显示全景图像数 据的缩略图的图像处理。
引用列表
专利文献
专利文献1:JP2012-99906A
背景技术
例如,用户在水平扫动相机的同时获取大量拍摄图像(帧图像数 据),并且通过合成获取的拍摄图像来获取所谓的全景图像。
另外,词语“扫动”是指图像拍摄装置在拍摄图像时在图像拍摄 方向上进行旋转移动以获取用于产生全景图像的多个帧图像数据的操 作。例如,如果图像拍摄方向在水平方向上移动,则扫动方向是指水 平方向。
诸如数字静止照相机的图像拍摄装置被构造成如同对一般静止图 像那样对于甚至全景图像产生缩略图图像,并且列出并且显示(例如) 产生的缩略图图像。
已经设想到显示三维(3D)图像的缩略图的技术,如用于显示 缩略图的专利文献1中描述的。
发明内容
技术问题
全景图像在水平方向(或垂直方向)上比一般静止图像长得多。 因此,在保持图像宽高比的同时仅仅缩小(经受分辨率转换)的缩略 图图像因此在一些情况下相当程度地减小了用户的可视度,尤其是在 列出并且显示多个缩略图时。然而,经受分辨率转换的缩略图图像当 然代表的是整个全景图像。
同时,用于3D缩略图图像的专利文献1中描述的技术可使得更 容易观看缩略图图像,即使是列出并且显示各个缩略图图像时。然而, 3D缩略图图像没有直接代表整个全景图像,而是必需施加诸如旋转 3D缩略图图像的显示控制,从而导致处理负担更重。
用户容易识别的缩略图图像取决于用于缩略图图像的显示屏或显 示区的高宽比和大小、缩略图图像的数量等。
依据这些情形,本技术的目的是更适宜地向用户呈现全景图像数 据的缩略图图像。
问题的解决方案
第一,根据本技术的一种图像处理装置包括:缩略图选择部分, 其被构造成为了显示缩略图,选择通过向通过合成多个拍摄图像而产 生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通 过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像 数据中的任一个;显示数据产生部分,其被构造成按照所述缩略图选 择部分的选择,用所述第一缩略图图像数据和所述第二缩略图图像数 据中的任一个产生用于显示缩略图的显示数据。
因此,可以按照显示全景图像数据的缩略图图像数据的各种情形, 用经受分辨率转换的第一缩略图图像数据和经受宽高比调节处理的第 二缩略图图像数据中的更合适的一个来显示缩略图图像。
第二,期望的是,在根据本技术的所述图像处理装置中,所述显 示数据产生部分从记录介质读取所述缩略图选择部分选择的所述第一 缩略图图像数据和所述第二缩略图图像数据中的任一个,并且用读取 的缩略图图像数据产生所述显示数据。
这样使得可以产生随选择的缩略图图像数据显示的显示数据。
第三,期望的是,在根据本技术的所述图像处理装置中,所述显 示数据产生部分用所述全景图像数据产生所述缩略图选择部分选择的 所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个,并 且用产生的缩略图图像数据产生用于显示缩略图的显示数据。
这样也使得可以产生随选择的缩略图图像数据显示的显示数据。
第四,期望的是,在根据本技术的所述图像处理装置中,所述缩 略图选择部分按照供应所述显示数据的显示装置的显示区的宽高比, 选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。
按照显示区的宽高比,选择第一缩略图图像数据和第二缩略图图 像数据,从而使得可以按照显示区的情形,选择第一缩略图图像数据 和第二缩略图图像数据中更容易观看的一个。
第五,在根据本技术的所述图像处理装置中,所述显示区是指所 述显示装置的整个屏幕。
当用显示装置的整个屏幕显示缩略图图像时,这样是合适的。
第六,期望的是,在根据本技术的所述图像处理装置中,所述显 示区是指其中显示缩略图的所述显示装置的屏幕中的区域。
当用显示装置的部分屏幕显示缩略图图像时,这样是合适的。
第七,期望的是,在根据本技术的所述图像处理装置中,所述缩 略图选择部分按照供应所述显示数据的显示装置的显示区的大小,选 择所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。
容易观看的缩略图图像按照显示区的大小而变化,使得必须支持 这种情形。
第八,期望的是,在根据本技术的所述图像处理装置中,所述缩 略图选择部分按照所述显示数据中包括的多个缩略图图像数据,选择 所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个。
如果例如列出并显示了多个缩略图图像,则容易观看的缩略图图 像按照缩略图图像的数量而变化。因此,必须支持这种情形。
根据本技术的一种图像处理方法包括:缩略图选择过程,其为了 显示缩略图,选择通过向通过合成多个拍摄图像而产生的全景图像数 据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图 像数据执行宽高比调节处理而产生的第二缩略图图像数据中的任一个; 显示数据产生过程,其按照所述缩略图选择过程中进行的选择,用所 述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用 于显示缩略图的显示数据。
根据本技术的程序致使运算处理装置执行各过程中的处理。
这些使得可以实现针对单个全景图像数据选择性显示经受分辨率 转换的第一缩略图图像数据和经受宽高比调节处理的第二缩略图图像 数据的装置。
本发明的有利效果
根据本技术,如果选择经受分辨率转换的第一缩略图图像数据和 经受宽高比调节处理的第二缩略图图像数据来显示全景图像数据的缩 略图图像,则可以按照显示全景图像数据的缩略图图像的情形来显示 适宜的缩略图图像,并且可以有利地提高用户对缩略图的可识别性。
附图说明
图1是用于描述按照本技术的实施例拍摄全景图像的说明图。
图2是根据实施例的全景图像合成的说明图。
图3是根据实施例的全景图像的说明图。
图4是用于描述按照实施例显示全景图像的缩略图图像的说明图。
图5是根据实施例的图像处理装置的框图。
图6是根据实施例的图像处理装置执行的处理的流程图。
图7是根据实施例的图像拍摄装置的框图。
图8是根据实施例的图像拍摄装置执行的全景图像产生处理的说 明图。
图9是根据实施例的图像拍摄装置执行的缩略图图像产生处理的 说明图。
图10是按照实施例的通过柱状投影和球面投影产生缩略图图像 的视点位置的说明图。
图11是根据实施例的宽高比调节缩略图图像的说明图。
图12是根据实施例的宽高比调节缩略图图像的说明图。
图13是根据实施例的缩略图产生处理示例的流程图。
图14是根据实施例的缩略图产生处理示例的流程图。
图15是根据实施例的缩略图产生处理示例的流程图。
图16是按照实施例确定的图像拍摄装置的姿势的说明图。
图17是按照实施例列出和显示缩略图图像的示例的说明图。
图18是按照实施例显示单个缩略图图像的示例的说明图。
图19是按照实施例确定的显示区的说明图。
图20是根据实施例的显示处理示例的流程图。
图21是根据实施例的显示处理示例的流程图。
图22是根据实施例的显示处理示例的流程图。
图23是根据实施例的显示处理示例的流程图。
图24是根据实施例的计算机装置的框图。
具体实施方式
以下,将按以下次序描述实施例。
图像处理装置、内置图像处理装置的图像拍摄装置、用作图像处 理装置的计算机装置、和程序的示例将被作为实施例描述。
<1.全景合成和再现的概况>
<2.第一实施例(图像处理装置)>
<3.第二实施例(图像拍摄装置)>
[3-1:图像拍摄装置的构造]
[3-2:全景合成处理]
[3-3:缩略图图像产生和类型]
[3-4:图像处理示例]
[3-5:缩略图显示区]
[3-6:缩略图显示处理示例]
<4.第三实施例(计算机装置和程序)>
<5.修改形式>
<1.全景合成和再现的概况>
首先,将描述全景合成的概况。
下述的根据实施例的图像拍摄装置50和近来一般的图像拍摄装 置(数字静止照相机)可通过在摄影者将图像拍摄装置50绕着一定 旋转轴旋转的同时拍摄的多个静止图像(帧图像数据)执行合成处理, 产生广角(高达360度)全景图像。
图1A示出用于拍摄全景图像的图像拍摄装置50的移动。由于 背景和前景之间的视差使得全景图像中的合成图像的联合处不自然, 因此期望使用没有观察到视差的、被称为节点的镜头专用点作为拍摄 图像的旋转中心。用于拍摄全景图像的图像拍摄装置50的旋转被称 为“扫动”。
图1B是示出通过扫动图像拍摄装置50而获取的多个静止图像 被适宜对准的示意图。
这个图示出从第一拍摄图像起的按时间先后顺序的各个拍摄静止 图像。也就是说,从时间0至时间(n-1)拍摄的多个帧图像数据被 称为多个帧图像数据FM#0、FM#1、…、FM#(n-1)。
如果用n个静止图像产生全景图像,则对如图中所示接连拍摄 的一系列n个帧图像数据FM#0至FM#(n-1)执行合成处理。
对准各个帧图像数据通常导致不仅在扫动方向上略微移动,而且 在与扫动方向垂直的方向上略微移动。因拍摄人员执行扫动操作时的 相机抖动造成该差异。
如图1B中所示,各个拍摄帧图像数据必定一部分与相邻的帧图 像数据重叠。因此,必须适宜地设置图像拍摄装置50拍摄多个帧图 像数据的时间间隔和拍摄人员的扫动速率的上限。
以这种方式对准的一组帧图像数据具有大量重叠部分,使得必须 决定各个帧图像数据的用于最终的全景图像的区域。换句话讲,这与 全景合成处理中决定图像的联合处(接缝)相同。
图2A和图2B均示出接缝SM的示例。
接缝包括如图2A中所示的与扫动方向垂直的直线和如图2B中 所示的非直线(诸如,曲线)。
接缝SM0代表图2A和图2B中的多个帧图像数据FM#0和 FM#1之间的联合处,接缝SM1代表多个帧图像数据FM#1和FM#2 之间的联合处,接缝SM(n-2)代表多个帧图像数据FM#(n-2)和 FM#(n-1)之间的联合处。
另外,如果这些接缝SM0至SM(n-2)用作合成的相邻图像之间 的联合处,则各个帧图像数据中的带阴影图像区不用于最终的全景图 像。
当进行全景合成时,在一些情况下对围绕接缝的图像区执行混合 处理,以改善接缝周围图像的不自然。
一方面,对各个帧图像数据公共的部分广泛地执行混合处理,以 结合各个帧图像数据。另一方面,从公共部分中选择对全景图像有贡 献的各像素。在这些情况下,没有清晰的联合处,但在本说明书中, 这种宽结合部分也将被当作接缝来处理。
基于相机抖动量来决定各个帧图像数据、通过结合边界区或对边 界区执行混合处理来结合各个帧图像数据并且最终削减垂直于扫动的 方向上的不必要部分供应了广角全景图像,该全景图像的扫动方向为 如图3中所示的纵向方向。
图3示出垂直线上的接缝,并且示意性示出n个帧图像数据 FM#0至FM#(n-1)结合于接缝SM0至SM(n-2)以产生全景图像。
将描述用户为了获取这种全景图像用图像拍摄装置50执行的操 作的具体示例。
首先,用户将图像配设装置50设置成全景图像拍摄模式,并且 还设置最大图像拍摄视角。用户可选择(例如)120度、180度和360度作为最大图像拍摄视角。如果用户选择360度,则可以拍摄所 谓的包括用户周围所有场景的全周图像。
接下来,拍摄人员按下图像拍摄装置50的快门按钮,开始拍摄 全景图像,并且执行扫动操作。如果此后满足全景图像拍摄的终止条 件,则完成全景图像拍摄。例如,终止条件如下:
*达到预设的最大图像拍摄视角,
*用户停止执行扫动操作,
*用户再次按下快门按钮,
*用户将他或她的手指抬离快门按钮(在规范中,在正在拍摄全 景图像的同时仍然保持按下快门按钮),
*出现某种误差
在完成图像拍摄之后,自动地开始全景合成处理。在一定时间之 后完成全景图像的合成,全景图像数据被存储在记录装置中。
另外,例如,通过执行诸如分辨率转换的缩小处理,用全景图像 数据产生缩略图图像数据,并且缩略图图像数据与全景图像数据关联 地被存储在记录装置中。
此后,可以按与一般静止图像相同的方式来实现全景图像,并且 可以列出并且显示缩略图图像。
图4A示出全景图像正常显示在图像拍摄装置50的显示面板 105a上的示例,图4B示出列出并且显示多个缩略图图像TM1的示 例。
在图4B的示例中列出并且显示通过执行诸如分辨率转换的缩小 处理而产生的大量缩略图图像TM1,但缩略图图像TM1表现如图中 所示的布置在屏幕上的多个经缩小且水平(或垂直)长全景图像数据。 因此,全景图像的可视性相当程度地减小。
以下讨论的根据实施例的图像处理装置1和2、图像拍摄装置50 和计算机装置70因此使用通过执行如图4C中示出的宽高比调节处 理而产生的缩略图图像TM2来列出并显示缩略图图像。尽管以下进 行了详细描述,但经受宽高比调节处理的缩略图图像TM2是指以下 的缩略图图像:
*通过执行通过将全景图像纹理映射于全景图像数据的投影表面 的三维模型而获取的图像的表达处理而产生的缩略图图像,
*通过执行对全景图像应用极坐标变换的处理而产生的缩略图图 像,
*通过执行使用全景图像中像素的重要性确定结果来减小全景图 像的处理而产生的缩略图图像,
*通过切除(削减)全景图像的部分而产生的缩略图图像。
通过执行宽高比调节处理而产生的这些缩略图图像TM2具有与 原始全景图像数据的宽高比不同的宽高比,并且将被一般称为“宽高 比调节缩略图图像”。
同时,通过应用分辨率转换而产生的缩略图图像TM1将被称为 “正常缩略图图像”,以与缩略图图像TM2区分开。
另外,还将使用参考标号TM2,为了方便描述,用于显示宽高 比调节缩略图图像的图像数据将被称为“宽高比调节缩略图图像数据 TM2”。以相同的方式,还将使用参考标号TM1,用于显示正常缩 略图图像的图像数据将被称为“正常缩略图图像数据TM1”。
图4B示出正常缩略图图像1的可视性减小,但显示区的一些情 形(诸如,画面的宽高比、显示装置的姿势、显示区大小、待列出和 显示的缩略图的数量)使得正常缩略图图像TM1的可视性是令人满 足满意的。正常缩略图图像TM1代表仅仅缩小的原始全景图像,并且包括原始全景图像的整个图像内容。
相反地,通过调节宽高比以提高可视性来获取宽高比调节缩略图 图像TM2,但高比调节缩略图图像TM2并没有实际上示出整个原始 全景图像。
因此,在各种情形下,正常缩略图图像TM1有时更适于显示, 而在其它时间,宽高比调节缩略图图像TM2更适于显示。
根据本实施例,可以按照情形使用正常缩略图图像TM1和宽高 比调节缩略图图像TM2中的一个。
<2.第一实施例(图像处理装置)>
将描述根据实施例的图像处理装置1和2的构造示例。
图像处理装置1用全景图像数据PD产生正常缩略图图像TM1 和宽高比调节缩略图图像TM2二者。
图像处理装置2通过选择性使用正常缩略图图像TM1和宽高比 调节缩略图图像TM2来产生显示数据Dd。
首先,图5A示出全景合成部分10和图像处理装置1。全景合成 部分10和图像处理装置1可被一体安装到同一装置中或者被分别安 装在不同装置中。
全景合成部分10用输入图像集合FMS产生全景图像数据PD。 输入图像集合FMS是指在全景图像拍摄模式下通过拍摄人员执行扫 动操作的同时拍摄图像而获取的一系列多个帧图像数据FM。全景合 成部分10使用用作输入图像集合FMS的多个帧图像数据FM来产生全景图像数据PD,如参照图1至图3描述的。
图像处理装置1包括正常缩略图产生部分1a和宽高比调节缩略 图产生部分1b。
正常缩略图产生部分1a向通过合成多个拍摄图像而产生的全景 图像数据PD应用分辨率转换,以产生第一缩略图图像数据(正常缩 略图图像数据TM1)。
宽高比调节缩略图产生部分1b对全景图像数据PD执行宽高比 调节处理,以产生第二缩略图图像数据(宽高比调节缩略图图像数据 TM2)。
以这样的方式构造图像处理装置1,以用单个全景图像数据PD 产生并且输出正常缩略图图像数据TM1和宽高比调节缩略图图像数 据TM2二者。
图6A是图像处理装置1执行的处理的示例。
在步骤F1中,图像处理装置1用全息合成部分10得到全景图 像数据PD。
在步骤F2中,图像处理装置1使用正常缩略图产生部分1a来 产生正常缩略图图像数据TM1的功能。
在步骤F3中,图像处理装置1使用宽高比调节缩略图产生部分 1b产生宽高比调节缩略图图像数据TM2的功能。
在步骤F4中,图像处理装置1输出产生的正常缩略图图像数据 TM1和宽高比调节缩略图图像数据TM2,以进行记录或发送。例如, 多个缩略图图像数据TM1和TM2被从未示出的通信部分发送并且 输出到未示出的外部装置,或者被供应到未示出的记录装置并且记录 装置将多个缩略图图像数据TM1和TM2记录在记录介质中。
如果使用了这个图像处理装置1,则可以按在用于显示全景图像 数据PD的各种情形下显示适宜缩略图图像的方式,准备正常缩略图 图像数据TM1和宽高比调节缩略图图像数据TM2。
图5B示出包括存储部分11、图像处理装置2和显示部分12的 构造示例。存储部分11、图像处理装置2和显示部分12可以被一体 安装在同一装置中或者被分别安装在不同装置中。
存储部分11例如针对单个全景图像数据PD,存储通过图5A中 示出的图像处理装置1产生正常缩略图图像数据TM1和宽高比调节 缩略图图像数据TM2。
图像处理装置2包括缩略图选择部分2a和显示数据产生部分2b。
缩略图选择部分2a执行以下处理:选择通过向通过合成多个拍 摄图像而产生的全景图像数据PD应用分辨率转换而产生的正常缩略 图图像数据TM1和通过对全景图像数据PD执行宽高比调节处理而 产生的宽高比调节缩略图图像数据TM2中的哪个用于显示缩略图。
显示数据产生部分2b按照缩略图选择部分2a的选择,用正常缩 略图图像数据TM1和宽高比调节缩略图图像数据TM2中的任一个 产生用于显示缩略图的显示数据Dd。
具体地讲,显示数据产生部分2b从存储部分11读取缩略图选择 部分2a选择的正常缩略图图像数据TM1和宽高比调节缩略图图像 数据TM2中的任一个,并且使用读取的缩略图图像数据来产生显示 数据Dd。
显示部分21包括液晶面板、有机电致发光(EL)面板、等离子 体显示面板、阴极射线管(CRT)、其它显示装置和用于这个显示 装置的显示驱动部分,并且执行各种类型的显示。
这个显示部分21被供应来自图像处理装置2的显示数据Dd,并 且基于显示数据Dd执行显示操作。例如,显示部分21基于显示数 据Dd执行包括缩略图图像的显示。例如,列出并显示多个缩略图图 像,并且显示单个缩略图图像。
图6B示出图像处理装置2执行的处理的示例。
在步骤F10中,图像处理装置2使用缩略图选择部分2a的功能 来查看选择标准信息。例如,图像处理装置2查看预定的选择标准信 息,诸如,包括显示部分12的显示装置的姿势(根据姿势的显示区 的宽高比)、显示屏的宽高比、显示区大小、待列出并显示的缩略图 的数量。在步骤F11中,按照选择标准信息,选择正常缩略图图像 数据TM1或宽高比调节缩略图图像数据TM2作为用于显示全景图 像数据PD的缩略图图像。
在步骤F12中,图像处理装置2从存储部分11读取步骤F11中 选择的缩略图图像数据(TM1和TM2中的任一个)。在步骤F13中, 图像处理装置2接着使用显示数据产生部分2b的功能来产生显示数 据Dd。也就是说,图像处理装置2使用从存储部分11读取的缩略图 图像数据来产生显示数据Dd。
在步骤F14中,图像处理装置2将产生的显示数据Dd输出到显 示部分12。
因此,按照用于显示全景图像数据的缩略图图像数据的各种情形, 可以用经受分辨率转换的第一缩略图图像数据和经受宽高比调节处理 的第二缩略图图像数据中的更适宜的一个来显示缩略图图像。
也就是说,如果缩略图选择部分2a按照用作选择标准信息的包 括显示部分12的显示装置的姿势(根据姿势的显示区的宽高比)、 显示屏的宽高比、显示区大小、待列出并显示的缩略图的数量选择第 一缩略图图像数据和第二缩略图图像数据中的任一个,则可以显示适 于显示情形的缩略图。
在这种情况下,如果如图5B中所示的图像处理装置1产生的正 常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2已经被 存储在存储部分11中,则显示数据产生部分2b仅仅必须读取所选择 的缩略图图像数据,从而导致图像处理装置2的处理负担变轻。
如图5B中所示,图5C示出其中包括存储部分11、图像处理装 置2和显示部分12的构造示例。然而,假设全景图像数据PD被存 储在存储部分11中。
缩略图选择部分2a在图像处理装置2中以相同方式操作,但显 示数据产生部分2b使用全景图像数据PD产生缩略图选择部分2a选 择的正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2 中的任一个,并且使用产生的缩略图图像数据来产生用于显示缩略图 的显示数据Dd。
图6C示出在这种情况下图像处理装置2执行的处理的示例。
在步骤F20中,图像处理装置2使用缩略图选择部分2a的功能 来查看选择标准信息。在步骤F21中,按照选择标准信息,选择正 常缩略图图像数据TM1或宽高比调节缩略图图像数据TM2作为用 于显示全景图像数据PD的缩略图图像。
在步骤F22中,图像处理装置2使用显示数据产生部分2b的功 能来产生步骤F21中选择的缩略图图像数据(TM1和TM2中的任一 个)。也就是说,图像处理装置2从存储部分11读取全景图像数据 PD,对全景图像数据PD执行分辨率转换处理和宽高比调节处理中 的任一个,并且产生缩略图图像数据(TM1和TM2中的任一个)。 在步骤F23中,图像处理装置2使用以这种方式产生的缩略图图像 数据来产生显示数据Dd。
在步骤F24中,图像处理装置2将产生的显示数据Dd输出到显 示部分12。
这个构造使得可以显示适于显示情形的缩略图,即使图5A中示 出的图像处理装置1没有产生两种类型的缩略图图像数据TM1和TM2。
另外,图5中示出的图像处理装置1和图像处理装置2不仅被构 造为单个装置,而且还可被内置于例如数字照相机、摄像机、移动电 话、计算机装置、便携式信息处理装置、图像编辑装置、图像再现装 置、图像记录装置等。
例如,如果使用云计算***,则可料想到,图像处理装置1和图 像处理装置2不是用户使用的装置,但被安装在网络上。
<3.第二实施例(图像拍摄装置)>
[3-1:图像拍摄装置的构造]
接下来,将把包括与图像处理装置1和2对应的结构元件的图像 拍摄装置50描述为第二实施例。
图7示出图像拍摄装置50的构造示例。
图像拍摄装置50包括镜头单元100、图像传感器101、图像处理 部分102、图形处理部分103、记录装置部分104、显示部分105、通 信部分106、存储部分107、控制部分108、操作部分109和传感器 部分110。
借助总线111将图像处理部分102、图形处理部分103、记录装 置部分104、显示部分105、通信部分106、存储部分107、控制部分 108、操作部分109和传感器部分110彼此连接,并且在其间进行图 像数据、控制信号等的交换。
镜头单元100收集对象的光学图像。镜头单元100包括以可获取 适宜图像的方式按照来自控制部分103的指令来调节焦距、物距、光 圈等的机构。镜头单元100还包括用于光学防止图像变模糊的图像稳 定机构。
图像传感器101将镜头单元100收集的光学图像光电转换成电信 号。具体地讲,用电荷耦合器件(CCD)图像传感器、互补型金属 氧化物半导体(CMOS)图像传感器等实现图像传感器101。
图像处理部分102包括:取样电路,其对来自图像传感器101的 电信号进行取样;A/D转换电路,其将模拟信号转换成数字信号;图 像处理电流,其对数字信号执行预定的图像处理。本文中的这个图像 处理部分102除了执行获取图像传感器101拍摄的帧图像数据的处理 之外,还执行合成全景图像的处理和产生缩略图图像数据(TM1和 TM2)的处理。
这个图像处理部分102不仅包括专用硬件电路,而且还包括中央 处理单元(CPU)和数字信号处理器(DSP),并且可执行软件处理 来支持灵活的图像处理。
图形产生部分103是用于告诉产生2D和3D图形的硬件,并且 通常被称为图形处理单元(GPU)。GPU不仅包括特定功能专用的 硬件电路,而且包括可编程处理器,并且可执行灵活的图形处理。可 编程处理器的特性允许将GPU的计算性能用于除了图形外的目的, 以这种方式使用GPU一般被称为GPU上的通用计算(GPGPU)。
记录装置104包括记录介质(诸如,包括闪存存储器的半导体存 储器、磁盘、光盘和磁-光盘和记录和再现***电路)和用于这些记 录介质的机构。
当图像拍摄装置50拍摄图像时,这个记录装置104将被图像处 理部分102编码成联合图形专家组(JPEG)格式并且被存储在存储 部分107中的JPEG图像数据记录在记录介质中。
当JPEG图像数据被再现时,记录装置104读取保存在记录介质 中的JPEG图像数据。JPEG图像数据被存储部分107读取,并且图 像处理部分102对JPEG图像数据执行解码处理。解码后的图像数据 可在显示部分105上显示或者通过通信部分106被发送和输出到外部 装置。
显示部分105包括:D/A转换电路,其被经图像处理部分102处 理并且存储在存储部分107中的图像数据转换成模拟的;视频编码器, 其将被转换成模拟的图像信号编码成适于下游显示装置的格式;显示 面板(图4中示出的显示面板105a),其显示对应于输入视频信号 的图像。
例如,用液晶显示器(LCD)、有机电致发光(EL)面板等实 现显示面板105a,并且显示面板105a还具有取景器的功能。
通信部分106与外部装置通信并且执行网络通信。具体地讲,通 信部分106包括:移动通信***,其被称为移动电话***的3G或 4G通信;模块,其与受IEEE802.11系列支持的无线局域网(LAN) 执行无线通信或者与有线LAN、通用串行总线(USB)、或 Thunderbolt执行无线通信。这使得可以借助互联网与诸如外部个人 计算机、移动电话、智能电话和平板的装置和各种服务器交换数据。
另外,供通信部分106执行通信用的传输路径可以有各种示例, 可例如使用用到无线电波、红外线等的无线传输路径和用到电缆连接 的有线传输路径二者。还可使用任何信号格式,并且可以进行数字电 信号通信、模拟电信号通信、光学通信等。
存储部分107包括诸如动态随机存取存储器(DRAM)的半导体 存储器,并且临时存储经图像处理部分102处理的图像数据、控制程 序和用于控制部分108的各种类型的数据。
控制部分108包括CPU和控制程序,并且控制图像拍摄装置50 的各部分。控制程序本身被实际存储在存储器部分105中,并且由 CPU执行。
另外,由控制部分108、图像处理部分102和图形处理部分103 执行由图像处理装置1和2执行的处理(用于产生缩略图和显示缩略 图的处理)。也就是说,在使用图像拍摄装置50的实施例中,由控 制部分108、图像处理部分102和图形处理部分103实现与图像处理装置1和2对应的结构元件。
操作部分109包括输入装置(诸如,包括快门按钮的硬件键、上 /下/左/右箭头键、输入键和取消键、操作转盘、触摸面板和缩放杆), 检测拍摄人员(用户)的输入操作,并且将检测到的输入操作传递到 控制部分108。控制部分108按照用户的输入操作来决定图像拍摄装 置50的操作,并且以各部分执行必要操作的方式来施加控制。
传感器部分110包括陀螺仪传感器、加速度传感器、地磁传感器 和全球定位***(GPS)传感器,并且检测各种类型的信息。这些类 型的信息被添加到作为元数据的拍摄图像数据中,并且进一步用于各 种类型的图像处理和控制处理。
[3-2:全景合成处理]
接下来,将详细描述图像拍摄装置50执行的全景合成处理。
图8示出作为功能构造的用于全景合成处理的图像处理部分102 和控制部分108执行的处理和在功能构造组件中执行的处理(算术流 程)。
如图中所示,为了进行全景合成处理,执行预处理200、图像注 册处理201、移动对象检测处理202、检测和识别处理203、预投影 处理204、接缝决定处理205和缝合处理208。
将描述每个处理。
如参照图1描述的,经受预处理200的输入图像集合FMS代表 在拍摄人员正在用图像拍摄装置50拍摄全景图像的同时顺序获取的 多个帧图像数据FM#0、FM#1、FM#2…
首先,全景合成部分10对通过拍摄人员的全景图像拍摄操作而 获取的图像(各个帧图像数据)执行全景合成的预处理200。另外, 这里假设帧图像数据FM已经经受与当拍摄正常图像时执行的图像处 理相同的图像处理。
输入图像基于镜头单元100特性的像差影响。特别地,镜头的畸 变像差对图像注册处理201有负面影响,并且降低了对准精度。此外, 在合成后的全景图像中的接缝周围出现伪影,使得在这个预处理200 中校正了畸变像差。畸变像差的校正有利地提高了移动对象检测处理 202和检测和识别处理203的精度。
接下来,对经受预处理200的帧图像数据执行图像注册处理201、 移动对象检测处理202、检测和识别处理203。
必须将多个帧图像数据转换成单个坐标系中的坐标以进行全景合 成,这个单个坐标系将被称为全景坐标系。
在图像注册处理201中,在全景坐标系中输入且对准两个连续的 帧图像数据。关于图像注册处理201中获取的两个帧图像数据的信息 只是这两个图像的坐标之间的关系。然而,如果选择了图像的坐标系 中的一个(例如,第一个帧图像数据的坐标系)并且所选择的坐标系 被固定为全景坐标系,则所有这多个帧图像数据的坐标系可被转换成 全景坐标系。
图像注册处理201中执行的特定处理被粗略分成如下的两个处理:
1.检测图像中的局部移动,
2.用检测到的局部移动信息,得到整个图像的全局移动。
在处理1中,通常使用以下方法:
*块匹配
*诸如Harris、Hessian、SIFT、SURF和FAST的特征点提取 和特征点匹配。
另外,得到图像的特征点的局部向量。
处理1中得到的局部向量集合被用作处理2中的输入,并且使用 以下的鲁棒估计技术:
*最小二乘法,
*M估计量,
*最小平方(LMedS)方法,
*随机抽样一致性(RANSAC)。
得到对于描述两个帧图像数据的坐标系之间的关系而言最佳的仿 射变换矩阵或投影变换矩阵(单应性)。这些种类的信息将在本文中 被称为图像注册信息。
多个帧图像数据被合成为全景合成处理的特性。因此,拍摄场景 中的移动对象造成移动对象的部分被分开或变模糊,从而导致成像失 败或图像质量降低。因此,期望检测移动对象,然后决定避免移动对 象的全景的接缝(联合处)。
输入两个或更多个连续多个帧图像数据,在移动对象检测处理 202中检测移动对象。具体地讲,例如,如果基于图像注册处理201 中获取的图像注册信息实际对准的两个帧图像数据的像素之间的差异 值大于或等于给定阈值,则确定像素是移动对象。
另选地,可使用被确定是图像注册处理201中的鲁棒估计中的离 群点的特征点信息进行确定。
在检测和识别处理203中检测拍摄帧图像数据中的人的面部或身 体、动物等的位置信息。人和动物极有可能是移动对象。即使人和动 物没有正在移动,相比于决定的其它对象的接缝,更经常在视觉上感 觉到决定的人和动物的全景接缝。因此,期望决定避免这些对象的接 缝。也就是说,在这个检测和识别处理203中获取的信息用于补充来 自移动对象检测处理202的信息。
基于移动对象检测处理202和检测和识别处理203中获取的信息, 在以下讨论的接缝决定处理207中决定接缝。
基于图像注册处理201中获取的图像注册信息,多个帧图像数据 都被投影到诸如柱状表面和球形表面的单个平面表面或单个弯曲表面 上。同时,基于移动对象信息和检测和识别信息,对同一平面表面或 弯曲表面执行投影处理。可基于拍摄图像等的视角自动地选择投影表 面,或者还可按照用户操作设置投影表面。
可基于作为缝合处理206之前的处理或缝合处理206的部分的像 素处理的优化,对帧图像数据执行预投影处理204。可仅仅在图像注 册处理201(例如,作为预处理200的部分)之前执行预投影处理 204。更简单地,不一定执行预投影处理204,预投影处理204可被当作柱状投影处理的逼近进行处理。
来自预投影处理204的图像数据、来自图像注册处理201的图像 注册信息、来自移动对象检测处理202的移动对象信息、来自检测和 识别处理203的检测和识别信息被用作输入,在接缝决定处理205中 决定造成全景图像失败较少。
首先,在接缝决定处理205中,用输入信息决定相邻多个帧图像 数据之间的重叠区域的成本函数。
例如,通过按照来自移动对象检测处理202的移动对象信息和来 自检测和识别处理203的检测和识别信息中的每个为重叠区域中的各 像素适当赋予权重而获取的总值被用作函数值。
在这种情况下,较高的成本函数值意指诸如移动对象的更多对象 并且在这点存在人体。因此,具有较低成本函数值的一组点被用作接 缝,以最大程度防止全景图像的失败。
如果n个图像(n个帧图像数据)用于全景图像合成,则存在n- 个重叠区域。因此,定义n-1个成本函数。因此,得到使这n-1个成 本函数最小的合成,以选择最佳接缝作为整个全景图像。这通常被称 为合成优化问题,并且下面的解决方案是已知的:
*用于得到精确解的方法
-分枝定界法
-记忆法
-动态编程
-图形分割法
*用于得到近似解的方法
-本地搜索(爬山)
-模拟退火
-禁止搜索(Tabu search)
-遗传算法
可以用这些方法中的任一个来得到所有的接缝SM1至SM(n-2)。
在缝合处理206中,使用以这种方式决定的所有的接缝SM1至 SM(n-2)和各个帧图像数据FM#0至FM#(n-1)来合成最终的全景图像。
对接缝周围的区域执行混合处理以改善联合处的不自然,而仅仅 复制其它区域的像素值,或者只将其它区域重新取样到全景坐标系。 另外,所有图像被结合。
最终基于相机抖动量,削减在垂直于扫动方向的方向上的合成图 像的不必要部分,从而提供具有作为长边方向的扫动方向的广角全景 图像(全景图像数据PD)。
[3-3:缩略图图像产生和类型]
接下来,将描述缩略图图像数据(TM1和TM2)的产生。
针对如上讨论产生的全景图像数据PD,形成仅仅高速显示全景 图像或以缩小大小显示全景图像的缩略图图像数据。在本实施例中, 尤其针对单个全景图像数据PD形成正常缩略图图像数据TM1和宽 高比调节缩略图图像数据TM2。图像拍摄装置50可通过主要用图像 处理部分102、图形处理部分103和控制部分108执行图9中示出的 处理来产生多个缩略图图像数据TM1和TM2。另选地,图像拍摄装 置50还可在必要时产生多个缩略图图像数据TM1和TM2中的一个。
图9示出缩略图形成流程的概况。
如图9A中所示,对全景图像数据PD执行将高分辨率全景图像 数据PD的分辨率减小至使得全景图像数据PD更容易只是显示或者 以缩小大小显示的处理,在缩小处理300中形成正常缩略图图像数据 TM1。
依据4:3、16:9、3:2等一般宽高比,将缩略图分辨率限定在例如 640像素×480像素或1920像素×1080像素内。
可仅仅形成单个正常缩略图图像数据TM1,或者可按照使用目 的形成具有各种类型的分辨率的多个正常缩略图图像。
以这种方式形成的正常缩略图图像数据TM1显示在具有4:3、 16:9、3:2等一般宽高比的显示区中。然而,全景图像的像素在其短 边和长边上的数量是非常不同的,全景图像如图4B中所示变得相当 细长和小并且可视性减小。有一些区域上面没有显示内容,从而导致 显示区的使用效率差。
在本实施例中,在针对此情形进行准备时,还形成宽高比调节缩 略图图像数据TM2。
也就是说,如图9A中所示,对如图9A中所示的全景图像数据 PD执行宽高比调节转换处理301。例如,在宽高比调节转换处理 301中,具有大高宽比的全景图像数据PD被变换成具有4:3、16:9、 3:2、1:1等合适宽高比的图像。
以下,将示出宽高比调节转换处理301的具体示例。
*处理示例I
首先,将描述表现通过将全景图像纹理映射到全景图像数据的投 影表面的三维模型而获取的图像的处理。
可通过将全景图像纹理映射到预投影处理204中使用的预投影表 面(诸如,柱状表面或球形表面)的3D模型并且执行将全景图像表 现在具有4:3等一般宽高比的屏幕上的处理,获取具有转换后的宽高 比的图像。
以从外部俯瞰3D模型的方式,设置用于表现的视点位置。例如, 图10A和图10B分别是用于柱状投影和球面投影的3D模型布置的 示意图。用图10A中示出的视点位置P1针对柱状投影执行表现,使 得可以形成如图11A中所示具有一般宽高比的图像。用图10B中示出的视点位置P1针对球面投影执行表现,使得可以形成如图11B中 所示具有一般宽高比的图像。
*处理示例II
可料想到,对全景图像执行应用极坐标变换的处理。
已知的是,全景图像的坐标系被从正交坐标系(x,y)变换成极 坐标转换(r,θ)的方形图像,从而使得可以将全景图像变换成行星 图像。这个处理可将全景图像变换成具有1:1的宽高比的图像。
*处理示例III
可预料到,执行通过使用全景图像中的像素的重要性确定结果来 减小全景图像的处理。
基于内容图像缩放的接接缝雕刻(2007年7月,第3期第26卷, ACM SIGGRAPH 2007的图形会议记录上的ACM仪事录)将像素 的重要性定义为能量函数,并且提供在保持内容的同时去除像素以使 能量损耗并且减小分辨率的技术。
这种技术在保持全景图像内容的同时,形成具有变成4:3的宽高 比的图像。
图12B示出源自图12A中示出的全景图像的、在这个处理中宽 高比被调节成4:3的图像的示例。这仅仅是缩小,但以保持尽可能多 的高重要性像素的方式,优先地去除诸如天空和地球的特征中差的像 素。这样提供了上面反映了图像内容的特征部分的缩小图像。
*处理示例IV
期望在宽高比调节和转换处理中保持关于整个全景图像的信息, 然后如处理示例I至III描述地改变宽高比。然而,这个处理需要给 定的计算资源。如果可不向宽高比转换处理分派计算资源,则还可以 通过以所需的宽高比切割全景图像的部分区域,形成宽高比经调节的 图像。
例如,作为图12C中所示的形成图像的处理,切割(削减)图 12B中示出的全景图像的部分。
另外,不可以在这个经削减图像中保持整个全景图像的信息。然 而,如果从全景图像切割的部分包括通过诸如面部检测、人体检测、 一般对象检测和主要对象检测的处理而检测到的区域,则可以产生包 括尽可能多的似乎重要的区域的经削减图像。
宽高比调节转换处理301的具体示例已经被示出为处理示例I至 V。在所有示例中,可以获取比调节成是显示装置一般宽高比的4:3、 16:9、3:2等的图像数据。
在处理示例I、II和III中,相比于经受宽高比调节处理(诸如, 仅仅切割全景图像的部分)的图像,可以产生具有更有利的视觉效果 的缩略图图像数据。
在这个宽高比调节转换处理301中产生的图像数据将经受图9A 中示出的缩小处理302。
在缩小处理302中,缩小宽高比调节转换处理301中处理的图像 数据,以形成宽高比调节缩略图图像数据TM2。执行与缩小处理 300相同的处理,以减小分辨率。
通过图9A中示出的处理产生正常缩略图图像数据TM1和宽高 比调节缩略图图像数据TM2。
另外,还可使用如图9B中所示的处理。也就是说,首先,可在 缩小处理302中减小全景图像数据PD,然后全景图像数据PD经受 宽高比调节转换处理301,以产生宽高比调节缩略图图像数据TM2。
已经描述了宽高比调节转换处理301的一些具体示例。可形成单 个宽高比调节缩略图图像数据TM2,或者还可按照这些目的形成一 些类型的宽高比调节缩略图图像数据TM2。另外,形成根据处理示 例I的宽高比调节缩略图图像数据TM2和根据处理示例III的宽高 比调节缩略图图像数据TM2。
以与正常缩略图图像数据TM1相同的方式,可产生具有给定分 辨率的单个宽高比调节缩略图图像数据或者可产生具有不同分辨率的 多个宽高比调节缩略图图像数据作为相同类型的宽高比调节缩略图图 像数据TM2。
在宽高比调节转换处理301的处理示例I中用3D模型形成的缩 略图图像是用特定视点表现的图像。另外,可形成与连续视点移动对 应的多个表现图像,以更容易识别整个全景图像。针对多个视点位置 (诸如,图10中示出的视点位置P1、P2、…)产生多个宽高比调节 缩略图图像数据TM2。
这样使得可以仅仅随着缩略图图像旋转3D模型,从而提高整个 全景图像的可视性。
图像拍摄装置50将通过如上所述的全景合成处理形成的全景图 像数据PD和通过缩略图产生处理产生的正常缩略图图像数据TM1 和宽高比调节缩略图图像数据TM2转换成诸如JPEG格式的合适格 式的数据,并且将它们记录在记录装置104中。图像拍摄装置50接着将预投影处理204中选择的投影表面的类型(诸如柱状表面和球形 表面的类型)作为元数据记录。当记录元数据时,图像拍摄装置50 可以与可交换图像文件格式(EXIF)相同的方式将元数据嵌入图像 数据中。
[3-4:图像处理示例]
以下,将把图像拍摄装置50基于控制部分108施加的控制而执 行的图像处理的各种示例描述为包括参照图13、图14和图15的全 景产生和缩略图产生的处理。附图的以下示例被示出为控制部分108 执行的控制处理。
将描述图13A的处理示例。
在步骤F101中,控制部分108控制全景图像拍摄处理。用户执 行全景图像拍摄操作,从而允许图像处理部分102以获取输入图像集 合FMS。这个输入图像集合FMS按照控制部分108施加的控制和图 像处理部分102的操作经受参照图8描述的处理,并且产生全景图像 数据PD。
在步骤F102中,控制部分108施加控制来产生正常缩略图图像 数据TM1。也就是说,例如,执行图9A中示出的缩小处理300,作 为图像处理部分102和图形处理部分103按照控制部分108施加的控 制执行的处理,然后产生正常缩略图图像数据TM1。
在步骤F103中,控制部分108施加控制,以产生宽高比调节缩 略图图像数据TM2。也就是说,例如,执行图9A中示出的宽高比调 节转换处理301和缩小处理302,作为图像处理部分102和图形处理 部分103按照控制部分108施加的控制执行的处理,然后产生宽高比调节缩略图图像数据TM2。另外,还可相反地或并行地执行步骤 F102和F103。
在步骤F104中,控制部分108致使记录装置104将各个步骤中 形成的全景图像数据PD、正常缩略图图像数据TM1和宽高比调节 缩略图图像数据TM2记录在记录介质中。
另外,在这个处理示例中的步骤F104中,将全景图像数据PD、 正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2记录 在记录介质中,但还可将分别在步骤F101、F102和F103中产生的 全景图像数据PD、正常缩略图图像数据TM1和宽高比调节缩略图 图像数据TM2在它们中的每个产生时记录在记录介质中。
此外,在F104中,各个图像数据(PD、TM1和TM2)可不被 记录在记录装置104的记录介质中,但被从通信部分106发送到外部 装置。例如,通信目的地的装置将各个图像数据记录在记录介质中。
如果如图13A中所示将多个缩略图图像数据TM1和TM2随单 个全景图像数据PD一起产生,则可以以可按照用于显示全景图像数 据PD的缩略图图像的各种情形选择更合适类型的缩略图图像数据的 方式来准备一些类型的缩略图图像数据。
以正常缩略图图像数据TM1和宽高比调节缩略图图像数据TM2 二者被作为对应于全景图像数据PD的缩略图图像数据记录在记录介 质中从而在随后显示全景图像数据PD的缩略图图像时可以选择正常 缩略图图像数据TM1和宽高比调节缩略图图像数据TM2的方式来 执行处理。
这种处理使得可以进行按照显示缩略图的情形来显示更合适缩略 图图像的显示方法,并且改善缩略图的用户可识别性。
将描述图13B的处理示例。
将用相同的步骤标号代表已经描述的处理,并且在下面对流程图 的描述中将省去重复描述。
通过在图13A中示出的处理中添加步骤F110来获取图13B中示 出的这个过程。在步骤F110中,控制部分108决定要产生的宽高比 调节缩略图图像数据TM2的类型。也就是说,诸如处理示例I至IV 的各种示例可以被作为图9中示出的宽高比调节转换处理301,但在 步骤F110中选择其中要使用的处理。
具体地讲,控制部分108进行关于处理选择条件的确定,并且选 择例如处理示例I至V中的任一个。
处理选择条件的示例包括投影处理型条件、全景视角条件、对象 条件、用户设置条件、或其组合。将示出根据这些处理选择条件的步 骤F110中的处理的示例。
如果使用投影处理类型条件作为处理选择条件,则按照预处理处 理204中使用的投影表面来产生宽高比调节缩略图图像数据TM2。
例如,在预投影处理204中对柱状表面执行投影处理以产生全景 图像数据PD,表现通过将全景图像纹理映射于柱状表面的三维模型 而获取的图像的处理被选择作为处理示例1并且产生如图11A中所 示的宽高比调节缩略图图像数据TM2。
类似于处理示例I中讨论的内容,在预投影处理204中对球形表 面执行投影处理以产生全景图像数据PD,表现通过将全景图像纹理 映射于柱状表面的三维模型而获取的图像的处理被选择并且产生如图 11B中所示的宽高比调节缩略图图像数据TM2。
如果全景视角条件被用作处理选择条件,则可例如按照全景图像 数据PD是否具有360度视角来选择处理。
例如,如果视角是360的,则通过处理示例1产生如图11A或 图11B所示的宽高比调节缩略图图像数据TM2。另选地,在处理示 例II中还可使用极坐标变换(参见图11C)。
相反地,如果视角不是360的,则使用处理示例III或IV。这是 因为,如果视角小于360度,则通过如图11A和图11B中所示的处 理示例I产生的缩略图图像包括不存在对象的部分并且图像质量会降 低。
可预料到,例如,按照人的面部或身体是否被包括作为对象,选 择处理的用作处理选择条件的对象条件。
如果包括比给定大小大的人的面部或身体,则该部位用作特征并 且用户变得容易是被图像内容。因此,例如,执行处理示例III和IV, 以产生表现面部部分等的宽高比调节缩略图图像数据TM2。同时, 如果只包括风景,而不存在面部或人体,或者如果确定包括人员或人 的面部,但其大小相当小,则选择处理示例I或II。
如果用户设置条件被用作处理选择条件,则按照用户的设置操作, 选择处理示例I至IV中的任一个。
控制部分108例如按照这种处理选择条件,决定图9中示出的宽 高比调节转换处理301的方法。在图13中示出的步骤F103中,执 行所选择的处理方法,以产生宽高比调节缩略图图像数据TM2。在 步骤F104中,记录装置104将形成的全息图像数据PD和正常缩略 图图像数据TM1记录在记录介质中。
以这种方式,在图13B的示例中,基于处理选择条件从一些种 类的宽高比调节处理之中选择宽高比调节处理(在这种情况下,宽高 比调节转换处理301)的类型,并且通过决定的宽高比调节处理产生 宽高比调节缩略图图像数据TM2。
各种处理方法可以作为宽高比调节转换处理301,并且选择合适 的宽高比调节转换处理作为示例中的处理选择条件来产生合适的缩略 图,其中,例如,容易处理的被优先作为缩略图图像,保持图像质量 的被优先作为缩略图图像,用户容易识别全景图像内容的被优先作为 缩略图图像,或者用户喜好的被优先作为缩略图图像。
将描述图14A的处理示例。
图14A中示出的处理是通过不同种类的宽高比调节处理产生多 个宽高比调节缩略图图像数据TM2的示例。
也就是说,步骤F101和F102中的处理以与图13A的处理相同 的方式执行,然后控制部分108在步骤F103A产生一些类型的宽高 比调节缩略图图像数据TM2。例如,按照处理示例I产生图10A中 示出的宽高比调节缩略图图像数据TM2,并且按照处理示例II产生 图11C中产生的宽高比调节缩略图图像数据TM2。在步骤F104A中, 记录装置104将形成的一些类型的全景图像数据PD、正常缩略图图 像数据TM1和宽高比调节缩略图图像数据TM2记录在记录介质中。
产生并且准备一些类型的宽高比调节缩略图图像数据TM2,从 而允许按照显示全景图像数据PD的缩略图的各种情形,扩宽选择范 围。
另外,可用处理选择条件选择和产生根据处理示例I至III中的 任一个的宽高比调节缩略图图像数据TM2,并且可另外产生在处理 示例IV中削减的宽高比调节缩略图图像数据TM2。这是因为,处理 示例IV是仅仅切割的处理,并且产生一些类型的宽高比调节缩略图 图像数据TM2没有带来非常重的处理负担。
已经描述了,在步骤F103A中,通过不同种类的宽高比调节处 理产生多个宽高比调节缩略图图像数据TM2,但示例也可以作为 “通过同一宽高比调节处理产生宽高比调节多个缩略图图像数据 TM2”的这个处理。
例如,产生具有与全景图像数据的视点位置不同的视点位置的多 个宽高比调节缩略图图像数据TM2。如以上讨论的,在处理示例I 中,例如,产生具有诸如图10中示出的视点位置P1、P2、…的多个 视点位置的宽高比调节缩略图图像数据TM2作为3D模型的缩略图图像。
如果产生了具有不同视点位置的多个缩略图图像数据,则可以切 换和显示从不同视点位置表示原始全景图像数据PD的缩略图。例如, 可以仅仅随着缩略图图像旋转3D模型,从而提高整个全景图像的可 视性。还可以仅仅通过切换缩略图图像来显示缩略图图像,而不带来 非常重的处理负荷。
将描述图14B的处理示例。
图14B中示出的处理是确定全景图像数据PD中的对象以设置视 点位置的示例,并且根据视点位置通过宽高比调节处理来产生宽高比 调节缩略图图像数据TM2。
在步骤F120中,控制部分108确定重要对象。例如,均用作对 象的人的面部和人体被视为重要对象,并且确定全景图像数据PD是 否包括重要对象。
在步骤F121中,控制部分108按照重要对象的存在与否来设置 视点位置。例如,如果没有重要对象,则控制部分108将初始设置位 置设置为视点位置,但如果存在重要对象,则控制部分108将基于作 为标准的对象位置来设置视点位置。如果存在多个重要对象,则控制 部分108基于多个重要对象的位置来设置多个视点位置。另选地,控 制部分108基于重要对象的中心位置来设置视点位置。
在步骤F103B中,例如,在处理示例I或处理示例IV中,控制 部分108使用设置的一个或多个视点位置来产生一个或多个宽高比调 节缩略图图像数据TM2。
在步骤F104B中,记录装置104将形成的全景图像数据PD和 正常缩略图图像数据TM1和形成的一个或多个宽高比调节缩略图图 像数据TM2记录在记录介质中。
以这种方式确定对象使得可以确定全景图像数据PD中的重要对 象,以据此设置缩略图图像的视点位置,并且允许产生的一个或多个 宽高比调节缩略图图像数据TM2合适地向用户表现重要对象。这样 使得宽高比调节缩略图图像数据TM2适于为用户表现全景图像内容。
还可使用不仅面部检测或人体检测,而且还可使用一般对象检测、 移动对象检测、主要对象检测等来检测重要对象。
将描述图5的处理示例。
图15中示出的处理是以下示例:如果被产生缩略图的图像数据 是通过拍摄正常图像而获取的图像数据(非全景图像),则产生正常 缩略图图像数据TM1,而如果被产生缩略图的图像数据是全景图像 PD,则产生正常缩略图图像数据TM1和宽高比调节缩略图图像数据 TM2二者。
在步骤F130中,控制部分108控制拍摄正常静止图像的处理或 拍摄全景图像的处理。如果是拍摄正常静止图像,则控制部分108前 进至步骤F131至步骤F132,并且施加控制以产生正常缩略图图像数 据TM1。
在步骤F133中,控制部分108致使记录装置104将用作正常静 止图像的图像数据和正常缩略图图像数据TM1记录在记录介质中。
如果在步骤F133中是拍摄全景图像,则控制部分108从该处理 前进至步骤F131至步骤F102、F110、F103和F104中的处理,并且 执行与图13B中示出的处理相同的处理。
这个处理允许针对拍摄的正常图像和拍摄的全景图像中的每个合 适地产生缩略图图像数据,特别地,可以执行只针对拍摄的全景图像 产生宽高比调节缩略图图像数据TM2。
[3-5:缩略图显示区]
接下来,将描述以这种方式产生的缩略图图像(TM1和TM2) 的显示。
根据本实施例的图像拍摄装置50选择并显示记录的全景图像数 据PD的缩略图图像(TM1和TM2)中的任一个。因此,如上所述, 用控制部分108、图像处理部分102、图形处理部分103实现与图5B 或图5C中示出的图像处理装置2B对应的功能部分。
也就是说,控制部分108、图像处理部分102、图形处理部分 103的操作实现:缩略图选择部分,其选择正常缩略图图像数据 TM1和宽高比调节缩略图图像数据TM2中的哪个用于显示缩略图; 显示数据产生部分,其按照缩略图选择部分的选择,用正常缩略图图 像数据TM1和宽高比调节缩略图图像数据TM2中的任一个来产生 用于显示缩略图的显示数据。
例如,作为对应于缩略图选择部分的操作,按照显示区的宽高比、 显示区大小、显示数据中包括的多个缩略图图像数据的数量等来选择 待显示的缩略图图像中的一个(TM1和TM2中的一个)。
按照情形选择和显示合适的缩略图图像提高了显示区的使用效率 和可视性。
在描述处理之前,将描述选择性显示的示例。
图16和图17均示出根据显示区的宽高比的显示的示例。显示区 在本文中是指图像拍摄装置50的整个图像面板105a。也就是说,假 设在整个显示面板105a上列出并显示缩略图图像或者显示单个缩略 图图像。
如果整个显示面板105a被用作缩略图图像的显示区,则显示区 的宽高比是正常固定的。例如,高宽比是1280:720等。然而,用户 视觉上识别的高宽比根据图像拍摄装置50的姿势(用户如何握持图 像拍摄装置50)而变化。
图16A示出标准姿势,图16B示出相反姿势,图16C示出左90 度姿势,图16D示出右90度姿势。由于用户以给定姿势握持图像拍 摄装置50,因此图像拍摄装置50保持这些姿势。如图16C和图16D 中所示的,在一些情况下,显示区在垂直方向上长。
也就是说,用户在视觉上识别的显示区的宽高比(宽度与高度之 比)在一种情况下是例如1280:720并且在其它情况下是720:1280。
图17示出按照显示区的宽高比的这种变化列出和显示t个缩略 图图像的示例。
图17A示出显示区具有水平方向上长的宽高比,并且在这种情 况下选择宽高比调节缩略图图像数据TM2来列出和显示缩略图图像。 例如,以例如4:3或1:1的宽高比显示宽高比调节缩略图图像数据 TM2,使得图像可垂直和水平地布置,并且如图中所示地列出并显 示。
图17B示出显示区具有垂直方向上长的宽高比,并且在这种情 况下选择正常缩略图图像数据TM1来列出和显示缩略图图像。如果 正常缩略图图像数据TM1具有水平方向上场的图像,则各个缩略图 图像如图中所示地垂直布置。因此,相对大的图像可代表大量的缩略 图。
图17A和图17B均示出有效使用显示区,并且用户容易观看到 缩略图图像内容。
接下来,图18是在显示面板105a上显示单个缩略图图像的示例。 这里,选择并且显示宽高比调节缩略图图像数据TM2。另外,图4A 示出选择并且显示正常缩略图图像数据TM1。
在这种情况下,图18示出例如具有1280:720的宽高比的显示区, 以此宽高比,可更有效地显示更令人感兴趣的图像。
目前为止已经描述了使用整个显示面板105a作为缩略图图像的 显示区,但显示面板105a的部分有时用于显示缩略图图像的示例。
图19A和图19B均示出在显示面板105a上显示应用图像(诸如, 菜单显示窗口),并且使用局部带阴影区105b作为缩略图图像的显 示区。
例如,如果以这种方式使用显示面板105a的部分,则缩略图图 像的显示区的宽高比相当程度地变化。例如,如果如图19A中所示 显示区在垂直方向上长,则正常缩略图图像数据TM1例如更适合。 同时,如果如图19B中所示显示区在水平方向上长,则宽高比调节 缩略图图像数据TM2例如更适合。
例如,通过按照显示全景图像数据PD的缩略图图像的各种情形 (诸如,用户在视觉上识别的显示区的宽高比)以这种方式选择待形 式的缩略图图像(TM1或TM2),使得可以有效使用显示区来根据 用户的可视性等显示缩略图。
[3-6:缩略图显示处理示例]
以下,将把图像拍摄装置50基于控制部分108施加的控制执行 的图像处理的各种示例描述为参照图20、图21、图22和图23的缩 略图图像显示处理。附图的以下示例被示出为控制部分108执行的控 制处理。
将描述图20A的处理示例。图20A是按照图像拍摄装置50的显 示面板105a的显示区的宽高比来选择和显示缩略图图像的示例。特 别地,图20A示出在整个显示面板105a上列出并显示缩略图图像并 且按照图16中示出的图像拍摄装置50的各个姿势来选择缩略图图像 的处理示例。
控制部分108在步骤F201中确定保持图像拍摄装置50的垂直 姿势和水平姿势中的哪个。这是确定用户用哪个姿势握持图像拍摄装 置50或者确定图像拍摄装置50的姿势的处理。控制部分108检查来 自例如用图7中示出的传感器部分110的加速度传感器的检测信息, 并且可确定图像拍摄装置50的姿势。通过这个过程决定图像拍摄装 置50保持标准姿势(图16A)、相反姿势(图16B)、左90度姿势 (图16C)和右90度姿势(图16D)中的哪个。
在步骤F202中,控制部分108从步骤F201中的确定结果和图 像拍摄装置50的显示面板105a的分辨率获取上面显示缩略图图像的 显示区的宽高比。例如,如果显示面板105a是宽1280个像素且高 720个像素的液晶面板,则被确定为标准姿势的宽高比是1280:720并且被确定为右90度姿势的宽高比是720:1280。
在步骤F203中,控制部分108决定缩略图图像的显示模式。本 文中的显示模式是指使用正常缩略图图像数据TM1的显示模式或者 使用宽高比调节缩略图图像数据TM2的显示模式。
具体地讲,如果作为步骤F201和F202的结果,确定显示区的 宽高比是垂直方向上场的宽高比,则使用“正常缩略图显示模式”。 同时,如果作为步骤F201和F202的结果,确定显示区的宽高比是 水平方向上场的宽高比,则使用“宽高比调节缩略图显示模式”。
在步骤F204中,处理按照决定的显示模式而分支。处理前进至 “正常缩略图显示模式”的步骤F205,从记录装置104的记录介质 读取正常缩略图图像数据TM1,然后存储部分107读取正常缩略图 图像数据TM1以进行显示处理。
处理前进至“宽高比调节缩略图显示模式”的步骤F206,从记 录装置104的记录介质读取宽高比调节缩略图图像数据TM2,然后 存储部分107读取宽高比调节缩略图图像数据TM2以进行显示处理。
在步骤F207中,控制部分108解码存储部分107读取的缩略图 图像数据(TM1或TM2)的JPEG数据,并且将缩略图图像数据 (TM1或TM2)写入显示数据缓冲器中。
在步骤F208中,控制部分108将所有待列出和显示的图像写入 显示数据缓冲器中,并且确定是否被准备作为显示数据。如果还有图 像没有被处理,则控制部分108返回步骤F204,并且顺序地执行处 理。
一旦所有的缩略图图像被反映于显示数据,控制部分108前进至 步骤F208至209,将显示数据缓冲器中设置的各个图像作为显示数 据输出到显示部分105,以在显示部分105上列出并显示各个图像。
这个处理允许例如按照图像拍摄装置50的姿势如图17A或图 17B所示地列出并显示缩略图,并且可以以用户可容易观看缩略图并 且可有效使用显示面板105a的显示区的方式来列出并显示缩略图。
如果控制部分108在图像拍摄装置50的显示面板105a上显示图 像,则显示面板105a的宽高比具有已知值。因此,不一定一直在步 骤F202中执行处理。例如,在步骤F201中确定图像拍摄装置50保 持垂直方向上长的姿势和水平方向上长的姿势中的哪个,然后可单独 基于确定结果,在步骤F203中决定显示模式。
同时,如果显示面板105a的部分(区域105b)用于如图19中 所示列出并显示缩略图,则在步骤F202中必须在此时检测显示区的 宽高比。为此,基于被分派作为控制部分108执行的显示应用上的缩 略图显示区的显示区在宽度和高度上具有的像素的数量和图像拍摄装 置50的姿势,确定用户实际上在视觉上识别的显示区是垂直方向上 长的显示区和水平方向上长的显示区中的哪个,并且决定形式模式。
如果图像拍摄装置50将显示数据发送到借助通信部分106等连 接的外部显示装置,则在步骤F202中,合适的是,获取外部显示装 置的显示区的宽高比并且据此决定显示模式。对于下面的处理示例, 同样如此。也就是说,在各处理示例中,可以致使不同的显示装置显 示缩略图。
将描述图20B的处理示例。
图20B是如同20A一样按照图像拍摄装置50的显示面板105a 的显示区的宽高比选择和显示缩略图图像的示例,但也是使用整个显 示面板105a显示单个缩略图图像的处理示例。
步骤F201至F209中的处理与图20A中示出的处理相同。图 20B并不包括图20A中示出的步骤F208中的确定处理、或者用于步 骤F208的步骤F204至F207中的循环处理。将不再详细描述各步骤。
也就是说,在图20B中示出的处理中,基于用图像拍摄装置50 的姿势和显示区的宽高比决定的显示模式,选择单个全景图像数据 PD的缩略图图像,从记录介质读取所选择的缩略图图像数据(TM1 或TM2),并且产生显示数据。
即使单独显示单个缩略图图像,这个处理也致使按照用户在视觉 上识别的显示区的宽高比来选择显示的缩略图图像。
例如,如果用户在视觉上识别的显示区在垂直方向上长,则可以 执行选择并显示宽高比调节缩略图图像数据TM2的处理,而如果用 户在视觉上识别的显示区在水平方向上长,则可以执行选择并显示正 常缩略图图像数据TM1的处理。
另外,如果显示的是单个缩略图图像,则还可预料到,例如,可 按照用户的操作来切换并显示如图18中所示的宽高比调节缩略图图 像数据TM2和如图4A中所示的正常缩略图图像数据TM1。例如, 可预料到,用户可首先显示按照显示区的宽高比而选择的宽高比调节 缩略图图像数据TM2和正常缩略图图像数据TM1中的一个,然后 可选地随后切换宽高比调节缩略图图像数据TM2和正常缩略图图像 数据TM1。
将描述图21A和图21B中示出的处理。
图21A和图21B是列出并显示缩略图图像并且分别如图20A和 图20B中所示地显示单个缩略图图像的处理示例。然而,在图21A 和图21B中执行步骤F210和F211来替代步骤F205和F206。其它 也是同样。
如果在图21A和图21B中的每个的步骤F203中决定“正常缩略 图显示模式”,则控制部分108前进至步骤F210并且施加控制以产 生正常缩略图图像数据TM1。也就是说,控制部分108、图像处理 部分102和图形处理部分103的操作执行参照图9A或图9B描述的 缩小处理302,以用目标全景图像数据PD产生正常缩略图图像数据 TM1。
同时,如果在步骤F203中决定“宽高比调节缩略图显示模式”, 则控制部分108前进至步骤F211并且施加控制以产生宽高比调节缩 略图图像数据TM2。也就是说,控制部分108、图像处理部分102 和图形处理部分103的操作执行参照图9A或图9B描述的宽高比调节转换处理301和缩小处理302,以用目标全景图像数据PD产生宽 高比调节缩略图图像数据TM2。
然后,控制部分208前进至步骤F207。
也就是说,图21A和图21B中示出的这些处理是当显示缩略图 图像时按照显示区的宽高比选择并产生正常缩略图图像数据TM1和 宽高比调节缩略图图像数据TM2中的任一个的示例。
将描述图22的处理示例。这是按照显示区大小来选择待列出并 显示的缩略图图像的示例。
在步骤F220中,控制部分108获取显示区的大小。在步骤 F203A中,控制部分208决定显示模式。例如,在这种情况下,确 定显示区的大小是否大于或等于预定值,然后基于确定结果,决定使 用“宽高比缩略图显示模式”和“正常缩略图显示模式”中的哪个。
例如,如果显示区的大小小,则为了尽可能提高可视性,选择 “宽高比缩略图显示模式”。如果显示区的大小大于或等于预定值并 且有足够的空间,则选择“正常缩略图显示模式”。
下面的步骤F204至F209与图20A的步骤相同。另外,可执行 图21A中示出的步骤F210和F211来替代步骤F205和F206。
将描述图23的处理示例。这是按照待显示的缩略图图像的数量 来选择缩略图图像的示例。
在步骤F230中,控制部分108首先确定列出并显示缩略图图像 或者显示单个缩略图图像,然后基于确定结果致使处理分支。如果显 示的是单个缩略图图像,则控制部分108前进至步骤F205,从记录 介质读取正常缩略图图像数据TM1以产生显示数据,前进至步骤F207→F208→F209,并且显示单个缩略图图像。
如果列出并显示缩略图图像,则控制部分108在步骤F231中检 查待显示的缩略图图像的数量。在步骤F203B中,控制部分208决 定显示模式。例如,在这种情况下,确定待显示的缩略图的数量是否 大于或等于预定值,然后将基于确定结果,决定使用“长宽比缩略图 显示模式”和“正常缩略图显示模式”中的哪个。
例如,如果待显示的缩略图图像的数量小于预定值,则甚至是正 常缩略图图像TM1也没有相当程度地减小可视性。因此,选择“正 常缩略图显示模式”。相反地,如果待显示的缩略图图像的数量大于 或等于预定值,则为了尽可能提高可视性,选择“长宽比缩略图显示 模式”。
下面的步骤F204至F209与图20A的步骤相同。然而,可执行 图21A中示出的步骤F210和F211来替代步骤F205和F206。
图23示出如果显示单个缩略图图像则无条件选择正常缩略图图 像数据TM1,但即使显示单个缩略图图像也可无条件选择宽高比调 节缩略图图像数据TM2。另外,如果显示单个缩略图图像,则也可 执行图20B或图21B中示出的处理。
到目前为止,已经描述了各种显示处理示例。
如各示例中已知的,当针对全景图像数据PD显示缩略图图像数 据时,可以用经受分辨率转换的正常缩略图图像数据TM1和宽高比 调节缩略图图像数据TM2中的、按照各种情形更合适的一个来显示 缩略图图像。例如,当列出并显示缩略图图像或者显示单个缩略图图 像时,可以显示为用户提供更好可视性的缩略图图像或者有效使用显 示区。
如果从记录介质读取按照决定的显示模式选择的缩略图图像 (TM1或TM2)以产生显示数据(如图20A、图20B、图22和图 23中示出的步骤F205和F206中一样),则可用简单处理产生显示 数据并且可以减轻显示缩略图图像的处理负担并且立即显示缩略图图 像。
同时,还可执行处理以产生按照决定的显示模式选择的缩略图图 像(TM1或TM2),如图21A和图21B中示出的步骤F210和F211 中一样。在这种情况下,不需要例如当拍摄全景图像时预先执行参照 图9描述的处理。由于不需要将多个缩略图图像(TM1、TM2)记 录在记录介质中,因此记录介质被消耗的容量较少。
按照显示区的宽高比,选择待显示的缩略图图像(TM1或 TM2),从而使得可以按照显示区的情形显示容易观看的缩略图图 像(垂直方向上或水平方向上长)。特别地,另外确定图像拍摄装置 50的姿势,从而使得可以按照用户实际在视觉上识别缩略图图像时 所处的情形来提高可视性。
如果整个显示面板105a用作显示区,则可以用相对大的显示区 来显示缩略图图像,并且按照图像拍摄装置50的姿势进一步提高可 视性。
同时,显示面板105a的部分还可被用作显示区。如果选择显示 面板105的垂直方向上或水平方向上长的部分作为显示区,则可以显 示从所显示的设计或应用的方面提供更好可视性并且与用户设置的显 示区相符的缩略图图像。
通过按照显示区的大小选择缩略图图像(TM1或TM2),使得 可以按照显示区大小显示容易观看的缩略图图像。
通过按照待显示的缩略图图像的数量选择缩略图图像(TM1或 TM2),使得可以按照待显示的缩略图图像的数量显示容易观看的 缩略图图像。
如上所述,当显示全景图像数据的缩略图图像时,在本实施例中, 可以按照显示全景图像数据的缩略图图像的情形来显示合适的缩略图 图像并且可以提高用户的缩略图可识别性。还可以按照情形,使用以 低分辨率表现整个全景图像的正常缩略图图像数据TM1的优点和令 人感兴趣并且具有适于显示的宽高比的宽高比调节缩略图图像数据 TM2的优点中的一个。
图14A和图14B示出产生多个宽高比调节缩略图图像数据TM2。 如果在显示处理中显示模式是“宽高比调节缩略图显示模式”并且多 个宽高比调节缩略图图像数据TM2被记录在目标全景图像数据PD 的记录介质中,则将读取多种多样的宽高比调节缩略图图像数据 TM2。
例如,如果记录了具有不同宽高比的多个宽高比调节缩略图图像 数据TM2,则可料想到,选择并且读取最适于当前显示区的一个宽 高比调节缩略图图像数据TM2。
如果记录了具有不同分辨率的多个宽高比调节缩略图图像数据 TM2,则选择并且读取适于按照待显示缩略图图像的大小、数量被 分派用于显示缩略图图像的显示区的一个宽高比调节缩略图图像数据 TM2。
如果存储了具有相同宽高比的一些类型的宽高比调节缩略图图像 数据TM2,则例如随机地或者通过用户设置优先显示的宽高比调节 缩略图图像数据TM2的类型来选择缩略图图像。
如果存储了具有不同视点位置的一些类型的宽高比调节缩略图图 像数据TM2,则可选择视点位置更靠近全景图像数据PD中心的缩 略图图像,然后按照用户操作将该缩略图图像切换成具有不同视点位 置的缩略图图像。
从多个宽高比调节缩略图图像数据TM2中选择待显示的一个宽 高比调节缩略图图像数据TM2的这个过程可应用于图21中示出的 步骤F211。也就是说,在步骤F211中,执行图13B中示出的步骤 F110和F103中的处理,并且按照显示区的宽高比和大小、显示缩略 图的数量等使用该处理作为处理选择条件。产生根据处理选择条件的 宽高比调节缩略图图像数据TM2。以这种方式,不需要预先产生宽 高比调节缩略图图像数据TM2,并且可以在每当显示宽高比调节缩 略图图像数据TM2时,显示适于显示情形的宽高比调节缩略图图像数据TM2
<4.第三实施例(计算机装置和程序)>
作为第三实施例,将描述应用于计算机装置和程序的生理。还可 用硬件或软件执行图像处理装置1和2执行的处理。
根据实施例的程序致使诸如中央处理单元(CPU)和数字信号处 理器(DSP)执行实施例中示出的处理。
也就是说,用于实现图像处理装置1的程序致使运算处理装置执 行通过向通过合成多个拍摄图像而产生的全景图像数据PD应用分辨 率转换产生第一缩略图图像数据(正常缩略图图像数据TM1)的第 一缩略图产生处理和通过对全景图像数据PD执行宽高比调节处理来 产生第二缩略图图像数据(宽高比调节缩略图图像数据TM2)的第 二缩略图产生处理。
具体地讲,这个程序致使运算处理装置执行图6A、图13A、图 13B、图14A、图14B或图15中示出的处理。
用于实现图像处理装置2的程序致使运算处理装置执行选择将用 于显示缩略图的、通过向通过合成多个拍摄图像而产生的全景图像数 据PD应用分辨率转换而产生的第一缩略图图像数据(正常缩略图图 像数据TM1)或通过对全景图像数据PD执行宽高比调节处理而产 生的第二缩略图图像数据(宽高比调节缩略图图像数据TM2)中的 任一个的缩略图选择处理,并且按照在缩略图选择程序中进行的选择, 执行用第一缩略图图像数据和第二缩略图图像数据中的任一个产生用 于显示缩略图的显示数据的显示数据产生处理。
具体地讲,这个程序致使运算处理装置执行图6B、图6C、图 20A、图20B、图21A、图21B、图22或图23中示出的处理。
这些程序使得可以用运算处理装置实现图像处理装置1和2。
这些程序可预先被记录在用作内置于包括CPU等的微计算机中 的诸如计算机装置、ROM等装置中的记录介质的HDD中。
可供选择地,这些程序还可被暂时或永久存储(记录)在诸如柔 性片、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘 (DVD)、Blue-ray Disc(注册商标)、磁盘、半导体存储器和存储 卡。可提供这种可移动记录介质作为所谓的封装软件。
这些程序可不仅被从可移动记录介质安装在个人计算机等上,而 是可经由网络(诸如,局域网(LAN)和互联网)从下载站点下载。
这些程序适于广泛提供根据实施例的图像处理装置1和2。例如, 通过将程序下载到个人计算机、便携式信息处理装置、移动电话、游 戏控制台、视频装置、个人数字助理(PDA)等,可致使便携式信息 处理装置等用作图像处理装置1和2。
例如,可以致使如图24中所示的计算机装置执行与根据实施例 的图像处理装置1和2执行的处理相同的处理。
图24示出计算机装置70的CPU 71按照存储在ROM 72中的程 序或从存储部分78下载到RAM 73的程序来执行各种类型的处理。 RAM 73根据需要存储CPU 71执行各种类型的处理必须的数据等。
CPU 71、ROM 72和RAM 73借助总线74彼此连接。这条总线 还连接到输入/输出接口75。
输入/输出接口75连接到包括键盘和鼠标的输入部分76、包括阴 极射线管(CRT)、LCD、或有机EL面板的显示器、包括扬声器的 输出部分77、包括硬盘的存储部分78和包括调制解调器的通信部分 79。通信部分79借助包括互联网的网络执行通信处理。
输入/输出接口75根据需要连接到驱动器80并且根据需要在上 面安装有诸如磁盘、光盘或半导体存储器的可移动介质81。从其读 取的计算机程序根据需要被安装在存储部分78上。
如果用软件执行图像处理装置1和2执行的处理,则从网络和记 录介质安装软件中包括的程序。
例如,如图24中所示,这个记录介质包括可移动介质81,可移 动介质81与装置主体分开地被分配用于将程序传递到用户。可移动 盘81包括例如磁盘(包括软盘)、光盘(包括Blu-ray Disc、CD- ROM和DVD)、磁-光盘(包括微型盘(MD))、或存储程序的半 导体存储器。
可供选择地,记录介质包括当被传递到用户并且存储程序时预先 被并入装置主体中的ROM 72或包括在存储部分78中的硬盘。
当输入全景图像数据PD时,CPU 71基于这些程序,执行图像 处理装置1的正常缩略图图像产生部分1a和宽高比调节缩略图产生 部分1b的功能,并且这个计算机装置70用通信部分79的接收操作 或驱动器80(可移动介质81)或记录部分78的再现操作,执行产生多个缩略图图像数据TM1和TM2的处理。
CPU 71基于这些程序,执行图像处理装置2的缩略图选择部分 2a和显示区产生部分2b的功能,以显示全景图像的缩略图,并且按 照情形对多个缩略图图像数据TM1和TM2执行选择性显示处理。
<5.修改形式>
到目前为止已经描述了实施例,并且关于根据公开的图像处理装 置,还可以进行各种修改。
已经描述的是,图像拍摄装置50具有图像处理装置1和2二者 的功能,但图像拍摄装置50还可被构造成例如仅仅用作图像处理装 置1,其它再现装置、显示装置等用作图像处理装置2。对于计算机 装置70,同样如此。
图像处理装置1、图像拍摄装置50和计算机装置70可用除了处 理示例I至IV外的技术,产生宽高比调节缩略图图像数据TM2。
可产生具有多个分辨率的多个缩略图图像作为正常缩略图图像数 据TM1。
另外,还可如下地构造本技术。
(1)一种图像处理装置,包括:
缩略图选择部分,被构造成在通过向通过合成多个拍摄图像而产 生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通 过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像 数据中选择任一个用于显示缩略图;
显示数据产生部分,被构造成按照所述缩略图选择部分的选择, 用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产 生用于显示缩略图的显示数据。
(2)根据(1)所述的图像处理装置,其中,所述显示数据产生 部分从记录介质读出所述缩略图选择部分选择的所述第一缩略图图像 数据和所述第二缩略图图像数据中的任一个,并且用读出的缩略图图 像数据产生所述显示数据。
(3)根据(1)所述的图像处理装置,其中,所述显示数据产生 部分用所述全景图像数据产生所述缩略图选择部分选择的所述第一缩 略图图像数据和所述第二缩略图图像数据中的任一个,并且用产生的 缩略图图像数据产生用于显示缩略图的显示数据。
(4)根据(1)至(3)中的任一项所述的图像处理装置,其中, 所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的宽 高比,选择所述第一缩略图图像数据和所述第二缩略图图像数据中的 任一个。
(5)根据(4)所述的图像处理装置,其中,所述显示区是指所 述显示装置的整个屏幕。
(6)根据(4)所述的图像处理装置,其中,所述显示区是指所 述显示装置的屏幕中显示缩略图的区域。
(7)根据(1)至(3)中的任一项所述的图像处理装置,其中, 所述缩略图选择部分按照供应所述显示数据的显示装置的显示区的大 小,选择所述第一缩略图图像数据和所述第二缩略图图像数据中的任 一个。
(8)根据(1)至(3)中的任一项所述的图像处理装置,其中, 所述缩略图选择部分按照所述显示数据中包括的多个缩略图图像数据 的数量,选择所述第一缩略图图像数据和所述第二缩略图图像数据中 的任一个。
(9)一种图像处理方法,所述图像处理方法包括:
缩略图选择过程,在通过向通过合成多个拍摄图像而产生的全景 图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述 全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选 择任一个用于显示缩略图;
显示数据产生过程,按照所述缩略图选择过程中进行的选择,用 所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生 用于显示缩略图的显示数据。
(10)一种致使运算处理装置执行以下处理的程序:
缩略图选择处理,在通过向通过合成多个拍摄图像而产生的全景 图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述 全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选 择任一个用于显示缩略图;
显示数据产生处理,按照所述缩略图选择处理中进行的选择,用 所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生 用于显示缩略图的显示数据。
参考符号列表
1、2 图像处理装置
1a 正常缩略图产生部分
1b 宽高比调节缩略图产生部分
2a 缩略图选择部分
2b 显示数据产生部分
10 全景合成部分
11 存储部分
12 显示部分
50 图像拍摄装置
70 计算机装置
102 图像处理部分
103 图形处理部分
104 记录装置部分
105 显示部分
107 存储部分
108 控制部分
Claims (1)
1.一种图像处理装置,包括:
缩略图选择部分,被构造成在通过向通过合成多个拍摄图像而产生的全景图像数据应用分辨率转换而产生的第一缩略图图像数据和通过对所述全景图像数据执行宽高比调节处理而产生的第二缩略图图像数据中选择任一个用于显示缩略图;
显示数据产生部分,被构造成按照所述缩略图选择部分的选择,用所述第一缩略图图像数据和所述第二缩略图图像数据中的任一个产生用于显示缩略图的显示数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095430 | 2013-04-30 | ||
JP2013-095430 | 2013-04-30 | ||
CN201480023101.9A CN105144229B (zh) | 2013-04-30 | 2014-03-13 | 图像处理装置、图像处理方法和程序 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480023101.9A Division CN105144229B (zh) | 2013-04-30 | 2014-03-13 | 图像处理装置、图像处理方法和程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110401795A true CN110401795A (zh) | 2019-11-01 |
Family
ID=51843369
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480023101.9A Active CN105144229B (zh) | 2013-04-30 | 2014-03-13 | 图像处理装置、图像处理方法和程序 |
CN201910381940.2A Pending CN110401795A (zh) | 2013-04-30 | 2014-03-13 | 图像处理装置、图像处理方法和程序 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480023101.9A Active CN105144229B (zh) | 2013-04-30 | 2014-03-13 | 图像处理装置、图像处理方法和程序 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9986156B2 (zh) |
EP (1) | EP2960857B1 (zh) |
JP (3) | JP6292227B2 (zh) |
CN (2) | CN105144229B (zh) |
WO (1) | WO2014178233A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589184B1 (en) | 2012-08-16 | 2017-03-07 | Groupon, Inc. | Method, apparatus, and computer program product for classification of documents |
US10674075B2 (en) | 2013-04-30 | 2020-06-02 | Sony Corporation | Image processing device, image processing method, and program |
CN105144229B (zh) * | 2013-04-30 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
JP6167703B2 (ja) * | 2013-07-08 | 2017-07-26 | 株式会社リコー | 表示制御装置、プログラム及び記録媒体 |
JP6615545B2 (ja) * | 2015-09-15 | 2019-12-04 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
CN106254940B (zh) * | 2016-09-23 | 2019-11-01 | 北京疯景科技有限公司 | 播放全景内容的方法及装置 |
CN106548446B (zh) * | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
JP6802848B2 (ja) * | 2016-10-03 | 2020-12-23 | オリンパス株式会社 | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム |
KR20180039529A (ko) * | 2016-10-10 | 2018-04-18 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
US10181215B2 (en) * | 2017-03-30 | 2019-01-15 | EyeSpy360 Limited | Generating a virtual map |
CN108038820B (zh) * | 2017-11-14 | 2021-02-02 | 影石创新科技股份有限公司 | 一种实现子弹时间拍摄效果的方法、装置及全景相机 |
JP7052613B2 (ja) | 2018-07-20 | 2022-04-12 | 株式会社Jvcケンウッド | 表示制御装置、表示制御方法及びプログラム |
JP7183033B2 (ja) | 2018-12-26 | 2022-12-05 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP7415544B2 (ja) * | 2018-12-28 | 2024-01-17 | 株式会社リコー | 撮影システム及び撮影方法 |
JP2020202503A (ja) * | 2019-06-11 | 2020-12-17 | キヤノン株式会社 | 撮像装置、コンピュータプログラムおよび記憶媒体 |
CN115049544A (zh) * | 2021-03-09 | 2022-09-13 | 上海擎感智能科技有限公司 | 一种图片的处理方法、设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020135621A1 (en) * | 2001-03-20 | 2002-09-26 | Angiulo Michael A. | Auto thumbnail gallery |
CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
CN102053781A (zh) * | 2009-11-03 | 2011-05-11 | Lg电子株式会社 | 终端及其控制方法 |
CN102088555A (zh) * | 2009-12-03 | 2011-06-08 | 索尼公司 | 全景图像合成器、全景图像合成方法和程序 |
JP2013021730A (ja) * | 2012-10-26 | 2013-01-31 | Sony Corp | 情報処理装置、表示装置、情報処理装置の制御方法およびプログラム |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0799623A (ja) * | 1993-09-09 | 1995-04-11 | Asahi Optical Co Ltd | パノラマ撮影機能付きスチルビデオカメラ |
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
US6459451B2 (en) * | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
JPH116928A (ja) | 1997-06-18 | 1999-01-12 | Nippon Telegr & Teleph Corp <Ntt> | アレイ導波路格子型波長合分波器 |
JP2000152168A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 画像再生装置 |
JP2001186334A (ja) * | 1999-12-27 | 2001-07-06 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2002312778A (ja) * | 2001-04-09 | 2002-10-25 | Be Here Corp | モーションパノラマ画像を電子的に配信する方法および装置 |
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2006157123A (ja) * | 2004-11-25 | 2006-06-15 | Eizoh Co Ltd | 画像配信システム |
JP4494196B2 (ja) * | 2004-12-27 | 2010-06-30 | 京セラ株式会社 | 画像表示装置 |
JP4718950B2 (ja) | 2005-09-26 | 2011-07-06 | Necカシオモバイルコミュニケーションズ株式会社 | 画像出力装置及びプログラム |
JP4815271B2 (ja) * | 2006-05-26 | 2011-11-16 | オリンパスイメージング株式会社 | 画像表示装置、カメラ及び画像表示制御プログラム |
JP2007325002A (ja) * | 2006-06-01 | 2007-12-13 | Canon Inc | 画像出力装置及び画像出力方法 |
US20080111831A1 (en) * | 2006-11-15 | 2008-05-15 | Jay Son | Efficient Panoramic Image Generation |
US7747107B2 (en) * | 2007-03-06 | 2010-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for retargeting images |
WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
EP2018049B1 (en) * | 2007-07-18 | 2013-05-01 | Samsung Electronics Co., Ltd. | Method of assembling a panoramic image and camera therefor |
JP4932660B2 (ja) | 2007-10-05 | 2012-05-16 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
JP4992664B2 (ja) * | 2007-10-29 | 2012-08-08 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8259193B2 (en) * | 2007-11-21 | 2012-09-04 | Panasonic Corporation | Image file reproduction apparatus and image data reproduction apparatus |
JP5178543B2 (ja) * | 2009-01-14 | 2013-04-10 | キヤノン株式会社 | Tv会議システム及びその制御方法 |
JP5351593B2 (ja) * | 2009-04-15 | 2013-11-27 | キヤノン株式会社 | ファイル管理装置およびその制御方法 |
JP2011205573A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 制御装置、カメラシステム及びプログラム |
JP5589644B2 (ja) * | 2010-07-27 | 2014-09-17 | 日本精機株式会社 | 周辺画像表示装置及びその表示方法 |
JP2012099906A (ja) | 2010-10-29 | 2012-05-24 | Jvc Kenwood Corp | サムネイル表示装置 |
JP2012124614A (ja) * | 2010-12-06 | 2012-06-28 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP5686244B2 (ja) * | 2010-12-21 | 2015-03-18 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
JP5020398B1 (ja) * | 2011-06-29 | 2012-09-05 | パナソニック株式会社 | 画像変換装置、カメラ、画像変換方法およびプログラム |
US8963962B2 (en) * | 2012-03-06 | 2015-02-24 | Apple Inc. | Display of multiple images |
KR101935039B1 (ko) * | 2012-09-11 | 2019-01-03 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
CN102982516B (zh) * | 2012-10-25 | 2015-07-29 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
US8773502B2 (en) * | 2012-10-29 | 2014-07-08 | Google Inc. | Smart targets facilitating the capture of contiguous images |
CN105144229B (zh) * | 2013-04-30 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
-
2014
- 2014-03-13 CN CN201480023101.9A patent/CN105144229B/zh active Active
- 2014-03-13 CN CN201910381940.2A patent/CN110401795A/zh active Pending
- 2014-03-13 WO PCT/JP2014/056711 patent/WO2014178233A1/ja active Application Filing
- 2014-03-13 JP JP2015514776A patent/JP6292227B2/ja active Active
- 2014-03-13 EP EP14791807.2A patent/EP2960857B1/en active Active
- 2014-03-13 US US14/784,558 patent/US9986156B2/en active Active
-
2018
- 2018-02-14 JP JP2018023691A patent/JP6673381B2/ja active Active
- 2018-03-12 US US15/918,333 patent/US20180205885A1/en not_active Abandoned
-
2020
- 2020-01-08 JP JP2020001760A patent/JP6819801B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020135621A1 (en) * | 2001-03-20 | 2002-09-26 | Angiulo Michael A. | Auto thumbnail gallery |
CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
CN102053781A (zh) * | 2009-11-03 | 2011-05-11 | Lg电子株式会社 | 终端及其控制方法 |
CN102088555A (zh) * | 2009-12-03 | 2011-06-08 | 索尼公司 | 全景图像合成器、全景图像合成方法和程序 |
JP2013021730A (ja) * | 2012-10-26 | 2013-01-31 | Sony Corp | 情報処理装置、表示装置、情報処理装置の制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018136936A (ja) | 2018-08-30 |
JP2020092428A (ja) | 2020-06-11 |
EP2960857A4 (en) | 2016-08-31 |
CN105144229A (zh) | 2015-12-09 |
JPWO2014178233A1 (ja) | 2017-02-23 |
US20160073022A1 (en) | 2016-03-10 |
WO2014178233A1 (ja) | 2014-11-06 |
JP6673381B2 (ja) | 2020-03-25 |
US20180205885A1 (en) | 2018-07-19 |
JP6292227B2 (ja) | 2018-03-14 |
JP6819801B2 (ja) | 2021-01-27 |
EP2960857B1 (en) | 2020-03-04 |
EP2960857A1 (en) | 2015-12-30 |
CN105144229B (zh) | 2019-07-05 |
US9986156B2 (en) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105144229B (zh) | 图像处理装置、图像处理方法和程序 | |
JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN104365083B (zh) | 图像处理装置、图像处理方法以及程序 | |
JP5406813B2 (ja) | パノラマ画像表示装置およびパノラマ画像表示方法 | |
US10659685B2 (en) | Control of viewing angles for 360-degree video playback | |
JP5409577B2 (ja) | パノラマ画像生成装置およびパノラマ画像生成方法 | |
CN104321803B (zh) | 图像处理装置、图像处理方法和程序 | |
CN102668585B (zh) | 图像数据生成辅助装置和图像数据生成辅助方法 | |
JP2018110375A (ja) | 表示装置、プログラム、表示方法 | |
JP2014529930A (ja) | ネイティブ画像の一部の選択的キャプチャとその表示 | |
JP5646033B2 (ja) | 画像表示装置および画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191101 |