CN106576134A - 图像显示装置及图像显示方法 - Google Patents

图像显示装置及图像显示方法 Download PDF

Info

Publication number
CN106576134A
CN106576134A CN201580033256.5A CN201580033256A CN106576134A CN 106576134 A CN106576134 A CN 106576134A CN 201580033256 A CN201580033256 A CN 201580033256A CN 106576134 A CN106576134 A CN 106576134A
Authority
CN
China
Prior art keywords
image
display
target
display part
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580033256.5A
Other languages
English (en)
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106576134A publication Critical patent/CN106576134A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本发明提供一种图像显示装置及图像显示方法，本发明的图像显示装置以用户无需大幅移动视线便能够容易掌握内容的方式显示多个图像，并以用户能够适当地掌握整个图像中的关注被摄体的图像即显示目标图像的位置及状态的方式显示多个图像。本发明的优选方式所涉及的图像显示装置具备对显示部(12)中的图像的显示进行控制的显示控制器。显示控制器在显示部(12)同时显示第1图像(51)及第2图像(52)，并使第1图像(51)的显示目标图像(53)在显示部(12)中的位置与第2图像(52)的显示目标图像(53)在显示部(12)中的位置一致，在显示部(12)中，显示第1图像(51)的第1图像显示区域(54)设为比显示第2图像(52)的第2图像显示区域(56)窄。

Description

图像显示装置及图像显示方法
技术领域
本发明涉及一种图像显示装置及图像显示方法，尤其涉及一种使多个图像显示于显示部的技术。
背景技术
相机的取景器、监视相机、电视机、计算机及便携式终端装置等设备具备用于显示各种图像及信息的显示器，用户通过参考该显示器上的显示而确认摄影图像或者操作设备。
例如在专利文献1中公开的摄像装置中，“通过在第1照片(广角透镜摄影照片)上重叠第2照片(标准透镜摄影照片)，且在第2照片上重叠第3照片(长焦透镜摄影照片)而制作的合成照片”和“将第1照片、第2照片及第3照片进行缩小且并置而制作的合成照片”显示于显示装置。
并且，在专利文献2中公开的摄像装置中，在长焦侧的摄像范围内拍摄的图像嵌入到在广角侧的摄像范围内拍摄的图像上而合成的影像显示于显示部。
并且，在专利文献3中公开的头戴式显示器装置中，使用广角透镜进行摄影而获取的影像的一部分作为主要图像而被提取，主要图像周围的影像作为子图像而被提取，在佩戴者的眼部前方显示主要图像，并且在主要图像的周围显示子图像。
以往技术文献
专利文献
专利文献1：日本专利公开2013-109067号公报
专利文献2：日本专利公开2010-206643号公报
专利文献3：日本专利公开2011-203446号公报
发明的概要
发明要解决的技术课题
如上所述，作为典型的图像显示方法，已知有在1个显示器上并排显示多个图像的所谓的“双画面(PBP：Picture By Picture)”，或者将1个图像显示于整个显示器、且将其它图像作为小图像而重叠显示于显示器的局部的所谓的“画中画(PIP：PictureInPicture)”。
然而，在以往的图像显示方法中，用户难以同时准确地掌握显示于显示器的多个图像及信息。
例如在“双画面”的图像显示方法中，显示器的显示区域被区分为小区域，多个图像的各个图像独立地显示于该小区域，因此多个图像(尤其各个图像中的关注被摄体的图像(以下，也称作“显示目标图像”))配置于超过用户一眼便能够识别的视场范围的位置。因此，若用户注视着显示于显示器上的多个图像中的特定的图像，则难以同时准确地掌握未注视的其它图像。从而，在“双画面”的图像显示方法中，用户需要移动视线来依次识别各个图像而不方便。并且，在“双画面”的图像显示方法中，各个图像独立显示于小区域，因此与在整个显示区域显示1个图像的情况相比，每一个图像的显示分辨率降低而无法清晰地显示各个图像，难以对用户详细地提示各个图像的信息。从而，如专利文献1及专利文献3中所公开的以往的“双画面”的图像显示方法无法显示多个图像，以使通常的用户能够同时准确地掌握多个图像(尤其关注被摄体的图像)的内容。
并且，在采用“画中画”的图像显示方法的专利文献1的摄像装置及专利文献2的摄像装置中，长焦图像重叠配置于广角图像上的状态的合成图像显示于显示画面上，因此在显示画面上，长焦图像会遮盖广角图像的一部分的显示。其结果，长焦图像会损伤广角图像的信息(尤其关注被摄体的信息)，因此用户能够通过参考显示于显示部上的长焦图像而确认关注被摄体的图像本身，但关于其关注被摄体周围的图像，无法由显示于显示画面上的长焦图像及广角图像准确地掌握。因此，如专利文献1及专利文献2中所公开的以往的“画中画”的图像显示方法无法显示多个图像，以使用户能够准确地掌握整个图像中的关注被摄体的位置及状态，或者关注被摄体周边的状态。
本发明是鉴于上述情况而完成的，其目的在于提供一种显示多个图像以便用户无需大幅移动视线便能够容易掌握内容的技术，即，显示多个图像以便用户能够适当地掌握整个图像中的关注被摄体的图像(显示目标图像)的位置及状态的技术。
用于解决技术课题的手段
本发明的一方式为一种图像显示装置，其具备对显示部中的图像的显示进行控制的显示控制器，显示控制器在显示部同时显示第1图像及第2图像，并使第1图像的显示目标图像在显示部中的位置与第2图像的显示目标图像在显示部中的位置一致，在显示部中，显示第1图像的区域设为比显示第2图像的区域窄。
根据本方式，在显示部中，在显示第1图像的区域设为比显示第2图像的区域窄的状态下，一边第1图像及第2图像彼此之间协调显示目标图像的位置，一边显示第1图像及第2图像。根据该第1图像及第2图像的显示，用户无需大幅移动视线便能够容易掌握第1图像及第2图像(尤其第1图像的显示目标图像及第2图像的显示目标图像)。并且，显示目标图像在第1图像及第2图像中多面显示，因此用户能够适当地掌握整个图像中的显示目标图像的位置及状态。
另外，使第1图像的显示目标图像在显示部中的位置与第2图像的显示目标图像在显示部中的位置一致的方法并无特别限定。例如可以使显示目标图像的位置在第1图像与第2图像之间完全一致，也可以以在第1图像的显示目标图像与第2图像的显示目标图像之间实现特定的相对位置关系的方式确定第1图像及第2图像在显示部中的配置。
并且，“显示目标图像的位置”的确定方法无特别限定，能够根据表示显示目标图像的配置的代表性的1个或多个位置来表示第1图像及第2图像中的“显示目标图像的位置”。例如也可以根据通过显示目标图像的外周部(轮廓)而规定的形状的“重心”来确定第1图像及第2图像的各个图像中的“显示目标图像的位置”。所谓的“通过显示目标图像的外周部(轮廓)而规定的形状”也可以是通过直线或曲线来近似地表示显示目标图像的外周部(轮廓)的形状。例如也可以通过多边形状、圆形状、组合多边形状及圆形状而作出的形状，或者通过其它形状近似地表示“通过显示目标图像的外周部(轮廓)而规定的形状”。
并且，在显示部同时显示第1图像及第2图像的方法也无特别限定，只要在观察显示部的显示的人的视觉上，第1图像及第2图像以实际上同时可识别的方式显示即可。从而，第1图像及第2图像可以在显示部中持续保持显示状态，也可以在显示部中重复进行显示及非显示。
优选第1图像的显示目标图像和第2图像的显示目标图像为同一对象的图像。
根据本方式，由于显示于显示部的第1图像及第2图像包括同一对象的显示目标图像，因此用户通过综合考虑第1图像及第2图像而能够准确地掌握显示目标图像的对象的位置及状态。
优选第1图像为广角图像，第2图像为长焦图像。
根据本方式，用户能够由显示于显示部的广角图像及长焦图像适当地掌握显示目标图像的位置及状态，例如能够由广角图像确认显示目标图像与其周边的关系，并且能够由长焦图像确认显示目标图像的详细的信息。
另外，所谓的“广角图像”及“长焦图像”表示相对的关系，例如能够将使用焦点距离相对较短的光学***进行摄影而获得的图像设为“广角图像”，另一方面，将使用焦点距离相对较长的光学***进行摄影而获得的图像设为“长焦图像”。
优选显示控制器在显示部的图像显示区域中的中央部将第1图像的显示率设为比第2图像的显示率大的状态下，在显示部显示第1图像及第2图像。
根据本方式，在显示部的图像显示区域中的中央部，第1图像比第2图像显示出良好的可见性，因此用户通过观察显示部的图像显示区域中的中央部而能够掌握第1图像中的显示目标图像的位置及状态。
另外，在显示部的图像显示区域中的中央部，可以显示第2图像，也可以完全不显示第2图像。
并且，显示部的图像显示区域的“中央部”为包括其图像显示区域的中心的区域。例如也可以将通过显示部的图像显示区域的外周部(轮廓)而规定的形状的“重心”当作“图像显示区域的中心”，以该重心为基准的特定范围也可以被设定为所谓的图像显示区域的“中央部”。图像显示区域的“中央部”的平面形状无特别限定，可以是圆形，也可以是多边形状。
优选显示控制器在显示部的图像显示区域中的周边部将第1图像的显示率设为比第2图像的显示率小的状态下，或者在将第1图像的显示率设为与第2图像的显示率相同的状态下，在显示部显示第1图像及第2图像。
根据本方式，在显示部的图像显示区域中的周边部，以与第1图像相同或超过第1图像的方式，第2图像显示出良好的可见性，因此用户通过观察显示部的图像显示区域中的周边部而能够掌握第2图像中的显示目标图像的位置及状态。
另外，在显示部的图像显示区域中的周边部，可以显示第1图像，也可以完全不显示第1图像。
并且，显示部的图像显示区域的“周边部”为不包括上述“中央部”的区域，例如以显示部的图像显示区域的外周部(轮廓)为基准的特定范围也可以设定为所谓的图像显示区域的“周边部”。
优选在显示部中第1图像的显示视角比第2图像的显示视角大。
根据本方式，视角不同的第1图像及第2图像显示于显示部，因此用户能够综合考虑视角不同的多个图像而掌握显示目标图像的位置及状态。从而在第1图像的显示目标图像和第2图像的显示目标图像为同一对象的图像的情况下，用户通过观察第1图像而能够掌握显示目标图像与其周边的关系，并且，通过观察第2图像而能够掌握显示目标图像的详细的信息。
另外，“显示视角”表示在显示部显示范围的视角，例如显示视角相对较大的第1图像比显示视角相对较小的第2图像显示更广范围的被摄体的图像。
优选显示控制器根据第1图像中的显示目标图像的大小及第2图像中的显示目标图像的大小来确定显示部中的第1图像的显示区域的大小。
根据本方式，能够根据第1图像及第2图像中的显示目标图像的相对大小，自适应地改变显示部中的第1图像的显示区域的大小。
优选显示控制器在显示部中在显示第1图像的区域不显示第2图像。
根据本方式，在显示部中在显示第1图像的区域不显示第2图像，因此用户能够以清晰的状态确认第1图像，而不受第2图像的干扰。
优选显示控制器在显示部中在显示第1图像的区域的至少一部分区域混合显示第1图像和第2图像。
根据本方式，在显示部中在显示第1图像的区域的至少一部分区域混合显示第1图像和第2图像，因此能够将该混合显示区域作为“显示第1图像的区域”及“显示第2图像的区域”这两个区域而利用。
所谓的“在显示部中在显示第1图像的区域的至少一部分区域”无特别限定，从提高第1图像及第2图像的显示分离性的观点考虑，优选为包括第1图像与第2图像的边界区域的区域，例如优选为包括显示第1图像的区域的外周部(轮廓)的区域。
优选显示控制器在显示部中在显示第1图像的区域的至少一部分区域，关于从第1图像的中心部朝向周边部的方向，连续改变相对于第1图像的第2图像的显示率。
根据本方式，在显示部中在显示第1图像的区域的至少一部分区域，关于从第1图像的中心部朝向周边部的方向，连续改变相对于第1图像的第2图像的显示率，因此第1图像及第2图像渐变显示。
优选显示控制器在显示部中在显示第1图像的区域的至少一部分区域，关于从第1图像的中心部朝向周边部的方向，使相对于第1图像的第2图像的显示率连续变大。
根据本方式，越远离第1图像的中心部而朝向周边部，第1图像的显示率越减小，而第2图像的显示率越增大，因此能够提高显示部中的第1图像及第2图像的可见性。
所谓的“从第1图像的中心部朝向周边部的方向”例如通过以第1图像的中心部为基准的矢径方向来表示，相当于从通过第1图像的外周部(轮廓)而规定的形状的“重心”朝向“外周部(轮廓)”的方向。
优选图像显示装置还具备目标图像位置获取部，该目标图像位置获取部分析表示第1图像及第2图像的数据，并获取第1图像中的显示目标图像的位置及第2图像中的显示目标图像的位置，显示控制器根据目标图像位置获取部所获取的第1图像中的显示目标图像的位置及第2图像中的显示目标图像的位置来确定第1图像及第2图像中的至少任意一方在显示部中的显示尺寸。
根据本方式，根据第1图像中的显示目标图像的位置及第2图像中的显示目标图像的位置，能够自适应地改变第1图像及第2图像中的至少任意一方在显示部中的显示尺寸。
所谓的“显示尺寸”可以基于“显示部中的显示区域的大小”，也可以基于“图像的显示倍率(放大显示倍率或缩小显示倍率)的大小”。
优选显示控制器在显示部中立体地显示第1图像及第2图像中的至少任意一方，并使显示部中的第1图像的显示目标图像的进深位置与第2图像的显示目标图像的进深位置不同。
根据本方式，通过立体显示，第1图像的显示目标图像和第2图像的显示目标图像显示配置于不同的进深位置，且能够提高可见性。
优选图像显示装置还具备图像合成部，该图像合成部将显示于显示部的第1图像和第2图像进行合成，显示控制器在显示部显示通过图像合成部以电子学的方式或光学的方式合成的第1图像及第2图像。
根据本方式，以电子学的方式或光学的方式合成的第1图像及第2图像显示于显示部。
优选图像显示装置还具备抖动获取部，该抖动获取部获取第1图像的显示目标图像及第2图像的显示目标图像中的至少任意一方的抖动量，显示控制器根据抖动获取部所获取的抖动量来确定第1图像及第2图像中的至少任意一方在显示部中的显示比例。
根据本方式，根据第1图像的显示目标图像及第2图像的显示目标图像中的至少任意一方的抖动量，能够自适应地改变第1图像及第2图像中的至少任意一方在显示部中的显示比例。
所谓的“抖动量”若为直接或间接地表示第1图像的显示目标图像及第2图像的显示目标图像中的至少任意一方的抖动大小的数据，则无特别限定。例如能够将通过“由被摄体本身的动作引起的抖动(被摄体抖动)”及“由摄影时的摄像装置的动作引起的抖动”中的一方或双方引起的“显示目标图像的动作量”作为“抖动量”而使用。
优选在通过抖动获取部获取的抖动量为第1阈值以上的情况下，与通过抖动获取部获取的抖动量小于第1阈值的情况相比，显示控制器使第1图像的显示比例更大。
根据本方式，在抖动量为第1阈值以上的情况下第1图像的显示比例变大，因此能够提高第1图像的可见性。
优选在通过抖动获取部获取的抖动量为第2阈值以下的情况下，与通过抖动获取部获取的抖动量大于第2阈值的情况相比，显示控制器使第2图像的显示比例更大。
根据本方式，在抖动量为第2阈值以下的情况下第2图像的显示比例变大，因此能够提高第2图像的可见性。
优选显示比例为相对于显示部中的整个图像显示区域的显示面积的比例。
根据本方式，根据抖动量能够自适应地改变相对于显示部中的整个图像显示区域的显示面积的比例。
优选显示控制器在显示部中在显示第1图像的区域的至少一部分区域混合显示第1图像和第2图像，显示比例为在显示部中在显示第1图像的区域的至少一部分区域中的显示的混合比例。
根据本方式，根据抖动量能够自适应地改变在显示部中在显示第1图像的区域的至少一部分区域中显示的混合比例。
优选使用于第1图像的摄影中的第1光学***具有与使用于第2图像的摄影中的第2光学***相同的光轴。
根据本方式，能够在显示部显示在相同的方向上进行摄影且无视差的第1图像及第2图像，并能够提高显示于显示部的第1图像及第2图像(尤其显示目标图像)的可见性。
本发明的另一方式为一种图像显示方法，其通过显示控制器来控制显示部中的图像的显示，其中，在显示部同时显示第1图像及第2图像，并使第1图像的显示目标图像在显示部中的位置与第2图像的显示目标图像在显示部中的位置一致，在显示部中，显示第1图像的区域设为比显示第2图像的区域窄。
发明效果
根据本发明，在显示部中在显示第1图像的区域设为比显示第2图像的区域窄的状态下，一边第1图像及第2图像彼此之间协调显示目标图像的位置，一边显示第1图像及第2图像。因此观察显示部的用户无需大幅移动视线便能够容易掌握第1图像及第2图像(尤其第1图像的显示目标图像及第2图像的显示目标图像)。并且，在显示目标图像在第1图像及第2图像中多面显示，因此用户能够适当地掌握整个图像中的显示目标图像的位置及状态。
附图说明
图1是表示图像显示***的外观结构的一例的图。
图2是表示图像显示***的功能结构的一例的框图。
图3是表示显示部的图像显示区域的俯视图。
图4是表示第1图像(广角图像)及第2图像(长焦图像)的第1合成显示例的图。
图5是用于对第1图像(广角图像)及第2图像(长焦图像)的第2合成显示例进行说明的显示部(图像显示区域)的俯视图。
图6是表示第1图像(广角图像)及第2图像(长焦图像)的第2合成显示例的图。
图7是表示从视觉功能(视力)、信息搜索运动及感应效果方面观察到的视场特性的图。
图8是表示考虑到人的视觉特性的第1图像及第2图像的显示例的图。
图9是表示图像显示方法的一例的流程图。
图10是表示第1变形例所涉及的图像显示***的功能结构例的框图。
图11是表示第1光学***、第2光学***及成像元件的一结构例的剖视图。
图12是微透镜阵列及图像传感器的主要部分放大图。
图13是表示配设于图像传感器的滤色器阵列等的图。
图14是表示作为摄像装置的另一实施方式的智能手机的外观的图。
图15是表示图14所示的智能手机的结构的框图。
具体实施方式
以下，参考附图，对本发明的实施方式进行说明。
以下实施方式中，关于作为显示于显示部的第1图像及第2图像而使用广角图像及长焦图像的例子进行说明，但也可以将其它种类的图像作为第1图像及第2图像而使用。并且，显示于显示部的第1图像及第2图像可以是静止图像，也可以是动态图像。本发明并不限定于以下实施方式所涉及的图像显示***，而可以广泛地适用于可以显示静止图像和/或动态图像的相机、电视机、计算机及便携式终端装置等各种设备。
图1是表示图像显示***5的外观结构的一例的图。图2是表示图像显示***5的功能结构的一例的框图。
本例的图像显示***5具备摄像装置14、经由原图像传输部15而与摄像装置14的主体部16连接的图像显示装置10、及经由显示图像传输部11而与图像显示装置10连接的显示部12。
在摄像装置14的主体部16安装有：第1光学***18，使用于作为第1图像的广角图像的摄影中；及第2光学***20，使用于作为第2图像的长焦图像的摄影中。搭载于主体部16的成像元件26经由第1光学***18而接收广角图像光22，并且经由第2光学***20而接收长焦图像光23，并输出表示所接收的广角图像(第1图像)的第1图像数据D1及表示所接收的长焦图像(第2图像)的第2图像数据D2。
包括第1光学***18及第2光学***20的摄像装置14的结构，只要可以对所希望的广角图像及长焦图像进行摄影则无特别限定。例如通过如后述图11所示的“使用于广角图像(第1图像)的摄影中的第1光学***18具有与使用于长焦图像(第2图像)的摄影中的第2光学***20相同的光轴的摄像***”能够适当地构成摄像装置14。并且，也可以分开设置“用于摄影广角图像(第1图像)的第1光学***18及成像元件26”和“用于摄影长焦图像(第2图像)的第2光学***20及成像元件26”。
如图2所示，图像显示装置10具有图像获取部28、显示控制器30、图像合成部34及目标图像位置获取部36。
图像获取部28获取第1图像数据D1(广角图像数据)及第2图像数据D2(长焦图像数据)。本例的图像获取部28从摄像装置14的成像元件26经由原图像传输部15直接接收第1图像数据D1及第2图像数据D2，但并不限定于此。例如也可以将从成像元件26输出的第1图像数据D1及第2图像数据D2保存于图像保存存储器32，图像获取部28将第1图像数据D1及第2图像数据D2通过从图像保存存储器32读取而获取。该图像保存存储器32可以内置于摄像装置14(主体部16)或图像显示装置10中，也可以装卸自如地设置于摄像装置14及图像显示装置10中。
目标图像位置获取部36对从图像获取部28接收的第1图像数据D1及第2图像数据D2进行分析，并获取第1图像中的关注被摄体的图像(显示目标图像)的位置及大小和第2图像中的显示目标图像的位置及大小。目标图像位置获取部36中的分析方法无特别限定，目标图像位置获取部36将任意的图像识别处理适用于第1图像数据D1及第2图像数据D2，获取第1图像中的显示目标图像的位置及大小和第2图像中的显示目标图像的位置及大小。
另外，所谓的“显示目标图像的位置及大小”可以用任意的方法进行确定。目标图像位置获取部36例如也可以通过图像识别处理来获取显示目标图像的轮廓位置，并将根据其轮廓位置确定的1个或多个位置作为“第1图像中的显示目标图像的位置”及“第2图像中的显示目标图像的位置”进行确定及获取。并且目标图像位置获取部36通过图像识别处理而获取显示目标图像在第1图像及第2图像中所占的位置及大小，将其显示目标图像所占的位置及大小本身作为“第1图像中的显示目标图像的位置及大小”及“第2图像中的显示目标图像的位置及大小”进行确定及获取。
目标图像位置获取部36随着“显示目标图像的位置及大小”的分析获取处理而从第1图像及第2图像中确定“显示目标图像”，但也可以通过任意的方法来实现该显示目标图像的确定方法。目标图像位置获取部36例如可以将位于第1图像及第2图像的中央部的对象优选确定为“显示目标图像”，也可以将在第1图像及第2图像中移动的对象优选确定为“显示目标图像”。并且，目标图像位置获取部36也可以综合考虑这些“第1图像及第2图像中的位置信息”、“第1图像及第2图像中的移动信息”、和/或其它信息来确定“显示目标图像”。所谓的“其它信息”无特别限定，可以是从第1图像数据D1及第2图像数据D2可以获取的信息，也可以是基于用户所指定的条件的信息。
另外，在以下各实施方式中，第1图像的显示目标图像和第2图像的显示目标图像为同一对象的图像。
图2所示的图像合成部34从图像获取部28接收第1图像数据D1及第2图像数据D2，并将显示于显示部12的第1图像和第2图像以电子学的方式进行合成而生成显示图像数据D3。根据图像合成部34的显示图像数据D3的具体的生成方法无特别限定。本例的图像合成部34在显示控制器30的控制下，将“表示第1图像的第1图像数据D1”及“表示第2图像的第2图像数据D2”以电子学的方式进行合成而生成显示图像数据D3，但也可以将第1图像及第2图像以光学的方式进行合成而生成显示图像数据D3。
显示控制器30对图像合成部34中的显示图像数据D3的生成处理进行控制，并且对显示部12的图像显示区域13中的图像的显示进行控制。
例如显示控制器30根据第1图像中的显示目标图像的大小及第2图像中的显示目标图像的大小来确定显示部12中的第1图像的显示区域的大小及第2图像的显示区域的大小。更具体而言，显示控制器30根据目标图像位置获取部36所获取的“第1图像中的显示目标图像的位置及大小”及“第2图像中的显示目标图像的位置及大小”来确定第1图像及第2图像中的至少任意一方(本例中为第1图像及第2图像双方)在显示部12中的显示尺寸。
另外，所谓的“显示尺寸”可以是指显示部12的图像显示区域13中的显示图像的区域的大小，也可以是指其显示区域的大小且图像的显示倍率大小的概念。在“显示尺寸”为包括图像的显示倍率大小的概念的情况下，显示控制器30根据“显示部12中的第1图像及第2图像的各个图像的显示区域的大小”及“第1图像及第2图像中的显示目标图像的位置及大小”来算出并获取适合的显示倍率。
显示控制器30将如此确定的“第1图像的显示区域的大小及第2图像的显示区域的大小”及“显示部12中的第1图像及第2图像的显示尺寸”的信息数据发送到图像合成部34。图像合成部34根据从显示控制器30接收到的信息数据，由第1图像数据D1及第2图像数据D2生成显示图像数据D3，并将所生成的显示图像数据D3发送到显示控制器30。
显示控制器30将从图像合成部34接收到的显示图像数据D3经由显示图像传输部11发送到显示部12，因此将通过图像合成部34以电子学的方式或光学的方式进行合成的第1图像及第2图像显示于显示部12。另外，显示控制器30预先获取及保持与显示部12的显示特性有关的信息，例如具有图像显示区域13的尺寸(画面分辨率)的数据。显示控制器30将考虑到与那些显示部12的显示特性有关的信息的信息数据发送到图像合成部34，使根据显示部12的显示特性的显示图像数据D3生成于图像合成部34。
显示部12将在显示控制器30的控制下发送过来的显示图像数据D3显示于图像显示区域13。
图3是表示显示部12的图像显示区域13的俯视图。
本例的显示部12的图像显示区域13具有四边形(长方形)的平面形状，其通过具有以图像显示区域13的重心C为中心的圆形平面形状的画面中央部42和画面中央部42周围的画面周边部44构成。
显示控制器30(参考图2)在显示部12的图像显示区域13中的画面中央部42将第1图像(广角图像)的显示率设为比第2图像(长焦图像)的显示率大的状态下，在显示部12显示第1图像及第2图像。
并且显示控制器30在显示部12的图像显示区域13中的画面周边部44将第1图像的显示率设为比第2图像的显示率小的状态下，或者在将第1图像的显示率设为与第2图像的显示率相同的状态下，在显示部12显示第1图像及第2图像。
另外，在图3中例示出通过“圆形平面形状的画面中央部42”和“画面周边部44”构成“四边形状的图像显示区域13”的情况，但显示部12的画面中央部42、画面周边部44及图像显示区域13的大小或形状无特别限定。例如画面中央部42的平面形状也可以是四边形，图像显示区域13的平面形状也可以是四边形以外的形状。并且，显示控制器30(参考图2)也可以根据第1图像(广角图像)及第2图像(长焦图像)的图像的内容、摄影条件或其它条件而自适应地调整显示部12在图像显示区域13中的画面中央部42及画面周边部44的平面形状、大小及范围。
接着，对第1图像(广角图像)及第2图像(长焦图像)的具体的合成显示例进行说明。
<第1合成显示例>
图4是表示第1图像51(广角图像)及第2图像52(长焦图像)的第1合成显示例的图。另外，图4中示出图像显示区域13具有正方形状的平面形状的例子，但图像显示区域13的平面形状无特别限定，例如如图3所示，图像显示区域13也可以具有长度和宽度不同的长方形的平面形状。
本例的显示控制器30(参考图2)在显示部12的图像显示区域13中，将显示第1图像51的区域(以下，称作“第1图像显示区域”)54设为比显示第2图像52的区域(以下，称作“第2图像显示区域”)56窄，在第2图像显示区域56内配置有第1图像显示区域54的状态下，在显示部12的图像显示区域13同时显示第1图像51及第2图像52。
尤其，本例的显示控制器30在显示部12中在显示第1图像51的第1图像显示区域54不显示第2图像52。即，显示控制器30将图像显示区域13的画面中央部42设定为第1图像显示区域54，将图像显示区域13中不包括画面中央部42的画面周边部44设定为第2图像显示区域56。
并且，显示控制器30使第1图像51的显示目标图像53在显示部12中的位置与第2图像52的显示目标图像53在显示部12中的位置一致。在显示部12中，在确定使显示目标图像53的位置在第1图像51与第2图像52之间一致的情况下成为基准的“显示目标图像53的位置”的条件无特别限定。例如也可以以显示目标图像53的中心位置(重心位置)为基准，在显示部12(图像显示区域13)中，以显示目标图像53的重心位置在第1图像51与第2图像52之间大致一致的方式，显示控制器30确定显示部12中的第1图像51及第2图像52的显示尺寸。图4所示的例子中，“第1图像51中的显示目标图像53的重心”的位置与“第2图像52中的显示目标图像53的重心”的位置一致。
并且，显示控制器30以第1图像显示区域54比显示于第2图像显示区域56中的第2图像52的显示目标图像53的外周部(轮廓)小的方式确定“第1图像显示区域54的大小及第2图像显示区域56的大小”及“显示部12中的第1图像及第2图像的显示尺寸”。即，显示控制器30在第2图像52中的显示目标图像53的外周部(轮廓)的内侧配置第1图像显示区域54，将“构成近前图像的第1图像51的显示区域(第1图像显示区域54)的尺寸”设定为比“构成后侧图像的第2图像52中的显示目标图像53的尺寸”小。
并且，显示控制器30在确定“第1图像显示区域54的大小及第2图像显示区域56的大小”及“显示部12(第1图像显示区域54及第2图像显示区域56)中的第1图像51及第2图像52的显示尺寸”时，在显示部12(图像显示区域13)中，将第1图像51的显示视角设定为比第2图像52的显示视角大。尤其，显示控制器30以第1图像显示区域54比显示于第1图像显示区域54中的第1图像51的显示目标图像53的外周部(轮廓)大的方式确定“第1图像显示区域54的大小及第2图像显示区域56的大小”及“显示部12中的第1图像及第2图像的显示尺寸”。如此以在显示部12的第1图像显示区域54显示的第1图像51包括显示目标图像53的外周部(轮廓)的方式设定第1图像51及第2图像52的显示视角，由此用户能够容易且持续进行显示目标图像53的追踪。
显示控制器30将表示上述条件的信息数据提供于图像合成部34(参考图2)，使满足上述条件的显示图像数据D3生成于图像合成部34。而且，显示控制器30从图像合成部34接收该显示图像数据D3并发送到显示部12，使如图4所示的第1图像51及第2图像52的平面合成图像显示于显示部12的图像显示区域13。
通过将满足上述条件的“第1图像51及第2图像52的合成图像”显示于显示部12，用户能够简便且准确地掌握第1图像51及第2图像52中的显示目标图像53的状态。例如用户通过参考显示于显示部12中的第1图像51(广角图像)而能够掌握显示目标图像53的动作，且通过参考显示于显示部12中的第1图像51(广角图像)及第2图像52(长焦图像)两者而能够确认显示目标图像53的详细的信息。并且，用户能够参考显示部12的第1图像显示区域54中的第1图像51而识别显示目标图像53周边的状态，且显示目标图像53的捕捉及追踪变得容易。并且，在第1图像显示区域54周边的第2图像显示区域56中，“第2图像52中的显示目标图像53”以放大的状态显示，因此用户能够确认可靠地进行显示目标图像53的捕捉及追跡。
如以上说明，根据本例的图像显示方法，如图4所示，用户无需大幅移动视线便能够一眼识别出第1图像51的显示目标图像53及第2图像52的显示目标图像53这两者，能够减轻用户的负担。尤其，通过将作为广角图像的第1图像51配置于画面中央部42，用户能够简便且准确地识别出显示目标图像53的周边的状态。并且，通过在作为长焦图像的第2图像52中的显示目标图像53的外周部(轮廓)的内侧显示第1图像51，用户能够从第1图像51(广角图像)识别出显示目标图像53周边的状态，且能够从第2图像52(长焦图像)识别出显示目标图像53的外周部(轮廓)的状态。如此用户能够容易掌握第1图像51及第2图像52(尤其显示目标图像53)的内容，并能够适当地掌握整个图像中的显示目标图像53的位置及状态。
并且，将第1图像51及第2图像52不进行混合而独立地显示，由此能够将第1图像51及第2图像52的各个图像清晰地显示于显示部12。
<第2合成显示例>
本例中，对于与上述第1合成显示例相同的结构部分标注相同的符号，并省略其详细说明。
本例的显示控制器30参考图2)在显示部12中在显示第1图像51的区域(第1图像显示区域54)中的至少一部分区域混合显示第1图像51和第2图像52。
图5是用于对第1图像(广角图像)及第2图像(长焦图像)的第2合成显示例进行说明的显示部12(图像显示区域13)的俯视图。
本例的显示部12的图像显示区域13由以下部分构成：第1单一图像显示区域46，位于以图像显示区域13的重心C为中心的中央部；混合图像显示区域47，位于第1单一图像显示区域46的外侧；及第2单一图像显示区域48，位于混合图像显示区域47的外侧。
第1单一图像显示区域46、混合图像显示区域47及第2单一图像显示区域48的位置、大小及平面形状无特别限定。图5所示例中，第1单一图像显示区域46具有圆形状的平面形状，混合图像显示区域47具有圆筒剖面形状的平面形状，第2单一图像显示区域48由图像显示区域13中的除了第1单一图像显示区域46及混合图像显示区域47以外的区域构成。
第1单一图像显示区域46为仅显示第1图像51的区域，混合图像显示区域47为混合显示第1图像51和第2图像52的区域，第2单一图像显示区域48为仅显示第2图像52的区域。从而，显示第1图像51的区域(第1图像显示区域54)由第1单一图像显示区域46及混合图像显示区域47构成，显示第2图像52的区域(第2图像显示区域56)由混合图像显示区域47及第2单一图像显示区域48构成。
显示控制器30在显示部12中在显示第1图像显示区域54的区域的至少一部分区域(图5所示例中混合图像显示区域47)，关于从作为第1图像51的中心部的重心C朝向作为周边部的轮廓P的方向(参考图5的箭头“R”)，连续改变相对于第1图像51的第2图像52的显示率，尤其在本例中，使相对于第1图像51的第2图像52的显示率连续增大。
图6是表示第1图像51(广角图像)及第2图像52(长焦图像)的第2合成显示例的图。另外，图6中示出图像显示区域13具有正方形状的平面形状的例子，但图像显示区域13的平面形状无特别限定，例如如图5所示，图像显示区域13也可以具有长度和宽度不同的长方形的平面形状。
本例中，如图6所示，在第1单一图像显示区域46及混合图像显示区域47中显示第1图像51，并且在混合图像显示区域47及第2单一图像显示区域48中显示第2图像52。
混合图像显示区域47为混合显示第1图像51及第2图像52的区域，关于从第1图像51的重心(中心)朝向轮廓的方向(参考图5的箭头“R”)，相对于第1图像51的第2图像52的显示率连续变大。即，关于从“第1单一图像显示区域46与混合图像显示区域47的边界部”朝向“混合图像显示区域47与第2单一图像显示区域48的边界部”的方向，混合图像显示区域47中的第1图像51的混合比率(显示比率)逐渐变小，另一方面，混合图像显示区域47中的第2图像52的混合比率(显示比率)逐渐变大。
并且，第1单一图像显示区域46比显示于第2图像显示区域56(混合图像显示区域47及第2单一图像显示区域48)的第2图像52中的显示目标图像53的外周部(轮廓)小。并且，第1图像51中的显示目标图像53配置于第1单一图像显示区域46内。即，第1单一图像显示区域46比显示于第1单一图像显示区域46的第1图像51中的显示目标图像53的外周部(轮廓)大。因此第1图像显示区域54比显示于第2图像显示区域56的第2图像52中的显示目标图像53的外周部(轮廓)小，在第2图像52中的显示目标图像53的外周部(轮廓)的内侧配置有第1图像51中的显示目标图像53。
另外，与图4所示的第1合成显示例同样，图6所示的第2合成显示例满足下述条件。
即，第1图像显示区域54(第1单一图像显示区域46及混合图像显示区域47)比第2图像显示区域56(混合图像显示区域47及第2单一图像显示区域48)窄，且配置于第2图像显示区域56内。并且，在显示部12(图像显示区域13)中，第1图像51的显示目标图像53的重心位置与第2图像52的显示目标图像53的重心位置一致。并且，在显示部12(图像显示区域13)中，第1图像51的显示视角比第2图像52的显示视角大，第1图像显示区域54比显示于第1图像显示区域54中的第1图像51的显示目标图像53的外周部(轮廓)大。
显示控制器30确定满足上述条件的“第1图像显示区域54的大小及第2图像显示区域56的大小”及“显示部12(第1图像显示区域54及第2图像显示区域56)中的第1图像51及第2图像52的显示尺寸”。
显示控制器30将表示上述条件的信息数据提供于图像合成部34(参考图2)，使满足上述条件的显示图像数据D3生成于图像合成部34。而且，显示控制器30从图像合成部34接收该显示图像数据D3并发送到显示部12，使如图6所示的第1图像51及第2图像52的合成图像显示于显示部12的图像显示区域13。
如以上说明，根据本例的图像显示方法，如图6所示，用户能够一眼便识别出第1图像51的显示目标图像53及第2图像52的显示目标图像53这两者。
尤其，在本例中，在显示部12的图像显示区域13的一部分区域(混合图像显示区域47)，第1图像51及第2图像52两者以可识别的状态显示，因此与上述第1合成显示例(参考图4)相比，实际上能够放大第1图像51及第2图像52的显示区域。因此，在显示部12中广范围地显示第1图像51及第2图像52这两个图像，用户能够从广范围地显示的第1图像51及第2图像52简便地确认显示目标图像53的状态。
<关于基于人的视觉特性的显示方式>
接着，对根据人的视觉特性来确定显示部12中的第1图像及第2图像的显示方式的方法进行说明。
图7是表示从视觉功能(视力)、信息搜索运动及感应效果方面观察到的视场特性的图，是与由影像信息多媒体学会提供的图(影像信息多媒体学会、2009、All RightsReserved)相同的图。另外，由影像信息多媒体学会提供的图例如通过链接下述因特网上的地址(URL：Uniform Resource Locator)而可以进行参考。
http：//Dbnst.nii.ac.jp/view_image/2515/4526？height＝785&wiDth＝421
图7的符号“(A)”表示“中心视场”的范围，对应于高性能的信息处理范围且人的眼部的视网膜中心部。该中心视场范围(A)包括“分辨视场”的范围(参考图7的符号“(1)”)及“有效视场”的范围(参考图7的符号“(2)”)。
分辨视场范围(1)为视力等视觉功能优异的高密度信息处理范围，对应于人的眼部(瞳孔等)的中心部。有效视场范围(2)为瞬间视线移动且高性能地可接收信息的范围，以人的眼部(瞳孔等)的中心部为基准，对应于关于水平方向在±15°以内、关于上方在8°以内、及关于下方在12°以内的可识别范围。
另一方面，图7的符号“(B)”表示“周边视场”的范围，对应于低性能、可以广泛地接收信息的范围且人的眼部的视网膜周边部。该周边视场范围(B)包括“稳定注视视场”的范围(参考图7的符号“(3)”)、“感应视场”的范围(参考图7的符号“(4)”)及“辅助视场”的范围(参考图7的符号“(5)”)。
稳定注视视场范围(3)为以有效视场范围(2)为基准，通过人的头部运动顺利地可接收信息的范围，其为在信息终端利用空间内可以有效地显示信息的范围。该稳定注视视场范围(3)以人的眼部(瞳孔等)的中心部为基准，对应于关于水平方向在±30～45°以内、关于上方在20～30°以内、及关于下方在25～40°以内的可识别范围。
感应视场范围(4)为可带来基于视觉信息的坐标系感应效果且引起临场感的范围，以人的眼部(瞳孔等)的中心部为基准，对应于关于水平方向在±50°以内、关于上方在35°以内、及关于下方在50°以内的可识别范围。
辅助视场范围(5)为能够仅检测及接收单纯的视觉信息的范围，以人的眼部(瞳孔等)的中心部为基准，对应于关于水平方向在±100°以内、关于上方在50°以内、及关于下方在70°以内的可识别范围。
图8是表示考虑到人的视觉特性的第1图像51及第2图像52的显示例的图。图8中图示出将考虑到图7所示的人的视觉特性的显示方式适用于上述第1合成显示例(参考图4)的情况。另外，对于上述第2合成显示例(参考图6)，与上述第1合成显示例同样可以适用考虑到图7所示的人的视觉特性的显示方式。
优选显示控制器30控制图像合成部34及显示部12，以使满足以下条件的显示图像数据D3生成于图像合成部34并显示于显示部12。
即，第1图像51的显示目标图像53配置于有效视场范围(2)内(参考图8)，优选配置于分辨视场范围(1)内。
并且，显示第1图像51的第1图像显示区域54以有效视场范围(2)为基准而被确定。在图8所示的例子中，将第1图像显示区域54设为与有效视场范围(2)相同的范围，也可以将包含有效视场范围(2)的特定范围设定于第1图像显示区域54。
并且，第2图像52的显示目标图像53(尤其显示目标图像53的外周部(轮廓))以稳定注视视场范围(3)为基准而被确定。优选第2图像52的显示目标图像53配置于稳定注视视场范围(3)内，且第2图像52的显示目标图像53的整个外周部(轮廓)位于稳定注视视场范围(3)内，但也可以第2图像52的显示目标图像53的外周部(轮廓)的一部分(优选整个外周部(轮廓)的1/2以上，更优选3/4以上，进一步优选7/8以上)位于稳定注视视场范围(3)内。
并且，显示部12的图像显示区域13及显示第2图像52的区域(第2图像显示区域56)以感应视场范围(4)或辅助视场范围(5)为基准而被确定。例如也可以将包含感应视场范围(4)或辅助视场范围(5)的特定范围设定为第2图像显示区域56。
如上所述，通过考虑人的视觉特性而生成及显示“第1图像51及第2图像52的合成图像”，用户能够顺利地适当地掌握第1图像51及第2图像52(尤其显示目标图像53)。
<图像显示处理流程>
接着，对根据图2所示的图像显示装置10进行的图像显示处理流程的一例进行说明。
图9为表示图像显示方法的一例的流程图。
首先，通过显示控制器30而确定显示部12(图像显示区域13)中的第1图像51及第2图像52的显示区域，即，“第1图像显示区域54”及“第2图像显示区域56”(图9的S11)。更具体而言，第2图像显示区域56包含第1图像显示区域54，第1图像显示区域54设定为比第2图像显示区域56窄。另外，显示控制器30可以在如上述图4或图6所示的条件下，且例如根据经由图像获取部28获取的第1图像数据D1及第2图像数据D2的图像特性(例如图像尺寸、图像分辨率等)来确定第1图像显示区域54及第2图像显示区域56，也可以按照预先确定的区域信息来确定第1图像显示区域54及第2图像显示区域56。
而且，通过显示控制器30使显示部12(图像显示区域13)中的第1图像51中的显示目标图像53的位置及第2图像52中的显示目标图像53的位置一致(S12)。更具体而言，显示控制器30使第1图像51中的显示目标图像53的位置(例如重心位置)与第2图像52中的显示目标图像53的位置(例如重心位置)在显示部12(图像显示区域13)中一致。
而且，显示控制器30从图像合成部34获取第1图像51及第2图像52的合成数据即显示图像数据D3(S13)。即，显示控制器30控制图像合成部34，以使满足在上述步骤S11及S12中所确定的条件及其它条件的显示图像数据D3生成于图像合成部34。
而且，显示控制器30将显示图像数据D3发送到显示部12，并将合成的第1图像51及第2图像52显示于显示部12(图像显示区域13)(S14)。
通过包括上述一系列处理步骤S11～S14的图像显示方法，在显示部12中，在显示第1图像51的区域(第1图像显示区域54)比显示第2图像52的区域(第2图像显示区域56)窄的状态下，使第1图像51的显示目标图像53在显示部12中的位置与第2图像52的显示目标图像53在显示部12中的位置一致，从而能够在显示部12中同时显示第1图像51及第2图像52。
如以上说明，根据本实施方式，当观察关注被摄体的多通道图像，即“第1图像51中的显示目标图像53”及“第2图像52中的显示目标图像53”时，用户可以几乎不用移动视线，因此用户的负担大幅减轻，也能够提高使用感。
另外，上述实施方式所涉及的图像显示***5(图像显示装置10)只是一个例子，也可以追加其它变形。
<第1变形例>
在该变形例中，对于与上述实施方式相同或类似的结构标注相同的符号，并省略其详细说明。
图10是表示第1变形例所涉及的图像显示***5的功能结构例的框图。
该变形例所涉及的图像显示装置10除了具有图像获取部28、显示控制器30、图像合成部34及目标图像位置获取部36以外，还具有抖动获取部38。抖动获取部38获取第1图像51的显示目标图像53及第2图像52的显示目标图像53中的至少任意一方的抖动量。
所谓的“抖动量”可以是表示摄影时摄像装置14本身的动作大小的数据，也可以是表示被摄体(尤其成为显示目标图像53的对象的被摄体)的动作大小的数据，也可以是这些数据以复合方式进行组合的数据。
并且，基于抖动获取部38的上述“抖动量”的获取方法无特别限定。抖动获取部38例如可以通过分析通过图像获取部28获取的第1图像数据D1及第2图像数据D2而获取上述“抖动量”，也可以将使用陀螺仪传感器等传感器类而可以检测摄像装置14本身的动作量(抖动量)的抖动量检测部40设置于摄像装置14(主体部16)，并从该抖动量检测部40获取“抖动量”，也可以通过其它方法来获取“抖动量”。
显示控制器30接收表示抖动获取部38所获取的抖动量的数据，并根据该抖动量来确定第1图像51及第2图像52中的至少任意一方在显示部12中的显示比例。
即，在通过抖动获取部38获取的“第1图像51的显示目标图像53及第2图像52的显示目标图像53中的至少任意一方的抖动量”为第1阈值以上的情况下，与通过抖动获取部38获取的抖动量小于第1阈值的情况相比，本例的显示控制器30使第1图像51(广角图像)的显示比例更大。并且，在通过抖动获取部38获取的抖动量为第2阈值以下的情况下，与通过抖动获取部38获取的抖动量大于第2阈值的情况相比，本例的显示控制器30使第2图像52(长焦图像)的显示比例更大。
所谓的“显示比例”可以是相对于显示部12中的整个图像显示区域13的显示面积的比例。该情况下，在通过抖动获取部38获取的抖动量为第1阈值以上的情况下，与通过抖动获取部38获取的抖动量小于第1阈值的情况相比，显示部12(图像显示区域13)中的第1图像51(广角图像)的显示面积变大。并且，在通过抖动获取部38获取的抖动量为第2阈值以下的情况下，与通过抖动获取部38获取的抖动量大于第2阈值的情况相比，第2图像52(长焦图像)的显示面积变大。
并且，如上述第2合成显示例(参考图5及图6)，显示控制器30在显示部12中在显示第1图像51的区域的至少一部分区域(参考图5的“混合图像显示区域47”)混合显示第1图像51和第2图像52的情况下，“显示比例”也可以是在显示部12中在显示第1图像51的区域的上述“至少一部分”区域中的显示的混合比例。该情况下，在通过抖动获取部38获取的抖动量为第1阈值以上的情况下，与通过抖动获取部38获取的抖动量小于第1阈值的情况相比，显示部12(图像显示区域13)中的第1图像51(广角图像)的混合比(显示率)变大。并且，在通过抖动获取部38获取的抖动量为第2阈值以下的情况下，与通过抖动获取部38获取的抖动量大于第2阈值的情况相比，第2图像52(长焦图像)的混合比(显示率)变大。
另外，第1阈值及第2阈值的具体的值无特别限定，可以通过用户或生产商(制造者)而适当地设定，但第1阈值成为比第2阈值大的值。即，第1阈值可以设定为比较大的值，因为其为确定优选抖动量较大且将第1图像51(广角图像)的显示比例设为较大的状态的值。另一方面，第2阈值可以设定为比较小的值，因为其为确定优选抖动量较小且将第2图像52(长焦图像)的显示比例设为较大的状态的值。
其它结构与上述图2等中示出的实施方式相同。
根据本变形例所涉及的图像显示装置10，能够按照被摄体(显示目标图像53)的动作或摄像装置14的动作而自适应地改变显示部12中的第1图像51及第2图像52的显示方式。
例如在被摄体(显示目标图像53)的动作或摄像装置14的动作剧烈的情况下难以追踪被摄体，因此优选用于追踪被摄体的信息丰富的广视角的第1图像51(广角图像)的显示比例较大。并且，在被摄体(显示目标图像53)的动作或摄像装置14的动作剧烈的情况下，在显示于显示部12的长焦图像中，抖动的影响表现为比广角图像大，有时用户无法充分地识别所显示的长焦图像的内容。因此，在被摄体(显示目标图像53)的动作或摄像装置14的动作剧烈的情况下，与动作较小的情况相比，减小长焦图像即第2图像52的显示比例，从有效利用***资源的方面考虑也是妥当的。
在本变形例中，在通过抖动获取部38获取的“抖动量”为第1阈值以上的情况下，与“抖动量”小于第1阈值的情况相比，第1图像51的显示比例变大，因此用户能够一边确认包含丰富的信息的第1图像51(广角图像)，一边简便且高精度地追踪被摄体(显示目标图像53)。
另一方面，在被摄体(显示目标图像53)或摄像装置14几乎不进行动作的情况下，由于显示于显示部12的长焦图像中抖动的影响非常小，因此优选以更高倍率提示详细信息的第2图像(长焦图像)的显示比例较大。在该变形例中，在“抖动量”为第2阈值以下的情况下，与“抖动量”大于第2阈值的情况相比，第2图像52的显示比例变大，因此用户能够一边确认可见性良好地显示详细信息的第2图像52(长焦图像)，一边简便且准确地观察被摄体。
<第2变形例>
在本变形例中，对于与上述实施方式及第1变形例相同或类似的结构标注相同的符号，并省略其详细的说明。
本变形例所涉及的显示控制器30在显示部12中立体地显示第1图像51及第2图像52中的至少任意一方，并使显示部12中的第1图像51的显示目标图像53的进深位置与第2图像52的显示目标图像53的进深位置不同。
例如在图2或图10所示的图像显示装置10中，显示控制器30从第1图像数据D1及第2图像数据D2获取有关第1图像51(包括显示目标图像53)的进深信息和有关第2图像52(包括显示目标图像53)的进深信息。而且，显示控制器30使提供于图像合成部34的信息数据中包括第1图像51的进深信息及第2图像52的进深信息。图像合成部34根据从显示控制器30提供的第1图像51的进深信息及第2图像52的进深信息，生成为了在显示部12中以可以立体观察的方式显示第1图像51及第2图像52而需要的显示图像数据D3。显示控制器30从图像合成部34获取该立体观察用显示图像数据D3并发送到显示部12，显示部12根据显示图像数据D3以可以立体观察的方式显示第1图像51及第2图像52的合成图像。
另外，基于显示控制器30的第1图像51的进深信息及第2图像52的进深信息的获取方法无特别限定，例如可以根据第1图像51及第2图像52的特性信息及摄影信息来获取进深信息，也可以获取预先确定的进深信息而作为第1图像51及第2图像52的各进深信息。
并且，可以立体观察第1图像51及第2图像52的方法也无特别限定，图像合成部34能够根据任意的立体观察方法来生成显示图像数据D3。例如在利用根据两眼视差的立体观察方法的情况下，图像合成部34也可以使与第1图像51及第2图像52的合成图像有关的视差图像(即右眼图像及左眼图像)的数据包含于显示图像数据D3中。该情况下，显示部12根据包含于显示图像数据D3中的第1图像51及第2图像52的合成图像有关的视差图像的数据，将与第1图像51及第2图像52的合成图像有关的立体图像显示于图像显示区域13。
如上所述，根据本变形例的图像显示装置10，在显示部12中，通过改变多个通道的图像(第1图像51及第2图像52)的进深位置，尤其通过改变各个图像中的显示目标图像53的进深位置而能够进行图像显示。在显示部12中的平面的图像显示中，多个图像(第1图像51及第2图像52)复杂地混合显示，根据摄影场景也可以设想用户难以分开识别两个图像的情况。然而，如本变形例，对多个图像(第1图像51及第2图像52)的进深位置设置差值，由此用户能够容易分开识别各个图像，并能够从各个图像同时获得更多的信息。
<具备具有同一光轴的多个光学***的摄像***>
在图1所示的图像显示***5中，通过单一的摄像装置14而获取第1图像数据D1及第2图像数据D2，但也可以通过另外设置的摄像装置14而获取第1图像数据D1及第2图像数据D2。
然而，通过以下说明的“使用于第1图像51(广角图像)的摄影中的第1光学***18与使用于第2图像52(长焦图像)的摄影中的第2光学***20具有同一光轴的摄像***”获取第1图像数据D1及第2图像数据D2，从而防止在第1图像51与第2图像52之间产生视差，从而可以提高显示部12中的第1图像51及第2图像52的合成图像的显示的可见性。
图11是表示第1光学***18、第2光学***20及成像元件26的一结构例的剖视图。
本例的摄像***由分别配置于同一光轴上的作为第1光学***18的中央部的中央光学***113和作为其周边部的同心圆状第2光学***20的环状光学***114构成。
中央光学***113为由第1透镜113a、第2透镜113b、第3透镜113c、第4透镜113d及通用透镜115构成的广角光学***(广角透镜)，使广角图像成像于构成成像元件26的微透镜阵列116上。
另一方面，环状光学***114为由第1透镜114a、第2透镜114b、作为反射光学***的第1反射镜114c、第2反射镜114d及通用透镜115构成的长焦光学***(长焦透镜)，使长焦图像成像于微透镜阵列116上。通过第1透镜114a及第2透镜114b的光束在通过第1反射镜114c及第2反射镜114d进行2次反射之后通过通用透镜115。光束通过第1反射镜114c及第2反射镜114d而折回，从而能够缩短焦点距离长的长焦光学***(长焦透镜)的光轴方向L的长度。
本例的成像元件26通过定向传感器而构成，并具有微透镜阵列116及图像传感器118。
图12是微透镜阵列116及图像传感器118的主要部分放大图。
通过多个微透镜(光瞳成像透镜)116a以2维形状排列而构成微透镜阵列116，各微透镜116a在水平方向及垂直方向的间隔对应于图像传感器118的光电转换元件即受光单元118a的3等分的间隔。即，微透镜阵列116的各微透镜116a使用在水平方向及垂直方向的各方向上对应于每隔2个受光单元118a的位置形成的微透镜。
并且，微透镜阵列116的各微透镜116a使与摄像***的中央光学***113及环状光学***114的各***对应的圆形中央光瞳像(第1光瞳像)117a及环状光瞳像(第2光瞳像)117b成像于与图像传感器118对应的受光区域的受光单元118a上。
根据图12所示的微透镜阵列116及图像传感器118，针对微透镜阵列116的每1个微透镜116a分配有格子状(正方形格子状)的3×3个受光单元118a。以下，将1个微透镜116a及与1个微透镜116a对应的受光单元组(3×3个受光单元118a)称作单元块。
中央光瞳像117a仅成像于单元块中央的受光单元118a，环状光瞳像117b成像于单元块周围的8个受光单元118a。
根据上述结构的第1光学***18、第2光学***20及成像元件26，能够同时摄影对应于中央光学***113的广角图像和对应于环状光学***114的长焦图像。
图13是表示配设于图像传感器118的滤色器阵列等的图。另外，图13中省略了微透镜阵列116，但用圆形表示的区域表示光瞳像通过微透镜阵列116的各微透镜116a而成像的包括3×3个受光单元118a的单元块。
在如图13(a)所示的图像传感器118的摄影面上，设置有由配设于各受光单元上的滤色器构成的滤色器阵列。
该滤色器阵列由使红(R)、绿(G)及蓝(B)的各波长区域的光透过的3原色滤色器(以下，称作“R滤色器”、“G滤色器”、“B滤色器”)构成。而且，在各受光单元上配置有R滤色器、G滤色器及B滤色器中的任意一种。以下，将配置有R滤色器的受光单元称作“R受光单元”，将配置有G滤色器的受光单元称作“G受光单元”，将配置有B滤色器的受光单元称作“B受光单元”。
图13(a)中示出的滤色器阵列将6×6个受光单元设为基本块B(参考用图13(a)的粗框表示的块及图13(b))，并通过基本块B在水平方向及垂直方向上重复配置而构成。
如图13(b)所示，基本块B由4个单元块B1～B4构成。
图13(e1)表示4个单元块B1～B4的各单元块中的中央的受光单元(图12中示出的通过中央光学***113的光束入射的受光单元)的单元组，图13(c2)表示4个单元块B1～B4的各单元块中的周围的8个受光单元(图12中示出的通过环状光学***114的光束入射的受光单元)的单元组。
如图13(c1)所示，中央的受光单元组的图像成为拜耳(Bayer)排列的马赛克图像。由此，通过将拜耳排列的马赛克图像进行去马赛克处理而能够得到彩色图像。
另一方面，如图13(c2)所示，单元块B1～B4的各个中央的受光单元周围的8个受光单元组在8个受光单元内包括RGB的所有受光单元(R受光单元、G受光单元、B受光单元)，且与单元块B1～B4无关，RGB的受光单元以相同的图案配置。
具体而言，各单元块B1～B4的4角的4个受光单元配置G受光单元，夹持中央的受光单元而上下2个受光单元配置R受光单元，夹持中央的受光单元而左右2个受光单元配置B受光单元。
并且，R受光单元、G受光单元及B受光单元分别相对于单元块的中央的受光单元(中心)而配置在对称位置上。由此使用单元块内的RGB的受光单元的输出信号，能够生成其每一个单元块的去马赛克处理(同步处理)后的构成图像的1个像素(RGB的像素值)。
即，通过求出单元块内的4个G受光单元的输出信号(像素值)的平均值，能够获取单元块(1个微透镜)的中心位置上的G像素的像素值，同样通过求出单元块内的2个R受光单元的像素值的平均值及2个B受光单元的素值的平均值，能够获取分别在单元块的中心位置上的R像素及B像素的像素值。
由此，关于通过单元块周围的8个受光单元的单元组生成的、对应于环状光学***114(长焦光学***)的长焦图像，能够使用单元块内的RGB的受光单元的像素值而进行去马赛克处理，无需对周围单元块的受光单元的像素值进行插值而生成特定波长区域像素的像素值，且不会降低输出图像的分辨率(实际的像素数)。
通过具有如上所述结构的“具备具有同一光轴的第1光学***18及第2光学***20的摄像***”，能够从成像元件26输出表示“无视差的广角图像及长焦图像”的第1图像数据D1及第2图像数据D2。
另外，上述“具备具有同一光轴的多个光学***的摄像***”，例如在日本专利申请2014-28339中已详细进行说明，根据需要可进行各种变形。并且，也可以通过具有其它结构的摄像***而实现“具备具有同一光轴的多个光学***的摄像***”。
并且，摄影光学***的反射镜型透镜结构中的反射镜并不限定于凹面镜或凸面镜，也可以是平面镜，并且反射镜的片数也不限定于2片，也可以设置3片以上。
另外，也可以设置使中央光学***113及环状光学***114的通用的透镜115，或者使定向传感器即成像元件26向光轴方向L移动的未图示的移动机构，由此进行焦点调节。
<其它变形例>
也可以彼此适当地进行组合上述实施方式及变形例。
上述各功能结构可以通过任意的硬件、软件、或者两者的组合而实现。例如也可以将本发明适用于使计算机执行上述各装置及处理部(图像显示装置10等)中的图像显示方法(处理顺序)的程序、存储有该程序的计算机可读取的存储介质(非临时存储介质)、或者可安装该程序的计算机。
并且，可适用本发明的方式无特别限定，除了对以摄像作为主要功能的相机类以外，还可以对除了摄像功能以外还具备摄像以外的其它功能(通话功能、通信功能、其它计算机功能)的手机设备类中也可以适用本发明。作为可适用本发明的其它方式，例如可以举出具有相机功能(摄像装置14)及显示器功能(显示部12)的移动电话、智能手机、PDA(Personal Digital Assistants)、便携式游戏机。
以下，以智能手机为例，参考附图详细地进行说明。
<智能手机的结构>
图14是表示作为摄像装置14的另一实施方式的智能手机200的外观的图。图14所示的智能手机200具有平板状的框体202，在框体202的一面具备作为显示部的显示面板221和作为输入部的操作面板222成一体的显示输入部220。并且，框体202具备扬声器231、话筒232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如可以采用显示部和输入部独立的结构，或者也可以采用折叠构造或者具有滑动机构的结构。
图15是表示图14所示的智能手机200的结构的框图。如图15所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290及主控制部201。并且，作为智能手机200的主要功能，具备经由基站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部210按照主控制部201的指示对收纳于移动通信网中的基站装置进行无线通信。该无线通信部210使用无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发，或者进行Web数据、流数据等的接收。
显示输入部220为所谓的触控面板，其通过主控制部201的控制而显示图像(静止图像及动态图像)或文字信息等，从而以视觉的方式向用户传递信息，并且检测对所显示信息的用户操作，且具备显示面板221和操作面板222。在用户欣赏所生成的3D图像的情况下，优选显示面板221为3D显示面板。
显示面板221将LCD(Liquid Crystal Display)或OELD(Organic Elec tro-Luminescence Display)等用作显示设备。
操作面板222为以可识别的方式载置显示于显示面板221的显示面上的图像，且对通过用户的手指或尖笔来操作的一个或多个坐标进行检测的设备。若通过用户的手指或尖笔来操作该设备，则将通过操作产生的检测信号输出到主控制部201。接着，主控制部201根据所接收到的检测信号来检测显示面板221上的操作位置(坐标)。
如图14所示，智能手机200的显示面板221和操作面板222成为一体而构成显示输入部220，但具有操作面板222完全覆盖显示面板221的配置。在采用该配置的情况下，操作面板222在除了显示面板221以外的区域也可以具备检测用户操作的功能。换言之，操作面板222也可以具备与显示面板221重叠的重叠部分的检测区域(以下，称作“显示区域”)和除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称作“非显示区域”)。
另外，显示区域的大小与显示面板221的大小也可以完全一致，但两者无需必须一致。并且，操作面板222也可以具备外缘部分和除此以外的内侧部分的2个感応区域。另外，外缘部分的宽度可以根据框体202的大小等而适当地进行设计。另外，作为在操作面板222中所采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也可以采用任意方式。
通话部230具备扬声器231和话筒232，将通过话筒232输入的用户的语音转换为在主控制部201中可进行处理的语音数据并输出到主控制部201，或者将通过无线通信部210或外部输入输出部260接收到的语音数据进行解码并从扬声器231输出。并且，如图14所示，例如能够将扬声器231搭载于与设置有显示输入部220的一面的同一个面上，并能够将话筒232搭载于框体202的侧面。
操作部240是使用了键开关等的硬件密钥，其接收来自用户的指示。例如操作部240为按钮式开关，其搭载于智能手机200的框体202的显示部的下部、下侧面，若用手指等按下则开启，若手指离开，则通过弹簧等的恢复力而成为关闭状态。
存储部250存储主控制部201的控制程序或控制数据、将通信对象的姓名或电话号码等建立对应关联的地址数据、收发电子邮件的数据、通过Web浏览下载的Web数据及所下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的内部存储部251及外部存储部252分别使用如下存放介质而实现：闪存式(flash memory type)、硬盘式(ha rd disk type)、微型多媒体卡类型(multimedia card micro type)、卡式存储器(例如Micro SD(注册商标)存储器等)、RAM(Random Access Memor y)、ROM(Read OnlyMemory)等。
外部输入输出部260发挥着与连结于智能手机200上的所有外部设备之间的接口的作用，通过通信等(例如通用串行总线(USB)、IEEE1394等)或网络(例如因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)及紫蜂(ZigBee)(注册商标)等)而直接或间接地连接于其它外部设备。
作为连结于智能手机200的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。经由外部输入输出部260，从这种外部设备传输的数据被传递到智能手机200内部的各构成要件，并且智能手机200内部的数据也可以传输到外部设备。
GPS接收部270按照主控制部201的指示而接收从GPS卫星ST1～STn发送过来的GPS信号，并根据所接收到的多个GPS信号来执行定位运算处理，检测由智能手机200的纬度、经度及高度构成的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260(例如无线LAN)获取位置信息的情况下，也能够使用其位置信息来检测位置。
动作传感器部280具备例如3轴加速度传感器等，并按照主控制部201的指示而检测智能手机200的物理动作。通过检测智能手机200的物理动作而检测智能手机200的运动方向或加速度。该检测结果从动作传感器部280输出到主控制部201。
电源部290按照主控制部201的指示，向智能手机200的各部供给蓄存于电池(未图示)中的电力。
主控制部201具备微处理器，并按照存储部250所存储的控制程序或控制数据进行动作，并综合控制智能手机200的各部。并且，主控制部201具备控制通信***的各部的移动通信控制功能和应用处理功能，以便通过无线通信部210进行语音通信或数据通信。
通过主控制部201按照存储部250所存储的应用软件进行动作而实现应用处理功能。作为应用处理功能，例如有通过控制外部输入输出部260而与对方设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、及浏览Web页的Web浏览功能等。
并且，主控制部201具备根据接收数据或下载的流数据等图像数据(静止图像或动态图像的数据)将影像显示于显示输入部220等的图像处理功能。图像处理功能指如下功能，即，主控制部201解码上述图像数据，并对该解码结果实施图像处理，从而将图像显示于显示输入部220。
另外，主控制部201执行对显示面板221的显示控制和对通过操作部240、操作面板222进行的用户操作进行检测的操作检测控制。
通过显示控制的执行，主控制部201显示用于起动应用软件的图标、滚动条等软件键，或者显示用于制作电子邮件的窗口。另外，滚动条是指如下软件键，即，关于无法包括于显示面板221的显示区域中的较大的图像等，用于接收使图像的显示部分移动的指示。
并且，通过操作检测控制的执行，主控制部201检测通过操作部240进行的用户操作，或者通过操作面板222来接收对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动要求。
另外，通过操作检测控制的执行，主控制部201判定对操作面板222的操作位置是否为与显示面板221重叠的重叠部分(显示区域)，或者是否为除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并具备对操作面板222的感応区域、软件键的显示位置进行控制的触控面板控制功能。
并且，主控制部201也能够检测对操作面板222的手势操作，并按照检测到的手势操作来执行预先设定的功能。手势操作并不是以往单纯的触控操作，而是指通过手指等而描绘轨迹，或者同时指定多个位置，或者组合这些手势从多个位置描绘至少1个轨迹的操作。
相机部241为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。能够将所述摄像装置14适用于该相机部241。尤其，上述图11～图13中示出的摄像装置14(第1光学***18、第2光学***20及成像元件26)的结构不需要机械的切换机构等便能够对广角图像和长焦图像进行摄影，优选如智能手机200那样薄型的组装于便携式终端的相机部。
并且，相机部241通过主控制部201的控制，将通过摄影而得到的图像数据转换成例如JPEG(Joint Photographic coding Experts Group)等压缩的图像数据，并能够存储于存储部250中，或者能够通过外部输入输出部260或无线通信部210进行输出。在图14所示的智能手机200中，相机部241搭载于与显示输入部220的同一个面上，但相机部241的搭載位置并不限定于此，也可以搭载于显示输入部220的背面，或者也可以搭载多个相机部241。另外，在搭载有多个相机部241的情况下，切换供进行摄影的相机部241而通过单独的相机部241进行摄影，或者也可以同时使用多个相机部241进行摄影。
并且，相机部241能够利用于智能手机200的各种功能中。例如能够在显示面板221上显示通过相机部241而获取的图像，或者作为操作面板222的操作输入的1种而能够利用相机部241的图像。并且，当GPS接收部270检测位置时，也能够参考来自相机部241的图像来检测位置。另外，也能够参考来自相机部241的图像，不使用3轴加速度传感器或者并用3轴加速度传感器来判断智能手机200的相机部241的光轴方向，或者判断当前的使用环境。当然也能够将来自相机部241的图像利用于应用软件内。
本发明并不限定于上述实施方式，在不脱离本发明的宗旨的范围内，当然可进行各种变形。

Claims (21)

1.一种图像显示装置，具备对显示部中的图像的显示进行控制的显示控制器，其中，
所述显示控制器在所述显示部同时显示第1图像及第2图像，
使所述第1图像的显示目标图像在所述显示部中的位置与所述第2图像的显示目标图像在所述显示部中的位置一致，
在所述显示部中，显示所述第1图像的区域设为比显示所述第2图像的区域窄。
2.根据权利要求1所述的图像显示装置，其中，
所述第1图像的所述显示目标图像和所述第2图像的所述显示目标图像为同一对象的图像。
3.根据权利要求1或2所述的图像显示装置，其中，
所述第1图像为广角图像，所述第2图像为长焦图像。
4.根据权利要求1～3中任一项所述的图像显示装置，其中，
所述显示控制器在所述显示部的图像显示区域中的中央部将所述第1图像的显示率设为比所述第2图像的显示率大的状态下，在所述显示部显示所述第1图像及所述第2图像。
5.根据权利要求1～4中任一项所述的图像显示装置，其中，
所述显示控制器在所述显示部的图像显示区域中的周边部将所述第1图像的显示率设为比所述第2图像的显示率小的状态下，或者在将所述第1图像的显示率设为与所述第2图像的显示率相同的状态下，在所述显示部显示所述第1图像及所述第2图像。
6.根据权利要求1～5中任一项所述的图像显示装置，其中，
在所述显示部中，所述第1图像的显示视角比所述第2图像的显示视角大。
7.根据权利要求1～6中任一项所述的图像显示装置，其中，
所述显示控制器根据所述第1图像中的所述显示目标图像的大小及所述第2图像中的所述显示目标图像的大小来确定所述显示部中的所述第1图像的显示区域的大小。
8.根据权利要求1～7中任一项所述的图像显示装置，其中，
所述显示控制器在所述显示部中显示所述第1图像的区域，不显示所述第2图像。
9.根据权利要求1～7中任一项所述的图像显示装置，其中，
所述显示控制器在所述显示部中显示所述第1图像的区域的至少一部分区域，混合显示所述第1图像和所述第2图像。
10.根据权利要求9所述的图像显示装置，其中，
所述显示控制器在所述显示部中显示所述第1图像的区域的至少一部分区域，在从所述第1图像的中心部朝向周边部的方向上，连续改变相对于所述第1图像的所述第2图像的显示率。
11.根据权利要求10所述的图像显示装置，其中，
所述显示控制器在所述显示部中显示所述第1图像的区域的至少一部分区域，在从所述第1图像的中心部朝向周边部的方向上，使相对于所述第1图像的所述第2图像的显示率连续变大。
12.根据权利要求1～11中任一项所述的图像显示装置，其中，
还具备目标图像位置获取部，分析表示所述第1图像及所述第2图像的数据，并获取所述第1图像中的所述显示目标图像的位置及所述第2图像中的所述显示目标图像的位置，
所述显示控制器根据所述目标图像位置获取部所获取的所述第1图像中的所述显示目标图像的位置及所述第2图像中的所述显示目标图像的位置来确定所述第1图像及所述第2图像中的至少任意一方在所述显示部中的显示尺寸。
13.根据权利要求1～12中任一项所述的图像显示装置，其中，
所述显示控制器在所述显示部中立体地显示所述第1图像及所述第2图像中的至少任意一方，并使所述显示部中的所述第1图像的所述显示目标图像的进深位置与所述第2图像的所述显示目标图像的进深位置不同。
14.根据权利要求1～13中任一项所述的图像显示装置，其中，
还具备图像合成部，对要显示于所述显示部的所述第1图像和所述第2图像进行合成，
所述显示控制器在所述显示部显示通过所述图像合成部以电子学的方式或光学的方式合成的所述第1图像及所述第2图像。
15.根据权利要求1～14中任一项所述的图像显示装置，还具备：
抖动获取部，获取所述第1图像的所述显示目标图像及所述第2图像的所述显示目标图像中的至少任意一方的抖动量，
所述显示控制器根据所述抖动获取部所获取的所述抖动量来确定所述第1图像及所述第2图像中的至少任意一方在所述显示部中的显示比例。
16.根据权利要求15所述的图像显示装置，其中，
在通过所述抖动获取部获取的所述抖动量为第1阈值以上的情况下，与通过所述抖动获取部获取的所述抖动量小于所述第1阈值的情况相比，所述显示控制器使所述第1图像的显示比例更大。
17.根据权利要求15或16所述的图像显示装置，其中，
在通过所述抖动获取部获取的所述抖动量为第2阈值以下的情况下，与通过所述抖动获取部获取的所述抖动量大于所述第2阈值的情况相比，所述显示控制器使所述第2图像的显示比例更大。
18.根据权利要求15～17中任一项所述的图像显示装置，其中，
所述显示比例为显示面积相对于所述显示部中的整个图像显示区域的比例。
19.根据权利要求15～17中任一项所述的图像显示装置，其中，
所述显示控制器在所述显示部中显示所述第1图像的区域的至少一部分区域，混合显示所述第1图像和所述第2图像，
所述显示比例为在所述显示部中显示所述第1图像的区域的所述至少一部分区域中显示的混合比例。
20.根据权利要求1～19中任一项所述的图像显示装置，其中，
使用于所述第1图像的摄影中的第1光学***具有与使用于所述第2图像的摄影中的第2光学***相同的光轴。
21.一种图像显示方法，通过显示控制器来控制显示部中的图像的显示，其中，
在所述显示部同时显示第1图像及第2图像，
使所述第1图像的显示目标图像在所述显示部中的位置与所述第2图像的显示目标图像在所述显示部中的位置一致，
在所述显示部中，显示所述第1图像的区域设为比显示所述第2图像的区域窄。
CN201580033256.5A 2014-06-27 2015-04-14 图像显示装置及图像显示方法 Pending CN106576134A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014132703A JP6165681B2 (ja) 2014-06-27 2014-06-27 画像表示装置及び画像表示方法
JP2014-132703 2014-06-27
PCT/JP2015/061507 WO2015198692A1 (ja) 2014-06-27 2015-04-14 画像表示装置及び画像表示方法

Publications (1)

Publication Number Publication Date
CN106576134A true CN106576134A (zh) 2017-04-19

Family

ID=54937791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033256.5A Pending CN106576134A (zh) 2014-06-27 2015-04-14 图像显示装置及图像显示方法

Country Status (5)

Country Link
US (1) US20170098322A1 (zh)
EP (1) EP3163863B1 (zh)
JP (1) JP6165681B2 (zh)
CN (1) CN106576134A (zh)
WO (1) WO2015198692A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788208A (zh) * 2019-01-30 2019-05-21 华通科技有限公司 基于多组焦距图像源的目标识别方法及***
CN110622499A (zh) * 2017-05-16 2019-12-27 富士胶片株式会社 图像生成装置、图像生成***、图像生成方法及图像生成程序
CN110855883A (zh) * 2019-11-05 2020-02-28 浙江大华技术股份有限公司 一种图像处理***、方法、装置设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10606149B2 (en) * 2016-05-25 2020-03-31 Sony Corporation Information processing device, information processing method, and program
CN106303217A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种辅助成像方法及具有辅助成像***的移动终端
US10084997B1 (en) * 2017-05-23 2018-09-25 Sony Corporation Adaptive optics for a video projector
US10616550B1 (en) * 2018-09-14 2020-04-07 Facebook Technologies, Llc Generating a representation of an object from depth information determined in parallel from images captured by multiple cameras
WO2021157367A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 情報処理装置、及び情報処理方法
JP2022157716A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 運転支援装置、運転支援プログラム、運転支援方法
JP2024011041A (ja) * 2022-07-13 2024-01-25 京セラ株式会社 撮像方法、学習方法、学習データ生成装置、及びデータ構造

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101572775A (zh) * 2008-05-03 2009-11-04 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法
US20100245630A1 (en) * 2009-03-27 2010-09-30 Casio Computer Co., Ltd. Imaging apparatus having a zoom function
US20110050687A1 (en) * 2008-04-04 2011-03-03 Denis Vladimirovich Alyshev Presentation of Objects in Stereoscopic 3D Displays
US20120154442A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Display control device, display control method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3943848B2 (ja) * 2001-02-28 2007-07-11 株式会社リコー 撮像装置
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP4086030B2 (ja) * 2004-10-15 2008-05-14 松下電器産業株式会社 画像表示装置
JP4783465B1 (ja) * 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
JP5317023B2 (ja) * 2010-09-16 2013-10-16 カシオ計算機株式会社 手ぶれ補正装置、手ぶれ補正方法およびプログラム
JP2013104912A (ja) * 2011-11-10 2013-05-30 Sony Corp 表示装置および表示方法
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5837805B2 (ja) * 2011-11-18 2015-12-24 株式会社 清原光学 撮像装置および望遠鏡

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050687A1 (en) * 2008-04-04 2011-03-03 Denis Vladimirovich Alyshev Presentation of Objects in Stereoscopic 3D Displays
CN101572775A (zh) * 2008-05-03 2009-11-04 奥林巴斯映像株式会社 图像记录再现装置及图像记录再现方法
US20100245630A1 (en) * 2009-03-27 2010-09-30 Casio Computer Co., Ltd. Imaging apparatus having a zoom function
US20120154442A1 (en) * 2010-12-21 2012-06-21 Sony Corporation Display control device, display control method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622499A (zh) * 2017-05-16 2019-12-27 富士胶片株式会社 图像生成装置、图像生成***、图像生成方法及图像生成程序
CN110622499B (zh) * 2017-05-16 2021-02-05 富士胶片株式会社 图像生成装置、图像生成***、图像生成方法及记录介质
CN109788208A (zh) * 2019-01-30 2019-05-21 华通科技有限公司 基于多组焦距图像源的目标识别方法及***
CN110855883A (zh) * 2019-11-05 2020-02-28 浙江大华技术股份有限公司 一种图像处理***、方法、装置设备及存储介质

Also Published As

Publication number Publication date
EP3163863B1 (en) 2023-08-02
WO2015198692A1 (ja) 2015-12-30
US20170098322A1 (en) 2017-04-06
EP3163863A4 (en) 2017-07-12
EP3163863A1 (en) 2017-05-03
JP2016012007A (ja) 2016-01-21
JP6165681B2 (ja) 2017-07-19

Similar Documents

Publication Publication Date Title
CN106576134A (zh) 图像显示装置及图像显示方法
JP6214481B2 (ja) 撮像装置
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN104782110B (zh) 图像处理装置、摄像装置及图像处理方法
JP6165680B2 (ja) 撮像装置
JP5799178B2 (ja) 撮像装置及び合焦制御方法
US9436064B2 (en) Imaging device, and focus-confirmation display method
JP5959714B2 (ja) 撮像装置
JP5740045B2 (ja) 画像処理装置及び方法並びに撮像装置
CN106688227A (zh) 多摄像装置、多摄像方法、程序及记录介质
US9288472B2 (en) Image processing device and method, and image capturing device
US9596455B2 (en) Image processing device and method, and imaging device
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN106030366A (zh) 摄像装置及对焦控制方法
US9204114B2 (en) Imaging element and imaging apparatus
CN110447223A (zh) 成像元件以及摄像装置
CN112243117B (zh) 图像处理装置、方法及摄像机
JP2013211790A (ja) 撮像装置
JP2022189536A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170419