CN107534724B - 成像*** - Google Patents

成像*** Download PDF

Info

Publication number
CN107534724B
CN107534724B CN201580078917.6A CN201580078917A CN107534724B CN 107534724 B CN107534724 B CN 107534724B CN 201580078917 A CN201580078917 A CN 201580078917A CN 107534724 B CN107534724 B CN 107534724B
Authority
CN
China
Prior art keywords
image
optical module
imaging system
optical
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580078917.6A
Other languages
English (en)
Other versions
CN107534724A (zh
Inventor
王铭钰
曹子晟
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN107534724A publication Critical patent/CN107534724A/zh
Application granted granted Critical
Publication of CN107534724B publication Critical patent/CN107534724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/16Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供了具有多个光学模块的成像***,来实现更高的变焦比和更好的显示效果。所述多个光学模块的视野(FOV)或焦距范围可被设计用于实现比所述多个光学模块中的任一个的变焦比更高的变焦比以及画中画功能。在所述多个光学模块的推进和拉远期间,所述成像***的重心可以无显著变化。

Description

成像***
背景技术
诸如无人飞行器(UAV)等飞行器已经被开发用于包括监视、搜救工作、勘探以及其它领域等的广泛应用。此类无人飞行器可以携带机载相机以捕捉静态图像和视频图像。
为了捕捉高质量的图像,可以在UAV上携带高性能变焦镜头相机模块。然而,具有覆盖宽变焦范围的变焦镜头的相机模块可能尺寸较大、重量较重并且造价昂贵。
发明内容
本发明提供了通过使用多个光学模块来捕捉和显示多个图像的***和方法。可能期望捕捉远离光学模块的环境的图像。可以提供允许对图像进行光学变焦的相机。在一些情况下,可以在诸如无人飞行器等可移动物体上携带相机,并且任选地,可以使用载体来稳定相机。所述载体可以是允许相机相对于无人飞行器移动的云台。在传统***中,可以提供变焦镜头相机,所述相机可以伸缩镜头以便在聚焦靠近相机的图像和聚焦远离相机的图像之间切换。在此情况下,变焦镜头相机模块的重心可能由于镜头的移动而显著改变,从而导致云台和/或无人飞行器的功能异常。因此,为了适当地保持云台和无人飞行器的稳定性,同时允许宽范围的光学变焦,需要能够以简单的配置和较小的尺寸达到大变焦比的成像***。
在一些实施方式中,成像***可以具有两个或更多个光学模块。可以并置并且对准具有不同视野(FOV,Field of View)角度范围或不同焦距范围的第一光学模块和第二光学模块,以从同一方向捕捉图像。图像处理器可以从所述第一光学模块和所述第二光学模块接收图像数据,并且生成数据以在显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的图像。所捕捉的图像可以同时地或单独地在显示器内示出。在一些实施方式中,所述第一光学模块和所述第二光学模块中的至少一个可以包括定焦镜头或变焦镜头。所述第一光学模块和所述第二光学模块的FOV范围或焦距范围可以重叠或者可以不重叠。
本发明的显示多个图像的方法可以包括:在第一光学模块和第二光学模块分别捕捉第一图像和第二图像;接收所述第一图像和所述第二图像;以及生成数据以在显示器内同时示出使用所述第一光学模块和所述第二光学模块捕捉的图像。可以选择所述第一光学模块和所述第二光学模块的FOV范围或焦距范围,以提供高于这两个光学模块中任一个的变焦比(zoom ratio)。可以实现画中画
(Picture-In-Picture,PIP)功能。
本发明还提供一种携带具有两个或更多个光学模块的成像***的无人飞行器(UAV)。在一些实施方式中,搭载在无人飞行器上的云台可以携带第一光学模块和第二光学模块,使得所述第一光学模块和所述第二光学模块可以相对于无人飞行器的本体移动或旋转。
本发明的一个方面可以包括一种成像***,其包括:包含第一图像传感器的第一光学模块,所述第一光学模块具有第一视野角度范围;包含第二图像传感器的第二光学模块,所述第二光学模块具有第二视野角度范围,其中所述第一视野角度范围和所述第二视野角度范围不相同;以及图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以在显示器内示出使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像。
在一些实施方式中,所述图像处理器可被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像中的一个图像。备选地,所述图像处理器可被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像两者。
在一些实施方式中,所述第一光学模块和所述第二光学模块可以对准以从同一方向捕捉图像。在一些情况下,所述第一光学模块的光轴可以与所述第二光学模块的光轴平行。在一些实施方式中,所述第一光学模块和所述第二光学模块可以共用外壳。
在一些实施方式中,所述第一光学模块可以包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块可以包含被配置成用于将光引导至所述第二图像传感器的第二镜头。在一些情况下,所述第一光学模块和所述第二光学模块中的至少一个可被配置成用于进行光学变焦。任选地,所述第一光学模块和所述第二光学模块可被配置成用于进行数字变焦。任选地,所述第一光学模块和所述第二光学模块被配置成用于进行数字变焦。在一些情况下,所述第一镜头或所述第二镜头中的至少一个可以是定焦镜头。任选地,所述第一镜头或所述第二镜头中的至少一个可以是变焦镜头。
在一些实施方式中,所述第一视野角度范围或所述第二视野角度范围可以包含多个视野角。备选地,所述第一视野角度范围或所述第二视野角度范围可以包含单个视野角。在一些实施方式中,所述第一视野角度范围和所述第二视野角度范围可能不以同一点为中心并且可以重叠。备选地,所述第一视野角度范围和所述第二视野角度范围可能不以同一点为中心并且可以不重叠。在一些实施方式中,所述第一视野角度范围和所述第二视野角度范围可能以同一点为中心并且可以重叠。备选地,所述第一视野角度范围和所述第二视野角度范围可能以同一点为中心并且可以不重叠。
在一些实施方式中,所述第一图像传感器和所述第二图像传感器可以具有相同的大小。在一些实施方式中,所述显示器可以是所述成像***的本地显示器并且可以连接到所述图像处理器。备选地,所述显示器可以远离所述成像***。
在一些实施方式中,所述第一视野角度范围可以包含比第二视野角度范围更宽的视野角。
在一些实施方式中,可以显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像被显示于由具有较宽视野的所述第一光学模块捕捉的所述第一图像内。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述第二光学模块可以旋转以使所述第二图像以所述用户所选择的所述点为中心,或者承载所述第一光学模块和所述第二光学模块的载体可以旋转,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以在确定所显示的所述第二图像时考虑变焦比。在一些情况下,可以由用户选择在所述第一图像内显示的所述第二图像的大小。在一些实施方式中,可以显示所述第一图像的一部分。可以由用户选择所述第一图像的所述被显示部分。备选地或另外地,可以显示所述第二图像的一部分。可以由用户选择所述第二图像的所述被显示部分。
备选地,可以显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较宽视野的所述第一光学模块捕捉的第一图像进行组合而获得。在一些情况下,可以通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。举例来说,所述插值算法可以是三次插值(cubic interpolation)或双线性插值。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体可以旋转,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以由用户选择在所述第三图像内显示的所述第二图像的大小。
备选地,可以在所述显示器上显示由具有较窄视野的所述第一光学模块捕捉的第一图像和由具有较宽视野的所述第二光学模块捕捉的第二图像中的一个图像。在一些情况下,可以在所述显示器上显示所述第一图像和所述第二图像中的所述一个图像的一部分。可以由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。在一些情况下,所述第一视野角度范围与所述第二视野角度范围可以重叠。可以通过软切换将所述第一图像的显示切换到所述第二图像的显示。任选地,所述第一视野角度范围与所述第二视野角度范围可以不重叠。可以通过插值算法将所述第一图像的显示切换到所述第二图像的显示。所述插值算法可以是三次插值或双线性插值。
本发明的各方面还可以包括一种无人飞行器(UAV),其包括被配置成用于实现所述无人飞行器的移动的一个或多个动力单元;以及根据本发明上述各方面中任一个的成像***。
本发明的各方面还可以包括一种显示多个图像的方法,所述方法包括:在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一视野角度范围;在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二视野角度范围,其中所述第一视野角度范围和所述第二视野角度范围不相同;从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;以及生成数据以在显示器内示出所述第一图像和/或所述第二图像。
在一些实施方式中,生成数据以在显示器内示出所述第一图像和/或所述第二图像可以包括生成数据以在所述显示器内示出所述第一图像和所述第二图像中的一个图像。备选地,生成数据以在显示器内示出所述第一图像和/或所述第二图像可以包括生成数据以在所述显示器内示出所述第一图像和所述第二图像两者。
在一些实施方式中,所述第一光学模块和所述第二光学模块可以对准以从同一方向捕捉图像。在一些情况下,所述第一光学模块的光轴可以与所述第二光学模块的光轴平行。在一些情况下,所述第一光学模块与所述第二光学模块可以共用外壳。
在一些实施方式中,所述第一光学模块可以包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块可以包含被配置成用于将光引导至所述第二图像传感器的第二镜头。在一些情况下,所述第一光学模块和所述第二光学模块中的至少一个可被配置成用于进行光学变焦。任选地,所述第一光学模块和所述第二光学模块可被配置成用于进行数字变焦。在一些情况下,所述第一镜头或所述第二镜头中的至少一个可以是定焦镜头。任选地,所述第一镜头或所述第二镜头中的至少一个可以是变焦镜头。
在一些实施方式中,所述第一视野角度范围或所述第二视野角度范围可以包含多个视野角。备选地,所述第一视野角度范围或所述第二视野角度范围可以包含单个视野角。在一些情况下,所述第一视野角度范围和所述第二视野角度范围可能不以同一点为中心并且可以重叠。任选地,所述第一视野角度范围和所述第二视野角度范围可能不以同一点为中心并且可以不重叠。在一些情况下,所述第一视野角度范围和所述第二视野角度范围可能以同一点为中心并且可以重叠。任选地,所述第一视野角度范围和所述第二视野角度范围可能以同一点为中心并且可以不重叠。
在一些实施方式中,所述第一图像传感器和所述第二图像传感器可以具有相同的大小。在一些情况下,所述显示器可以是本地显示器。任选地,所述显示器可以是远程显示器。
在一些实施方式中,所述第一视野角度范围可以包含比第二视野角度范围更宽的视野角。
在一些实施方式中,可以显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像被显示于由具有较宽视野的所述第一光学模块捕捉的所述第一图像内。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述方法还可以包括旋转所述第二光学模块,以使所述第二图像以所述用户所选择的所述点为中心,或者旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以在确定所显示的所述第二图像时考虑变焦比。在一些情况下,可以由用户选择在所述第一图像内显示的所述第二图像的大小。在一些情况下,可以显示所述第一图像的一部分。可以由用户选择所述第一图像的所述被显示部分。备选地或另外地,可以显示所述第二图像的一部分。可以由用户选择所述第二图像的所述被显示部分。
备选地,可以显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较宽视野的所述第一光学模块捕捉的第一图像进行组合而获得。在一些情况下,可以通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。所述插值算法可以是三次插值或双线性插值。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述方法还可以包括旋转所述第二光学模块或者旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以由用户选择在所述第三图像内显示的所述第二图像的大小。
备选地,由具有较宽视野的所述第一光学模块捕捉的第一图像和由具有较窄视野的所述第二光学模块捕捉的第二图像中的一个图像可以显示在所述显示器上。在一些情况下,所述第一图像和所述第二图像中的所述一个图像的一部分可以显示在所述显示器上。可以由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。在一些情况下,所述第一视野角度范围和所述第二视野角度范围可以重叠。可以通过软切换将所述第一图像的显示切换到所述第二图像的显示。任选地,所述第一视野角度范围和所述第二视野角度范围可以不重叠。可以通过插值算法将所述第一图像的显示切换到所述第二图像的显示。所述插值算法可以是三次插值或双线性插值。
本发明的各方面还可以包括一种成像***,其包括:包含第一图像传感器的第一光学模块,所述第一光学模块具有第一焦距范围;包含第二图像传感器的第二光学模块,所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;以及图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以在显示器内示出使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像。
在一些实施方式中,所述图像处理器可被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像中的一个图像。备选地,所述图像处理器可被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像两者。
在一些实施方式中,所述第一光学模块和所述第二光学模块可以对准以从同一方向捕捉图像。在一些情况下,所述第一光学模块的光轴可以与所述第二光学模块的光轴平行。在一些情况下,所述第一光学模块和所述第二光学模块可以共用外壳。
在一些实施方式中,所述第一光学模块可以包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块可以包含被配置成用于将光引导至所述第二图像传感器的第二镜头。在一些情况下,所述第一光学模块和所述第二光学模块中的至少一个可被配置成用于进行光学变焦。任选地,所述第一光学模块和所述第二光学模块可被配置成用于进行数字变焦。在一些情况下,所述第一镜头或所述第二镜头中的至少一个可以是定焦镜头。任选地,所述第一镜头或所述第二镜头中的至少一个可以是变焦镜头。
在一些实施方式中,所述第一焦距范围或所述第二焦距范围可以包含多个焦距。备选地,所述第一焦距范围或所述第二焦距范围可以包含单个焦距。在一些情况下,所述第一焦距范围和所述第二焦距范围可以重叠。任选地,所述第一焦距范围和所述第二焦距范围可以不重叠。在一些情况下,由所述第一光学模块捕捉的第一图像和由所述第二光学模块捕捉的第二图像可能不以同一点为中心。任选地,由所述第一光学模块捕捉的第一图像和由所述第二光学模块捕捉的第二图像可能以同一点为中心。在一些情况下,所述第一图像传感器和所述第二图像传感器可以具有相同的大小。在一些情况下,所述显示器可以是所述成像***的本地显示器并且可以连接到所述图像处理器。任选地,所述显示器可以远离所述成像***。
在一些实施方式中,所述第二焦距范围可以包含比所述第一焦距范围更大的焦距范围。
在一些实施方式中,可以显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像被显示于由具有较小焦距范围的所述第一光学模块捕捉的第一图像内。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体可以旋转,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以在确定所显示的所述第二图像时考虑变焦比。在一些情况下,可以由用户选择在所述第一图像内显示的所述第二图像的大小。在一些实施方式中,可以显示所述第一图像的一部分。可以由用户选择所述第一图像的所述被显示部分。备选地或另外地,可以显示所述第二图像的一部分。可以由用户选择所述第二图像的所述被显示部分。
备选地,可以显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较小焦距范围的所述第一光学模块捕捉的第一图像进行组合而获得。在一些情况下,可以通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。所述插值算法可以是三次插值或双线性插值。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体可以旋转,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以由用户选择在所述第三图像内显示的所述第二图像的大小。
备选地,由具有较小焦距范围的所述第一光学模块捕捉的第一图像和由具有较大焦距范围的所述第二光学模块捕捉的第二图像中的一个图像可以显示在所述显示器上。在一些情况下,所述第一图像和所述第二图像中的所述一个图像的一部分可以显示在所述显示器上。可以由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。在一些实施方式中,所述第一焦距范围与所述第二焦距范围可以重叠。可以通过软切换将所述第一图像的显示切换到所述第二图像的显示。备选地,所述第一焦距范围与所述第二焦距范围可以不重叠。可以通过插值算法,诸如三次插值或双线性插值,将所述第一图像的显示切换到所述第二图像的显示。
本发明的各方面还可以包括一种无人飞行器(UAV),其包括被配置成用于实现所述无人飞行器的移动的一个或多个动力单元;以及根据本发明上述各方面中任一个的成像***。
本发明的各方面还可以包括一种显示多个图像的方法,所述方法包括:在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一焦距范围;在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;以及生成数据以在显示器内示出所述第一图像和/或所述第二图像。
在一些实施方式中,生成数据以在显示器内示出所述第一图像和/或所述第二图像可以包括生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像中的一个图像。备选地,生成数据以在显示器内示出所述第一图像和/或所述第二图像包括生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像两者。
在一些实施方式中,所述第一光学模块和所述第二光学模块可以对准以从同一方向捕捉图像。在一些情况下,所述第一光学模块的光轴可以与所述第二光学模块的光轴平行。在一些情况下,所述第一光学模块与所述第二光学模块可以共用外壳。
在一些实施方式中,所述第一光学模块可以包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块可以包含被配置成用于将光引导至所述第二图像传感器的第二镜头。在一些情况下,所述第一光学模块和所述第二光学模块中的至少一个可被配置成用于进行光学变焦。任选地,所述第一光学模块和所述第二光学模块可被配置成用于进行数字变焦。在一些情况下,所述第一镜头或所述第二镜头中的至少一个可以是定焦镜头。任选地,所述第一镜头或所述第二镜头中的至少一个可以是变焦镜头。
在一些情况下,所述第一焦距范围或所述第二焦距范围可以包含多个焦距。任选地,所述第一焦距范围或所述第二焦距范围可以包含单个焦距。在一些情况下,所述第一焦距范围和所述第二焦距范围可以重叠。任选地,所述第一焦距范围和所述第二焦距范围可以不重叠。在一些情况下,所述第一图像和所述第二图像可能不以同一点为中心。任选地,所述第一图像和所述第二图像可能以同一点为中心。在一些情况下,所述第一图像传感器和所述第二图像传感器可以具有相同的大小。在一些情况下,所述显示器可以是本地显示器。任选地,所述显示器可以是远程显示器。
在一些实施方式中,所述第二焦距范围可以包含比所述第一焦距范围更大的焦距范围。
在一些实施方式中,可以显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像被显示于由具有较小焦距范围的所述第一光学模块捕捉的第一图像内。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述方法还可以包括旋转所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,在确定所显示的所述第二图像时可以考虑变焦比。在一些情况下,可以由用户选择在所述第一图像内显示的所述第二图像的大小。在一些实施方式中,可以显示所述第一图像的一部分。可以由用户选择所述第一图像的所述被显示部分。备选地或附加地,可以显示所述第二图像的一部分。可以由用户选择所述第二图像的所述被显示部分。
备选地,可以显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较小焦距范围的所述第一光学模块捕捉的第一图像进行组合而获得。在一些情况下,可以通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。所述插值算法可以是三次插值或双线性插值。在一些情况下,所述第二图像可能以所述第一图像内由用户选择的点为中心。所述方法还可以包括旋转所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以所述用户所选择的所述点为中心。在一些情况下,可以由用户选择在所述第三图像内显示的所述第二图像的大小。
备选地,由具有较小焦距范围的所述第一光学模块捕捉的第一图像和由具有较大焦距范围的所述第二光学模块捕捉的第二图像中的一个图像可以显示在所述显示器上。在一些情况下,所述第一图像和所述第二图像中的所述一个图像的一部分可以显示在所述显示器上。可以由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。在一些实施方式中,所述第一焦距范围与所述第二焦距范围可以重叠。可以通过软切换将所述第一图像的显示切换到所述第二图像的显示。备选地,所述第一焦距范围与所述第二焦距范围可以不重叠。可以通过插值算法,诸如三次插值或双线性插值,将所述第一图像的显示切换到所述第二图像的显示。
本发明的各方面还可以包括一种无人飞行器(UAV),其包括:被配置成用于实现所述无人飞行器的飞行的一个或多个动力单元;包含第一图像传感器的第一光学模块,所述第一光学模块具有第一视野角度范围;包含第二图像传感器的第二光学模块,所述第二光学模块具有第二视野角度范围,其中所述第一视野角度范围和所述第二视野角度范围不相同;以及图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以显示使用所述第一光学模块和/或所述第二光学模块捕捉的图像,其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的所述一个或多个动力单元移动。
在一些实施方式中,所述图像处理器可被配置成用于通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。在一些情况下,可以根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。备选地,所述图像处理器可被配置成用于从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。在一些情况下,可以从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
在一些实施方式中,所述无人飞行器可以是多旋翼飞行器。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。在一些情况下,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。任选地,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够相对于所述无人飞行器的中央本体移动。
本发明的各方面还可以包括一种使用无人飞行器(UAV)采集图像数据的方法,所述方法包括:使用一个或多个动力单元实现所述无人飞行器的飞行;在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一焦距范围;在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;以及从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;生成数据以显示所述第一图像和/或所述第二图像;以及实现所述第一光学模块和/或所述第二光学模块相对于所述一个或多个动力单元的移动。
在一些实施方式中,从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据包括通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。在一些情况下,可以根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。备选地,从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据可以包括从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。在一些情况下,可以从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
在一些实施方式中,所述无人飞行器可以是多旋翼飞行器。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。在一些情况下,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。任选地,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够相对于所述无人飞行器的中央本体移动。
本发明的各方面还可以包括一种无人飞行器(UAV),其包括:被配置成用于实现所述无人飞行器的飞行的一个或多个动力单元;包含第一图像传感器的第一光学模块,所述第一光学模块具有第一焦距范围;包含第二图像传感器的第二光学模块,所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;以及图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以显示使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像,其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的所述一个或多个动力单元移动。
在一些实施方式中,所述图像处理器可被配置成用于通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。在一些情况下,可以根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。备选地,所述图像处理器可被配置成用于从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。在一些情况下,可以从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
在一些实施方式中,所述无人飞行器可以是多旋翼飞行器。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。在一些情况下,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。任选地,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够相对于所述无人飞行器的中央本体移动。
本发明的各方面还可以包括一种使用无人飞行器(UAV)采集图像数据的方法,所述方法包括:使用一个或多个动力单元实现所述无人飞行器的飞行;在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一焦距范围;在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;生成数据以显示使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像;以及实现所述第一光学模块和/或所述第二光学模块相对于所述一个或多个动力单元的移动。
在一些实施方式中,从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据包括通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。在一些情况下,可以根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。备选地,从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据可以包括从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。在一些情况下,可以从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
在一些实施方式中,所述无人飞行器可以是多旋翼飞行器。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。在一些情况下,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。任选地,所述载体可以允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。在一些实施方式中,所述第一光学模块和/或所述第二光学模块可能够相对于所述无人飞行器的中央本体移动。
应当明白,本发明的不同方面可以单独地、共同地或彼此结合地理解。本文中所述的本发明的各个方面可适用于下文所阐述的任何特定应用或用于任何其它类型的可移动物体。本文中对诸如无人飞行器等飞行器的任何描述可适用于和用于任何可移动物体,诸如任何载具。此外,本文中在空中运动(例如,飞行)的情景下公开的***、装置和方法还可以适用于其它类型运动的情景下,诸如在地面上或在水上的移动、水下运动或在太空中的运动。
通过考察说明书、权利要求书和附图,本发明的其它目标和特征将会变得显而易见。
援引并入
本说明书中所提及的所有公开案、专利以及专利申请是以相同范围合并于本文中,好象特定且个别地指出每一个别公开案、专利或专利申请是以引用方式合并。
附图说明
本发明的新特征特别地阐述于所附的权利要求书中。为更好地理解本发明的特征和优点,将参考阐述使用了本发明的原理的图示性实施方式的以下详细描述和附图,其中:
图1示出了根据本发明的一些实施方式的无人飞行器(UAV)的示例,无人飞行器携带具有两个光学模块的成像***。
图2示出了根据本发明的一些实施方式的光学镜头的视野角的示图。
图3是以框图说明的根据本发明的一些实施方式的成像***的示意图。
图4图示了根据本发明的一些实施方式的成像***中的光学模块的重叠视野角。
图5图示了根据本发明的一些实施方式的成像***中的光学模块的不重叠视野角。
图6图示了根据本发明的一些实施方式的在显示装置上示出的两个图像。
图7图示了根据本发明的一些实施方式的在显示装置上示出的一个图像。
图8是图示了根据本发明的实施方式的显示多个图像的方法的流程图。
图9是图示了根据本发明的实施方式的显示多个图像的方法的流程图。
图10是图示了根据本发明的实施方式的实现画中画(PIP)放大镜功能的方法的流程图。
图11图示了根据本发明的实施方式的无人飞行器的外观。
图12图示了根据本发明的实施方式的包括载体和搭载物的可移动物体。
图13是以框图说明的根据本发明的实施方式的用于控制可移动物体的***的示意图。
具体实施方式
本文所描述的***和方法允许通过使用两个或更多个光学模块来实现大的变焦比。成像***可以包括第一光学模块和第二光学模块,所述光学模块被并置和对准以从同一方向捕捉图像。在一些实施方式中,第一光学模块和第二光学模块可以具有不同的视野(FOV)角度范围。备选地,第一光学模块和第二光学模块可以具有不同的焦距范围。图像处理器可以从第一光学模块和第二光学模块接收图像数据,并生成数据以在显示器内同时或单独地示出使用所述第一光学模块和第二光学模块捕捉的图像。第一光学模块和第二光学模块中的至少一个可以包括定焦镜头或变焦镜头,并且第一光学模块和第二光学模块的FOV范围或焦距范围可以重叠或可以不重叠。
在本文所描述的***和方法中,可以实现高于两个光学模块中的任一个的变焦比,并且可以通过设计第一光学模块和第二光学模块的FOV范围或焦距范围来实现画中画(PIP)功能。有利的是,本文所提供的***和方法实现了具有简单的配置和较小的大小的广角镜头和长焦镜头。
成像***可以安装在静止物体或可移动物体上。可移动物体可能能够自推进地移动(例如,载具),而静止物体可能不能够自推进地移动。在一些实施方式中,可移动物体可以是无人飞行器(UAV)。无人飞行器可以具有一个或多个推进单元,所述推进单元可以允许无人飞行器在空中四处移动。无人飞行器可以是旋翼飞机。在一些情况下,无人飞行器可以是可以包括多个旋翼的多旋翼飞机。多个旋翼可能能够旋转而为无人飞行器产生升力,从而使得无人飞行器能够在空中自由地四处移动(例如,具有多达三个平移自由度和/或多达三个旋转自由度)。在一些实施方式中,本公开的成像***可以在无人飞行器上。下文更详细地提供了适合与本公开的实施方式一起使用的可移动物体的附加示例。
图1示出了根据本发明的一些实施方式的无人飞行器(UAV)100的示例,所述无人飞行器携带具有两个或更多个光学模块的成像***。本文中对由无人飞行器支撑的成像***的任何描述可以适用于任何其它类型的成像***,或者由任何可移动物体支撑的成像***。无人飞行器可以具有本体120。在一些情况下,本体可以是可以具有一个或多个分支构件或“臂”的中央本体。臂可以用放射的方式从中央本体向外延伸,并且经由中央本体而连结。臂的数目可以与无人飞行器的动力单元125或旋翼的数目匹配。本体可以包括外壳。外壳可以将无人飞行器的一个或多个部件封闭在外壳内。在一些情况下,无人飞行器的一个或多个电气部件可以提供于外壳内。举例来说,无人飞行器的飞行控制器可以提供于外壳内。飞行控制器可以控制无人飞行器的一个或多个动力单元的操作。
成像***130可以由无人飞行器支撑。成像***可以直接地耦合到无人飞行器或者可以经由载体耦合到无人飞行器。成像***可以包括多个光学模块。举例来说,可以提供一个、两个、三个、四个、五个、六个或更多个光学模块。对第一光学模块和第二光学模块的任何描述可以适用于任何数目的光学模块。
第一光学模块140和第二光学模块160可以刚性耦合到无人飞行器。备选地,可以允许第一光学模块和第二光学模块相对于无人飞行器100关于多达六个自由度而移动。第一光学模块和第二光学模块可以直接地安装到无人飞行器上,或者耦合到安装到无人飞行器上的支撑构造物。在一些实施方式中,第一光学模块和第二光学模块可以是无人飞行器的搭载物的元件。在一些实施方式中,第一光学模块和第二光学模块可以装设在无人飞行器的载体上。在一些实施方式中,载体可以是云台。在一些情况下,第一光学模块和/或第二光学模块可以经由载体而相对于无人飞行器的一个或多个动力单元可移动。举例来说,载体可以允许第一光学模块和/或第二光学模块围绕至少一个轴线而旋转。任选地,载体允许第一光学模块和/或第二光学模块围绕至少两个或三个轴线而旋转。第一光学模块和/或第二光学模块可以相对于无人飞行器的中央本体可移动。第一光学模块和/或第二光学模块可以相对于无人飞行器的中央本体沿一个、两个、三个或更多个轴线平移。
第一光学模块和第二光学模块可以各自捕捉无人飞行器的环境的图像。第一光学模块140和/或第二光学模块160可以各自连续地捕捉图像。备选地,第一光学模块140和/或第二光学模块160可以各自用指定频率捕捉图像以随着时间产生一系列图像数据。成像***的多个模块可以用足够高的频率捕捉图像以提供视频速率的捕捉。可以用至少10Hz、20Hz、30Hz、40Hz、50Hz、60Hz、70Hz、80Hz、90Hz、100Hz、120Hz、150Hz、200Hz、250Hz或300Hz的速率来捕捉图像。
成像***的光学模块中的每一个可以包括图像传感器。所述光学模块还可以包括镜头。举例来说,第一光学模块140和第二光学模块160可以各自包括图像传感器和镜头。镜头可被配置成用于将光引导至图像传感器。任选地,可以提供可有助于将光引导至图像传感器的其它光学元件,诸如镜、滤光器、光栅、附加镜头或二向色性部件。备选地,不提供镜头或光学元件。成像***的每个模块可以具有相同的光学设置。备选地,成像***的每个模块可以具有不同的光学设置,或者成像***的至少两个光学模块可以具有不同的光学设置。在一些实施方式中,第一光学模块可以具有固定不动的镜头,而第二光学模块可以具有可移动镜头。在其它实施方式中,第一光学模块和第二光学模块可以具有可移动镜头,所述可移动镜头可以具有不同尺寸或形状,或者可以移动不同的量。
成像***可以具有外壳。成像***的多个光学模块可以提供于单一的外壳内。备选地,不同的光学模块可以提供于不同的外壳中。在一个示例中,第一光学模块和第二光学模块可以提供于一个外壳内并且因此共用所述外壳。备选地,第一光学模块和第二光学模块可以提供于不同的外壳中。外壳可以封装一个、两个或更多个光学模块。在一些实施方式中,外壳可以是基本上流体密封的。外壳可以是气体密封的。外壳可以由基本不透明的材料、半透明材料或透明材料形成。外壳可以防止不需要的光进入外壳。外壳可以将到达光学模块的光限制到一个或多个受控的入口。在一些实施方式中,成像***的多个光学模块可以由单一的外壳来支撑。光学模块可以在外壳内、在外壳的外部上或至少部分地嵌入外壳中。外壳可以使光学模块一起移动。举例来说,光学模块可以作为单个单元而可移动。光学模块可以一起围绕一个或多个轴线旋转,或者可以一起沿一个或多个轴线平移。
图像传感器是将光学图像转换成电子信号的装置。本发明的图像传感器可以是电荷耦合装置(CCD)型、互补金属氧化物半导体(CMOS)型、N型金属氧化物半导体(NMOS)型或背照式COMS(BSI-CMOS)型。成像***的第一光学模块和第二光学模块可以具有相同类型的图像传感器或不同类型的图像传感器。图像传感器可以具有相同的特性或者可以具有不同的特性。举例来说,图像传感器可能能够捕捉相同分辨率的图像,或者可以具有能够用来捕捉图像的不同分辨率。举例来说,图像传感器之一可以允许分辨率是其它图像传感器的分辨率的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。图像传感器可以具有相同的大小或者可以具有不同的大小。图像传感器可以使用相同量的处理能力,或者可以使用不同量的处理能力。不同光学模块的图像传感器可以消耗相同量的功率或者可以消耗不同量的功率。
在一些实施方式中,第一光学模块和第二光学模块可以具有相同的大小。举例来说,第一光学模块和第二光学模块可以具有相同的体积。第一光学模块和第二光学模块可以具有一个、两个或三个相同的尺寸(例如,长度、宽度、高度)。第一光学模块和第二光学模块可以具有相同的重量。备选地,第一光学模块和第二光学模块可以具有不同的大小。举例来说,第一光学模块和第二光学模块可以具有不同的体积。第一光学模块可以具有的体积是第二光学模块的体积的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。第一光学模块和第二光学模块可以具有一个、两个或三个不同的尺寸(例如,长度、宽度、高度)。第一光学模块和第二光学模块可以具有不同的重量。第一光学模块可以具有的重量是第二光学模块的重量的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。
第一光学模块140的镜头和第二光学模块160的镜头可以是光学变焦型镜头或数字变焦型镜头。光学变焦可以借助于一组光学镜头来增大图像。数字变焦可以是对光学变焦效果的模拟,其通过使用图像处理算法以增大所捕捉的图像的一部分来进行。在一些实施方式中,第一光学模块的镜头和第二光学模块的镜头均可为光学变焦型镜头。备选地,第一光学模块的镜头和第二光学模块的镜头均可为数字变焦型镜头。任选地,第一光学模块的镜头和第二光学模块的镜头中的一个可以是光学变焦型镜头,而另一个可以是数字变焦型镜头。在一些实施方式中,光学变焦型镜头可以沿一个或多个轴线相对于对应图像传感器移动。镜头的移动可以允许光学变焦。任选地,数字变焦型镜头可以相对于对应图像传感器保持静止,或者可以小于光学变焦型镜头的移动而移动。
可以提供图像处理器以从第一光学模块140和/或第二光学模块160接收图像数据,并生成数据以显示使用该第一光学模块和/或该第二光学模块捕捉的至少一个图像。在一些实施方式中,图像处理器可以提供于无人飞行器100上。图像处理器可以提供于无人飞行器的中央本体120上。图像处理器可以提供于无人飞行器的分支或臂上。图像处理器可以提供于无人飞行器的成像***上。在一些情况下,成像***可以是具有多个光学模块的相机。图像处理器可以在成像***的外壳内或外。在一些情况下,图像处理器可以提供于无人飞行器的成像***之外。图像处理器可以提供于载体上。备选地,图像处理器可以远离无人飞行器而提供。举例来说,图像处理器可以提供于遥控器、服务器、地面站或基于云的基础设施上。来自一个或多个光学模块的信息可无线地传输到图像处理器。备选地,来自光学模块的信息可以经由物理连接而提供到图像处理器。
在一些实施方式中,图像处理器可被配置成用于通过实现硬件切换技术而选择性地从第一光学模块或第二光学模块接收图像数据。在一些情况下,根据目标变焦比的外部指令,可以实现对第一光学模块或第二光学模块的选择。举例来说,可以通过远程终端从用户接收对目标变焦比的指令。通过操作提供于远程终端上的按钮或者通过触摸显示于远程终端的屏幕上的软按钮,用户可以选择期望的目标变焦比并且发送目标变焦比的指令。
在一些实施方式中,图像处理器可被配置成用于从第一光学模块和第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。在一些情况下,可以根据对目标变焦比的外部指令从对应的缓冲区读取图像数据并对所述图像数据进行处理。
第一光学模块140和第二光学模块160可以被并置并且对准以从同一方向捕捉图像。在一些实施方式中,第一光学模块140和第二光学模块160的光轴可以平行。第一光学模块和第二光学模块的光轴可以偏离小于30度、25度、20度、15度、10度、5度、3度、1度、0.5度或0.1度。如果第一光学模块和第二光学模块的光轴彼此偏离,那么可以采用图像校正技术。第一光学模块和第二光学模块可以彼此直接邻近。第一光学模块140与第二光学模块160之间的间隔与距物体/场景的距离相比而言可以较小,所述间隔可被省略,且第一光学模块140和第二光学模块160可以捕捉相同物体/场景的图像。在一些情况下,第一光学模块140与第二光学模块160之间的间隔可以小于或等于1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、1cm、1.5cm、2cm、2.5cm、3cm、3.5cm、4cm、4.5cm、5cm、6cm、7cm、8cm、9cm、10cm、12cm、14cm、16cm、18cm、20cm、22cm、24cm、26cm、28cm、30cm、35cm、40cm、45cm或50cm。任选地,第一光学模块140与第二光学模块160之间的间隔可以大于或等于本文中所描述的值中的任何值。第一光学模块140与第二光学模块160之间的间隔可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。
成像***的多个光学模块可以在同一横向平面内。举例来说,多个光学模块可以是并排的。备选地,多个光学模块可以一个堆放在另一个上。多个光学模块相对于下表面可以处于大约相同的高度。
成像***的光学模块可以相对于彼此保持静止。当成像***相对于环境移动时,光学模块可以彼此保持静止。备选地,光学模块可以相对于彼此可移动。
成像***的焦距是对***使光会聚或发散的能力的测量。光学镜头的焦距是最初准直的光线到达焦点所经过的距离。有两个类型的镜头:定焦和变焦。定焦镜头可以具有固定焦距并且所述焦距可以包含单个焦距。变焦镜头可以具有可变焦距并且所述焦距可以包含多个焦距。光学变焦镜头可以通过一组内部镜头元件的相对移动来改变焦距。数字变焦镜头可以通过算法来实现可变焦距效果。在一些实施方式中,第一光学模块140的镜头和第二光学模块160的镜头均可为变焦镜头。备选地,第一光学模块140的镜头和第二光学模块160的镜头均可为定焦镜头。任选地,第一光学模块140的镜头和第二光学模块160的镜头之一可以是定焦镜头,而另一个可以是变焦镜头。
成像***的多个光学模块的焦距范围可以不相同。举例来说,第一光学模块可以具有第一焦距范围,所述第一焦距范围不同于第二光学模块的第二焦距范围。此外,可以有第三光学模块,其具有不同于第一焦距范围和/或第二焦距范围的第三焦距范围,以此类推。焦距范围可以取决于光学模块的一个或多个镜头或者其它光学元件。举例来说,第一光学模块可以具有基于第一镜头的第一焦距范围,且第二光学模块可以具有基于第二镜头的第二焦距范围。焦距范围可以包括落在所述范围的下限和上限内的多个焦距。在一些情况下,焦距范围可以包括单个焦距。单个焦距可以既充当范围的下限又充当范围的上限。
在一些情况下,第一光学模块140和第二光学模块160的变焦型镜头的焦距范围可以不相同。在一些实施方式中,第一光学模块140和第二光学模块160的变焦型镜头的焦距范围可以重叠。备选地,第一光学模块140和第二光学模块160的变焦型镜头的焦距范围可以不重叠。第一光学模块140和第二光学模块160的定焦型镜头的焦距可以不相同。在一些实施方式中,第一光学模块140的定焦型镜头的焦距可以落在第二光学模块160的变焦型镜头的焦距范围内。备选地,第一光学模块140的定焦型镜头的焦距可以不落在第二光学模块160的变焦型镜头的焦距范围内。
在一些情况下,适合于本发明的光学模块的定焦镜头的焦距可以小于或等于1mm、2mm、3mm、4mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。任选地,适合于本发明的光学模块的定焦镜头的焦距可以大于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的定焦镜头的焦距可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。举例来说,第一光学模块和第二光学模块均可为定焦镜头并且可以具有不同的焦距。第一光学模块可以具有的焦距是第二光学模块的焦距的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。
在一些情况下,适合于本发明的光学模块的变焦镜头的焦距范围的下限可以小于或等于1mm、2mm、3mm、4mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm或1150mm。任选地,适合于本发明的光学模块的变焦镜头的焦距范围的下限可以大于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的变焦镜头的焦距范围的下限可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。
在一些情况下,适合于本发明的光学模块的变焦镜头的焦距范围的上限可以小于或等于2mm、3mm、4mm、5mm、6mm、8mm、10mm、12mm、14mm、16mm、18mm、20mm、22mm、24mm、26mm、28mm、30mm、35mm、40mm、45mm、50mm、55mm、60mm、65mm、70mm、75mm、80mm、85mm、90mm、95mm、100mm、105mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、220mm、240mm、260mm、280mm、300mm、320mm、340mm、360mm、380mm、400mm、450mm、500mm、550mm、600mm、650mm、700mm、750mm、800mm、850mm、900mm、950mm、1000mm、1150mm或1200mm。任选地,适合于本发明的光学模块的变焦镜头的焦距范围的上限可以大于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的变焦镜头的焦距范围的上限可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。
在摄影中,视野(FOV)是在空间中特定的位置和朝向处通过相机可见的一部分世界;在拍摄图片时FOV之外的物体不被记录在照片中。FOV最常被表达成视域锥形的角度大小,表达成视角。对于普通光学镜头,视野角α可以按FOVα=2arctan(d/2f)来计算,其中d是图像传感器大小,f是镜头的焦距。光学镜头200的视野角可以在图2中图示。
对于具有固定大小的图像传感器,定焦镜头可以具有固定的FOV并且所述FOV可以包含单个FOV角。对于具有固定大小的图像传感器,变焦镜头可以具有可变的FOV角度范围并且所述FOV角度范围可以包含多个FOV角。在一些实施方式中,第一光学模块140和第二光学模块160的镜头均可为变焦镜头。备选地,第一光学模块140和第二光学模块160的镜头均可为定焦镜头。任选地,第一光学模块140和第二光学模块160的镜头之一可以是定焦镜头,而另一个可以是变焦镜头。
成像***的多个光学模块的视野角度范围可以不相同。举例来说,第一光学模块可以具有第一FOV角度范围,所述第一FOV角度范围不同于第二光学模块的第二FOV角度范围。此外,可以有第三光学模块,其具有不同于第一FOV角度范围和/或第二FOV角度范围的第三FOV角度范围,以此类推。FOV角度范围可以取决于光学模块的一个或多个镜头或者其它光学元件。举例来说,第一光学模块可以具有基于第一镜头的第一FOV角度范围,且第二光学模块可以具有基于第二镜头的第二FOV角度范围。FOV角度范围可以包括落在所述范围的下限和上限内的多个FOV角。在一些情况下,FOV角度范围可以包括单个角。单个角可以既充当FOV角度范围的下限又充当FOV角度范围的上限。
变焦型第一光学模块140和第二光学模块160的FOV角度范围可以不相同。在一些实施方式中,变焦型第一光学模块140和第二光学模块160的FOV角度范围可以重叠。在一些情况下,第一光学模块140和第二光学模块160的FOV角度范围可以不以同一点为中心,但具有重叠的范围。举例来说,第一光学模块140与第二光学模块160之间的距离可以导致所述两个光学模块的FOV角度范围的中心稍微分开。鉴于所述两个光学模块之间的距和所述两个光学模块与所捕捉的物体之间的距离相比而言可以较小,所述两个光学模块的FOV角度范围的中心之间的距离可以忽略,以便于计算。任选地,第一光学模块140和第二光学模块160的FOV角度范围可以同一点为中心并且具有重叠的范围。
备选地,变焦型第一光学模块140和第二光学模块160的FOV角度范围可以不重叠。举例来说,第一光学模块140和第二光学模块160的FOV角度范围可以同一点为中心,但不具有重叠的范围。定焦型第一光学模块140和第二光学模块160的FOV可以不相同。在一些实施方式中,定焦型第一光学模块140的FOV可以落在变焦型第二光学模块160的FOV角度范围内。备选地,定焦型第一光学模块140的FOV可以不落在变焦型第二光学模块160的FOV角度范围内。
在一些情况下,适合于本发明的光学模块的定焦镜头的FOV可以小于或等于170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、15°、10°、5°、3°、2°或1°。任选地,适合于本发明的光学模块的定焦镜头的FOV可以小于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的定焦镜头的FOV可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。
在一些情况下,适合于本发明的光学模块的变焦镜头的FOV角度范围的下限可以小于或等于170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、15°、10°、5°、3°、2°或1°。任选地,适合于本发明的光学模块的变焦镜头的FOV角度范围的下限可以小于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的变焦镜头的FOV角度范围的下限可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。
在一些情况下,适合于本发明的光学模块的变焦镜头的FOV角度范围的上限可以小于或等于170°、169°、165°、160°、155°、150°、145°、140°、135°、130°、125°、120°、115°、110°、105°、100°、95°、90°、85°、80°、75°、70°、65°、60°、55°、50°、45°、40°、35°、30°、25°、20°、15°、10°、5°、3°、2°或1°。任选地,适合于本发明的光学模块的变焦镜头的FOV角度范围的上限可以小于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的变焦镜头的FOV角度范围的上限可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。
变焦比是诸如变焦相机等变焦型成像***的最长焦距与最短焦距之比。举例来说,具有范围从100mm到400mm的焦距的变焦镜头可被描述为4:1或“4×”变焦。光学模块的变焦比越大,在所捕捉的图像上示出的远处物体可以越大。通过(例如)提供具有不同的最长焦距与最短焦距之比的镜头的不同组合,本发明的成像***中的多个光学模块可以具有不同的变焦比。在一些情况下,适合于本发明的光学模块的变焦镜头的变焦比可以高于1×、1.5×、2×、2.5×、3×、3.5×、4×、4.5×、5×、5.5×、6×、6.5×、7×、7.5×、8×、8.5×、9×、9.5×、10×、11×、12×、13×、14×、15×、16×、17×、18×、19×、20×、30×、40×、50×、60×、70×、80×、100×、120×、140×、160×、180×、200×、250×、300×、350×、400×、450×、500×、600×、700×、800×或1000×。任选地,适合于本发明的光学模块的变焦镜头的变焦比可以高于或等于本文中所描述的值中的任何值。适合于本发明的光学模块的变焦镜头的变焦比可以具有落在本文中所描述的值中的任何两个值之间的范围内的值。举例来说,第一光学模块和第二光学模块可能具有不同的变焦比。第一光学模块可以具有的变焦比是第二光学模块的变焦比的25%、50%、75%、100%、125%、150%、200%、300%、400%、500%或1000%。
图3是以框图说明的根据本发明的一些实施方式的成像***300的示意图。在一些实施方式中,所述成像***可以包括第一光学模块302、第二光学模块304和图像处理器306。
第一光学模块302可以包括第一光学镜头3022和第一图像传感器3024。第一光学镜头3022可以将光引导至第一图像传感器3024。第二光学模块304可以包括第二光学镜头3042和第二图像传感器3044。第二光学镜头3042可以将光引导至第二图像传感器3044。光学镜头3022和3042可以是光学变焦型镜头或数字变焦型镜头。
在一些实施方式中,第一光学镜头3022和第二光学镜头3042均可为变焦镜头。备选地,第一光学镜头和第二光学镜头均可为定焦镜头。任选地,第一光学镜头3022和第二光学镜头3042之一可以是定焦镜头,而另一个可以是变焦镜头。成像***可以包括任何数目的光学模块,光学模块可以包括(多个)定焦镜头和(多个)变焦镜头的任意组合。在一些实施方式中,第一光学镜头3022和第二光学镜头3042均可为光学变焦型镜头。备选地,第一光学镜头3022和第二光学镜头3042均可为数字变焦镜头。任选地,第一光学镜头3022和第二光学镜头3042之一可以是光学变焦型镜头,而另一个可以是数字变焦型镜头。在一些实施方式中,第一光学镜头3022和第二光学镜头3042的FOV角度范围可以重叠。备选地,第一光学镜头3022和第二光学镜头3042的FOV角度范围可以不重叠。
图像处理器306可以连接到第一光学模块302和第二光学模块304。图像处理器306可被配置成用于从第一光学模块302和第二光学模块304接收图像数据,并生成数据以在显示器308内示出使用第一光学模块302和第二光学模块304捕捉的图像。在一些实施方式中,图像处理器306可被配置成用于生成数据以在显示器308内单独地示出第一图像或第二图像,所述图像分别由第一光学模块302和第二光学模块304捕捉。在此模式下,仅一个图像可以显示。举例来说,仅第一图像可在显示器308上,所述第一图像是由具有较宽FOV的第一光学模块302捕捉。可以启用这种单独显示模式以仅具有整体图像(例如,较宽FOV)或细节图像(例如,较窄FOV)。备选地,图像处理器306可被配置成用于生成数据以在显示器308内示出第一图像和第二图像两者,所述图像分别由第一光学模块302和第二光学模块304捕捉。举例来说,第一图像和第二图像均可同时按预定的格局显示在显示器308上。可以启用这种同时显示模式以具有整体图像和细节图像两者,诸如画中画(PIP)效果。
在一些实施方式中,图像处理器306可以作为携带成像***300的可移动物体或静止物体的电路的部分而被提供。备选地,图像处理器304可以作为独立的电路、模块或芯片而被提供。图像处理器306可以通过中央处理器(CPU)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。本文对处理器的任何描述可适用于一个或多个处理器,所述处理器可以单独地或共同地执行针对图像处理器所描述的任何功能。图像处理器可以包括单个处理器或多个处理器。图像处理器可能能够根据非暂时性计算机可读介质而执行一个或多个步骤,非暂时性计算机可读介质包括用于执行一个或多个步骤的代码、逻辑或指令。可以提供存储器存储单元,其可以包括非暂时性计算机可读介质。
显示器308可以是适合于显示图像或视频的装置,例如,LCD(液晶显示器)、CRT(阴极射线管)、OLED(有机发光二极管)或等离子体。显示器308可被配置成用于示出由第一光学模块302和/或第二光学模块304捕捉的图像。显示器308可以基于由图像处理器304生成的图像数据而显示图像。在一些实施方式中,显示器308可以是成像***300的本地显示装置。在一些情况下,显示器308可以提供于携带成像***的可移动物体或静止物体上。备选地,显示器308可以是被配置成远离成像***300的显示装置。在一些情况下,显示器308可以是诸如智能电话、平板计算机、膝上型计算机或个人计算机等远程终端,所述远程终端经由无线链路从成像***300接收图像数据。成像***300与显示器308之间的无线链路可以是RF(射频)链路、Wi-Fi链路、蓝牙链路、3G链路或LTE链路。
显示器308还可以充当用于接收用户的关于图像显示的指令的输入装置。在一些情况下,显示器308可以是交互式屏幕,通过该屏幕,用户可以通过触摸显示器上的软按钮来选择显示图像的格局,所述图像由第一光学模块和第二光学模块捕捉。显示器308可以是触摸屏。备选地,用户可以使用任何用户交互式装置与显示器相交互,所述用户交互式装置诸如鼠标、键盘、操纵杆、轨迹球、触模板或麦克风。由第一光学模块302和第二光学模块304捕捉的第一图像和第二图像可以按预定的格局显示在显示器308上。在一些情况下,由第一光学模块302和第二光学模块304捕捉的第一图像和第二图像中仅有一个可以显示在显示器308上。备选地,由第一光学模块302和第二光学模块304捕捉的第一图像和第二图像两者可以按上下格局、左右格局、大小格局、画中画(PIP)格局等显示在显示器308上。由第一光学模块捕捉的第一图像和由第二光学模块捕捉的第二图像可以显示,以响应用户与显示器的交互。第一图像和第二图像可以同时显示在显示器上。第一图像和第二图像可以在同一时间在显示器上示出。对于在某个时间点同时观看显示器的用户而言,第一图像和第二图像在视觉上均可为可辨别的。
图4图示了根据本发明的一些实施方式的成像***中的光学模块的重叠视野角。在图4的示图中,第一光学模块402和第二光学模块404可以被并置并且对准以从同一方向捕捉图像。第一光学模块402和第二光学模块404的光轴可以平行。第一光学模块402与第二光学模块404之间的距离与距物体410的距离相比可以较小,因此可被忽略,以便于计算。
在图4中示出的实施方式中,第一光学模块402的第一FOV范围可以包含比第二光学模块404的第二FOV范围更宽的FOV角。第一光学模块402可以具有范围从角4022到角4024的第一FOV。由第一光学模块402以最小FOV的角4022捕捉的图像可以覆盖物体410的A1-A1’部分,而由第一光学模块402以最大FOV的角4024捕捉的图像可以覆盖物体410的更大的A2-A2’部分。因此,由第一光学模块402捕捉的图像可以通过最小部分A1-A1’和最大部分A2-A2’来“查看”物体410。同样地,由第二光学模块404以最小FOV的角4042捕捉的图像可以覆盖物体410的B1-B1’部分,而由第二光学模块404以最大FOV的角4044捕捉的图像可以覆盖物体410的更大的B2-B2’部分。因此,由第二光学模块404捕捉的图像可以通过最小部分B1-B1’和最大部分B2-B2’来“查看”物体410。在一些实施方式中,第一光学模块402中的第一图像传感器的大小和第二光学模块404中的第二图像传感器的大小可以相同。因此,根据如参看图2所讨论的方程式,具有较窄FOV的第二光学模块404可以比具有较宽FOV的第一光学模块402具有更大的焦距;因此,由第二光学模块404捕捉的图像可以比第一光学模块402具有更大的变焦比,这意味着由第二光学模块404捕捉的图像可以示出物体410的更多细节。任选地,在同一时间由第二光学模块捕捉的图像可以具有较窄的FOV。
在图4中示出的实施方式中,第一光学模块402的第一FOV范围和第二光学模块404的第二FOV范围可以重叠。举例来说,第一光学模块402和第二光学模块404的FOV角度范围可以以同一点为中心并且具有从角4022到角4044的重叠范围。任选地,第一光学模块和第二光学模块的FOV角度范围可以不以同一点为中心并且具有重叠范围。假如第一光学模块402中的第一图像传感器的大小和第二光学模块404中的第二图像传感器的大小相同,则重叠的FOV范围可以意味着第一光学模块402的焦距范围和第二光学模块404的焦距范围重叠。举例来说,第一光学模块402可以具有94.5°到12.4°的FOV角度范围,所述范围对应于20mm到200mm的焦距范围,而第二光学模块404可以具有23.3°到6.19°的FOV角度范围,所述范围对应于105mm到600mm的焦距范围。在这种情况下,第一光学模块402的第一FOV范围和第二光学模块404的第二FOV范围可以从23.3°到12.4°重叠,所述范围对应于第一光学模块402和第二光学模块404的焦距范围从105mm到200mm的重叠。对于具有相同大小的图像传感器,具有较窄FOV角范围(即,具有较大焦距范围)的第二光学模块404可以具有较大的图像变焦比。
在一些实施方式中,由具有较宽FOV的第一光学模块402和具有较窄FOV的第二光学模块404分别捕捉的第一图像和第二图像可以显示在显示装置上,以使得由第二光学模块404捕捉的第二图像在由第一光学模块402捕捉的第一图像内显示。在第一图像内显示第二图像的大小、位置和格局可以预定。在一些情况下,第二图像可以基于预定的显示格局而显示在第一图像的角落、第一图像的中心或第一图像的预定位置。任选地,第二图像可以以第一图像内由用户选择的点为中心。举例来说,用户可以在第一图像中选择一点(例如,经由触摸,或本文中所描述的任何其它用户交互式装置),这可以使第一图像的区域成为第二图像,所述第二图像是所述区域的放大视图,其中所述区域包括由用户选择的点。用户可以围绕第一图像移动所选择的点,这可以使作为放大视图的第二图像对应地移动从而追踪所选择的点。这可以包括或可以不包括使第二光学模块移动以追踪所选择的点。任选地,当第二光学模块可以移动时第一光学模块可以保持静止。任选地,承载第一光学模块和第二光学模块的载体可以移动以追踪用户选择的点。任选地,第二光学模块可以不移动,但一次仅显示第二图像的子集,以至于所选择的点的移动使第二图像的不同子集得以显示。
在一些实施方式中,在确定所显示的第二图像时可以考虑变焦比。举例来说,用户可能想要成像***中具有6×变焦比效果,所述成像***具有第一光学模块402和第二光学模块404,所述第一光学模块可以具有94.5°到12.4°的FOV角度范围(其对应于20mm到200mm的焦距范围),所述第二光学模块可以具有23.3°到6.19°的FOV角度范围(其对应于105mm到600mm的焦距范围)。如果第一图像是由第一光学模块402以焦距20mm捕捉,那么第二图像可以由第二光学模块404以焦距120mm捕捉,以便实现期望的6×变焦比。
在一些实施方式中,由具有较宽FOV的第一光学模块402和具有较窄FOV的第二光学模块404分别捕捉的第一图像和第二图像中仅有一个可以显示在显示装置上。在一些情况下,第一光学模块402的FOV角度范围和第二光学模块404的FOV角度范围可以重叠。在这种情况下,通过软切换,由第一光学模块402捕捉的第一图像的显示可以切换到由第二光学模块404捕捉的第二图像的显示。举例来说,从显示第一图像向显示第二图像的转变可以通过平滑的方式实现。在一些实施方式中,来自第一光学模块402和第二光学模块404两者的图像数据可以通过加权的方式进行处理,以生成要在显示装置上显示的图像数据。借助于软切换,用户可能注意不到从显示第一图像向显示第二图像的转变。
图5图示了根据本发明的一些实施方式的成像***中的光学模块的不重叠视野角。在图5的示图中,第一光学模块502和第二光学模块504可以被并置并且对准以从同一方向捕捉图像。第一光学模块502和第二光学模块504的光轴可以平行。第一光学模块502与第二光学模块504之间的距离在与距物体510的距离相比时可以较小,因此为了便于计算可以省略。
在图5中示出的实施方式中,第一光学模块502的第一FOV范围可以包含比第二光学模块504的第二FOV范围更宽的FOV角。第一光学模块502可以具有范围从角5022至角5024的第一FOV。在最小FOV角5022下,由第一光学模块502捕捉的图像可以覆盖物体510的A1-A1’部分,而在最大FOV角5024下,由第一光学模块502捕捉的图像可以覆盖物体510的更大的A2-A2’部分。因此,由第一光学模块502捕捉的图像可以通过最小部分A1-A1’和最大部分A2-A2’来“查看”物体510。同样地,在最小FOV角5042下,由第二光学模块504捕捉的图像可以覆盖物体510的B1-B1’部分,而在最大FOV角5044下,由第二光学模块504捕捉的图像可以覆盖物体510的更大的B2-B2’部分。因此,由第二光学模块504捕捉的图像可以通过最小部分B1-B1’和最大部分B2-B2’来“查看”物体510。在一些实施方式中,第一光学模块502中的第一图像传感器的大小和第二光学模块504中的第二图像传感器的大小可以相同。因此,根据如参看图2所讨论的方程式,具有较窄FOV的第二光学模块504可以比具有较宽FOV的第一光学模块502具有更大的焦距;因此,由第二光学模块504捕捉的图像可以比第一光学模块502具有更大的变焦比,这意味着由第二光学模块504捕捉的图像可以示出物体510的更多细节。
在图5中示出的实施方式中,第一光学模块502的第一FOV范围和第二光学模块504的第二FOV范围可以不重叠。假如第一光学模块502中的第一图像传感器的大小和第二光学模块504中的第二图像传感器的大小相同,则不重叠的FOV范围可以意味着第一光学模块502的焦距范围和第二光学模块504的焦距范围不重叠。举例来说,第一光学模块502可以具有94.5°到23.3°的FOV角范围,所述范围对应于20mm到105mm的焦距范围,而第二光学模块504可以具有12.4°到6.19°的FOV角范围,所述范围对应于200mm到600mm的焦距范围。对于具有相同大小的图像传感器,具有较窄FOV角范围(即,具有较大焦距范围)的第二光学模块504可以具有较大的图像变焦比。
在一些实施方式中,由具有较宽FOV的第一光学模块502和具有较窄FOV的第二光学模块504分别捕捉的第一图像和第二图像可以显示在显示装置上,以使得由第二光学模块504捕捉的第二图像在由第一光学模块502捕捉的第一图像内显示。在第一图像内显示第二图像的大小、位置和格局(pattern)可以预定。在一些情况下,基于预定的显示格局,第二图像可以显示在第一图像的角落、第一图像的中心或第一图像的预定位置。备选地,第二图像能够以第一图像内由用户选择的点为中心。
在一些实施方式中,由具有较宽FOV的第一光学模块502和具有较窄FOV的第二光学模块504分别捕捉的第一图像和第二图像中仅有一个可以显示在显示装置上。在一些情况下,第一光学模块502的FOV角度范围和第二光学模块504的FOV角度范围可以不重叠。在这种情况下,对由第一光学模块502捕捉的第一图像的显示可以通过插值算法切换到对由第二光学模块504捕捉的第二图像的显示。在一些实施方式中,插值算法可以是三次插值。备选地,插值算法可以是双线性插值。通过插值算法,可以计算不重叠FOV范围中遗漏的图像;因此,当对第一图像的显示被转变成对第二图像的显示时,用户可以感觉像是连续的变焦效果。
图6图示了根据本发明的一些实施方式的、在显示装置上示出的两个图像。由具有较宽FOV的第一光学模块捕捉的第一图像604和由具有较窄FOV的第二光学模块捕捉的第二图像606均可显示在显示装置602内。第一光学模块的FOV范围可以与第二光学模块的FOV范围重叠。举例来说,第一光学模块的FOV范围和第二光学模块的FOV范围能够以同一点为中心并且具有重叠的范围。任选地,第一光学模块的FOV范围和第二光学模块的FOV范围可以不以同一点为中心,但具有重叠的范围。备选地,第一光学模块的FOV范围可以与第二光学模块的FOV范围不重叠。举例来说,第一光学模块的FOV范围和第二光学模块的FOV范围能够以同一点为中心,但不具有重叠的范围。任选地,第一光学模块的FOV范围和第二光学模块的FOV范围可以不以同一点为中心并且不具有重叠的范围。显示装置602可以是在携带成像***的可移动物体或静止物体上的显示器。任选地,如上文所讨论的,显示装置602可以是远离成像***的显示器。
在一些实施方式中,第二图像606可以在第一图像604内显示。在一些实施方式中,在第一图像604内显示第二图像606的大小、位置和格局可以预定。举例来说,第二图像可以在第一图像内显示,占据第一图像50%的面积。任选地,第二图像可以在第一图像内显示,占据第一图像40%、30%、20%或10%的面积。备选地,第一图像和第二图像可以按边对边(side to side)格局显示在显示装置上。举例来说,第一图像可以占据显示装置50%的面积,而第二图像可以占据显示装置另外50%的面积。任选地,第一图像可以占据显示装置60%的面积,而第二图像可以占据显示装置剩余的40%的面积。还任选地,第一图像可以占据显示装置70%的面积,而第二图像可以占据显示装置剩余的30%的面积。备选地,在第一图像604内显示第二图像606的大小、位置和格局可以由用户调整,例如通过在第一图像604内对第二图像606进行拖动和缩放。备选地,由具有较宽FOV的第一光学模块捕捉的第一图像604可以在由具有较窄FOV的第二光学模块捕捉的第二图像606内显示。任选地,第一图像和第二图像的位置关系可以根据用户的命令改变。
在一些实施方式中,第二图像606能够以第一图像604内由用户选择的点为中心。举例来说,用户可以首先查看由具有较宽FOV的第一光学模块捕捉并因此具有宽视图的第一图像604,然后通过触摸第一图像604在所述第一图像上选择兴趣点。由具有较窄FOV的第二光学模块捕捉并因此具有放大视图的第二图像606以由用户选择的兴趣点为中心,可以在第一图像604内显示。备选地,可以由用户来移动和改变显示第二图像的位置和大小。
在一些实施方式中,要显示的第一图像和/或第二图像可以是由第一光学模块和/或第二光学模块捕捉的图像的子集或部分。要显示的第一图像和/或第二图像的子集或部分可以由用户选择。在一些实施方式中,用户可以增大(放大(zoom in))和/或减小(缩小(zoom out))所显示的第一图像和/或第二图像。举例来说,如果用户希望查看较大的视图或较宽的视图,那么用户可以通过操作提供在显示装置602上的一个或多个按钮来增大(放大)和/或减小(缩小)第一图像和/或第二图像。任选地,用户可以通过触摸显示在显示装置602上的一个或多个软按钮来增大(放大)和/或减小(缩小)第一图像和/或第二图像。用户可以选择第一图像和/或第二图像的要显示的部分。
在一些实施方式中,由具有较窄视野的第二光学模块捕捉的第二图像可以在第三图像内显示,所述第三图像是通过将第二图像和由具有较宽视野的第一光学模块所捕捉的第一图像进行组合而获得。在一些情况下,可以通过使用插值算法将第二图像和第一图像进行组合来获得第三图像。插值算法可以是三次插值或双线性插值。举例来说,用户可能想要查看第二图像,所述第二图像在由FOV范围超出第一光学模块和第二光学模块的FOV范围的光学模块所捕捉的图像内。所述第三图像可以不直接由第一光学模块或第二光学模块中的任一个捕捉,但是可以通过将第二图像和第一图像进行组合来获得。
图7图示了根据本发明的一些实施方式的、在显示装置上示出的单个图像。在一些情况下,由具有较宽FOV的第一光学模块和具有较窄FOV的第二光学模块分别捕捉的第一图像604和第二图像606中仅有一个可以显示在显示装置702内。在图7中示出的实施方式中,一个图像可以从较宽的FOV(即,较短的焦距)向较窄的FOV(即,较大的焦距)显示,例如,从具有较宽视图的图像704向具有较大视图的图像710显示。
在一些实施方式中,可以预定显示由具有较宽FOV的第一光学模块所捕捉并因此具有宽视图的第一图像和由具有较窄FOV的第二光学模块所捕捉并因此具有放大视图的第二图像的顺序。备选地,显示第一图像和第二图像的顺序可以由用户选择。举例来说,根据***默认设置,具有宽视图的第一图像704可以首先显示在显示装置702上。任选地,用户可以通过操作提供在显示装置702上的一个或多个按钮或者通过触摸显示在显示装置702上的一个或多个软按钮,将显示改变为具有放大视图的第二图像。
在一些实施方式中,要显示的第一图像和/或第二图像可以是由第一光学模块和/或第二光学模块捕捉的图像的子集或部分。要显示的第一图像和/或第二图像的子集或部分可以由用户选择。在一些实施方式中,用户可以增大(放大)或减小(缩小)所显示的第一图像或第二图像。举例来说,如果用户希望查看较大的视图或较宽的视图,那么用户可以通过操作提供在显示装置702上的一个或多个按钮来增大(放大)或减小(缩小)第一图像或第二图像。任选地,用户可以通过触摸显示在显示装置702上的一个或多个软按钮来增大(放大)或减小(缩小)第一图像或第二图像。用户可以选择第一图像或第二图像的要显示的部分。
在一些实施方式中,第一光学模块的FOV角度范围可以与第二光学模块的FOV角度范围重叠。举例来说,第一光学模块可以具有94.5°到12.4°的FOV角范围,所述角范围对应于20mm到200mm的焦距范围,而第二光学模块可以具有23.3°到6.19°的FOV角范围,所述角范围对应于105mm至600mm的焦距范围。在这个示例中,第一光学模块的FOV范围和第二光学模块的FOV范围可以从23.3°至12.4°重叠,所述范围对应于105mm到200mm的焦距范围的重叠。在一些实施方式中,第一图像704起初可以显示在显示装置702上,所述第一图像由具有较宽FOV的第一光学模块捕捉并因此具有宽视图。用户可以接着通过诸如按下提供在显示装置702上的按钮、触摸显示在显示装置702上的软按键或在显示装置702的多点触摸屏幕上滑动等操作来循序查看更大的图像,诸如图像706、708以及710。
在第一光学模块和第二光学模块的重叠FOV范围中,对由第一光学模块捕捉的第一图像的显示可以通过软切换而切换到对由第二光学模块捕捉的第二图像的显示。在一些情况下,在如上文所讨论的实施方式的23.3°到12.4°的重叠FOV范围中,来自第一光学模块和第二光学模块的图像数据可以通过加权的方式进行处理以生成要在显示装置上显示的图像数据。通过软切换,用户可能注意不到从显示第一图像向显示第二图像的转变。用户可以体验来自成像***的94.5°到6.19°的宽广且连续的FOV范围(所述范围对应于20mm到600mm的焦距范围),所述成像***包含具有94.5°到12.4°的FOV角范围的第一光学模块和具有23.3°到6.19°的FOV角范围的第二光学模块。
备选地,第一光学模块的FOV角度范围可以与第二光学模块的FOV角度范围不重叠。举例来说,第一光学模块可以具有94.5°到23.3°的FOV角范围,所述角范围对应于20mm到105mm的焦距范围,而第二光学模块可以具有12.4°到6.19°的FOV角范围,所述角范围对应于200mm到600mm的焦距范围。第一光学模块和第二光学模块的FOV角度范围在23.3°到12.4°的范围上可以不重叠,所述范围对应于105mm到200mm的焦距范围。
在第一光学模块和第二光学模块的不重叠的FOV范围中,对由第一光学模块捕捉的第一图像的显示可以通过插值算法切换到对由第二光学模块捕捉的第二图像的显示。在一些实施方式中,插值算法可以是三次插值。备选地,插值算法可以是双线性插值。通过插值算法,可以计算和显示不重叠的FOV范围中遗漏的图像;因此,用户可能注意不到从显示第一图像向显示第二图像的转变。用户可以体验来自成像***的94.5°到6.19°的宽广且连续的FOV范围(所述范围对应于20mm到600mm的焦距范围),所述成像***包含具有94.5°到23.3°的FOV角范围的第一光学模块和具有12.4°到6.19°的FOV角范围的第二光学模块。
通过本发明的配置,当对第一图像的显示转变成对第二图像的显示时,用户可以体验连续的变焦效果。在本发明的具有多个光学模块的成像***的情况下,当放大和缩小时,对于相同的场景可以捕捉一组连续图像,但正在捕捉当前图像的光学模块可以视FOV范围或焦距范围而切换。举例来说,起初可以使用第一光学模块来捕捉场景的图像,但是继而随着放大,可以达到第一模块的最大FOV或焦距,并且成像***可以切换到第二光学模块,然后可以切换到第三光学模块。成像***的重心可以不显著改变,这有助于携带成像***的可移动物体或静止物体的稳定操作。
如上文参看图2所讨论的,光学模块的FOV可以通过光学模块的镜头的焦距或图像传感器的大小来确定。如上文所讨论的成像***还可以通过包含具有不同焦距范围的两个光学模块来实现。可以选择或设计所述两个光学模块的焦距范围,以使得所述两个光学模块的FOV范围可以重叠或者可以不重叠,以产生相同的效果,诸如宽广且连续的FOV范围、连续变焦且稳定的操作。因此,上文所讨论的实施方式中关于光学模块的FOV角度范围的所有讨论可以等效地适用于光学模块的焦距范围。
图8是图示了根据本发明的实施方式的显示多个图像的方法的流程图。在步骤802中,可以由包含第一图像传感器的第一光学模块来捕捉第一图像。第一光学模块可以具有第一视野角度范围。如上文参看图2所讨论的,光学模块的FOV可以通过光学模块的镜头的焦距和图像传感器的大小来确定。因此,本实施方式的方法800还可以通过包含具有不同焦距范围的两个光学模块来实现。
在步骤804中,可以由包含第二图像传感器的第二光学模块来捕捉第二图像。在一些实施方式中,第二光学模块可以具有不同于第一视野角度范围的第二视野角度范围。在一些实施方式中,第一光学模块和第二光学模块中的至少一个可以是变焦镜头。备选地,第一光学模块和第二光学模块中的至少一个可以是定焦镜头。在一些实施方式中,第一光学模块的第一FOV角度范围或第一焦距范围可以与第二光学模块的第二FOV角度范围或第二焦距范围重叠。备选地,第一光学模块的第一FOV角度范围或第一焦距范围可以与第二光学模块的第二FOV角度范围或第二焦距范围不重叠。
在一些实施方式中,第一光学模块和第二光学模块可以被并置并且对准以从同一方向捕捉图像。在一些实施方式中,第一光学模块和第二光学模块的光轴可以平行,并且第一光学模块与第二光学模块之间的距离可以较小。在一些实施方式中,第一光学模块的光学镜头和第二光学模块的光学镜头可以是光学变焦型或数字变焦型的。
在步骤806中,可以从第一光学模块接收第一图像的图像数据,并且可以从第二光学模块接收第二图像的图像数据。在步骤808中,可以生成数据以在显示器内示出使用第一光学模块和第二光学模块捕捉的第一图像和第二图像。
在一些实施方式中,使用第一光学模块和第二光学模块捕捉的第一图像和第二图像中的一个图像可以显示在显示器内。在一些情况下,如果第一光学模块的第一视野角度范围或焦距范围与第二光学模块的第二视野角度范围重叠或第二焦距范围重叠,那么对第一图像的显示可以通过软切换而切换到对第二图像的显示;如果第一光学模块的第一视野角度范围或焦距范围与第二光学模块的第二视野角度范围重叠或第二焦距范围不重叠,那么对第一图像的显示可以通过插值算法切换到对第二图像的显示。
备选地,使用第一光学模块和第二光学模块捕捉的第一图像和第二图像均可显示在显示器内。在一些情况下,显示所述图像,以使得由具有较窄FOV或较大焦距范围的第二光学模块捕捉的第二图像可以显示在由具有较宽FOV或较小焦距范围的第一光学模块捕捉的第一图像内。在一些情况下,第二图像能够以第一图像内由用户选择的点为中心。
图9是图示了根据本发明的实施方式的显示多个图像的方法的流程图。
显示多个图像的方法900可以从闲置步骤902开始。在步骤904中,可以对是否从用户接收到捕捉指令进行判断。如果在步骤904中确定未从用户接收到捕捉指令,那么所述方法可以返回步骤902。如果在步骤904中确定从用户接收到捕捉指令,那么在步骤906中,可以设置图像显示模式。
图像显示模式可以至少包括单个图像显示模式和多个图像显示模式。在一些情况下,对于单个图像显示模式,图像显示模式还可以包括宽FOV显示模式和窄FOV显示模式。任选地,对于多个图像显示模式,图像显示模式还可以包括并排显示模式、上下显示模式、画中画(PIP)显示模式。在一些情况下,可以通过操作提供在成像***或显示装置上的一个或多个按钮来选择和输入图像显示模式。备选地,可以通过触摸显示在显示装置上的一个或多个软按钮来选择和输入图像显示模式。
在一些实施方式中,图像显示模式可以由用户在步骤906中设置。备选地,图像显示模式可以连同捕捉指令由用户在步骤904选择,因此在步骤906中,图像显示模式可以根据接收到的捕捉指令来设置。
一旦图像显示模式被设置,继而在步骤908中,可以根据图像显示模式选择一个或多个光学模块以捕捉图像。在一些实施方式中,所设置的图像显示模式可以是单个图像显示模式,用于显示由第一光学模块和第二光学模块捕捉的第一图像和第二图像中的一个图像。在这种情况下,可以选择第一光学模块和第二光学模块之一以捕捉图像。在一些情况下,所设置的图像显示模式可以是宽FOV显示模式,并且在步骤908中,可以选择第一光学模块和第二光学模块中具有较宽FOV的一个以在步骤908中捕捉图像。备选地,所设置的图像显示模式可以是窄FOV显示模式,并且在步骤908中,可以选择第一光学模块和第二光学模块中具有较窄FOV的一个以捕捉图像。在其它实施方式中,所设置的图像显示模式可以是多个图像显示模式,用于显示由第一光学模块和第二光学模块捕捉的第一图像和第二图像两者。在这种情况下,在步骤908中,可以既选择第一光学模块又选择第二光学模块以捕捉图像。
在步骤910中,可以从所选择的一个或多个光学模块接收图像数据。继而在步骤912中,可以对接收到的图像数据进行处理以生成经处理的图像数据。可以根据用户设置的图像显示模式对从所选择的一个或多个光学模块接收到的图像数据进行处理。
在一些实施方式中,所设置的图像数据可以是单个图像显示模式,用于显示由第一光学模块和第二光学模块捕捉的第一图像和第二图像中的一个图像。在步骤910中,可以从第一光学模块和第二光学模块之一接收图像数据,并且在步骤912中,可以对接收到的图像日期进行处理。在一些情况下,对图像数据的处理可以包括选择并裁剪由第一光学模块和第二光学模块之一捕捉的图像的部分,以使得仅有由第一光学模块和第二光学模块之一捕捉的图像的部分可以显示在显示装置上。
备选地,所设置的图像显示模式可以是多个图像显示模式,用于显示由第一光学模块和第二光学模块捕捉的第一图像和第二图像两者。在步骤910中,可以既从第一光学模块又从第二光学模块接收图像数据,并且在步骤912中,可以对接收到的图像数据进行处理。在一些情况下,对图像数据的处理可以包括将由第一光学模块和第二光学模块捕捉的第一图像和第二图像进行融合,以使得由具有较窄FOV的第二光学模块捕捉的第二图像在由具有较宽FOV的第一光学模块捕捉的第一图像内显示。
在步骤914中,经处理的图像数据可以输出到显示装置以供用户查看。继而,在步骤916中,可以对图像捕捉是否完成进行判断。如果在步骤916中确定图像捕捉完成,那么所述方法可以返回至闲置步骤902。如果在步骤916中确定图像捕捉未完成,那么所述方法可以进行至步骤906,其中用户可以再次设置图像显示模式以供进一步显示。
图10是图示了根据本发明实施方式的实现画中画(PIP)放大镜功能的方法的流程图。方法1000可以通过使用本发明的成像***来实现画中画(PIP)放大镜功能。举例来说,用户可以查看由第一光学模块和第二光学模块中具有较宽FOV的一个捕捉的图像,并在所显示的图像上选择兴趣点。基于用户的选择,可以通过引入第一光学模块和第二光学模块中具有较窄FOV的另一个来显示具有较大变焦比的另一图像。
在步骤1002中,由第一光学模块和第二光学模块中具有较宽FOV的一个光学模块捕捉的图像可以显示在显示装置上。继而在步骤1004中,可以对是否由用户设置兴趣点进行判断。兴趣点可以是当前所显示的图像的一点或一部分,在该兴趣点处,用户希望用较大变焦比来查看较多的细节。在一些实施方式中,用户可以通过操作提供在显示装置或成像***上的一个或多个按钮来选择和设置兴趣点。备选地,用户可以通过触摸显示在显示装置上的一个或多个软按钮来选择和设置兴趣点。在一些情况下,如果用于捕捉当前所显示的图像的光学模块包含变焦型镜头,那么用户可以在设置兴趣点的过程期间通过改变光学模块的光学镜头的焦距来在当前所显示的图像中进行增大或放大。任选地,在设置兴趣点的过程期间,用户可以在当前所显示的图像中进行数字增大或数字式放大。
如果在步骤1004中确定兴趣点未由用户设置,那么所述方法可以返回至步骤1002,并继续显示由具有较宽FOV的光学模块捕捉的图像。如果在步骤1004中确定兴趣点已由用户设置,那么在步骤1006中,可以选择具有窄FOV的光学模块,并且可以开启画中画(PIP)模式。在一些情况下,如果本发明的成像***中仅提供两个光学模块,则可以省略在步骤1006中选择具有窄FOV的光学模块的程序。备选地,如果本发明的成像***中提供不止两个光学模块,那么在步骤1006中,可以选择具有适当的FOV范围或焦距范围(即,适当的变焦比)的光学模块。
在步骤1008中,可以对由具有较宽视野的第一光学模块捕捉的第一图像和由具有较窄视野的第二光学模块捕捉的第二图像进行处理,以生成经处理的图像数据。在一些实施方式中,所述处理可以包括将由第一光学模块和第二光学模块捕捉的第一图像和第二图像进行融合,以使得由具有较窄FOV的第二光学模块捕捉的第二图像在由具有较宽FOV的第一光学模块捕捉的第一图像内显示。在一些情况下,第二图像在第一图像内的位置、大小和/或形状可以预定。任选地,第二图像在第一图像内的位置、大小和形状可以由用户调整。
在步骤1010中,可以将在步骤1008中生成的经处理的图像数据输出到显示装置以供用户预览,并且可以对预览是否完成进行确定。在一些实施方式中,如所显示的,用户可以预览第一图像和第二图像,并且可以调整第二图像在第一图像内的位置、大小和/或形状。举例来说,用户可以通过在显示装置上拖动第二图像来调整第二图像在第一图像内的位置、大小和/或形状,所述显示装置可以是交互式屏幕。
如果在步骤1010中进行的确定是预览未完成,那么所述方法可以返回到步骤1004,在该步骤中可以再次选择兴趣点。否则,如果在步骤1010中进行的确定是预览已完成,那么在步骤1012中,由具有较窄FOV的第二光学模块捕捉的第二图像可以PIP模式在由具有较宽FOV的第一光学模块捕捉的第一图像内显示。从第二图像中,用户可以观察场景的较多细节,因为第二图像由具有较窄FOV的第二光学模块捕捉,较窄FOV意味着较大的焦距范围和较大的变焦比。在一些实施方式中,方法1000还可以包括步骤1012之后的可选步骤,在所述可选步骤中,可以交换以PIP模式示出的第一图像和第二图像,以使得由具有较宽FOV的第一光学模块捕捉的第一图像可以在由具有较窄FOV的第二光学模块捕捉的第二图像内显示。
在一些实施方式中,步骤1010可以是可选的。举例来说,用户可以不预览第一图像和第二图像,并且在步骤1008中生成的经处理的图像数据可以直接以PIP模式显示。在一些实施方式中,方法1000还可以包括步骤1012之后的步骤,在所述步骤中,PIP显示模式可以关闭,而可以单独显示具有较宽FOV的图像。备选地,在步骤1012之后的步骤中,PIP显示模式可以关闭,而可以单独显示具有较窄FOV的图像。
在一些实施方式中,第一光学模块和第二光学模块中的至少一个可以是变焦镜头。备选地,第一光学模块和第二光学模块中至少一个可以是定焦镜头。举例来说,第一光学模块可以是定焦镜头而第二光学模块可以是变焦镜头。在这种情况下,由具有变化的FOV或焦距的第二光学模块捕捉的第二图像可以在由具有固定的FOV或焦距的第一光学模块捕捉的第一图像内显示。第二图像可以第一图像内由用户选择的点为中心。任选地,仅可以显示由第一光学模块和第二光学模块捕捉的第一图像和第二图像中的一个图像。
关于另一实例,第一光学模块和第二光学模块均可为定焦镜头。在这种情况下,由具有较窄FOV或较大焦距的第二光学模块捕捉的、具有较大变焦比的第二图像可以在由具有较宽FOV或较小焦距的第一光学模块捕捉的、具有较小变焦比的第一图像内显示。第二图像可以第一图像内由用户选择的点为中心。任选地,仅可以显示由具有较宽FOV或较小焦距的第二光学模块捕捉的第一图像和由具有较窄FOV或较大焦距的第二光学模块捕捉的第二图像中的一个图像。
在上文所讨论的实施方式中,可以通过本发明的成像***来捕捉和显示图像。然而,成像***还可以用于捕捉和显示视频。在一些实施方式中,如上文所讨论的,可以显示由具有第一FOV范围或第一焦距范围的第一光学模块捕捉的第一视频和由具有第二FOV范围或第二焦距范围的第二光学模块捕捉的第二视频两者或其中之一。备选地,第一光学模块和第二光学模块其中之一可以捕捉图像,而第一光学模块和第二光学模块中的另一个可以捕捉视频。所捕捉的图像和视频两者或仅其中之一可以用如上文所讨论的方式来显示,
光学模块的数目可以不一定是两个。在一些实施方式中,本发明的成像***可以包含三个或更多个光学模块,所述光学模块被并置并且对准以从同一方向捕捉图像和/或视频。在这种情况下,可以如上文所讨论的方式选择性地显示由多个光学模块捕捉的、任意数目的多个图像和/或视频。在一些情况下,可以提供对由四个并置的光学模块捕捉的四个图像和/或视频的预览。一个、两个、三个或四个图像和/或视频可以由用户选择并根据预定的格局或用户自定义的格局而显示在显示装置上。
本发明的具有多个光学模块的成像***可以特别地适合于诸如无人飞行器等飞行器。
在一些情况下,多个光学模块可以是轻重量的;因此,无人飞行器上的一个或多个附加的光学模块可以不向无人飞行器增加大负荷或者对无人飞行器的灵活性和寿命产生不利影响。在一些情况下,与诸如具有一组光学镜头的变焦型光学模块等传统光学模块相比,多个光学模块的尺寸可以较小。举例来说,假如具有20mm到600mm的焦距范围(所述范围对应于94.5°到6.19°的FOV角范围)的传统光学模块被本发明的具有两个光学模块的成像***替代,则第一光学模块可以例如具有20mm到200mm的焦距范围(所述范围对应于94.5°到12.4°的FOV角范围),而第二光学模块可以例如具有105mm到600mm的焦距范围(所述范围对应于23.3°到6.19°的FOV角范围)。第一光学模块和第二光学模块的尺寸可以小于具有较大焦距范围的传统光学模块,因为所述组光学镜头所需的相对移动距离由于焦距范围变小而可以变短。在一些情况下,当光学模块在推进和拉远时,由于相应的光学模块的一组光学镜头所需的移动距离变小,所以携带本发明的成像***的无人飞行器的重心可以不显著改变。
携带本发明的具有多个光学模块的成像***的无人飞行器可以帮助用户进行图像查看和/或视频查看。在一些情况下,用户可以通过具有适中的焦距或焦距范围的第一光学模块来查看由无人飞行器捕捉的场景的图像和/或视频。如果用户对于如所显示的场景的一部分具有特定的兴趣,那么用户可以通过具有较大焦距或焦距范围的第二光学模块来查看兴趣点或场景的部分的放大图。多个光学模块可以提供于无人飞行器上,以使得用户可以通过切换到具有更大焦距或焦距范围的另外光学模块来查看场景的更多细节。如上文所讨论的,由于加权处理或插值算法的优点,用户可以注意不到从由第一光学模块捕捉的图像和或视频向由第二或甚至第三或另外的光学模块捕捉的图像和或视频的转变。同时,由于相应的光学模块的一组光学镜头所需的移动距离相对较小,所以当光学模块在推进和拉远时,无人飞行器的重心可以不显著改变。
携带本发明的具有多个光学模块的成像***的无人飞行器可以提供与用户之间的更多交互操作。在一些情况下,用户可以查看由四处飞行的无人飞行器捕捉的图像和/或视频,并且选择所显示的图像和/或视频上的兴趣点或兴趣部分。可以通过操作提供在显示装置上或无人飞行器上的按钮来实现对兴趣点或兴趣部分的选择。备选地,可以通过触摸显示在远程终端的屏幕上的软按钮来实现对兴趣点的选择。任选地,可以通过由用户的多个手指触摸远程终端的屏幕来实现对兴趣部分的选择。用户可以在初始图像上选择要进一步显示的兴趣点或兴趣部分的期望的变焦比、FOV和/或焦距。任选地,用户可以在初始图像上选择要进一步显示的兴趣点或兴趣部分的位置、大小、形状和/或格局。
本文中所描述的***、装置以及方法可以适用于多种物体,包括可移动物体和静止物体。如前文所述,本文中对飞行器(诸如无人飞行器)的任何描述可以适用于以及用于任何可移动物体。本文中对飞行器的任何描述可具体适用于无人飞行器。本发明的可移动物体可被配置成用于在任何合适的环境内移动,诸如在空中(例如,固定翼飞行器、旋翼飞行器,或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如,船舶或潜艇)、在地面上(例如,机动车,诸如轿车、卡车、公交车、厢式货车、摩托车、自行车;可移动构造物或框架,诸如棒状物、钓鱼竿;或者火车)、在地下(例如,地铁)、在太空中(例如,航天飞机、卫星或探测器),或者这些环境的任何组合。可移动物体可以是载具,诸如本文中其它各处所描述的载具。在一些实施方式中,可移动物体可以由诸如人类或动物等活体所携带,或者离开所述活体。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可以能够在环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)自由地移动。备选地,可移动物体的移动能够关于一个或多个自由度受到约束,诸如由预定路径、轨迹或方向约束。移动可以由诸如引擎或马达等任何合适的致动机构来致动。可移动物体的致动机构可以由任何合适的能源提供动力,所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以经由动力***自推进,如本文中其它各处所描述。所述动力***可以任选地依靠能源运行,所述能源诸如电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。备选地,可移动物体可以由生物携带。
在一些情况下,可移动物体可以是飞行器。举例来说,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋翼飞行器(例如,直升机、旋翼飞机)、同时具有固定翼和旋翼的飞行器,或者既无固定翼又无旋翼的飞行器(例如,飞艇、热气球)。飞行器可以是自推进式的,诸如在空中自推进。自推进式飞行器可以利用动力***,诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力***。在一些情况下,动力***可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或方向(例如,悬停)、改变方向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。可移动物体可以经由单独载具内的乘员来遥控。在一些实施方式中,可移动物体是无人的可移动物体,诸如无人飞行器。无人的可移动物体,诸如无人飞行器,可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制***(例如,计算机控制***)或者其任何合适组合来控制。可移动物体可以是自主式或半自主式机器人,诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中,可移动物体可以具有能容纳人类乘员于载具之内或之上的大小和/或尺寸。备选地,可移动物体可以具有比能够容纳人类乘员于载具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。备选地,可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下,可移动物体可以具有的最大尺寸(例如,长度、宽度、高度、直径、对角线)小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。最大尺寸可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。举例来说,可移动物体的相对的旋翼的轴之间的距离可以小于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地,相对的旋翼的轴之间的距离可以大于或等于约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,可移动物体可以具有小于100cm x 100cm x 100cm、小于50cmx 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地,可移动物体的总体积可以大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3
在一些实施方式中,可移动物体可以具有的占地面积(这可以指由可移动物体包围的横截面面积)小于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地,所述占地面积可以大于或等于约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2
在一些情况下,可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地,所述重量可以大于或等于约:1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体相对于所述可移动物体所携带的负荷可以较小。如本文中其它各处进一步详述,所述负荷可以包括搭载物和/或载体。在一些示例中,可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。在一些情况下,可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。任选地,载体重量与负荷重量之比可以大于、小于或等于约1:1。当需要时,可移动物体的重量与负荷重量之比可以小于或等于:1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地,可移动物体的重量与负荷重量之比还可以大于或等于:2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中,可移动物体可以具有低能耗。举例来说,可移动物体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下,可移动物体的载体可以具有低能耗。举例来说,所述载体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。任选地,可移动物体的搭载物可以具有低能耗,诸如小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。
图11图示了根据本发明的实施方式的无人飞行器(UAV)
1100。所述无人飞行器可以是如本文中所描述的可移动物体的示例,使电池组件放电的方法和设备可适用于所述可移动物体。无人飞行器1100可以包括具有四个旋翼1102、1104、1106和1108的动力***。可以提供任何数目的旋翼(例如,一个、两个、三个、四个、五个、六个或更多个)。无人飞行器的旋翼、旋翼组件或其它动力***可使无人飞行器能够悬停/保持位置、改变方向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度1110。举例来说,长度1110可以小于或等于2m,或者小于或等于5m。在一些实施方式中,长度1110可以在40cm到1m、10cm到2m或者5cm到5m的范围内。本文中对无人飞行器的任何描述可适用于可移动物体,诸如不同类型的可移动物体,并且反之亦然。无人飞行器可以使用如本文中所描述的辅助起飞***或方法。
在一些实施方式中,可移动物体可以被配置成用于携带负荷。负荷可以包括乘客、货物、设备、仪器等中的一种或多种。负荷可以提供在外壳内。外壳可以与可移动物体的外壳分离,或者是可移动物体的外壳的部分。备选地,负荷可以具备外壳,而可移动物体不具有外壳。备选地,负荷的一些部分或者整个负荷可以在不具有外壳的情况下提供。负荷可以相对于可移动物体刚性地固定。任选地,负荷可以是相对于可移动物体可以移动的(例如,相对于可移动物体可以平移或旋转)。如本文中其它各处所描述,负荷可以包括搭载物和/或载体。
在一些实施方式中,可移动物体、载体和搭载物相对于固定参考系(例如,周围环境)和/或相对于彼此的移动可以由终端来控制。终端可以是处于远离可移动物体、载体和/或搭载物的位置处的遥控装置。终端能够安置于支撑平台上或者固定至支撑平台。备选地,终端可以是手持式或可穿戴式装置。举例来说,终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适组合。终端可以包括用户接口,诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入能够用于与终端进行交互,诸如手动输入的命令、语音控制、手势控制或位置控制(例如,经由终端的移动、位置或倾斜)。
终端能够用于控制可移动物体、载体和/或搭载物的任何合适状态。举例来说,终端能够用于控制可移动物体、载体和/或搭载物相对于固定参考系和/或相对于彼此的位置和/或方向。在一些实施方式中,终端能够用于控制可移动物体、载体和/或搭载物的单独元件,诸如载体的致动组件、搭载物的传感器或者搭载物的发射体。终端可以包括适于与可移动物体、载体或搭载物中的一个或多个通信的无线通信装置。
终端可以包括用于查看可移动物体、载体和/或搭载物的信息的合适显示单元。举例来说,终端可被配置成用于显示可移动物体、载体和/或搭载物的信息,所述信息关于位置、平移速度、平移加速度、方向、角速度、角加速度或其任何合适的组合。在一些实施方式中,终端可以显示由搭载物提供的信息,诸如由功能性搭载物提供的数据(例如,由相机或其它图像捕捉装置记录的图像)。
任选地,同一终端可以同时控制可移动物体、载体和/或搭载物或者可移动物体、载体和/或搭载物的状态,以及接收和/或显示来自可移动物体、载体和/或搭载物的信息。举例来说,终端可以控制搭载物相对于环境的定位,同时显示由搭载物捕捉的图像数据,或者关于搭载物的位置的信息。备选地,不同的终端可以用于不同的功能。举例来说,第一终端可以控制可移动物体、载体和/或搭载物的移动或状态,而第二终端可以接收和/或显示来自可移动物体、载体和/或搭载物的信息。举例来说,第一终端可以用于控制搭载物相对于环境的定位,而第二终端显示由搭载物捕捉的图像数据。可以在可移动物体与同时控制可移动物体并接收数据的集成式终端之间,或者在可移动物体与同时控制可移动物体并接收数据的多个终端之间利用各种通信模式。举例来说,可以在可移动物体与同时控制可移动物体并接收来自可移动物体的数据的终端之间形成至少两种不同的通信模式。
图12图示了根据本发明的实施方式、包括载体1202和搭载物1204的可移动物体1200。虽然可移动物体1200被描绘为飞行器,但这样的描绘并不旨在为限制性的,并且如本文中先前所描述,可以使用任何合适类型的可移动物体。本领域技术人员将会理解,本文中在飞行器***的情景下所描述的任何实施方式能够适用于任何合适的可移动物体(例如,无人飞行器)。在一些情况下,可以在可移动物体1200上提供搭载物1204而无需载体1202。可移动物体1200可以包括动力机构1206、感测***1208和通信***1210。
如前文所述,动力机构1206可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁体或喷嘴中的一种或多种。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个动力机构。动力机构可以全都是同一类型。备选地,一个或多个动力机构可以是不同类型的动力机构。动力机构1206可以使用任何合适装置而安装在可移动物体1200上,所述合适装置诸如本文中其它各处所描述的支撑元件(例如,驱动轴)。动力机构1206可以安装在可移动物体1200的任何合适部分上,诸如顶部、底部、前面、后面、侧面或其合适组合。
在一些实施方式中,动力机构1206可以使可移动物体1200能够从表面垂直地起飞或者垂直地降落在表面上,而无需可移动物体1200的任何水平移动(例如,无需沿着跑道行进)。任选地,动力机构1206可以可操作地允许可移动物体1200以指定位置和/或方向悬停于空中。一个或多个动力机构1206可以独立于其它动力机构得到控制。备选地,动力机构1200可被配置成同时受到控制。举例来说,可移动物体1200可以具有多个水平定向的旋翼,所述旋翼可以为可移动物体提供升力和/或推力。可以致动多个水平定向的旋翼,以为可移动物体1200提供垂直起飞、垂直降落以及悬停的能力。在一些实施方式中,水平定向的旋翼中的一个或多个可以在顺时针方向上旋转,同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。举例来说,顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平定向的旋翼的旋转速率可独立地改变,以便控制由每个旋翼产生的升力和/或推力,从而调节可移动物体1200的空间布局、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。
感测***1208可以包括一个或多个传感器,所述传感器可以感测可移动物体1200的空间布局、速度和/或加速度(例如,关于多达三个平移自由度和多达三个旋转自由度)。一个或多个传感器可以包括全球定位***(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测***1208提供的感测数据可以用于控制可移动物体1200的空间布局、速度和/或定向(例如,使用合适的处理单元和/或控制模块,如下文所述)。备选地,感测***1208可以用于提供关于可移动物体周围环境的数据,诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信***1210支持经由无线信号1216与具有通信***1214的终端1212的通信。通信***1210、1214可以包括任何数目的适合无线通信的发射器、接收器和/或收发器。通信可以是单向通信,以使得数据只能在一个方向上传输。举例来说,单向通信可以仅涉及可移动物体1200向终端1212传输数据,或者反之亦然。数据可以从通信***1210的一个或多个发射器传输到通信***1212的一个或多个接收器,或者反之亦然。备选地,通信可以是双向通信,以使得数据能够在可移动物体1200与终端1212之间在两个方向上传输。双向通信可以涉及从通信***1210的一个或多个发射器向通信***1214的一个或多个接收器传输数据,并且反之亦然。
在一些实施方式中,终端1212可以向可移动物体1200、载体1202和搭载物1204中的一个或多个提供控制数据,以及从可移动物体1200、载体1202和搭载物1204中的一个或多个接收信息(例如,可移动物体、载体或搭载物的位置和/或运动信息;由搭载物感测的数据,诸如由搭载物相机捕捉的图像数据)。在一些情况下,来自终端的控制数据可以包括针对可移动物体、载体和/或搭载物的相对位置、移动、致动或控制的指令。举例来说,控制数据可以导致可移动物体的位置和/或方向的修改(例如,经由动力机构1206的控制),或者搭载物相对于可移动物体的移动(例如,经由载体1202的控制)。来自终端的控制数据可以导致对搭载物的控制,诸如对相机或其它图像捕捉装置的操作的控制(例如,拍摄静态或移动图片、推进或拉远、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下,来自可移动物体、载体和/或搭载物的通信可以包括来自一个或多个传感器(例如,感测***1208的或搭载物1204的传感器)的信息。通信可以包括来自一个或多个不同类型的传感器(例如,GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测信息。这样的信息可以关于可移动物体、载体和/或搭载物的位置(例如,位置、方向)、移动或加速度。来自搭载物的这样的信息可以包括由搭载物捕捉的数据或搭载物的感测状态。由终端1212提供并传输的控制数据可被配置成用于控制可移动物体1200、载体1202或搭载物1204中的一个或多个的状态。备选地或组合地,载体1202和搭载物1204还可以各自包括通信模块,所述通信模块被配置成用于与终端1212通信,以使得所述终端可独立地与可移动物体1200、载体1202和搭载物1204中的每一个通信并且对其进行控制。
在一些实施方式中,可移动物体1200可被配置成用于与除终端1212之外或代替终端1212的另一远程装置进行通信。终端1212也可被配置成用于与另一远程装置以及可移动物体1200进行通信。举例来说,可移动物体1200和/或终端1212可以与另一可移动物体或者另一可移动物体的载体或搭载物进行通信。当需要时,远程装置可以是第二终端或其它计算装置(例如,计算机、膝上型计算机、平板计算机、智能电话或其它移动装置)。远程装置可被配置成用于向可移动物体1200传输数据、从可移动物体1200接收数据、向终端1212传输数据和/或从终端1212接收数据。任选地,远程装置可以连接到因特网或其它电信网络,以使得从可移动物体1200和/或终端1212接收的数据能够上传到网站或服务器。
图13是以框图说明的根据本发明实施方式的用于控制可移动物体的***1300的示意图。***1300可以与本文中所公开的***、装置和方法的任何合适实施方式组合地使用。***1300可以包括感测模块1302、处理单元1304、非暂时性计算机可读介质1306、控制模块1308和通信模块1310。
感测模块1302可以利用以不同方式采集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。举例来说,所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如,激光雷达)或视觉/图像传感器(例如,相机)。感测模块1302可以可操作地耦合到具有多个处理器的处理单元1304。在一些实施方式中,感测模块可以可操作地耦合到传输模块1312(例如,Wi-Fi图像传输模块),所述传输模块被配置成用于向合适的外部装置或***直接传输感测数据。举例来说,传输模块1312可以用于向远程终端传输由感测模块1302的相机捕捉的图像。
处理单元1304可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理器(CPU))。处理单元1304可以可操作地耦合到非暂时性计算机可读介质1306。非暂时性计算机可读介质1306可以储存可由处理单元1304执行、用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如,可移动介质或外部存储,诸如SD卡或随机存取存储器(RAM))。在一些实施方式中,来自感测模块1302的数据可直接传送到并储存于非暂时性计算机可读介质1306的存储器单元内。非暂时性计算机可读介质1306的存储器单元可以储存可由处理单元1304执行以执行本文中所描述的方法的任何合适实施方式的逻辑、代码和/或程序指令。举例来说,处理单元1304可被配置成用于执行指令,所述指令使处理单元1304的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元1304处理的、来自感测模块的感测数据。在一些实施方式中,非暂时性计算机可读介质1306的存储器单元可以用于储存由处理单元1304产生的处理结果。
在一些实施方式中,处理单元1304可以可操作地耦合到控制模块908,所述控制模块被配置成用于控制可移动物体的状态。举例来说,控制模块908可被配置成用于控制可移动物体的动力机构以调节可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合地,控制模块1308可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元1304可以可操作地耦合到通信模块1310,所述通信模块被配置成用于传输数据和/或接收来自一个或多个外部装置(例如,终端、显示装置或其它遥控器)的数据。可以使用任何合适的通信手段,诸如有线通信或无线通信。举例来说,通信模块1310可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、Wi-Fi、点对点(P2P)网络、电信网络、云通信等中的一种或多种。任选地,可以使用中继站,诸如塔、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中,通信可能需要或者可能不需要视线。通信模块1310可以传输和/或接收来自感测模块1302的感测数据、由处理单元1304产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等中的一个或多个。
***1300的部件可以按任何合适的配置来布置。举例来说,***1300的一个或多个部件可以位于可移动物体、载体、搭载物、终端、感测***或与上述各物中的一个或多个进行通信的附加外部装置上。此外,虽然图13描绘了单个处理单元1304和单个非暂时性计算机可读介质1306,但本领域技术人员将会理解,这并不旨在为限制性的,并且***1300可以包括多个处理单元和/或非暂时性计算机可读介质。在一些实施方式中,多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置,诸如在可移动物体、载体、搭载物、终端、感测模块、与上述各物中的一个或多个进行通信的附加外部装置上或其合适的组合,以使得由***1300执行的处理和/或存储器功能的任何合适方面可以在一个或多个上述位置出现。
虽然本文中已经示出和描述了本发明的优选实施方式,但对于本领域技术人员显而易见的是,这些实施方式仅以示例的方式提供。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的过程中可以采用对本文中所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围,并因此覆盖这些权利要求内的方法和构造物及其等效项。

Claims (218)

1.一种适用于可移动物体或静止物体的成像***,包括:
包含第一图像传感器的第一光学模块,所述第一光学模块具有第一视野角度范围;
包含第二图像传感器的第二光学模块,所述第二光学模块具有第二视野角度范围,其中所述第一视野角度范围和所述第二视野角度范围不相同;以及
图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以在显示器内示出使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像;
其中,承载所述第一光学模块和所述第二光学模块的载体进行旋转,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
2.根据权利要求1所述的成像***,其中所述图像处理器被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像中的一个图像。
3.根据权利要求1所述的成像***,其中所述图像处理器被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像两者。
4.根据权利要求1所述的成像***,其中所述第一光学模块和所述第二光学模块被对准以从同一方向捕捉图像。
5.根据权利要求1所述的成像***,其中所述第一光学模块的光轴与所述第二光学模块的光轴平行。
6.根据权利要求1所述的成像***,其中所述第一光学模块和所述第二光学模块共用外壳。
7.根据权利要求1所述的成像***,其中所述第一光学模块包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块包含被配置成用于将光引导至所述第二图像传感器的第二镜头。
8.根据权利要求7所述的成像***,其中所述第一光学模块和所述第二光学模块中的至少一个被配置成用于进行光学变焦。
9.根据权利要求7所述的成像***,其中所述第一光学模块和所述第二光学模块被配置成用于进行数字变焦。
10.根据权利要求7所述的成像***,其中所述第一镜头或所述第二镜头中的至少一个为定焦镜头。
11.根据权利要求7所述的成像***,其中所述第一镜头或所述第二镜头中的至少一个为变焦镜头。
12.根据权利要求1所述的成像***,其中所述第一视野角度范围或所述第二视野角度范围包含多个视野角。
13.根据权利要求1所述的成像***,其中所述第一视野角度范围或所述第二视野角度范围包含单个视野角。
14.根据权利要求1所述的成像***,其中所述第一视野角度范围和所述第二视野角度范围不以同一点为中心,但重叠。
15.根据权利要求1所述的成像***,其中所述第一视野角度范围和所述第二视野角度范围不以同一点为中心,并且不重叠。
16.根据权利要求1所述的成像***,其中所述第一视野角度范围和所述第二视野角度范围以同一点为中心,并且重叠。
17.根据权利要求1所述的成像***,其中所述第一视野角度范围和所述第二视野角度范围以同一点为中心,但不重叠。
18.根据权利要求1所述的成像***,其中所述第一图像传感器和所述第二图像传感器具有相同的大小。
19.根据权利要求1所述的成像***,其中所述显示器是所述成像***的本地显示器并且连接到所述图像处理器。
20.根据权利要求1所述的成像***,其中所述显示器远离所述成像***。
21.根据权利要求1所述的成像***,其中所述第一视野角度范围包含比第二视野角度范围更宽的视野角。
22.根据权利要求21所述的成像***,其中显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像被显示于由具有较宽视野的所述第一光学模块捕捉的所述第一图像内。
23.根据权利要求22所述的成像***,其中所述第二图像以所述第一图像内由用户选择的点为中心。
24.根据权利要求23所述的成像***,其中所述第二光学模块进行旋转以使所述第二图像以所述用户所选择的所述点为中心。
25.根据权利要求22所述的成像***,其中在确定所显示的所述第二图像时考虑变焦比。
26.根据权利要求22所述的成像***,其中由用户选择在所述第一图像内显示的所述第二图像的大小。
27.根据权利要求22所述的成像***,其中所述第一图像的一部分被显示。
28.根据权利要求27所述的成像***,其中由用户选择所述第一图像的所述被显示部分。
29.根据权利要求22所述的成像***,其中所述第二图像的一部分被显示。
30.根据权利要求29所述的成像***,其中由用户选择所述第二图像的所述被显示部分。
31.根据权利要求21所述的成像***,其中显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较宽视野的所述第一光学模块捕捉的第一图像进行组合而获得。
32.根据权利要求31所述的成像***,其中通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。
33.根据权利要求32所述的成像***,其中所述插值算法为三次插值或双线性插值。
34.根据权利要求31所述的成像***,其中所述第二图像以所述第一图像内由用户选择的点为中心。
35.根据权利要求34所述的成像***,其中所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体进行旋转,以使所述第二图像以所述用户所选择的所述点为中心。
36.根据权利要求31所述的成像***,其中由用户选择在所述第三图像内显示的所述第二图像的大小。
37.根据权利要求21所述的成像***,其中由具有较窄视野的所述第一光学模块捕捉的第一图像和由具有较宽视野的所述第二光学模块捕捉的第二图像中的一个图像被显示在所述显示器上。
38.根据权利要求37所述的成像***,其中所述第一图像和所述第二图像中的所述一个图像的一部分被显示在所述显示器上。
39.根据权利要求38所述的成像***,其中由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。
40.根据权利要求37所述的成像***,其中所述第一视野角度范围与所述第二视野角度范围重叠。
41.根据权利要求40所述的成像***,其中通过软切换将所述第一图像的显示切换到所述第二图像的显示。
42.根据权利要求37所述的成像***,其中所述第一视野角度范围与所述第二视野角度范围不重叠。
43.根据权利要求42所述的成像***,其中通过插值算法将所述第一图像的显示切换到所述第二图像的显示。
44.根据权利要求43所述的成像***,其中所述插值算法为三次插值或双线性插值。
45.一种无人飞行器(UAV),其包括被配置成用于实现所述无人飞行器的移动的一个或多个动力单元;以及根据权利要求1至44中任一项所述的成像***。
46.一种显示多个图像的方法,所述方法包括:
在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一视野角度范围;
在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二视野角度范围,其中所述第一视野角度范围和所述第二视野角度范围不相同;
从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;以及
生成数据以在显示器内示出所述第一图像和/或所述第二图像;
其中,旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
47.根据权利要求46所述的方法,其中生成数据以在显示器内示出所述第一图像和/或所述第二图像包括生成数据以在所述显示器内示出所述第一图像和所述第二图像中的一个图像。
48.根据权利要求46所述的方法,其中生成数据以在显示器内示出所述第一图像和/或所述第二图像包括生成数据以在所述显示器内示出所述第一图像和所述第二图像两者。
49.根据权利要求46所述的方法,其中将所述第一光学模块和所述第二光学模块对准以从同一方向捕捉图像。
50.根据权利要求46所述的方法,其中所述第一光学模块的光轴与所述第二光学模块的光轴平行。
51.根据权利要求46所述的方法,其中所述第一光学模块和所述第二光学模块共用外壳。
52.根据权利要求46所述的方法,其中所述第一光学模块包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块包含被配置成用于将光引导至所述第二图像传感器的第二镜头。
53.根据权利要求52所述的方法,其中对所述第一光学模块和所述第二光学模块中的至少一个进行配置以进行光学变焦。
54.根据权利要求52所述的方法,其中对所述第一光学模块和所述第二光学模块进行配置以进行数字变焦。
55.根据权利要求52所述的方法,其中所述第一镜头或所述第二镜头中的至少一个为定焦镜头。
56.根据权利要求52所述的方法,其中所述第一镜头或所述第二镜头中的至少一个为变焦镜头。
57.根据权利要求46所述的方法,其中所述第一视野角度范围或所述第二视野角度范围包含多个视野角。
58.根据权利要求46所述的方法,其中所述第一视野角度范围或所述第二视野角度范围包含单个视野角。
59.根据权利要求46所述的方法,其中所述第一视野角度范围和所述第二视野角度范围不以同一点为中心,但重叠。
60.根据权利要求46所述的方法,其中所述第一视野角度范围和所述第二视野角度范围不以同一点为中心,并且不重叠。
61.根据权利要求46所述的方法,其中所述第一视野角度范围和所述第二视野角度范围以同一点为中心,并且重叠。
62.根据权利要求46所述的方法,其中所述第一视野角度范围和所述第二视野角度范围以同一点为中心,但不重叠。
63.根据权利要求46所述的方法,其中所述第一图像传感器和所述第二图像传感器具有相同的大小。
64.根据权利要求46所述的方法,其中所述显示器是本地显示器。
65.根据权利要求46所述的方法,其中所述显示器是远程显示器。
66.根据权利要求46所述的方法,其中所述第一视野角度范围包含比第二视野角度范围更宽的视野角。
67.根据权利要求66所述的方法,其中显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像被显示于由具有较宽视野的所述第一光学模块捕捉的所述第一图像内。
68.根据权利要求67所述的方法,其中所述第二图像以所述第一图像内由用户选择的点为中心。
69.根据权利要求68所述的方法,还包括旋转所述第二光学模块,以使所述第二图像以所述用户所选择的所述点为中心。
70.根据权利要求67所述的方法,其中在确定所显示的所述第二图像时考虑变焦比。
71.根据权利要求67所述的方法,其中由用户选择在所述第一图像内显示的所述第二图像的大小。
72.根据权利要求67所述的方法,其中显示所述第一图像的一部分。
73.根据权利要求72所述的方法,其中由用户选择所述第一图像的所述被显示部分。
74.根据权利要求67所述的方法,其中显示所述第二图像的一部分。
75.根据权利要求74所述的方法,其中由用户选择所述第二图像的所述被显示部分。
76.根据权利要求66所述的方法,其中显示所述图像,使得由具有较窄视野的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较宽视野的所述第一光学模块捕捉的第一图像进行组合而获得。
77.根据权利要求76所述的方法,其中通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。
78.根据权利要求77所述的方法,其中所述插值算法为三次插值或双线性插值。
79.根据权利要求76所述的方法,其中所述第二图像以所述第一图像内由用户选择的点为中心。
80.根据权利要求79所述的方法,还包括旋转所述第二光学模块或者旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以所述用户所选择的所述点为中心。
81.根据权利要求76所述的方法,其中由用户选择在所述第三图像内显示的所述第二图像的大小。
82.根据权利要求66所述的方法,其中在所述显示器上显示由具有较宽视野的所述第一光学模块捕捉的第一图像和由具有较窄视野的所述第二光学模块捕捉的第二图像中的一个图像。
83.根据权利要求82所述的方法,其中在所述显示器上显示所述第一图像和所述第二图像中的所述一个图像的一部分。
84.根据权利要求83所述的方法,其中由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。
85.根据权利要求82所述的方法,其中所述第一视野角度范围与所述第二视野角度范围重叠。
86.根据权利要求85所述的方法,其中通过软切换将所述第一图像的显示切换到所述第二图像的显示。
87.根据权利要求82所述的方法,其中所述第一视野角度范围与所述第二视野角度范围不重叠。
88.根据权利要求87所述的方法,其中通过插值算法将所述第一图像的显示切换到所述第二图像的显示。
89.根据权利要求88所述的方法,其中所述插值算法为三次插值或双线性插值。
90.一种适用于可移动物体或静止物体的成像***,包括:
包含第一图像传感器的第一光学模块,所述第一光学模块具有第一焦距范围;
包含第二图像传感器的第二光学模块,所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;以及
图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以在显示器内示出使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像;
其中,承载所述第一光学模块和所述第二光学模块的载体进行旋转,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
91.根据权利要求90所述的成像***,其中所述图像处理器被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像中的一个图像。
92.根据权利要求90所述的成像***,其中所述图像处理器被配置成用于生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像两者。
93.根据权利要求90所述的成像***,其中所述第一光学模块和所述第二光学模块被对准以从同一方向捕捉图像。
94.根据权利要求90所述的成像***,其中所述第一光学模块的光轴与所述第二光学模块的光轴平行。
95.根据权利要求90所述的成像***,其中所述第一光学模块和所述第二光学模块共用外壳。
96.根据权利要求90所述的成像***,其中所述第一光学模块包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块包含被配置成用于将光引导至所述第二图像传感器的第二镜头。
97.根据权利要求96所述的成像***,其中所述第一光学模块和所述第二光学模块中的至少一个被配置成用于进行光学变焦。
98.根据权利要求96所述的成像***,其中所述第一光学模块和所述第二光学模块被配置成用于进行数字变焦。
99.根据权利要求96所述的成像***,其中所述第一镜头或所述第二镜头中的至少一个为定焦镜头。
100.根据权利要求96所述的成像***,其中所述第一镜头或所述第二镜头中的至少一个为变焦镜头。
101.根据权利要求90所述的成像***,其中所述第一焦距范围或所述第二焦距范围包含多个焦距。
102.根据权利要求90所述的成像***,其中所述第一焦距范围或所述第二焦距范围包含单个焦距。
103.根据权利要求90所述的成像***,其中所述第一焦距范围和所述第二焦距范围重叠。
104.根据权利要求90所述的成像***,其中所述第一焦距范围和所述第二焦距范围不重叠。
105.根据权利要求90所述的成像***,其中由所述第一光学模块捕捉的第一图像和由所述第二光学模块捕捉的第二图像不以同一点为中心。
106.根据权利要求90所述的成像***,其中由所述第一光学模块捕捉的第一图像和由所述第二光学模块捕捉的第二图像以同一点为中心。
107.根据权利要求90所述的成像***,其中所述第一图像传感器和所述第二图像传感器具有相同的大小。
108.根据权利要求90所述的成像***,其中所述显示器是所述成像***的本地显示器并且连接到所述图像处理器。
109.根据权利要求90所述的成像***,其中所述显示器远离所述成像***。
110.根据权利要求90所述的成像***,其中所述第二焦距范围包含比所述第一焦距范围更大的焦距范围。
111.根据权利要求110所述的成像***,其中显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像在由具有较小焦距范围的所述第一光学模块捕捉的第一图像内显示。
112.根据权利要求111所述的成像***,其中所述第二图像以所述第一图像内由用户选择的点为中心。
113.根据权利要求112所述的成像***,其中所述第二光学模块进行旋转以使所述第二图像以所述用户所选择的所述点为中心。
114.根据权利要求111所述的成像***,其中在确定所显示的所述第二图像时考虑变焦比。
115.根据权利要求111所述的成像***,其中由用户选择在所述第一图像内显示的所述第二图像的大小。
116.根据权利要求111所述的成像***,其中所述第一图像的一部分被显示。
117.根据权利要求116所述的成像***,其中由用户选择所述第一图像的所述被显示部分。
118.根据权利要求111所述的成像***,其中所述第二图像的一部分被显示。
119.根据权利要求118所述的成像***,其中由用户选择所述第二图像的所述被显示部分。
120.根据权利要求110所述的成像***,其中显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较小焦距范围的所述第一光学模块捕捉的第一图像进行组合而获得。
121.根据权利要求120所述的成像***,其中通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。
122.根据权利要求121所述的成像***,其中所述插值算法为三次插值或双线性插值。
123.根据权利要求120所述的成像***,其中所述第二图像以所述第一图像内由用户选择的点为中心。
124.根据权利要求90所述的成像***,其中所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体进行旋转,以使所述第二图像以所述用户所选择的所述点为中心。
125.根据权利要求120所述的成像***,其中由用户选择在所述第三图像内显示的所述第二图像的大小。
126.根据权利要求110所述的成像***,其中由具有较小焦距范围的所述第一光学模块捕捉的第一图像和由具有较大焦距范围的所述第二光学模块捕捉的第二图像中的一个图像被显示在所述显示器上。
127.根据权利要求126所述的成像***,其中所述第一图像和所述第二图像中的所述一个图像的一部分被显示在所述显示器上。
128.根据权利要求127所述的成像***,其中由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。
129.根据权利要求126所述的成像***,其中所述第一焦距范围和所述第二焦距范围重叠。
130.根据权利要求129所述的成像***,其中通过软切换将所述第一图像的显示切换到所述第二图像的显示。
131.根据权利要求126所述的成像***,其中所述第一焦距范围和所述第二焦距范围不重叠。
132.根据权利要求131所述的成像***,其中通过插值算法将所述第一图像的显示切换到所述第二图像的显示。
133.根据权利要求132所述的成像***,其中所述插值算法为三次插值或双线性插值。
134.一种无人飞行器(UAV),其包括被配置成用于实现所述无人飞行器的移动的一个或多个动力单元;以及根据权利要求90至133中任一项所述的成像***。
135.一种显示多个图像的方法,所述方法包括:
在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一焦距范围;
在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;
从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;以及
生成数据以在显示器内示出所述第一图像和/或所述第二图像;
其中,旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
136.根据权利要求135所述的方法,其中生成数据以在显示器内示出所述第一图像和/或所述第二图像包括生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像中的一个图像。
137.根据权利要求135所述的方法,其中生成数据以在显示器内示出所述第一图像和/或所述第二图像包括生成数据以在所述显示器内示出使用所述第一光学模块和所述第二光学模块捕捉的所述第一图像和所述第二图像两者。
138.根据权利要求135所述的方法,其中将所述第一光学模块和所述第二光学模块对准以从同一方向捕捉图像。
139.根据权利要求135所述的方法,其中所述第一光学模块的光轴与所述第二光学模块的光轴平行。
140.根据权利要求135所述的方法,其中所述第一光学模块和所述第二光学模块共用外壳。
141.根据权利要求135所述的方法,其中所述第一光学模块包含被配置成用于将光引导至所述第一图像传感器的第一镜头,并且所述第二光学模块包含被配置成用于将光引导至所述第二图像传感器的第二镜头。
142.根据权利要求141所述的方法,其中对所述第一光学模块和所述第二光学模块中的至少一个进行配置以进行光学变焦。
143.根据权利要求141所述的方法,其中对所述第一光学模块和所述第二光学模块进行配置以进行数字变焦。
144.根据权利要求141所述的方法,其中所述第一镜头或所述第二镜头中的至少一个为定焦镜头。
145.根据权利要求141所述的方法,其中所述第一镜头或所述第二镜头中的至少一个为变焦镜头。
146.根据权利要求135所述的方法,其中所述第一焦距范围或所述第二焦距范围包含多个焦距。
147.根据权利要求135所述的方法,其中所述第一焦距范围或所述第二焦距范围包含单个焦距。
148.根据权利要求135所述的方法,其中所述第一焦距范围和所述第二焦距范围重叠。
149.根据权利要求135所述的方法,其中所述第一焦距范围和所述第二焦距范围不重叠。
150.根据权利要求135所述的方法,其中所述第一图像和所述第二图像不以同一点为中心。
151.根据权利要求135所述的方法,其中所述第一图像和所述第二图像以同一点为中心。
152.根据权利要求135所述的方法,其中所述第一图像传感器和所述第二图像传感器具有相同的大小。
153.根据权利要求135所述的方法,其中所述显示器是本地显示器。
154.根据权利要求135所述的方法,其中所述显示器是远程显示器。
155.根据权利要求135所述的方法,其中所述第二焦距范围包含比所述第一焦距范围更大的焦距范围。
156.根据权利要求155所述的方法,其中显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像被显示于由具有较小焦距范围的所述第一光学模块捕捉的第一图像内。
157.根据权利要求156所述的方法,其中所述第二图像以所述第一图像内由用户选择的点为中心。
158.根据权利要求157所述的方法,还包括旋转所述第二光学模块,以使所述第二图像以所述用户所选择的所述点为中心。
159.根据权利要求156所述的方法,其中在确定所显示的所述第二图像时考虑变焦比。
160.根据权利要求156所述的方法,其中由用户选择在所述第一图像内显示的所述第二图像的大小。
161.根据权利要求156所述的方法,其中显示所述第一图像的一部分。
162.根据权利要求161所述的方法,其中由用户选择所述第一图像的所述被显示部分。
163.根据权利要求156所述的方法,其中显示所述第二图像的一部分。
164.根据权利要求163所述的方法,其中由用户选择所述第二图像的所述被显示部分。
165.根据权利要求155所述的方法,其中显示所述图像,使得由具有较大焦距范围的所述第二光学模块捕捉的第二图像在第三图像内显示,所述第三图像通过将所述第二图像与由具有较小焦距范围的所述第一光学模块捕捉的第一图像进行组合而获得。
166.根据权利要求165所述的方法,其中通过插值算法将所述第二图像和所述第一图像进行组合以获得所述第三图像。
167.根据权利要求166所述的方法,其中所述插值算法为三次插值或双线性插值。
168.根据权利要求165所述的方法,其中所述第二图像以所述第一图像内由用户选择的点为中心。
169.根据权利要求168所述的方法,还包括旋转所述第二光学模块或者承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以所述用户所选择的所述点为中心。
170.根据权利要求165所述的方法,其中由用户选择在所述第三图像内显示的所述第二图像的大小。
171.根据权利要求155所述的方法,其中在所述显示器上显示由具有较小焦距范围的所述第一光学模块捕捉的第一图像和由具有较大焦距范围的所述第二光学模块捕捉的第二图像中的一个图像。
172.根据权利要求171所述的方法,其中在所述显示器上显示所述第一图像和所述第二图中的所述一个图像的一部分。
173.根据权利要求172所述的方法,其中由用户选择所述第一图像和所述第二图像中的所述一个图像的所述被显示部分。
174.根据权利要求171所述的方法,其中所述第一焦距范围和所述第二焦距范围重叠。
175.根据权利要求174所述的方法,其中通过软切换将所述第一图像的显示切换到所述第二图像的显示。
176.根据权利要求171所述的方法,其中所述第一焦距范围和所述第二焦距范围不重叠。
177.根据权利要求176所述的方法,其中通过插值算法将所述第一图像的显示切换到所述第二图像的显示。
178.根据权利要求177所述的方法,其中所述插值算法为三次插值或双线性插值。
179.一种无人飞行器(UAV),包括:
被配置成用于实现所述无人飞行器的飞行的一个或多个动力单元;
包含第一图像传感器的第一光学模块,所述第一光学模块具有第一视野角度范围;
包含第二图像传感器的第二光学模块,所述第二光学模块具有第二视野角度范围,其中所述第一视野角度范围和所述第二视野角度范围不相同;以及
图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以显示使用所述第一光学模块和/或所述第二光学模块捕捉的图像,
其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的所述一个或多个动力单元移动,旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
180.根据权利要求179所述的无人飞行器,其中所述图像处理器被配置成用于通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。
181.根据权利要求180所述的无人飞行器,其中根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。
182.根据权利要求179所述的无人飞行器,其中所述图像处理器被配置成用于从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。
183.根据权利要求182所述的无人飞行器,其中从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
184.根据权利要求179所述的无人飞行器,其中所述无人飞行器是多旋翼飞行器。
185.根据权利要求179所述的无人飞行器,其中所述第一光学模块和/或所述第二光学模块能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。
186.根据权利要求185所述的无人飞行器,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。
187.根据权利要求185所述的无人飞行器,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。
188.根据权利要求179所述的无人飞行器,其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的中央本体移动。
189.一种使用无人飞行器(UAV)采集图像数据的方法,所述方法包括:
使用一个或多个动力单元实现所述无人飞行器的飞行;
在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一焦距范围;
在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;
从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;
生成数据以显示所述第一图像和/或所述第二图像;以及
实现所述第一光学模块和/或所述第二光学模块相对于所述一个或多个动力单元的移动,其中,旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
190.根据权利要求189所述的方法,其中从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据包括通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。
191.根据权利要求190所述的方法,其中根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。
192.根据权利要求189所述的方法,其中从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据包括从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。
193.根据权利要求192所述的方法,其中从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
194.根据权利要求189所述的方法,其中所述无人飞行器是多旋翼飞行器。
195.根据权利要求189所述的方法,其中所述第一光学模块和/或所述第二光学模块能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。
196.根据权利要求195所述的方法,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。
197.根据权利要求195所述的方法,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。
198.根据权利要求189所述的方法,其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的中央本体移动。
199.一种无人飞行器(UAV),其包含:
被配置成用于实现所述无人飞行器的飞行的一个或多个动力单元;
包含第一图像传感器的第一光学模块,所述第一光学模块具有第一焦距范围;
包含第二图像传感器的第二光学模块,所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;以及
图像处理器,其被配置成用于:从所述第一光学模块接收第一图像的图像数据和/或从所述第二光学模块接收第二图像的图像数据,并生成数据以显示使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像,
其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的所述一个或多个动力单元移动,旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
200.根据权利要求199所述的无人飞行器,其中所述图像处理器被配置成用于通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。
201.根据权利要求200所述的无人飞行器,其中根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。
202.根据权利要求199所述的无人飞行器,其中所述图像处理器被配置成用于从所述第一光学模块和所述第二光学模块接收图像数据,以及所述图像数据存储在对应缓冲器中。
203.根据权利要求202所述的无人飞行器,其中从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
204.根据权利要求199所述的无人飞行器,其中所述无人飞行器是多旋翼飞行器。
205.根据权利要求199所述的无人飞行器,其中所述第一光学模块和/或所述第二光学模块能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。
206.根据权利要求205所述的无人飞行器,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。
207.根据权利要求205所述的无人飞行器,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。
208.根据权利要求199所述的无人飞行器,其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的中央本体移动。
209.一种使用无人飞行器(UAV)采集图像数据的方法,所述方法包括:
使用一个或多个动力单元实现所述无人飞行器的飞行;
在包含第一图像传感器的第一光学模块处捕捉第一图像,其中所述第一光学模块具有第一焦距范围;
在包含第二图像传感器的第二光学模块处捕捉第二图像,其中所述第二光学模块具有第二焦距范围,其中所述第一焦距范围和所述第二焦距范围不相同;
从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据;
生成数据以显示使用所述第一光学模块和/或所述第二光学模块捕捉的所述第一图像和/或所述第二图像;以及
实现所述第一光学模块和/或所述第二光学模块相对于所述一个或多个动力单元的移动,旋转承载所述第一光学模块和所述第二光学模块的载体,以使所述第二图像以用户所选择的点为中心,并减小成像***重心的改变。
210.根据权利要求209所述的方法,其中从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据包括通过实现硬件切换技术而选择性地从所述第一光学模块或所述第二光学模块接收图像数据。
211.根据权利要求210所述的方法,其中根据目标变焦比的外部指令来实现对所述第一光学模块或所述第二光学模块的选择。
212.根据权利要求209所述的方法,其中从所述第一光学模块接收所述第一图像的图像数据和/或从所述第二光学模块接收所述第二图像的图像数据包括从所述第一光学模块和所述第二光学模块接收图像数据,以及将所述图像数据存储在对应缓冲器中。
213.根据权利要求212所述的方法,其中从所述对应缓冲器读取所述图像数据并根据目标变焦比的外部指令对所述图像数据进行处理。
214.根据权利要求209所述的方法,其中所述无人飞行器是多旋翼飞行器。
215.根据权利要求209所述的方法,其中所述第一光学模块和/或所述第二光学模块能够经由支撑所述第一光学模块和所述第二光学模块的载体而相对于所述无人飞行器的所述一个或多个动力单元移动。
216.根据权利要求215所述的方法,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少一个轴线而旋转。
217.根据权利要求215所述的方法,其中所述载体允许所述第一光学模块和/或所述第二光学模块围绕至少两个轴线而旋转。
218.根据权利要求209所述的方法,其中所述第一光学模块和/或所述第二光学模块能够相对于所述无人飞行器的中央本体移动。
CN201580078917.6A 2015-04-20 2015-04-20 成像*** Active CN107534724B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/076998 WO2016168976A1 (en) 2015-04-20 2015-04-20 Imaging system

Publications (2)

Publication Number Publication Date
CN107534724A CN107534724A (zh) 2018-01-02
CN107534724B true CN107534724B (zh) 2020-09-04

Family

ID=57142843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580078917.6A Active CN107534724B (zh) 2015-04-20 2015-04-20 成像***

Country Status (5)

Country Link
US (2) US10419690B2 (zh)
EP (1) EP3158728A4 (zh)
JP (1) JP6524547B2 (zh)
CN (1) CN107534724B (zh)
WO (1) WO2016168976A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6785412B2 (ja) * 2016-07-22 2020-11-18 パナソニックIpマネジメント株式会社 無人航空機システム
WO2018023736A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
WO2019157690A1 (zh) * 2018-02-14 2019-08-22 深圳市大疆创新科技有限公司 自动抓拍方法及装置、无人机及存储介质
CN108429818A (zh) * 2018-04-11 2018-08-21 冠捷显示科技(武汉)有限公司 一种显示器联网控制方法
JP2020005146A (ja) * 2018-06-28 2020-01-09 株式会社リコー 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置
US20210387743A1 (en) * 2018-09-25 2021-12-16 Aeronext Inc. Flight vehicle
CN109436355B (zh) * 2018-10-18 2020-12-18 广州极飞科技有限公司 用于控制曝光的方法、装置、视觉测量设备及无人飞行器
CN109436344B (zh) * 2018-11-16 2022-04-22 航宇救生装备有限公司 基于降落伞弹道轨迹的机载摄影吊舱
US11479357B1 (en) * 2019-03-15 2022-10-25 Alarm.Com Incorporated Perspective angle acquisition and adjustment of security camera drone
US20220146909A1 (en) * 2019-07-31 2022-05-12 Hewlett-Packard Development Company, L.P. Controlling detachable camera devices
JP6681105B2 (ja) * 2019-11-28 2020-04-15 株式会社エアロネクスト 飛行体
KR20210107958A (ko) * 2020-02-24 2021-09-02 삼성전자주식회사 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
CN111294517B (zh) * 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854487A (zh) * 2009-03-30 2010-10-06 深圳市朗科科技股份有限公司 一种视频信号切换***和方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP4068869B2 (ja) * 2002-03-29 2008-03-26 富士フイルム株式会社 デジタルカメラ
US20040130635A1 (en) * 2002-10-09 2004-07-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7116364B2 (en) * 2002-10-29 2006-10-03 Hewlett-Packard Development Company, L.P. Method and apparatus for maintaining a consistent effective focal length in a digital camera
KR100873437B1 (ko) 2002-11-28 2008-12-11 삼성전자주식회사 Pip화면을 이용한 듀얼모드 신호처리장치
JP4475632B2 (ja) * 2004-03-19 2010-06-09 中国電力株式会社 無人飛行体を用いた送電線点検システム
JP2005269413A (ja) * 2004-03-19 2005-09-29 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空中撮影システム
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
US20060187322A1 (en) * 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
JP2006238325A (ja) * 2005-02-28 2006-09-07 Canon Inc カメラシステム
JP2007081473A (ja) * 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
CN2872393Y (zh) 2006-03-14 2007-02-21 申继平 双镜头数码摄影望远镜
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP4970296B2 (ja) * 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US8323503B2 (en) * 2008-06-11 2012-12-04 Fresenius Medical Care Holdings, Inc. User interface processing device
GB2455374B (en) * 2008-06-16 2009-11-04 Middlesex University Higher Ed Unmanned aerial vehicle comprising a triangular array of rotors
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
EP2434457A4 (en) * 2009-05-18 2014-01-15 Kodaira Associates Inc METHOD FOR TRANSMITTING IMAGE INFORMATION
US9456185B2 (en) 2009-08-26 2016-09-27 Geotech Environmental Equipment, Inc. Helicopter
JP2012083685A (ja) * 2010-10-12 2012-04-26 Next Core Co Ltd ズームレンズ付きビデオカメラ
KR101183007B1 (ko) * 2010-10-18 2012-09-18 에스비리모티브 주식회사 포장 박스
JP5686244B2 (ja) * 2010-12-21 2015-03-18 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
EP2689586A1 (en) * 2011-03-23 2014-01-29 Sony Ericsson Mobile Communications AB Adjusting an optical guide of a three-dimensional display to reduce pseudo-stereoscopic effect
CN202019412U (zh) * 2011-04-15 2011-10-26 天津全华时代航天科技发展有限公司 一种机载无线视频传输***
JP2013013050A (ja) * 2011-05-27 2013-01-17 Ricoh Co Ltd 撮像装置及びこの撮像装置を用いた表示方法
JP5611124B2 (ja) * 2011-05-31 2014-10-22 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
CN102809969A (zh) * 2011-06-03 2012-12-05 鸿富锦精密工业(深圳)有限公司 无人飞行载具控制***及方法
US8687062B1 (en) * 2011-08-31 2014-04-01 Google Inc. Step-stare oblique aerial camera system
EP2642739A1 (en) * 2012-03-22 2013-09-25 Océ-Technologies B.V. Method for scanning hard copy originals
JP6151902B2 (ja) * 2012-09-20 2017-06-21 株式会社トプコン 写真計測用カメラ及び航空写真装置
US9085355B2 (en) * 2012-12-07 2015-07-21 Delorean Aerospace, Llc Vertical takeoff and landing aircraft
CN103235602B (zh) * 2013-03-25 2015-10-28 山东电力集团公司电力科学研究院 一种电力巡线无人机自动拍照控制设备及控制方法
IL226751A (en) * 2013-06-04 2014-06-30 Elbit Systems Ltd A method and system for coordinating imaging sensors
CN103795921A (zh) * 2014-01-23 2014-05-14 徐鹏 一种自动检测的摄影控制装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854487A (zh) * 2009-03-30 2010-10-06 深圳市朗科科技股份有限公司 一种视频信号切换***和方法

Also Published As

Publication number Publication date
US10419690B2 (en) 2019-09-17
EP3158728A1 (en) 2017-04-26
WO2016168976A1 (en) 2016-10-27
JP2018507617A (ja) 2018-03-15
CN107534724A (zh) 2018-01-02
US20200007789A1 (en) 2020-01-02
US10979651B2 (en) 2021-04-13
EP3158728A4 (en) 2017-06-14
JP6524547B2 (ja) 2019-06-05
US20170272663A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
CN107534724B (zh) 成像***
CN107852453B (zh) 具有分光器的双镜头***
CN109478320B (zh) 处理图像以获得环境信息
CN108027492B (zh) 成像***
CN108351574B (zh) 用于设置相机参数的***、方法和装置
CN114228599B (zh) 用于无人飞行器运输和数据采集的***和方法
CN109987226B (zh) Uav全景成像
JP2021064951A (ja) システム、方法、装置、および非一時的コンピュータ読取可能媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant