CN117941367A - 成像设备、图像处理方法以及程序 - Google Patents

Abstract

根据一个实施例，成像设备包括第一获取模块、第二获取模块、计算模块和显示控制模块。第一获取模块用于获取由成像单元拍摄的天体的捕获图像。第二获取模块被配置为获取由多个检测器检测到的至少与成像设备的位置和姿态有关的物理量。计算模块被配置为基于成像设备的物理量，计算捕获图像中包含的天体的运动量和旋转角度，以及计算捕获图像中包含的天体被跟踪的最大曝光时间。显示控制模块被配置为使显示单元显示其上叠加了与最大曝光时间有关的信息的捕获图像。

Description

成像设备、图像处理方法以及程序

技术领域

本发明涉及一种成像设备、图像处理方法以及程序。

背景技术

使用成像设备拍摄星空(夜空)时，当执行长时间曝光，由于天体的昼夜运动与地球的自转有关，恒星或天体的位置会发生变化。因此，即使要通过长时间曝光将星空中的恒星拍摄为点图像，通常也要使用赤道装置来补偿昼夜运动。通过使用赤道装置，可以在跟踪进行昼夜运动的天体的同时拍摄天体。然而，赤道装置是一种特殊的设备，需要专门的设置工作。

因此，公开了一种方法，该方法不使用诸如赤道装置之类的专门安装的设备，利用成像设备的图像稳定功能对天体的昼夜运动进行补偿，并将星空中的天体拍摄为点图像。

[现有技术文献]

[专利文献]

[专利文献1]

日本公开专利申请2014-209795

发明内容

[本发明要解决的问题]

然而，由于图像稳定功能具有有限的移动范围，因此使用图像稳定功能的昼夜运动补偿自然具有有限的曝光时间。在这种情况下，即使用户预先设置了曝光时间，由于基于有限的移动范围，不能在超过最大曝光时间的指定曝光时间内进行拍摄，因此在最大曝光时间处停止曝光，从而在用户的非意向曝光时间内进行拍摄操作。

本发明是针对上述问题而提出的，本发明的目的是提供一种成像设备、图像处理方法和程序，其可以通过检查最大曝光时间，在用户的有意曝光时间内将天体拍摄为点图像。

[问题的解决方案]

为了解决上述问题并实现该目的，成像设备包括第一获取模块、第二获取模块、计算模块和显示控制模块。第一获取模块被配置为获取由成像单元拍摄的天体的捕获图像。第二获取模块被配置为获取由多个检测器检测到的至少与成像设备的位置和姿态有关的物理量。计算模块被配置为基于成像设备的物理量，计算捕获图像中包含的天体的运动量和旋转角度，以及计算捕获图像中包含的天体被跟踪的最大曝光时间。显示控制模块被配置为使显示单元显示捕获图像，该捕获图像上叠加了与最大曝光时间有关的信息。

[发明效果]

根据本发明的一个实施例，通过检查最大曝光时间，可以在用户的有意曝光时间内将天体拍摄为点图像。

附图说明

图1是示出了根据一实施例的成像设备的硬件配置的示例的示意图；

图2是说明天体的运动速度随天球的赤纬而不同的示意图；

图3是说明以天体北极为中心的天体运动的示意图；

图4是示出了最大曝光时间根据对夜空进行取景的地点而不同的示意图；

图5是说明天体轨道的外观根据仰角而改变的示意图；

图6是说明天体轨道的外观根据仰角而改变的示意图；

图7是说明根据实施例的成像设备的各种传感器检测的物理量的示意图；

图8是说明当根据实施例的成像设备拍摄天体时的天球的示意图；

图9是说明当天体明显地在椭圆(圆形)轨道上运动时，根据实施例的成像设备跟踪天体的状态的示意图；

图10是说明椭圆和切线之间的关系的示意图；

图11是示出了根据实施例的成像设备的功能块配置的示例的示意图；

图12是说明根据实施例的成像设备中通过对帧内的采样点的最大曝光时间进行插值来获得另一区域的最大曝光时间的操作的示意图；

图13是示出了根据实施例的成像设备的帧内最大曝光时间的显示模式和取景操作的示例的示意图；

图14是示出了根据实施例的成像设备的最大曝光时间显示处理和跟踪拍摄处理的流程的示例的流程图；

图15是示出了根据实施例的成像设备拍摄的帧内的不能被补偿的显示区域的操作的示例的示意图；和

图16是示出了根据实施例的成像设备拍摄的帧内的可拍摄到的星光轨迹长度的显示模式的示例的示意图。

具体实施方式

在下文中，将参照图1至图16详细描述根据本发明的成像设备、图像处理方法和程序的实施例。此外，本发明不限于以下实施例，以下实施例中的组件包括本领域技术人员容易构思的组件、基本相同的组件以及所谓的等同物。此外，在不脱离以下实施例的精神的情况下，可以对组件进行各种省略、替换、改变和组合。

成像设备的硬件配置

图1示出了根据实施例的成像设备1的硬件配置的示意图。将参照图1描述根据本实施例的成像设备1的硬件配置。

图1所示的成像设备1是具有照相功能的智能手机和平板终端等成像设备。应当注意，在本实施例中，成像设备1将被描述为智能手机。

如图1所示，成像设备1包括中央处理单元(CPU)501、只读存储器(ROM)502、随机存取存储器(RAM)503、闪存504、触摸面板505、显示器506、外部设备连接I/F(接口)507、通信电路508和定位信号接收器509。

CPU 501是控制整个成像设备1的操作的算术设备。ROM 502是非易失性存储器，用于存储首先由CPU 501执行的程序，ROM例如为初始程序加载器(IPL)。RAM 503是用作CPU501的工作区的易失性存储器。应当注意，例如，CPU 501、ROM 502和RAM 503可以由安装在一块板上的片上***(SoC)来配置。

闪存504是非易失性存储器，根据CPU 501的控制存储网络浏览器等的各种程序和各种数据。

触摸面板505是能够通过用户的触摸操作来操作成像设备1的输入设备。例如，触摸面板505基于电容感测方法、电阻膜方法等进行操作。应当注意，触摸面板505对应于“操作单元”。

显示器506是液晶显示器、有机电致发光显示器等，显示器506与触摸面板505一体化，显示主体的图像、各种图标等。应当注意，显示器506对应于“显示单元”。

外部设备连接I/F 507是基于诸如USB(通用串行总线)之类的标准的接口，通过与外部设备的连接来执行数据通信。

通信电路508是基于诸如Wi-Fi(注册商标)、4G(***移动通信***)和5G(第五代移动通信***)之类的通信方法，通过天线508a经由网络与外部设备执行无线通信的通信电路。

定位信号接收器509是基于全球导航卫星***(GNSS)从定位卫星接收定位信号的接收设备。定位信号接收器509根据接收到的定位信号检测成像设备1的位置的纬度。

如图1所示，成像设备1还包括透镜511、焦距检测器511a、成像传感器512、驱动单元513、图像处理单元514、成像控制单元515、地磁传感器516、姿态传感器517和加速度传感器518。

透镜511是光学***，透镜将来自被摄物的光聚集以与成像传感器512形成图像。焦距检测器511a是检测透镜511的焦距的设备。

成像传感器512是由CMOS(互补金属氧化物半导体)、CCD(电荷耦合器件)等配置的图像传感器，成像传感器将入射到透镜511上的光转换成电信号的图像数据并输出图像数据。透镜511的光轴OA与成像传感器512的成像表面512a正交。

驱动单元513是包括固定载物台、相对于固定载物台可移动的可移动载物台以及使可移动载物台移动的电磁电路的单元。成像传感器512保持在可移动载物台上，并且成像传感器的平行运动被控制在与光轴OA正交的方向上的期望运动速度，并且成像传感器的旋转运动被控制为围绕与光轴OA平行的轴的期望旋转速度。通过使用驱动单元513控制成像传感器512来实现图像稳定功能。

图像处理单元514是接收由成像传感器512拍摄的图像数据、对图像数据执行处理并输出处理后的图像数据的单元。

成像控制单元515是根据来自CPU 501的指令控制成像传感器512的成像操作和驱动单元513的操作的单元。

地磁传感器516是检测地球磁力以检测成像设备1的成像方向的角度作为方位角的传感器。

姿态传感器517是检测仰角和旋转角的传感器。仰角是成像设备1的成像方向和水平面之间的夹角，旋转角是从成像传感器512的参考位置绕光轴OA旋转的角度。

加速度传感器518是检测成像设备1在三轴方向上的加速度以检测成像设备1的倾角、平行运动、运动速度、位移等的传感器。

CPU 501、ROM 502、RAM 503、闪存504、触摸面板505、显示器506、外部设备连接I/F507、通信电路508、定位信号接收器509、焦距检测器511a、图像处理单元514、成像控制单元515、地磁传感器516、姿态传感器517和加速度传感器518通过诸如为地址总线和数据总线的总线520连接，以便能够相互通信。

图1所示的成像设备1的硬件配置仅为示例。因此，成像设备不一定包括所有组件，并且成像设备可以包括另一组件。例如，成像设备1可以包括执行实时图像处理的GPU(图形处理单元)、通过诸如为NFC(近场通信)和蓝牙(注册商标)之类的通信标准执行近场无线通信的近场通信电路等。

天体在天球上位置的运动速度差异

图2是说明天体的运动速度随天球的赤纬而不同的示意图。图3是说明以天体北极为中心的天体运动的示意图。图4是示出了最大曝光时间根据对夜空进行取景的地点而不同的示意图。运动速度之间的差异取决于天体(恒星)在天球上的位置，这将参照图2和图4描述。

如图2(a)所示，在天球CS上，位于距天体赤道CE的赤纬δ位置的天体在围绕天体北极NCP绘制圆形轨道OB的同时进行移动。换句话说，如图3所示，用户(观察者)观察到星空中的每个天体(恒星)沿着围绕天体北极NCP的同心轨道OB以逆时针方式旋转运动。此外，如图3所示，天体在预定时间内移动更远的距离，并且具有更大的运动速度，因为该天体离天体北极NCP更远，即该天体具有更小的赤纬δ。例如，如图2(b)所示，赤纬δ约为90度的天体(北极星等)，即位于天体北极NCP附近的天体，其运动速度约为零，但存在于天体赤道CE上的天体具有最大的运动速度(运动速度为D)。换句话说，天球CS上的天体具有根据赤纬δ确定的运动速度。在这种情况下，如图2(b)所示，随着赤纬δ变小，运动速度变大，并且运动速度按照运动速度A、B、C和D的顺序增加。

如上所述，即使通过使用驱动单元513在成像传感器512上执行平行运动控制和旋转运动控制来实现图像稳定功能，该功能也能够在曝光成像设备1所取景的帧(图像捕获范围)中包含的天体的同时进行跟踪拍摄。然而，因为通过驱动单元513移动的成像传感器512的可移动范围具有机械限制，即，成像传感器512和透镜511之间的位置关系的变化范围的限制，所以在跟踪天体的同时可曝光的时间也具有限制。在此，在跟踪天体的同时可进行曝光的时间被称为最大曝光时间。

如上所述，因为当天体离天体北极NCP越远时，天体的运动速度越大，所以捕捉北极星附近的帧F1内包含的天体的运动速度小于在远离北极星的位置处取景的帧F2内包含的天体的运动速度，如图4所示。换句话说，当对帧F1内的天体执行跟踪拍摄时的最大曝光时间(例如30秒)大于当对帧F2内的天体执行跟踪拍摄时的最大曝光时间(例如10秒)。这里，在特定帧内包含的天体中，例如，当最大曝光时间最小的天体具有10秒的最大曝光时间，而最大曝光时间最大的天体具有30秒的最大曝光时间时，则整个帧的最大曝光时间为10秒。因此，取决于用户根据成像设备1的成像方向确定的帧中包含的天体，最大曝光时间是不同的。

由仰角引起的天体轨道外观差异

图5和图6是说明天体轨道的外观根据仰角而改变的示意图。根据成像设备1的成像方向仰角不同，天体轨道的外观差异将参照图5和图6。

如图5所示，假设即使天体在天球CS上绘制的轨道OB是圆形轨道，从正下方观察圆形轨道的情况是(A1)，从一定角度观察圆形轨道的情况是(A2)和(A3)，从侧面观察圆形轨道的情况是(A4)，则观察到的每个轨道OB的形状是不同的，如图6的(A1)至(A4)所示。换句话说，当用户用成像设备1拍摄星空图像时，成像设备1的成像方向的仰角h影响天体的轨道OB的成像状态。例如，当成像装置1的成像方向如图5中的(A2)至(A4)的情况那样是仰角h时，则观察到的天体的轨道OB是如图6所示的圆形轨道的一部分。

成像设备检测到的物理量

图7是说明根据实施例的成像设备的各种传感器检测的物理量的示意图。图8是说明根据实施例的成像设备拍摄天体时的天球的示意图。将参照图7和图8描述可由成像设备1的各种传感器检测到的物理量等。

如图7(a)所示，成像设备1的定位信号接收器509可以检测纬度ε，该纬度ε是朝向北极NP的方向上的角度，该角度由赤道E和成像设备1在地球ER上存在的摄像点O形成。

如图7(b)所示，成像设备1的地磁传感器516可以检测作为地球磁力的地磁，以检测成像设备1的成像方向的角度(例如，相对于正北方向的顺时针角度)作为方位角A。

如图7(c)所示，成像设备1的姿态传感器517可检测仰角h，该仰角h为成像设备1的水平面与成像方向(即光轴OA)之间的夹角。此外，如图7(d)所示，姿态传感器517可以检测围绕成像传感器512的中心C(透镜511的光轴OA)从水平面旋转的旋转角度ξ。

如图8所示，假设在天球CS上，天顶是Z，水平面与天球CS在正北方向上相交的点是N，存在于成像设备1的成像方向上的天体是S。在这种情况下，水平面与从拍摄点O到天体S的方向之间的角度是仰角h。此外，从拍摄点O到点N的方向和天体S存在的方向之间的角度是方位角A。该方位角对应于由连接天顶Z和天体北极NCP的最短曲线和连接天顶Z和天体S的最短曲线形成的角度。此外，由定位信号接收器509检测到的纬度ε对应于由点N、拍摄点O和天体北极NCP形成的角度。

此外，由连接天顶Z和天体北极NCP的最短曲线和连接天体S和天体北极NCP的最短曲线形成的角对应于小时角H。这里，由连接天体北极NCP和天体S的最短曲线和连接天顶Z和天体S的最短曲线形成的角为γ。

此外，假设天体S的赤纬为δ，由天体S、摄影点O和天体北极NCP形成的角度θ对应于90-δ。

天体单位时间内的运动量

图9是说明当天体显然地在椭圆(圆形)轨道上运动时，根据实施例的成像设备跟踪天体的状态的示意图。图10是说明椭圆和切线之间的关系的示意图。将参照图9和图10描述成像传感器512的成像表面512a上相对于天体的每单位时间的运动量。从用户在远离北极(即远离地轴)的地点进行观测且地球在自转的角度来看，考虑到天体的视轨道可能具有稍微椭圆的形状，将在椭圆的前提下推导出天体运动量的以下计算。然而，由于视轨道实际上被视为完全圆轨道，而椭圆在概念上包括完全圆，因此基于椭圆的运动量计算表达式也适用于完全圆轨道。

可以获得天体S在天球CS上在单位时间内沿X方向(水平方向)和Y方向(垂直方向)移动的量，作为在成像设备1的成像传感器512的成像表面512a上单位时间内的运动量和旋转角度。在这种情况下，假设当存在于点S1(中心C)的天体在单位时间内沿轨道OB(如图9所示的椭圆轨道)移动到成像表面512a上的点S1′时，在X方向上的运动量是Δx，在Y方向上的运动量是Δy，旋转角度是α。旋转角α是在天体轨道OB的椭圆上的点S1′处的切线L的倾斜角，即在点S1处的椭圆切线和在点S1′处的椭圆切线之间的角度。应当注意，即使天体的轨道OB被描述为椭圆，椭圆在概念上包括如上所述的正圆。

这里，如图9所示，当点S1处的天体沿着轨道OB(如图9所示的椭圆轨道)移动时，如果假设点S1是成像表面512a的中心C，对从点S1到点S1′的运动进行跟踪，则驱动单元513可以使成像传感器512移动，使得中心C移动运动量Δx和Δy。此外，当在点S1周围的点S2处存在另一个天体时，该另一个天体从点S2移动到点S2′。为了在点S2对天体进行跟踪，驱动单元513可以使成像传感器512围绕中心C以旋转角度α旋转。

这里，假设由焦距检测器511a检测到的焦距为f，并且天体围绕天体北极NCP的旋转角度为Φ，则运动量Δx和Δy由表达式(1)和(2)表示，如日本公开专利申请2014-209795(公知文献)中所公开的。

Δx＝f×sinθ×sinΦ (1)

Δy＝f×sinθ×cosθ(1-cosΦ) (2)

在图10所示的XY坐标系的椭圆中，椭圆的切线L在椭圆上的点K处的方程由上述公知文献中公开的表达式(3)表示。

x0×(x/a²)+y0×(y/b²)＝1 (3)

当切线L的方程被修改成y的方程时，由表达式(4)表示。

y＝-(b²×x0)/(a²×y0)×x-1/(a²×y0) (4)

椭圆的切线L和X轴之间的夹角是以成像传感器512的中心C为旋转中心的图像的旋转角度α。在图9中，假设点S1′的坐标为(x0，y0)，因为在椭圆轨道OB的点S1′处与切线L正交的直线Q的倾角为-(b²×x0)/(a²×y0)，则由表达式(5)表示即将获得的旋转角度α。

α＝arctan{(-b²×x0)/(a²×y0)} (5)

此外，基于正切定理等由表达式(6)表示图8中的角度γ，如上述公知文献中所公开的。

γ＝arctan[cos(ε)×sin(A)/{sin(ε)×cos(h)-cos(ε)×sin(h)×cos(A)}] (6)

通过使用由表达式(6)获得的角度γ将天体的运动量x和y转换成成像表面512a上的坐标中的运动量Δx和Δy，运动量Δx和Δy由如上述公知文献中公开的表达式(7)和(8)表示。

Δx＝x×cos(γ)+y×sin(γ) (7)

Δy＝x×sin(γ)+y×cos(γ) (8)

此外，如图7(d)所示，当成像装置1的成像传感器512围绕透镜511的光轴OA从水平面倾斜(旋转)旋转角度ξ时，由表达式(7)和(8)表示的运动量Δx和Δy可以分别通过表达式(9)和(10)进行补偿。

Δx＝x×cos(γ+ξ)+y×sin(γ+ξ) (9)

Δy＝x×sin(γ+ξ)+y×cos(γ+ξ) (10)

如上所述，成像设备1可以通过使用由定位信号接收器509检测到的纬度ε、由地磁传感器516检测到的方位角A、由姿态传感器517检测到的仰角h和旋转角ξ、以及由焦距检测器511a检测到的焦距f来计算天体的运动量Δx和Δy以及旋转角度α。然后，成像设备1在使用驱动单元513根据天体运动基于计算出的运动量Δx和Δy以及旋转角度α来对成像传感器512执行平行运动控制和旋转运动控制的同时进行曝光，从而实现对天体的跟踪拍摄。在这种情况下，成像设备1的姿态可以是固定的。

另一方面，如上所述，成像传感器512通过驱动单元513实现的可移动范围具有机械限制。由于机械限制，曝光时间也受到限制。假设在机械限制中，X方向的机械极限值为Lx，Y方向的机械极限值为Ly，旋转的机械极限值为Lα，则可以通过使用机械极限值Lx、Ly和Lα以及表达式(5)、(9)和(10)来计算达到这些极限值的时间Tlimit。假设在这种情况下获得的运动量Δx和Δy以及旋转角度α的时间Tlimit分别为Tlimit(Δx)、Tlimit(Δy)和Tlimit(α)，则Tlimit(Δx)、Tlimit(Δy)和Tlimit(α)三个时间中的最小值即为目标天体的最大曝光时间。

成像设备功能块的配置与操作

图11是示出了根据实施例的成像设备的功能块配置的示例的示意图。图12是说明根据实施例的成像设备中通过对帧内的采样点的最大曝光时间进行插值来获得另一区域的最大曝光时间的操作的示意图。图13是示出了根据实施例的成像设备的帧内最大曝光时间的显示模式和取景操作的示例的示意图。将参照图11和图13描述根据本实施例的成像设备1的功能块的配置和操作。

如图11所示，成像设备1包括第一获取模块101、第二获取模块102、运动量计算模块103、曝光时间计算模块104、显示控制模块105、驱动控制模块106、设置模块107和存储单元108。

第一获取模块101是如下的处理模块，其配置为获取由成像传感器512捕获并由图像处理单元514对其进行图像处理的捕获图像。第一获取模块101将获取的捕获图像输出到显示控制模块105。

第二获取模块102是如下的处理模块，其配置为获取至少与成像设备1的位置和姿态有关的物理量，这些物理量由各种传感器(检测单元)检测。具体地，第二获取模块102获取由定位信号接收器509检测到的纬度ε、由地磁传感器516检测到的方位角A、由姿态传感器517检测到的仰角h和旋转角ξ以及由焦距检测器511a检测到的焦距f。第二获取模块102将获取的物理量输出到运动量计算模块103。

运动量计算模块103是如下的处理模块，其利用由第二获取模块102获取的纬度ε、方位角A、仰角h、旋转角ξ和焦距f，通过上述表达式(5)、(9)和(10)来计算成像传感器512拍摄的帧中包含的每个点(如图12所示的每个采样点SP，将在后面描述)的运动量Δx和Δy以及旋转角度α。运动量计算模块103将计算出的运动量Δx、Δy和旋转角度α输出给曝光时间计算模块104和驱动控制模块106。应当注意，运动量计算模块103对应于“第一计算模块”。

曝光时间计算模块104是如下的处理模块，其被配置为：通过使用由运动量计算模块103计算的运动量Δx和Δy以及旋转角度α，基于成像传感器512的可移动范围的机械限制来计算由成像传感器512拍摄的帧中包含的每个点(每个天体)的最大曝光时间。具体地，如图12所示，曝光时间计算模块104通过使用与成像传感器512拍摄的帧F3中以网格图案排列的每个采样点SP相对应的运动量Δx和Δy以及旋转角度α，首先计算相应采样点SP的最大曝光时间。然后，曝光时间计算模块104通过使用采样点SP的最大曝光时间进行插值处理，进而计算帧F3中除采样点SP之外的点的最大曝光时间。换句话说，曝光时间计算模块104并不是通过与所有点对应的运动量Δx、Δy以及旋转角度α来获得帧F3中包含的所有点的最大曝光时间。替代地，曝光时间计算模块104仅根据相应采样点SP的运动量Δx和Δy以及旋转角度α获得每个采样点SP的最大曝光时间(第一最大曝光时间)，并通过插值处理计算对应于其他每个点的最大曝光时间(第二最大曝光时间)。因此，减少了运动量计算模块103和曝光时间计算模块104的计算负荷。曝光时间计算模块104将计算出的最大曝光时间输出到显示控制模块105和驱动控制模块106。应当注意，曝光时间计算模块104对应于“第二计算模块”。此外，采样点SP对应于“预定的多个点”。此外，运动量计算模块103和曝光时间计算模块104对应于“计算模块”。

显示控制模块105是如下的处理模块，其被配置为控制显示器506的显示操作。当用户通过改变成像设备1的成像方向来执行取景时，显示控制模块105使显示器506显示由第一获取模块101获取的捕获图像和由曝光时间计算模块104计算的关于最大曝光时间的信息，以将该信息叠加到捕获图像上。例如，如图13(a)所示，假设存在最大曝光时间为“10秒”的区域、最大曝光时间为“20秒”的区域和最大曝光时间为“30秒”的区域，则显示控制模块105显示与最大曝光时间的预定范围对应的区域之间的边界并显示表示相应范围的最大曝光时间(例如，图13(a)中的“10秒”、“20秒”和“30秒”)，以便能够识别帧(捕获图像)中最大曝光时间的分布。在这种情况下，例如，“10秒”的区域可以指示最大曝光时间不大于10秒的区域，“20秒”的区域可以指示最大曝光时间大于10秒且小于20秒的区域，“30秒”的区域可以指示最大曝光时间大于20秒且小于30秒的区域。因此，用户可以识别通过成像设备1的成像方向确定的帧中的点(天体)的最大曝光时间的分布。在这种情况下，当由设置模块107设置的曝光时间(指定曝光时间)为15秒时，例如，因为使用指定曝光时间的曝光无法对“10秒”区域执行跟踪拍摄，所以用户可以通过朝着图13(b)中所示的箭头执行取景(改变成像设备1的成像方向)以从帧中去除“10秒”的区域，从而确定其中可以通过使用指定曝光时间的曝光来执行跟踪拍摄的帧。

应该注意，叠加在捕获图像上的关于最大曝光时间的信息不限于如图13所示的信息显示。例如，显示控制模块105可以将与区域之间的边界相对应的最大曝光时间显示为叠加在边界上。在这种情况下，例如，当叠加在所显示的边界上的最大曝光时间为“20秒”时，可以理解边界的一侧是最大曝光时间小于20秒的区域，另一侧是最大曝光时间大于20秒的区域。替代地，显示控制模块105可以根据最大曝光时间的大小，对由特定颜色的色调表示的灰度图像赋予透明度，以将灰度图像叠加在捕获图像上。在这种情况下，显示控制模块105可以根据对触摸面板505的操作，在捕获图像和灰度图像之间切换要在显示器506上显示的图像。因此，可以根据特定颜色的色调直观地掌握最大曝光时间的分布，从而可以容易地执行适当的取景。

驱动控制模块106是如下的处理模块，其被配置为经由成像控制单元515可移动地控制驱动单元513，以执行在与安装在驱动单元513中的成像传感器512的光轴OA正交的方向上的平行运动控制和以平行于光轴OA的轴为中心的旋转运动控制。此外，驱动控制模块106经由图像处理单元514控制成像传感器512的成像操作。此外，当开始与跟踪拍摄相关的拍摄操作时，根据基于运动量计算模块103计算的运动量Δx和Δy以及旋转角度α的天体运动，驱动控制模块106通过使用驱动单元513对成像传感器512执行平行运动控制和旋转运动控制，并根据设置模块107设置的指定曝光时间执行曝光。换句话说，驱动控制模块106根据天体的运动，基于运动量Δx和Δy以及旋转角度α，来执行控制，以改变成像传感器512和透镜511之间的位置关系，使得捕获图像中包含的作为被摄物的天体在成像表面512a上的位置不变。

设置模块107是如下的处理模块，其被配置为根据触摸面板505的操作来设置成像设备1的操作模式和各种类型的信息。例如，设置模块107设置成像传感器512使用的曝光时间，并使存储单元108将设置的曝光时间存储为指定曝光时间。此外，设置模块107将跟踪拍摄模式或正常拍摄模式设置为操作模式。跟踪拍摄模式是如下的一种模式，即：在如上所述的使成像传感器512移动以跟踪天体的运动的同时通过使用所设置的指定曝光时间的曝光来执行拍摄。正常拍摄模式是在成像传感器512固定的状态下，通过使用指定曝光时间进行曝光来进行拍摄的模式。设置模块107使存储单元108存储所设置的操作模式。此外，设置模块107将设置的指定曝光时间输出到驱动控制模块106。

如图11所示的成像设备1的第一获取模块101、第二获取模块102、运动量计算模块103、曝光时间计算模块104、显示控制模块105、驱动控制模块106和设置模块107通过由图1所示的CPU 501执行程序来实现。应当注意，第一获取模块101、第二获取模块102、运动量计算模块103、曝光时间计算模块104、显示控制模块105、驱动控制模块106和设置模块107中的至少一个可以通过诸如集成电路之类的硬件来实现。

存储单元108是被配置为存储成像设备1的程序、由设置模块107设置的各种类型的设置信息等的单元。例如，存储单元108由图1所示的RAM 503或闪存504实现。

应该注意，图11中所示的成像装置1的处理模块概念性地指示功能，因此不限于这样的配置。例如，图11中相互独立的多个处理模块可以被配置为一个处理模块。另一方面，通过将一个处理模块的功能划分为两个或多个，可以将图11中所示的一个处理模块配置为多个处理模块。

图14是示出了根据本实施例的成像设备的最大曝光时间显示处理和跟踪拍摄处理的流程的示例的流程图。图15是示出了根据实施例的成像设备拍摄的帧内的不能被补偿的显示区域的操作的示例的示意图。将参照图14和图15描述根据本实施例的成像设备1的最大曝光时间显示处理和跟踪拍摄处理的流程。应当注意，操作模式被认为是由设置模块107预先设置为跟踪拍摄模式。

步骤S11的操作

成像设备1的驱动控制模块106经由图像处理单元514对驱动单元513执行初始化处理。例如，驱动控制模块106通过对驱动单元513执行初始化处理，将成像传感器512的位置返回到原始位置。然后，处理进行到步骤S12。

步骤S12的操作

成像设备1的第一获取模块101获取由成像传感器512拍摄的并且由图像处理单元514对其执行图像处理的捕获图像。在这种情况下，由成像传感器512拍摄的捕获图像可以存储在存储单元108中，并且第一获取模块101可以获取存储在存储单元108中的捕获图像。第一获取模块101将获取的捕获图像输出到显示控制模块105。然后，处理进行到步骤S13。

步骤S13的操作

成像设备1的第二获取模块102获取由定位信号接收器509检测到的纬度ε、由地磁传感器516检测到的方位角A、由姿态传感器517检测到的仰角h和旋转角ξ以及由焦距检测器511a检测到的焦距f。第二获取模块102将获取的物理量输出到运动量计算模块103。然后，处理进行到步骤S14。

步骤S14的操作

成像设备1的运动量计算模块103利用由第二获取模块102获取的纬度ε、方位角A、仰角h、旋转角ξ和焦距f，通过上述表达式(5)、(9)和(10)计算成像传感器512拍摄的帧中包含的每个采样点SP的运动量Δx和Δy以及旋转角度α。运动量计算模块103向曝光时间计算模块104输出计算出的运动量Δx和Δy以及旋转角度α。

接下来，通过使用与成像传感器512拍摄的帧中以网格图案排列的每个采样点SP相对应的运动量Δx和Δy以及旋转角度α，成像设备1的曝光时间计算模块104计算相应采样点SP的最大曝光时间。然后，曝光时间计算模块104利用采样点SP的最大曝光时间，通过插值处理来计算帧中除采样点SP之外的点的最大曝光时间。曝光时间计算模块104将计算出的最大曝光时间输出到显示控制模块105。然后，处理进行到步骤S15。

步骤S15的操作

成像设备1的显示控制模块105使显示器506显示由第一获取模块101获取的捕获图像和由曝光时间计算模块104计算的与最大曝光时间有关的信息，以将该信息叠加到捕获图像上。因此，用户可以识别通过成像设备1的成像方向确定的帧中的点(天体)的最大曝光时间的分布。然后，处理进行到步骤S16。

步骤S16的操作

用户检查由显示器506显示的捕获图像和叠加在捕获图像上的关于最大曝光时间的信息，并改变成像设备1的成像方向以将取景调整为最大曝光时间的预期分布。然后，响应于对触摸面板505(步骤S16：是)的操作，在跟踪拍摄模式下开始拍摄时，驱动控制模块106将成像传感器512的状态设置为曝光状态，并且处理进行到步骤S17。另一方面，当用户通过改变成像设备1的成像方向(步骤S16：否)继续调整取景时，处理返回到步骤S12。

步骤S17的操作

运动量计算模块103通过使用由第二获取模块102获取的纬度ε、方位角A、仰角h、旋转角ξ和焦距f，通过上述表达式(5)、(9)和(10)计算由成像传感器512拍摄的帧中包含的每个采样点SP的运动量Δx和Δy以及旋转角度α。运动量计算模块103向曝光时间计算模块104和驱动控制模块106输出计算出的运动量Δx和Δy以及旋转角度α。然后，处理进行到步骤S18。

步骤S18的操作

成像设备1的驱动控制模块106通过驱动单元513根据天体的运动，基于运动量计算模块103计算的运动量Δx和Δy以及旋转角度α，对成像传感器512执行平行运动控制和旋转运动控制。然后，处理进行到步骤S19。

步骤S19的操作

当开始跟踪拍摄，并经过指定曝光时间后(步骤S19：是)，处理进行到步骤S20。当未经过指定曝光时间时(步骤S19：否)，处理返回到步骤S16。应当注意，当成像传感器512的运动量在指定曝光时间过去之前达到机械限制时，驱动控制模块106可以终止跟踪拍摄。

步骤S20的操作

驱动控制模块106终止跟踪拍摄。然后，处理进行到步骤S21。

步骤S21的操作

第一获取模块101获取由成像传感器512在成像传感器曝光指定曝光时间的状态下拍摄的捕获图像。然后，处理进行到步骤S22。

步骤S22的操作

第一获取模块101将获取的捕获图像存储在存储单元108中，并将捕获图像输出到显示控制模块105。显示控制模块105使显示器506显示由第一获取模块101获取的捕获图像。因此，用户可以在显示器506上检查图像，在该图像中，星空中的天体(恒星)在跟踪拍摄模式下被捕获以作为点图像。

通过步骤S11至S22的流程执行成像设备1的最大曝光时间显示处理和跟踪拍摄处理。

此外，在步骤S15中，如图15所示，例如，当显示控制模块105将捕获图像和与帧F4的最大曝光时间有关的信息叠加并显示在显示器506上时，如果在帧F4中包含不能执行由设置模块107设置的指定曝光时间的跟踪拍摄的区域，则显示控制模块105可以执行对该区域透明的特定彩色显示，以突出显示该区域。例如，因为当设置模块107将11秒设置为指定曝光时间时，不能在帧F4中的“10秒”区域上执行11秒跟踪摄影，所以显示控制模块105执行对“10秒”区域透明的特定彩色显示，如图15所示。在这种情况下，如图15所示，例如，用户在“10秒”区域中点击“10秒”的显示部分，因此设置模块107可以将指定曝光时间设置为“10秒”区域的最大曝光时间的最小值。因此，用户不仅可以执行取景，以便在设定的指定曝光时间内启用跟踪拍摄，而且还可以设置指定曝光时间，以便在特定帧内启用跟踪拍摄。

通过驱动单元513的驱动控制，使成像传感器512进行物理平移和旋转，从而实现上述跟踪拍摄操作，但是本实施例不限于此。例如，图像模糊补偿设备和使成像传感器512旋转的驱动单元513的组合也能够通过对天体进行跟踪拍摄来将天体拍摄为点图像。图像模糊补偿设备在透镜511中包括图像模糊补偿透镜，该图像模糊补偿透镜使成像传感器512上的被摄物移动位置。即使在这种情况下，驱动控制模块106根据天体的运动，基于运动量Δx和Δy以及旋转角度α，来执行控制，以改变成像传感器512和透镜511之间的位置关系，使得捕获图像中包含的作为被摄物的天体在成像表面512a上的位置不变。

正常拍摄模式下的操作

图16是示出了根据实施例的成像设备拍摄的帧内的可拍摄到的星光轨迹长度的显示模式的示例的示意图。将参照图16描述本实施例的成像设备1在正常拍摄模式下的操作。

第一获取模块101获取由成像传感器512拍摄的并且由图像处理单元514对其执行图像处理的捕获图像。第一获取模块101将获取的捕获图像输出到显示控制模块105。

第二获取模块102获取由定位信号接收器509检测到的纬度ε、由地磁传感器516检测到的方位角A、由姿态传感器517检测到的仰角h和旋转角ξ、以及由焦距检测器511a检测到的焦距f。第二获取模块102将获取的物理量输出到运动量计算模块103。

运动量计算模块103利用由第二获取模块102获取的纬度ε、方位角A、仰角h、旋转角ξ和焦距f，通过上述表达式(5)、(9)和(10)计算由成像传感器512拍摄的帧中包含的中心天体的运动量Δx和Δy以及旋转角度α。此外，基于计算出的运动量Δx和Δy以及旋转角度α，运动量计算模块103计算在设置模块107设置的指定曝光时间内执行曝光时将要绘制的星光轨迹长度。应当注意，由运动量计算模块103计算的运动量Δx和Δy以及旋转角度α不限于帧(捕获图像)中的中心天体的运动量Δy和旋转角度α。运动量计算模块103将计算出的星光轨迹长度输出到显示控制模块105。

显示控制模块105使显示器506显示由第一获取模块101获取的捕获图像，并在捕获图像的预定区域中显示由运动量计算模块103计算的星光轨迹长度。例如，当帧F5被成像传感器512捕获时，如图16所示，显示控制模块105使显示器506显示帧F5的捕获图像，并在显示区域AR5中显示由运动量计算模块103计算的帧F5中的中心天体的星光轨迹长度。此外，如图16所示，当成像传感器512捕捉到在比帧F5更靠近天体北极的区域中取景的帧F6时，显示控制模块105使显示器506显示帧F6的捕获图像，并在显示区域AR6中显示帧F6中的中心天体的、由运动量计算模块103计算的星光轨迹长度(比帧F5的星光轨迹长度短)。

这样，当在正常拍摄模式下通过执行指定曝光时间的曝光来拍摄天体(恒星)的光迹时，用户可以预先检查要拍摄的星光轨迹长度在执行取景的成像方向上有多长。

如上所述，在根据本实施例的成像设备1中：第一获取模块101获取由成像传感器512拍摄的天体的捕获图像；第二获取模块102获取由多个传感器检测到的至少与成像设备1的位置和姿态有关的物理量；运动量计算模块103基于由第二获取模块102获取的物理量，计算在成像传感器512的成像表面512a上拍摄的图像中包含的天体的运动量Δx和Δy以及旋转角度α；曝光时间计算模块104基于运动量Δx和Δy、旋转角度α以及成像传感器512和透镜511之间的位置关系的变化范围的限制，计算在成像传感器512执行曝光时，根据位置关系的变化可以跟踪捕获图像中包含的天体的最大曝光时间；显示控制模块105使显示器506显示捕获图像和关于最大曝光时间的信息，以将信息叠加在捕获图像上。在这种情况下，例如，显示控制模块105将与最大曝光时间的预定范围相对应的区域之间的边界以及表示各个预定范围的最大曝光时间作为与最大曝光时间有关的信息进行显示。因此，用户可以检查最大曝光时间，可以执行期望的最大曝光时间的取景，并且可以在用户的有意曝光时间内将天体拍摄为点图像。

驱动控制模块106基于运动量Δx和Δy以及旋转角度α，来改变成像传感器512和透镜511之间的位置关系，使得捕获图像中包含的每个天体在成像表面512a上的位置不变。例如，基于运动量Δx和Δy以及旋转角度α，驱动控制模块106在与透镜511的光轴OA正交的方向上对成像传感器512执行平行运动控制，并且对成像传感器512执行围绕与光轴OA平行的轴的旋转运动控制。因此，可以执行关于天体昼夜运动的补偿，并且可以将天体拍摄为点图像。

此外，在捕获图像中的最大曝光时间中，曝光时间计算模块104计算与捕获图像中预定采样点SP相对应的第一最大曝光时间，并且通过对与采样点SP相对应的第一最大曝光时间使用插值处理来计算捕获图像中除采样点SP之外的区域的第二最大曝光时间。因此，可以减少计算负荷。

应当注意，上述实施例的每个功能可以由一个或多个处理电路来实现。这里，“处理电路”包括：被编程以通过软件执行功能的处理器，类似于通过电子电路实现的处理器；以及诸如为ASIC(专用集成电路)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)和常规电路模块之类的设备，该设备被设计成执行上述功能。

由根据上述实施例的成像设备1执行的程序可以被配置为通过预先结合到ROM等中来提供。

此外，由根据上述实施例的成像设备1执行的程序可以被配置为通过以可安装或可执行的文件格式记录在诸如为CD-ROM(光盘只读存储器)、软盘(FD)、CD-R(光盘可记录)和DVD(数字通用盘)之类的计算机可读记录介质中而被提供为计算机程序产品。

此外，由根据上述实施例的成像设备1执行的程序可以被配置为通过存储在连接到网络(诸如因特网)的计算机上并通过网络下载来提供。此外，由根据上述实施例的成像设备1执行的程序可以被配置为通过网络(诸如因特网)来提供或分发。

此外，由根据上述实施例的成像设备1执行的程序具有包括上述功能部分的模块配置。从实际硬件的角度来看，CPU(处理器)从ROM读取并执行程序，因此上述功能部分被加载到主存储器上并在主存储器上生成。

[字母或数字的解释]

1 成像设备

101 第一获取模块

102 第二获取模块

103 运动量计算模块

104 曝光时间计算模块

105 显示控制模块

106 驱动控制模块

107 设置模块

108 存储单元

501 CPU

502 ROM

503 RAM

504 闪存

505 触摸面板

506 显示器

507 外部设备连接I/F

508 通信电路

508a 天线

509 定位信号接收器

511 透镜

511a 焦距检测器

512 成像传感器

512a 成像表面

513 驱动单元

514 图像处理单元

515 成像控制单元

516 地磁传感器

517 姿态传感器

518 加速度传感器

520 总线

A方位角

AR5、AR6 显示区域

C 中心

CE 天体赤道

CS 天球

E 赤道

ER 地球

F1-F6 帧

h 仰角

H 小时角

N 点

NCP 天体北极

NP 北极

O 拍摄点

OA 光轴

OB 轨道

S 天体

SP 采样点

Z 天顶

γ 角度

δ 赤纬

ε 纬度

θ 角度

ξ 旋转角。

Claims (15)

1.一种成像设备，包括：

第一获取模块，所述第一获取模块被配置为获取由成像单元拍摄的天体的捕获图像；

第二获取模块，所述第二获取模块被配置为获取由多个检测器检测到的至少与所述成像设备的位置和姿态有关的物理量；

计算模块，所述计算模块被配置为基于所述成像设备的所述物理量，计算所述捕获图像中包含的天体的运动量和旋转角度，以及计算所述捕获图像中包含的所述天体被跟踪的最大曝光时间；和

显示控制模块，所述显示控制模块被配置为使显示单元显示捕获图像，所述捕获图像上叠加了与所述最大曝光时间有关的信息。

2.根据权利要求1所述的成像设备，其中，所述显示控制模块被配置为将与最大曝光时间的预定范围对应的区域之间的边界和表示相应预定范围的最大曝光时间作为所述信息进行显示。

3.根据权利要求1所述的成像设备，进一步包括：

驱动控制模块，所述驱动控制模块被配置为基于所述运动量和所述旋转角度改变位置关系，使得所述捕获图像中包含的每个所述天体在成像表面上的位置不变。

4.根据权利要求3所述的成像设备，其中，所述驱动控制模块被配置为基于所述运动量和所述旋转角度，沿与所述光学***的光轴正交的方向对所述成像单元执行平行运动控制，并且对所述成像单元执行围绕与所述光轴平行的轴线的旋转运动控制，以改变所述位置关系。

5.根据权利要求1所述的成像设备，其中，所述物理量包括以下各项中的任意一项：所述成像设备所在的纬度、所述成像设备的成像方向的方位角、所述成像方向和水平面之间的仰角、以所述成像单元的光轴为中心的旋转角度、以及所述光学***的焦距。

6.根据权利要求1所述的成像设备，其中，所述显示控制模块被配置成突出显示包括所述捕获图像中包含的所述天体的区域。

7.根据权利要求6所述的成像设备，进一步包括：

设置模块，所述设置模块被配置为响应于对由操作单元突出显示的所述区域的操作，将所述区域中包含的所述天体的所述最大曝光时间的最小值设置为指定曝光时间。

8.根据权利要求1所述的成像设备，其中，所述计算模块被配置为：在所述捕获图像中的所述最大曝光时间中，计算与所述捕获图像中的预定多个点对应的第一最大曝光时间；以及通过对与所述多个点对应的所述第一最大曝光时间进行插值处理，计算所述捕获图像中除所述多个点之外的区域的第二最大曝光时间。

9.根据权利要求1所述的成像设备，其中，

所述计算模块被配置为根据所计算的运动量和旋转角度，计算所述天体在所述成像单元按预设的指定曝光时间曝光时将要绘制的星光轨迹长度，以及

所述显示控制模块被配置为使所述显示单元显示所述捕获图像，并在所述捕获图像上的预定区域中显示所述星光轨迹长度。

10.根据权利要求9所述的成像设备，进一步包括：

设置模块，所述设置模块被配置为响应于操作单元的操作来设置所述指定曝光时间。

11.根据权利要求1所述的成像设备，其中，所述计算模块被配置为基于所述成像单元和将光聚集在所述成像单元的成像表面上的光学***之间的位置关系的变化范围的限制来计算所述最大曝光时间。

12.一种用于成像设备的图像处理方法，所述方法包括：

获取由成像单元拍摄的天体的捕获图像；

获取由多个检测器检测到的至少与所述成像设备的位置和姿态有关的物理量；

基于所述成像设备的所述物理量，计算所述捕获图像中包含的天体的运动量和旋转角度，以及计算所述捕获图像中包含的所述天体被跟踪的最大曝光时间；和

使显示单元显示捕获图像，所述捕获图像上叠加了与所述最大曝光时间有关的信息。

13.根据权利要求12所述的方法，其中，所述计算包括：基于所述成像单元和将光聚集在所述成像单元的成像表面上的光学***之间的位置关系的变化范围的限制来计算所述最大曝光时间。

14.一种程序，所述程序使计算机执行：

获取由成像单元拍摄的天体的捕获图像；

获取由多个检测器检测到的至少与成像设备的位置和姿态有关的物理量；

基于所述成像设备的所述物理量，计算所述捕获图像中包含的天体的运动量和旋转角度，以及计算所述捕获图像中包含的所述天体被跟踪的最大曝光时间；和

使显示单元显示捕获图像，所述捕获图像上叠加了与所述最大曝光时间有关的信息。

15.根据权利要求14所述的程序，其中，所述计算包括：基于所述成像单元和将光聚集在所述成像单元的成像表面上的光学***之间的位置关系的变化范围的限制来计算所述最大曝光时间。