CN108141567B - 图像生成***以及图像生成方法 - Google Patents

Abstract

图像生成装置(10)与对象区域(60)被分割而形成的每个区域(62)对应地设置，与拍摄所对应的区域(62)即对应区域的多个摄像装置(50)连接。图像生成装置(10)根据由多个摄像装置(50)拍摄的摄像数据(71)，生成对应区域的俯瞰图像数据作为部分图像数据(72)。图像集合装置(20)使与进入显示区域(61)的区域(62)对应地设置的各图像生成装置(10)生成对应区域的部分图像数据(72)，对部分图像数据(72)进行合成而生成作为显示区域(61)的俯瞰图像数据的集合图像数据(73)。

Description

图像生成***以及图像生成方法

技术领域

本发明涉及根据由设置于对象区域中的多个摄像装置拍摄的摄像数据生成对象区域内的显示区域的俯瞰图像的技术。

背景技术

在监视人的拥挤状况的情况下，相比于一边切换由设置于各种位置的摄像装置拍摄的摄像数据一边确认状况，确认从正上方俯瞰到的较大范围的俯瞰图像数据能够直观地判断整体的状况。

专利文献1记载了一种用于供乘务员监视从列车向站台下车的乘客和从站台向列车上车的乘客的状况的俯瞰图像数据的显示技术。在专利文献1中，将设置于车辆的出入口上部的多个摄像机的摄像数据转换为俯瞰图像数据，合成俯瞰图像数据，在监视器终端上显示整个车辆侧面的全景图像数据。

现有技术文献

专利文献

专利文献1：日本特开2012-001191号公报

发明内容

发明要解决的课题

在专利文献1中，根据摄像数据生成整个车辆侧面的全景图像数据并将其显示在设置于乘务员室中的监视器终端上。即，专利文献1生成显示区域固定的一个全景图像数据并将其显示在一台监视器终端上。因此，在专利文献1中，没有考虑如下情况：从多个监视器终端分别指定显示区域，生成所指定的显示区域的俯瞰图像数据并将其显示在所对应的监视器终端上。

特别是，在专利文献1中，对于摄像数据与进行俯瞰转换的图像处理LSI之间的网络，没有详细的记载。因此，在摄像装置的台数达到数百台规模、而非搭载于铁路车辆上的十几台左右的情况下，该处理会集中于图像处理LSI。其结果是，难以快速地生成俯瞰图像。

本发明的目的在于，即使在从多个监视器终端分别指定显示区域而生成所指定的显示区域的俯瞰图像数据的情况下，也能够快速地生成显示区域的俯瞰图像数据。

用于解决课题的手段

本发明的图像生成***具备：图像生成装置，其是与对象区域被分割而形成的每个区域对应地设置的图像生成装置，该图像生成装置与拍摄所对应的区域即对应区域的多个摄像装置连接，根据由所连接的多个摄像装置拍摄的摄像数据，生成所述对应区域的俯瞰图像数据；以及图像集合装置，该图像集合装置使与包含被请求了显示的显示区域的至少一部分的区域对应地设置的各图像生成装置生成所述对应区域的俯瞰图像数据作为部分图像数据，对所生成的部分图像数据进行合成而生成作为所述显示区域的俯瞰图像数据的集合图像数据。

发明效果

在本发明中，对于处理负荷较大的俯瞰图像数据的生成处理，分散于多个图像生成装置来执行。因此，即使在从多个监视器终端分别指定显示区域而生成所指定的显示区域的俯瞰图像数据的情况下，也能够快速地生成显示区域的俯瞰图像数据。

附图说明

图1是实施方式1的图像生成***1的结构图。

图2是实施方式1的图像生成装置10的结构图。

图3是实施方式1的图像集合装置20的结构图。

图4是实施方式1的分发装置30的结构图。

图5是示出实施方式1的图像生成***1的动作的流程图。

图6是实施方式1的图像生成***1的动作的说明图。

图7是一个参数化转换处理的说明图。

图8是区域62的说明图。

图9是通过硬件来实现各部的功能时的图像生成装置10的结构图。

图10是通过硬件来实现各部的功能时的图像集合装置20的结构图。

图11是通过硬件来实现各部的功能时的分发装置30的结构图。

图12是实施方式2的图像集合装置20的结构图。

图13是实施方式2的缓存表221的说明图。

图14是实施方式2的历史记录表222的说明图。

图15是示出实施方式2的图像生成***1的动作的流程图。

图16是示出实施方式2的图像生成***1的动作的流程图。

图17是滚动方向的说明图。

图18是将来的滚动方向的预测方法的说明图。

图19是分辨率的指定方法的说明图。

具体实施方式

实施方式1.

＊＊＊概要的说明＊＊＊

参照图1对实施方式1的图像生成***1的概要进行说明。

在图像生成***1中，由监视器终端40将对象区域60内的区域指定为显示区域61。于是，与包含在显示区域61中的区域62对应的图像生成装置10根据由所连接的摄像装置50拍摄的摄像数据71生成所对应的区域62的俯瞰图像数据作为部分图像数据72。然后，图像集合装置20对部分图像数据72进行合成，生成作为整个显示区域61的俯瞰图像数据的集合图像数据73，分发装置30将集合图像数据73分发给监视器终端40。

＊＊＊结构的说明＊＊＊

参照图1对实施方式1的图像生成***1的结构进行说明。

图像生成***1具备多个图像生成装置10、图像集合装置20、分发装置30、多个监视器终端40以及多个摄像装置50。在图1中，图像生成***1具备4台图像生成装置10A～10D。

各图像生成装置10与对象区域60被分割而形成的各个区域62对应地设置。与图像生成装置10对应的区域62被称为对应区域63。在实施方式1中，图像生成装置10A与区域62A对应，图像生成装置10B与区域62B对应，图像生成装置10C与区域62C对应，图像生成装置10D与区域62D对应。因此，如果是图像生成装置10A，则对应区域63是区域62A。

各图像生成装置10经由无线LAN(Local Area Network：局域网)那样的网络或专用接口与多个摄像装置50连接。在实施方式1中，各图像生成装置10经由专用接口与4台摄像装置50连接。与各图像生成装置10连接的摄像装置50被配置成，拍摄的范围错开且由所连接的全部摄像装置50拍摄的范围包含所对应的区域62。

各图像生成装置10和图像集合装置20经由LAN那样的网络连接。同样地，图像集合装置20和分发装置30经由LAN那样的网络连接。此外，分发装置30和各监视器终端40经由无线LAN那样的网络连接。

图像生成装置10、图像集合装置20和分发装置30是计算机。监视器终端40是计算机或平板终端那样的便携式终端。摄像装置50是摄像机。

另外，分发装置30也可以不一定是独立的装置，图像集合装置20也可以具备分发装置30的功能。

参照图2对实施方式1的图像生成装置10的结构进行说明。

图像生成装置10具备处理器11、存储装置12、通信装置13和摄像机接口14。处理器11经由信号线与其它硬件连接并控制这些其它硬件。

作为功能结构，图像生成装置10具备请求受理部111、部分图像生成部112和部分图像发送部113。请求受理部111、部分图像生成部112和部分图像发送部113的各部的功能通过软件来实现。

在存储装置12中存储有实现图像生成装置10的各部的功能的程序。该程序被读入处理器11并由处理器11执行。由此实现图像生成装置10的各部的功能。

参照图3对实施方式1的图像集合装置20的结构进行说明。

图像集合装置20具备处理器21、存储装置22和通信装置23。处理器21经由信号线与其它硬件连接并控制这些其它硬件。

作为功能结构，图像集合装置20具备区域受理部211、图像请求部212、图像集合部213和集合图像发送部214。区域受理部211、图像请求部212、图像集合部213和集合图像发送部214的各部的功能通过软件来实现。

在存储装置22中存储有实现图像集合装置20的各部的功能的程序。该程序被读入处理器21并由处理器21执行。由此实现图像集合装置20的各部的功能。

参照图4对实施方式1的分发装置30的结构进行说明。

分发装置30具备处理器31、存储装置32和通信装置33。处理器31经由信号线与其它硬件连接并控制这些其它硬件。

作为功能结构，分发装置30具备图像分发部311。图像分发部311的功能通过软件来实现。

在存储装置32中存储有实现图像分发部311的功能的程序。该程序被读入处理器31并由处理器31执行。由此实现图像分发部311的功能。

处理器11、21、31是进行处理的IC。IC是Integrated Circuit(集成电路)的缩写。具体而言，处理器11、21、31是CPU、DSP、GPU。CPU是Central Processing Unit(中央处理器)的缩写。DSP是Digital Signal Processor(数字信号处理器)的缩写。GPU是GraphicsProcessing Unit(图形处理单元)的缩写。GPU由SIMD型处理器、专用运算处理器等电路构成。SIMD是Single Instruction Multiple Data(单指令多数据)的缩写。

具体而言，存储装置12、22、32是RAM和HDD。RAM是Random Access Memory(随机访问存储器)的缩写。HDD是Hard Disk Drive(硬盘驱动器)的缩写。存储装置也可以由ROM和闪存等其它硬件构成。ROM是Read Only Memory(只读存储器)的缩写。

通信装置13、23、33是包含接收数据的接收机和发送数据的发送机的装置。具体而言，通信装置13、23、33是通信芯片或NIC。NIC是Network Interface Card(网络接口卡)的缩写。

摄像机接口14是连接摄像装置50的端口。具体而言，摄像机接口14是IEEE1394、迷你USB(Universal Serial Bus：通用串行总线)。

示出通过处理器11实现的各功能的处理结果的信息、数据、信号值、变量值被存储在存储装置12或处理器11内的寄存器或高速缓存中。在以下的说明中，设示出通过处理器11实现的各功能的处理结果的信息、数据、信号值、变量值为存储在存储装置12中的信息、数据、信号值、变量值进行说明。

同样地，示出通过处理器21实现的各功能的处理结果的信息、数据、信号值、变量值被存储在存储装置22或处理器21内的寄存器或高速缓存中。在以下的说明中，设示出通过处理器21实现的各功能的处理结果的信息、数据、信号值、变量值为存储在存储装置22中的信息、数据、信号值、变量值进行说明。

同样地，表示通过处理器31实现的各功能的处理结果的信息、数据、信号值、变量值被存储在存储装置32或处理器31内的寄存器或高速缓存中。在以下的说明中，设表示通过处理器31实现的各功能的处理结果的信息、数据、信号值、变量值为存储在存储装置32中的信息、数据、信号值、变量值进行说明。

设实现通过处理器11、21、31实现的各功能的程序被存储在存储装置12、22、32中。但是，该程序也可以被存储在磁盘、软盘、光盘、CD、蓝光(注册商标)盘、DVD等便携式存储介质中。

在图2中，仅示出了一个处理器11。但是，处理器11也可以是多个，多个处理器11也可以与实现各功能的程序协作来执行。同样地，在图3、图4中，仅示出了一个处理器21、31。但是，处理器21、31也可以是多个，多个处理器21、31也可以与实现各功能的程序协作来执行。

＊＊＊动作的说明＊＊＊

参照图5对实施方式1的图像生成***1的动作进行说明。

实施方式1的图像生成***1的动作与实施方式1的图像生成方法相当。此外，实施方式1的图像生成***1的动作与实施方式1的图像生成程序的处理相当。

在步骤S11的区域受理处理中，图像集合装置20的区域受理部211从任意的监视器终端40受理示出显示区域61的图像请求81。

具体而言，区域受理部211经由通信装置23从任意的监视器终端40接收示出显示区域61的图像请求81作为请求。然后，区域受理部211将接收到的图像请求81写入存储装置22中。

在实施方式1中，设显示区域61是矩形区域。并且，设显示区域61是由以基准点为原点时的左上角的坐标和竖边和横边的长度所示出的区域。另外，显示区域61也可以不是矩形区域，而是圆形区域、椭圆形区域等其它形状的区域。此外，在显示区域61是矩形区域的情况下，也可以像由左上角的坐标和右下角的坐标表示那样由其它方法来表示。

在步骤S12的区域确定处理中，图像请求部212将包含在步骤S11中受理的图像请求81所示出的显示区域61的至少一部分的区域62确定为确定区域64。

参照图6具体地进行说明。图像请求部212从存储装置22中读出在步骤S11中被写入的图像请求81。图像请求部212根据各区域62的坐标和图像请求81所示出的显示区域61，将包含显示区域61的至少一部分的区域62确定为确定区域64。可以通过对各区域62的4个角的坐标与显示区域61进行比较来确定包含显示区域61的至少一部分的区域62。然后，图像请求部212将确定的确定区域64写入存储装置22中。

在图6中，由虚线围起的区域是显示区域61。该情况下，至少一部分包含在由虚线围起的区域中的区域62J、62K、62N、62O被确定为确定区域64。

在步骤S13的图像请求处理中，图像请求部212向与在步骤S12中确定的确定区域64对应地设置的各图像生成装置10发送请求对应区域63的俯瞰图像数据的生成的生成请求82。

具体而言，图像请求部212从存储装置22中读出在步骤S12中被写入的确定区域64。图像请求部212确定以确定区域64作为对应区域63的图像生成装置10。另外，设为哪个区域62是哪个图像生成装置10的对应区域63这一事项被预先存储在存储装置22中。图像请求部212经由通信装置23向各图像生成装置10发送请求该图像生成装置10的对应区域63的俯瞰图像数据的生成的生成请求82作为请求。

在图6中，确定区域64是区域62J、62K、62N、62O。向以区域62J、62K、62N、62O的各个区域作为对应区域63的4个图像生成装置10请求对应区域63的俯瞰图图像数据的生成。

在步骤S14的请求受理处理中，图像生成装置10的请求受理部111受理在步骤S13中被发送的生成请求82。

具体而言，请求受理部111经由通信装置13接收生成请求82作为请求。然后，请求受理部111将接收到的生成请求82写入存储装置12中。

在步骤S15的部分图像生成处理中，部分图像生成部112依照在步骤S14中受理的生成请求82的请求，生成对应区域63的俯瞰图像数据作为部分图像数据72。

具体而言，部分图像生成部112从存储装置12中读出在步骤S14中被写入的生成请求82。部分图像生成部112在读出生成请求82时，从各摄像装置50取得摄像数据71。部分图像生成部112对各摄像数据71进行俯瞰转换后进行合成，生成部分图像数据72。然后，部分图像生成部112将生成的部分图像数据72写入存储装置12。

俯瞰转换处理是由图像失真校正处理和参数化转换处理构成，用于将图像的视点向上方移动的处理。图像失真校正处理是对源自镜头特性的失真进行校正的处理。用于校正失真的运算参数取决于摄像装置50的镜头规格，被预先存储在存储装置12中。但是，在镜头的个体差异较大的情况下，也存在需要个别校正的情况。在参数化转换处理中，使用图7所示的平面投影矩阵H，根据失真校正后的图像的点i生成俯瞰图像的点j。可以根据4个特征点的坐标计算出平面投影矩阵H，并且，预先计算出平面投影矩阵H并将其存储在存储装置12中。具体而言，可以通过如下方式计算出平面投影矩阵H：当设置摄像装置50时，在摄像范围内设置棋盘(checkerboard)进行拍摄，测量所拍摄的图像数据的失真。

在对经俯瞰转换而得到的俯瞰图像数据进行合成的处理中，对于摄像数据71彼此的重合部分，通过将距离参数作为权重进行混合处理(blending process)，能够形成没有间断的、犹如由一个摄像装置50拍摄的图像。

在步骤S16的部分图像发送处理中，部分图像发送部113将在步骤S15中生成的部分图像数据72发送给图像集合装置20。

具体而言，部分图像发送部113从存储装置12中读出在步骤S15中被写入的部分图像数据72。然后，部分图像发送部113经由通信装置13将部分图像数据72发送给图像集合装置20。

在步骤S17的图像集合处理中，图像集合装置20的图像集合部213取得在步骤S16中从各图像生成装置10发送的部分图像数据72。然后，图像集合部213对所取得的各部分图像数据72进行合成，生成作为显示区域61的俯瞰图像数据的集合图像数据73。

具体而言，图像集合部213经由通信装置23接收在步骤S16中从各图像生成装置10发送的部分图像数据72。然后，图像集合部213对各部分图像数据72的重合部分通过以距离参数作为权重进行混合处理来进行合成，生成集合图像数据73。图像集合部213将生成的集合图像数据72写入存储装置22。

在步骤S18的集合图像发送处理中，集合图像发送部214将在步骤S17中生成的集合图像数据73发送给分发装置30。

具体而言，集合图像发送部214从存储装置22中读出在步骤S17中被写入的集合图像数据73。然后，集合图像发送部214从集合图像数据73中截取显示区域61的部分的图像数据，经由通信装置23将其发送给分发装置30。这时，将作为在步骤S11中发送了图像请求81的发送源的监视器终端40的识别信息一并发送给分发装置30。

在步骤S19的图像分发处理中，分发装置30的图像分发部311将在步骤S18中发送的集合图像数据73分发给作为图像请求81的发送源的监视器终端40。

具体而言，图像分发部311一并接收在步骤S18中发送的集合图像数据73以及作为图像请求81的发送源的监视器终端40的识别信息。然后，图像分发部311对与识别信息对应的目标地址发送接收到的集合图像数据73。

由此，作为图像要求81的发送源的监视器终端40取得作为显示区域61的俯瞰图像数据的集合图像数据73。然后，监视器终端40将所取得的集合图像数据73显示在显示装置上。

每次从各监视器终端40发送图像请求81时，执行图5所示的动作。当在针对某个监视器终端40的处理中从其它监视器终端40发送了图像请求81时，图像生成装置10和图像集合装置20以分时方式进行处理。

也可以反复执行步骤S15至步骤S19的处理，直到从同一监视器终端40发送了新的图像请求81、或者直到从监视器终端40发出停止的指示为止。即，也可以是，一旦从监视器终端40发送了图像请求81，依次更新并分发该图像请求81所示出的显示区域61的俯瞰图像数据。由此，能够在监视器终端40上显示显示区域61的连续的俯瞰图像数据。

在步骤S18或步骤19中，图像分发部311也可以压缩集合图像数据73来进行分发，以减少网络的业务。压缩所使用的格式可以是运动JPEG那样的连续的静态图像，也可以是MPEG/H.264那样的压缩动态图像。

在图6中，各区域62是矩形，并且，各区域62被配置成瓷砖状(tile-like manner)。但是，实际上，区域62的形状受柱和壁等障碍物以及由摄像装置50的镜头的视角、朝向以及设置高度决定的摄像范围的影响。因此，区域62的形状不为矩形，各区域62不一定配置成严格的瓷砖状。

参照图8，对区域62的形状不为矩形、各区域62未被配置成严格的瓷砖状的情况进行说明。在图8中，摄像装置50A拍摄摄像范围65A，摄像装置50B拍摄摄像范围65B，摄像装置50C拍摄摄像范围65C，摄像装置50D拍摄摄像范围65D。如果将与摄像装置50A～50D连接的图像生成装置10的对应区域63形成为矩形，则区域X为对应区域63。但是，实际上，在柱66A～66C和壁67A、67B的范围内，无法进行拍摄。因此，与摄像装置50A～50D连接的图像生成装置10的对应区域63为从区域X中将柱66A～66C和壁67A、67B的范围除外而得到的范围。

在区域62的形状不为矩形、各区域62未能被配置成严格的瓷砖状的情况下，预先创建示出图8所示的各区域62的二维地图。然后，图像请求部212通过比较二维地图和显示区域61来确定包含在显示区域61中的区域62。

二维地图是由摄像机设置仿真器那样的装置生成的地图。摄像机设置仿真器是通过仿真来确定最佳的摄像机配置的装置。摄像机设置仿真器根据镜头的视角信息求出用数量尽可能少的摄像机来覆盖整个区域的最佳的摄像机配置，并将其与各摄像机的摄影范围的信息一起输出。这里，摄像机配置包含摄像机的位置、朝向和设置高度。二维地图的构成要素可以是柱和壁的数值位置信息，也可以是比例尺粗略的点群信息。

＊＊＊实施方式1的效果＊＊＊

如上所述，在实施方式1的图像生成***1中，每当存在来自监视器终端40的请求时，无需生成整个对象区域60的俯瞰图像数据，而仅生成从监视器终端40所请求的显示区域61的俯瞰图像数据。由此能够降低生成俯瞰图像数据的处理负荷。

特别是，在实施方式1的在图像生成***1中，对于处理负荷较大的俯瞰图像数据的生成处理，分散到多个图像生成装置10来执行。因此，即使在从多个监视器终端40分别指定显示区域61、生成作为所指定的显示区域61的俯瞰图像数据的集合图像数据73的情况下，也能够快速地生成显示区域61的集合图像数据73。

在判断对象区域60中的各地点的拥挤状况时可以利用实施方式1的图像生成***1。以往，在切换由监视摄像机拍摄的图像数据的同时判断拥挤状况，但是，通过使用实施方式1的图像生成***1，指定想判断拥挤状况的场所，即可迅速得到该场所的俯瞰图像数据。因此，与以往相比，能够容易且迅速地判断拥挤状况。

＊＊＊其它结构＊＊＊

在实施方式1中，通过软件实现了图像生成装置10、图像集合装置20和分发装置30的各功能。但是，作为变形例，也可以通过硬件来实现图像生成装置10、图像集合装置20和分发装置30的各功能。关于该变形例，对与实施方式1的不同点进行说明。

图9是通过硬件来实现各部的功能时的图像生成装置10的结构图。

在通过硬件来实现各部的功能的情况下，图像生成装置10具备通信装置13、摄像机接口14和处理电路15。处理电路15是实现图像生成装置10的各部的功能和存储装置12的功能的专用的电子电路。

图10是通过硬件来实现各部的功能时的图像集合装置20的结构图。

在通过硬件来实现各部的功能的情况下，图像集合装置20具备通信装置23和处理电路24。处理电路24是实现图像集合装置20的各部的功能和存储装置22的功能的专用的电子电路。

图11是通过硬件来实现各部的功能时的分发装置30的结构图。

在通过硬件来实现各部的功能的情况下，分发装置30具备通信装置33和处理电路34。处理电路34是实现图像分发部311的功能和存储装置32的功能的专用的电子电路。

假定处理电路15、24、34为单一电路、复合电路、已编程处理器、并行已编程处理器、逻辑IC、GA、ASIC、FPGA。GA是Gate Array(门阵列)的缩写。ASIC是ApplicationSpecificIntegrated Circuit(专用集成电路)的缩写。FPGA是Field-Programmable GateArray(现场可编程门阵列)的缩写。

可以通过一个处理电路15、24、34来实现各部的功能，也可以使各部的功能分散到多个处理电路15、24、34而实现。

此外，作为另一变形例，也可以通过硬件实现一部分功能，其它功能通过软件来实现。即，也可以通过硬件实现图像生成装置10的各部中的一部分功能，其它功能通过软件来实现。对于图像集合装置20，也可以通过硬件实现一部分功能，其它功能通过软件来实现。

处理器11、21、31、存储装置12、22、32和处理电路15、24、34被统称为“处理电路(processing circuitry)”。即，通过处理电路来实现各部的功能。即，图像生成装置10构成为图2和图9中的任何一个所示的结构时，也通过处理电路来实现各部的功能。同样地，图像集合装置20构成为图3和图10中的任何一个所示的结构时，也通过处理电路来实现各部的功能。同样地，分发装置30构成为图4和图11中的任何一个所示的结构时，也通过处理电路来实现图像分发部311的功能。

实施方式2.

实施方式2在如下方面与实施方式1不同：预测将来成为显示区域61的区域，在被指定为显示区域61之前预先生成所预测的区域的俯瞰图像数据。在实施方式2中，对该不同的部分进行说明。

在实施方式2中，对显示区域61滚动而重新指定显示区域61的情况进行说明。

＊＊＊结构的说明＊＊＊

参照图12对实施方式2的图像集合装置20的结构进行说明。

图像集合装置20在图3所示的功能结构的基础上，还具备预测部215。预测部215的功能与其它功能同样，是通过软件来实现的。

此外，在存储装置22中存储有缓存表221和历史记录表222。

如图13所示，缓存表221是将集合图像数据73与生成该集合图像数据73的时刻一并与监视器终端40和显示区域61对应起来进行存储的表。

如图14所示，历史记录表222是存储有显示区域61的左上角的坐标以及滚动的角度和距离的表。

在历史记录表222中，在时刻T-n一栏中存储有从时刻T-n向时刻T-(n-1)的滚动角度和距离。因此，在关于最新的显示区域61所存储的时刻T的一栏中，未存储有滚动的角度和距离，而仅存储有显示区域61的左上角的坐标。

图像生成***1的结构、图像生成装置10的结构、分发装置30的结构与实施方式1相同。

＊＊＊动作的说明＊＊＊

参照图15和图16对实施方式2的图像生成***1的动作进行说明。

实施方式2的图像生成***1的动作与实施方式2的图像生成方法相当。此外，实施方式2的图像生成***1的动作与实施方式2的图像生成程序的处理相当。

在实施方式2中，设为从初始指定的显示区域61开始滚动而重新指定新的显示区域61。

步骤S21的处理与图5所示的步骤S11的处理相同。

在步骤S22的缓存判定处理中，图像请求部212判定在步骤S21中受理的作为显示区域61的俯瞰图像数据的集合图像数据73是否被存储在存储装置22的缓存表221中。

具体而言，图像请求部212从存储装置22中读出在步骤S21中被写入的图像请求81。图像请求部212利用作为图像请求81的发送源的监视器终端40和图像请求81所示出的显示区域61来检索缓存表221，如果检索到，则判定为该集合图像数据73被存储在缓存表221中，如果没有检索到，则判定为该集合图像数据73未被存储在缓存表221中。

在集合图像数据73未被存储在缓存表221中的情况下，图像请求部212使处理进入步骤S23。另一方面，在集合图像数据73被存储在缓存表221中的情况下，图像请求部212使处理进入步骤S29。

步骤S23至步骤S27的处理与图5所示的步骤S12至步骤S16的处理相同。

在步骤S28的图像集合处理中，图像集合部213对从各图像生成装置10发送的部分图像数据72进行合成而生成集合图像数据73。图像集合部213将生成的集合图像数据73与作为发送源的监视器终端40和图像请求81所示出的显示区域61对应起来写入到缓存表221中。

在步骤S29的集合图像发送处理中，集合图像发送部214将在步骤S28中生成的集合图像数据73或存储在缓存表221中的集合图像数据73发送给分发装置30。

具体而言，当判定为在步骤S22中集合图像数据73未被存储在缓存表221中时，集合图像发送部214从存储装置22中读出在步骤S28中被写入的集合图像数据73。另一方面，当判定为在步骤S22中集合图像数据73被存储在缓存表221中时，集合图像发送部214从缓存表221中读出集合图像数据73。然后，集合图像发送部214从集合图像数据73中截取显示区域61的部分的图像数据，并经由通信装置23将其发送给分发装置30。

步骤S30的处理与图5所示的步骤S18至步骤S19的处理相同。

在步骤S31的历史记录存储处理中，预测部215取得在步骤S21中受理的图像请求81，根据图像请求81所示出的显示区域61来更新历史记录表222。

具体而言，预测部215将保存在历史记录表222中的与作为发送源的监视器终端40对应的行中的信息逐个移动到右栏。即，在图14中，当作为发送源的监视器终端40是终端编号B时，保存在时刻T-2栏中的信息被移动到时刻T-3栏，保存在时刻T-1一栏中的信息被移动到时刻T-2栏，存在时刻T栏中的信息被移动到时刻T-1栏。然后，预测部215将图像请求81所示出的显示区域61的左上的坐标写入到时刻T栏中。此外，预测部215根据显示区域61的左上的坐标和存在时刻T-1栏中的坐标来计算滚动的角度和距离，并将它们写入到时刻T-1栏中。

在步骤S32的预测处理中，预测部215根据存储在历史记录表222中的滚动的角度和距离，把将来成为显示区域61的位置预测为预测区域68。

参照图17和图18具体地进行说明。在通过滚动来重新指定显示区域61时，沿与过去的滚动相同的方向滚动而指定新的显示区域61的可能性较大。在图17中，设为当显示区域61A已被指定时，通过滚动而重新指定显示区域61B。在该情况下，之后显示区域61C周边被指定的可能性较大。因此，预测部215通过对过去的滚动角度和距离取平均来预测接下来的滚动方向，并将接下来的滚动方向上的预先确定的范围预测为预测区域68。在图18中，使用从时刻T-1的显示区域61向时刻T的显示区域61的滚动角度θa和距离La以及从时刻T-2的显示区域61向时刻T-1的显示区域61的滚动角度θb和距离Lb。于是，在图18中，通过(θaLa+θbLb)/(La+Lb)预测出将来的滚动方向D。

在步骤S33的预测区域确定处理中，图像请求部212将包含在步骤S32中预测出的预测区域68的至少一部分的区域62确定为确定区域64。包含预测区域68的至少一部分的区域62的确定方法与在步骤S23中确定包含显示区域61的至少一部分的区域62的方法相同。

在步骤S34的预测图像请求处理中，图像请求部212向与在步骤S33中确定的确定区域64对应地设置的各图像生成装置10发送请求对应区域63的俯瞰图像数据的生成的生成请求82。

步骤S35至步骤S38的处理与步骤S25至步骤S28的处理相同。

在步骤S32中，在图18中，根据过去两次的滚动预测接下来的滚动而预测出预测区域68。但是，使用过去几次的滚动进行预测不限于两次，也可以是其它次数。

也可以根据滚动的频度来确定使用过去几次的滚动进行预测。具体而言，也可以是，滚动的频度越高，则使用越多次数的滚动进行预测。

＊＊＊实施方式2的效果＊＊＊

如上所述，在实施方式2的图像生成***1中，预测将来成为显示区域61的区域，在指定显示区域61之前预先生成所预测的区域的俯瞰图像数据作为集合图像数据73。并且，当显示区域61被指定时，如果已经生成了集合图像数据73，则读出该集合图像数据73并将其分发给监视器终端40。因此，能够在短时间内将集合图像数据73分发给监视器终端40。

＊＊＊其它结构＊＊＊

在实施方式2中，与实施方式1同样，通过软件实现了图像生成装置10、图像集合装置20和分发装置30的各功能，但是，也可以通过硬件来实现图像生成装置10、图像集合装置20和分发装置30的各功能。此外，也可以是，图像生成装置10、图像集合装置20和分发装置30的各功能中的一部分功能通过硬件实现，其它功能通过软件来实现。

实施方式3.

实施方式3在以与显示区域61的大小对应的分辨率来生成集合图像数据73的方面与实施方式1、2不同。在实施方式3中，对该不同点进行说明。

＊＊＊结构的说明＊＊＊

图像生成***1的结构、图像生成装置10的结构、图像集合装置20的结构以及分发装置30的结构与实施方式2相同。另外，在实施方式3中，与实施方式2相同，但是也可以与实施方式1相同。

＊＊＊动作的说明＊＊＊

参照图15对实施方式3的图像生成***1的动作进行说明。

实施方式3的图像生成***1的动作与实施方式3的图像生成方法相当。此外，实施方式3的图像生成***1的动作与实施方式3的图像生成程序的处理相当。

步骤S21至步骤S23、步骤S25、以及步骤S27至步骤S33的处理与实施方式2相同。

在图15的步骤S24中，图像请求部212发送生成请求82，该生成请求82请求以与在步骤S21中受理的图像请求81所示出的显示区域61的大小对应的分辨率来生成俯瞰图像数据。具体而言，图像请求部212发送显示区域61越大则指定越低的分辨率的生成请求82。

在图19中，从监视器终端40A指定的显示区域61A最大，从监视器终端40B指定的显示区域61B第二大，从监视器终端40C指定的显示区域61C最小。因此，对于显示区域61A，指定最低的分辨率，对于显示区域61B，指定第二低的分辨率，对于显示区域61C，指定最高的分辨率。

在步骤S26中，部分图像生成部112以生成请求82所指定的分辨率，生成对应区域63的俯瞰图像数据作为部分图像数据72。

具体而言，部分图像生成部112根据生成请求82所指定的分辨率从摄像数据71中间疏(間引く)像素数据。即，分辨率越低，则部分图像生成部112间疏掉越多的像素数据。然后，部分图像生成部112根据间疏像素数据后的摄像数据71生成部分图像数据72。

＊＊＊实施方式3的效果＊＊＊

如上所述，在实施方式3的图像生成***1中，当显示区域61较大时，生成降低了分辨率的部分图像数据72。因此，能够降低部分图像数据72和集合图像数据73的生成处理的负荷。

标号说明

1：图像生成***；10：图像生成装置；11：处理器；12：存储装置；13：通信装置；14：摄像机接口；15：处理电路；111：请求受理部；112：部分图像生成部；113：部分图像发送部；20：图像集合装置；21：处理器；22：存储装置；23：通信装置；24：处理电路；211：区域受理部；212：图像请求部；213：图像集合部；214：集合图像发送部；215：预测部；221：缓存表；222：历史记录表；30：分发装置；31：处理器；32：存储装置；33：通信装置；34：处理电路；311：图像分发部；40：监视器终端；50：摄像装置；60：对象区域；61：显示区域；62：区域；63：对应区域；64：确定区域；65：摄像范围；66：柱；67：壁；68：预测区域；71：摄像数据；72：部分图像数据；73：集合图像数据。

Claims (3)

1.一种图像生成***，其中，所述图像生成***具备：

图像生成装置，其是与对象区域被分割而形成的每个区域对应地设置的图像生成装置，所述图像生成装置与拍摄所对应的区域即对应区域的多个摄像装置连接，根据由所连接的多个摄像装置拍摄的摄像数据，生成所述对应区域的俯瞰图像数据；以及

图像集合装置，当被请求了显示的显示区域被滚动而重新指定所述显示区域时，所述图像集合装置根据所述滚动的角度和距离来预测将来所滚动的方向，由此把将来成为所述显示区域的位置预测为预测区域，在所述预测区域被指定为所述显示区域之前，该图像集合装置使与包含所述预测区域的至少一部分的区域对应地设置的各图像生成装置生成所述对应区域的俯瞰图像数据作为部分图像数据，对所生成的部分图像数据进行合成而生成作为所述显示区域的俯瞰图像数据的集合图像数据。

2.根据权利要求1所述的图像生成***，其中，

所述图像集合装置通过将过去滚动的各个角度分别与对应的距离相乘得到的积的和除以距离之和，来预测将来所滚动的方向。

3.一种图像生成方法，其中，

图像集合装置在被请求了显示的显示区域被滚动而重新指定所述显示区域时，根据所述滚动的角度和距离来预测将来所滚动的方向，由此把将来成为所述显示区域的位置预测为预测区域，

图像集合装置在所述预测区域被指定为所述显示区域之前，使与对象区域被分割而形成的每个区域对应地设置的图像生成装置中的、与包含所述预测区域的至少一部分的区域对应地设置的各图像生成装置根据由拍摄所对应的区域即对应区域的多个摄像装置拍摄的摄像数据，生成所述对应区域的俯瞰图像数据作为部分图像数据，

图像集合装置对所生成的部分图像数据进行合成而生成作为所述显示区域的俯瞰图像数据的集合图像数据。

Images