CN100446558C - 视频产生处理装置和视频产生处理方法 - Google Patents

Abstract

一种用于产生由基本视频和与该基本视频相关的相关视频组成的多角度视频的视频产生装置。该装置包括视频数据库(105)，包含视频数据和作为视频数据属性信息的成像位置信息。当用户通过显示装置(101)输入搜索关键字时，相关视频条件产生装置(103)从视频数据库(105)获取与该搜索关键字匹配的视频，并根据所获取的视频信息确定与该视频相关的视频条件。视频搜索/合成装置(104)将与通过显示装置(101)输入的搜索关键字匹配的输入视频和由相关视频条件产生装置(103)产生的视频条件组合，以产生多角度视频。这样实现了对增强犯罪防范效果的监控视频的读取和用户界面。

Description

视频产生处理装置和视频产生处理方法

技术领域

本发明涉及一种用于监控电视的视频产生处理装置、视频产生处理方法和视频存储装置，该监控电视的目的在于加强犯罪防范效果和实现更高安全水平的监控。视频产生处理装置和视频产生处理方法可以对满足期望条件的视频以及与此有关的视频进行搜索。此外，视频存储装置具有数据管理结构来提高基于视频数据具有的属性信息而进行的搜索的效率。

背景技术

目前，诸如入室行窃、谋杀和伤害等等犯罪行为逐年增加。特别是近年来在诸如邮局、学校、火车站、公路等等公共设施中的犯罪行为迅速增加。因此，在公众之中对监控安全的兴趣也迅速提高。

利用监视摄像机进行的监控主要具有两个功能。一个功能是通过实况视频检查在现有状态下是否发生了任何异常情况。根据这一点，即使发生这样的状况也可以迅速处理异常状况，并由此将这种状况抑制到最小损害的程度。此外，监控该区域可以产生提高犯罪防范的效果。

第二功能是在没有采用现场监控时稍后播放和检查记录在视频磁带记录器、硬盘驱动器等等上的累积视频，否则即使该事件等发生，也可以检查该事件发生之前和之后的情况或分析记录该事件的视频。具体地说，在日本有很多设施没有配备现场监控。由此，例如在第二天快进视频来检查是否发生了异常事件，或者当事件发生时在很多用途中查阅该视频。在这种情况下，有时向警察提供所记录的视频，以分析该事件或检查情况，并将该视频用作逮捕罪犯或事先防止该事件的材料。

实现这种监控的监控***主要由多个监视摄像机、视频记录设备、显示视频的显示装置以及用于在监视摄像机和视频记录设备之间、视频记录设备和视频显示装置之间传送视频的传送介质。

作为与此相关的技术发展趋势，现在值得将大容量高速通信的扩展、更大容量的记录介质以及数字技术的实际应用继续下去。

大容量高速通信的数据传输效率随着诸如JPEG(联合图像专家组)、MPEG(运动图像专家组)等数字压缩技术的进步而得到了改善，并且通过诸如FTTH(光纤到户)、ADSL(非对称数字用户线)等通信介质或通信方法的传播使得大容量高速通信传播到私人领域。结果，视频数据从多个监控站传送到远程监控中心等等并在该中心内累计/管理，主管也可以从其家中通过互联网自由查看监控视频。

此外，由于记录介质的成本降低和数字记录装置发展到硬盘等等，记录容量也变得越来越大。在该数字记录装置中，可以在不停止记录操作的情况下播放累积视频，并且视频还能在与传感器数据关联的同时累积等。

根据上述技术发展，开发了可以管理全部从远程地点的多个监控点拾取的视频或累计大量视频的***，并可以实现通过互联网自由观看该视频。

结果，任何人都可以在任何时间从任何地方读取该累积视频。反之，也产生了监控人员所面临的问题，例如为了找到期望视频需要对监控点的监控状况具有足够知识，为了从大量视频中找到期望视频要增加劳动力等等。

因此，为了将上述大容量和多点访问监控***充分付诸实施，重要的是要利用能更为容易和更为有效地从大量累积视频中搜索期望视频以及更为有效地读取该大量累积视频的视频搜索/读取***。

作为目前的视频搜索/读取装置，已经知道在JP-A-10-243380和JP-A-11-282851中提出了这种装置。通常，这种装置具有如图19所示的配置，并且数据流通常具有如图19所示的流形式。

下面参考图19描述现有技术的视频搜索/读取装置。视频搜索/读取装置具有3个装置，也就是表示为1901的显示装置，用于输入搜索条件和显示视频数据，表示为1902的视频搜索装置，用于基于显示装置输入的搜索条件从视频数据库中搜索匹配的食品，并向显示装置输出由该搜索获得的文本信息或视频数据，以及表示为1903的视频数据库，用于在需要时累积视频数据和视频数据的属性信息。

下面解释该视频搜索/读取装置的操作。在用户希望获得在特定时间拾取的视频、由特定摄像机拾取的视频或显示特定地点的视频时，该用户将诸如搜索条件的数据输入显示装置1901中以指示该装置搜索该视频。显示装置1901在接收到该指令时，向视频搜索装置1902发送输入搜索条件1904。视频搜索装置1902集于搜索条件1905，从视频数据库1903内累积的视频数据中搜索满足该条件的视频。对所有累积的视频数据进行视频搜索，然后形成由匹配的视频数据组成的搜索结果数据1906或唯一表示该视频数据的ID。视频搜索装置1902向显示装置1901发送搜索结果数据1907，然后显示装置1901向用户显示该数据。

如现有技术的方法所表示的，通常累积视频搜索装置基于诸如由用户输入的摄像机ID、位置信息、时间信息等搜索关键字，搜索满足条件的视频。

在这种情况下，由于对象没有以期望角度显示在已经由条件搜索获得的视频(此后称为“可注意视频”)中，因此通常必须再次搜索累积视频，以检测从不同角度拍摄的视频。例如，当在可注意视频中发现可疑人物或对象时，通常会做出“用户希望观察在另一角度拾取的视频”的请求。但是，在现有技术的视频搜索/读取装置中，必须重新通过再次设置条件，按照搜索拍摄同一地点的其它摄像机的方式来搜索期望视频等等，因此需要很多时间来获得期望的视频。

此外，在读取监控器视频时，用户命令检查显示在可注意视频中的地点的周围环境。但是，在现有技术的视频搜索/读取装置中，用户必须知道哪个摄像机显示周围的地点并搜索显示期望位置的视频，因此需要很多时间来获得期望视频。此外，由于要求用户具有涉及哪个摄像机在当时拾取哪个地点的监控状况的知识和监控地点的知识，因此存在只有具有这些知识的人才能很容易地观看期望视频的问题。

而且，监控地点存在由诸如架子、柱子等等物理物质形成的死角。但是，在现有技术的视频搜索/读取装置中，为了检查在可注意视频的死角区域中是否发生异常情况，用户必须知道哪个摄像机显示该地点然后重新搜索期望视频，因此花费很多时间来获得期望视频。并且，由于要求用户具有涉及哪个区域构成监控视频中的死角区域的知识以及涉及哪个摄像机显示该死角区域的知识，因此存在只有具有这些知识的人才能很容易地观看期望视频的问题。

而且，当通过条件搜索找到多个匹配视频或同时在多个屏幕上检查多个视频时，由于数量太大很难在这些视频中找到最期望的视频，因此给用户增加了负担。

而且，在仔细研究主要观察视频及其相关视频时，主要观察的视频经常改变。在现有技术的视频搜索/读取装置中，由于涉及主要视频的视频必须被人工设置为监控这些视频，因此当可注意视频改变时必须再次对应地搜索有关视频。该搜索需要大量人工劳动。

并且，在现有技术的监控装置中，在很多情况下可以存储监控器的期望视频的记录区域提供给与记录由监控摄像机拾取的视频的正常记录区域不同的另一个区域。但是，在现有技术的监控装置中，由于采用静态图片或运动图片单独保存的设置，因此当存在大量需要保存的图像时工作时间变得非常可观。并且，在拾取所保存的视频时，需要很多时间和劳力来收集所有满足期望条件的视频。

而且，在现有技术的视频搜索/读取装置中，采用视频数据以摄像机为单位来保存的格式。因此，在使用视频数据的各属性信息值作为搜索关键字来搜索视频时，必须从所有摄像机的视频数据中搜索具有匹配属性值的视频。结果需要大量的搜索时间。

发明内容

本发明就是为了克服上述问题，本发明的目的是提供一种视频产生处理装置和视频产生处理方法，可以自动选择用作基础的视频数据和与该视频数据相关很大的视频，并能综合处理多个视频。本发明的另一目的是提供一种可以快速搜索期望视频的视频存储装置。

本发明的视频产生处理装置用于处理在由多个成像装置拾取的视频中的、多个互相关联以满足预定条件的视频，以便进行显示，该视频产生处理装置包括成像位置信息获取装置，用于从存储由多个成像装置拾取的视频和各视频的附加信息的视频存储装置中获取满足第一预定条件的基本视频的成像位置信息；相关视频条件产生装置，用于基于包含在第一预定条件中的所获取的成像位置信息和日期/时间信息产生相关视频条件；以及视频获取装置，用于从视频存储装置中获取满足相关视频条件的相关视频。因此，可以综合处理监控中的视频和与该视频高度相关的视频。

而且，优选的是，本发明的视频产生处理装置还包括显示处理装置，用于处理基本视频和相关视频，以同时显示在一个屏幕上。因此，可以将期望对象作为多角度视频来监控。

而且，在本发明的视频产生处理装置中，优选的是，分别用于拾取相关视频的成像装置和用于拾取基本视频的成像装置是不同的。

而且，在本发明的视频产生处理装置中，相关视频条件包含成像位置信息和日期/时间信息。因此可以从多角度监控期望对象。

而且，在本发明的视频产生处理装置中，相关视频条件包含与成像位置信息和日期/时间信息表示的位置相邻的区域的位置信息。因此可以在大范围内监控期望对象。

而且，在本发明的视频产生处理装置中，相关视频条件包含没有在基本视频中拾取的不可视区域的位置信息和日期/时间信息。因此，也可以监控变成拍摄基本视频的成像装置的死角的区域。

而且，在本发明的视频产生处理装置中，相关视频条件产生装置获取在视频特征空间中与基本视频相邻的视频的成像位置信息，以产生相关视频条件。因此，可以对多个特征相同的视频进行监控。

而且，在本发明的视频产生处理装置中，相关视频条件产生装置获取在内容含义上与基本视频相关的视频的成像位置信息，以产生相关视频条件。因此，可以对多个内容含义相同的视频进行监控。

而且，在本发明的视频产生处理装置中，当相关视频包含至少两个视频时，根据优先规则排序各视频。因此，相关视频的显示可以按照接近用户期望视频的顺序来排列。

而且，在本发明的视频产生处理装置中，存储在视频存储装置中的各视频的附加信息包括成像位置信息、日期/时间信息和成像装置信息，视频存储装置的数据结构由二维排列构成，其中第一轴表示成像位置信息，而第二轴表示日期/时间信息，然后，在预定日期/时间拍摄预定成像位置的成像装置的信息保存在一个预定成像位置信息和预定日期/时间信息相互交叉的单元中。因此，可以很快从视频存储装置中获取视频。

本发明的视频产生处理方法用于在由多个成像装置拾取的视频中处理多个互相关联以满足预定条件的视频，以便进行显示，该视频产生处理方法包括从存储由多个成像装置拾取的视频和各视频的附加信息的视频存储装置中获取满足第一预定条件的基本视频的成像位置信息的步骤；基于包含在第一预定条件中的所获取的成像位置信息和日期/时间信息产生相关视频条件的步骤；以及从视频存储装置中获取满足相关视频条件的相关视频的步骤。

而且，本发明的视频存储装置用于存储由多个成像装置获取的视频和各视频的附加信息，其中各视频的附加信息包括成像位置信息、日期/时间信息和成像装置信息，并且视频存储装置的数据结构由二维排列构成，其中第一轴表示成像位置信息，第二轴表示日期/时间信息，然后在预定日期/时间拍摄预定成像位置的成像装置的信息保存在一个预定成像位置信息和预定日期/时间信息相互交叉的单元中。

在本发明中，首先，提供了视频数据库，其中记录了视频数据和作为各视频数据的属性信息的成像位置信息，还提供了一种视频产生处理方法，用于当指定基本视频或唯一确定基本视频的搜索关键字时，搜索显示与基本视频显示的成像位置相同的地点的视频作为相关视频，然后将由基本视频和该相关视频组成的多个视频关联成多角度视频。

因此，可以容易地浏览拍摄与期望视频相同地点的其它摄像机的视频，因此可以获得减少需要关于摄像机安装位置等重新搜索视频的时间和人力的效果。而且，通过监控多角度视频所产生的视频可以在多个角度监控期望对象，并获得减少死角的效果。

第二，提供了视频数据库，其中记录了视频数据和作为各视频数据的属性信息的成像位置信息，还提供了一种视频产生处理方法，用于当指定基本视频或唯一确定基本视频的搜索关键字时，搜索显示与基本视频显示的成像位置相邻的相邻区域的视频作为相关视频，然后将由基本视频和该相关视频组成的多个视频关联成多角度视频。

因此，可以容易地浏览拍摄期望视频周围地点的其它摄像机的视频，因此可以获得减少需要关于摄像机安装位置等重新搜索视频的时间和人力的效果。而且，通过监控多角度视频所产生的视频可以在大范围内监控期望对象，并达到注意周围区域的监控。

第三，提供了视频数据库，其中记录了视频数据和作为各视频数据的属性信息的成像位置信息，相关视频条件产生装置，其包含各摄像机的不可见区域的信息，以及视频产生处理方法，用于当指定基本视频或唯一确定基本视频的搜索关键字时，搜索显示基本视频显示的成像位置的不可见区域的视频作为相关视频，然后将由基本视频和该相关视频组成的多个视频关联成多角度视频。

因此，可以容易地浏览拍摄期望视频中死角区域的其它摄像机的视频，因此可以获得减少需要关于摄像机安装位置等重新搜索视频的时间和人力的效果。而且，通过监控多角度视频所产生的视频可以监控不能由一个摄像机拾取的地点，并获得减少死角的效果。

第四，提供一种视频产生处理方法，用于按照将基本视频和相关视频组成的多个视频关联成多角度视频的方式，基于各视频的成像位置信息，通过按照优先级标准对视频排序来关联多个视频。

因此，可以按照成像位置接近用户期望视频的顺序排列视频，并通过监控多角度视频产生的视频来显示。而且，可以改善在观看多个视频时产生的难以看见的状况。

第五，提供一种视频产生处理方法，用于检测人员特征，并按照将基本视频和相关视频组成的多个视频关联成多角度视频的方式，通过基于各视频中所示的个人信息对视频排序来关联构成多角度视频的多个视频。

因此，可以按照对监控来说很重要的视频个人信息越重要则级别越高的顺序来排列视频，并通过监控多角度视频产生的视频来显示。而且，可以改善在观看多个视频时产生的难以看见的状况。

第六，提供一种视频产生处理方法，用于将基本视频切换为正在显示的任意视频，根据切换指令搜索与基本视频相关的视频，并将多个视频关联为多角度视频。

因此，可以根据在察看多角度视频时产生的可注意视频的变化来进行视频显示，并且可以实现按照场合要求来改变监控方法的高级监控。

第七，提供了一种视频产生处理装置，用于基于用户指令对多角度视频、即多个视频进行分组，并记录在除了具有用于记录由监控摄像机拾取的视频的正常记录区域之外还具有用于累积期望视频的记录区域的视频数据库中。

因此，单个视频数据可以处理为具有相关性的块数据，并达到改善用户界面的效果。而且，可以提高视频数据的便携性。

第八，提供了一种视频产生装置，通过采用可以从任意两种信息中提取出第三种信息的数据表，可以综合管理三种信息，即涉及累积在视频数据库中的视频的成像位置信息、日期/时间信息和成像摄像机信息。

因此，由于数据记录结构由二维排列构成，其中例如第一轴表示成像位置信息，第二轴表示日期/时间信息，然后在第二轴的日期/时间拍摄第一轴的成像位置的摄像机的数据保存在一个第一轴和第二轴相互交叉的单元中。因此，可以达到改善搜索由该成像位置信息或日期/时间信息或两种信息表征的视频数据的速度的效果。

具体来讲，根据本发明的一个方面，提供了一种视频产生处理装置，包括：多个成像装置，每一个成像装置都用于拾取视频；视频存储装置，用于存储由多个成像装置拾取的视频和各视频的附加信息；相关视频条件产生装置，用于基于存储在所述视频存储装置中的视频和附加信息产生与基本视频相关的相关视频条件，该相关视频条件包括所述基本视频的成像位置信息、相邻位置信息、或不可视区域的位置信息；视频获取装置，用于从所述视频存储装置中获取满足相关视频条件的相关视频，其中，处理由多个成像装置拾取的视频，以显示多个相互关联并满足所述相关视频条件的视频。

根据本发明的另一个方面，提供了一种视频产生处理方法，包括步骤：由多个成像装置拾取视频；将由多个成像装置拾取的视频和各视频的附加信息存储在视频存储装置中；根据存储在所述视频存储装置中的视频和附加信息产生与基本视频相关的相关视频条件，该相关视频条件包括所述基本视频的成像位置信息、相邻位置信息、或不可视区域的位置信息；从视频存储装置中获取满足相关视频条件的相关视频；以及处理由多个成像装置拾取的视频，以显示多个相互关联并满足所述相关视频条件的视频。

通常，根据这些发明的监控能以更高的安全水平来实施。

附图说明

图1是示出本发明的视频产生处理装置的示意图的框图；

图2是示出本发明的实施例1的视频数据库的记录结构的视图；

图3是示出本发明的实施例1的监控区域的地图信息管理方法的示例图；

图4示出在本发明的实施例1中当输入摄像机ID和日期/时间信息作为搜索关键字时整个装置中的处理流程；

图5是示出在本发明的实施例1中当输入摄像机ID和日期/时间信息作为搜索关键字时多角度视频显示的示例图；

图6是在本发明的实施例1中当输入摄像机ID和日期/时间信息作为搜索关键字时相关视频条件产生装置的操作流程图；

图7是在本发明的实施例1中当显示一个视频期间指示多角度时示出操作轮廓的视图；

图8是在本发明的实施例2中当输入摄像机ID和日期/时间信息作为搜索关键字时示出操作要点的视图；

图9是在本发明的实施例2中当输入摄像机ID和日期/时间信息作为搜索关键字时相关视频条件产生装置的操作流程图；

图10是示出在本发明的实施例3中的不可见区域和不可见区域信息的示例图；

图11是在本发明的实施例3中当输入摄像机ID和日期/时间信息作为搜索关键字时示出操作要点的视图；

图12是在本发明的实施例3中当输入摄像机ID和日期/时间信息作为搜索关键字时相关视频条件产生装置的操作流程图；

图13是在本发明的实施例4中作为基于成像范围对视频的估计的相关率和再现率的示例图；

图14是示出在本发明的实施例5中读取多角度视频时的基本视频切换操作要点的视图；

图15示出在本发明的实施例5中当读取多角度视频时指示切换基本视频时的显示装置中的处理流程；

图16是示出本发明实施例6中的视频产生处理装置的全部配置的视图；

图17是示出本发明实施例7中的用于管理成像位置和日期/时间和成像摄像机信息的数据表的视图；

图18示出在本发明实施例7中当成像位置和日期/时间用作视频条件时在相关视频搜索装置和视频数据库之间的处理流程；

图19是示出现有技术中的视频搜索/读取装置的示意配置的框图；以及

图20是示出基于人员特征显示多角度视频的方法示例图。

在上述附图中，附图标记101是显示装置，102是多角度视频产生装置，103是相关视频条件产生装置，104是视频搜索/合成装置，105是视频数据库，106是相关视频搜索装置，107是相关视频合成装置，201是视频数据区域，202是时间信息，203是视频数据，204是成像位置信息，205是每个视频数据中的数据，401是显示装置中的输入处理，402是从显示装置发送搜索关键字信息的处理，403是从视频数据库中搜索与搜索关键字匹配的视频的处理，404是从视频数据库中获取成像位置信息作为搜索结果的处理，405是向视频搜索/合成装置发送相关视频条件的处理，406是从视频数据库中搜索与相关视频匹配的视频的处理，407是从视频数据库中获取相关视频的处理，408是向显示装置发送多角度视频的处理，501是显示装置中的输入屏幕，502是用户输入的搜索关键字，503是显示装置中的输出屏幕，504是基本视频，505是相关视频，601是从显示装置接收搜索关键字的处理，602是设置日期/时间变量的初始值的处理，603是从视频数据库中搜索与搜索关键字匹配的视频，以判定是否存在匹配的视频数据即基本视频的处理，604是从视频数据库中获取基本视频的成像位置信息的处理，605是将基本视频的成像位置信息和日期/时间变量值设置为相关视频条件的处理，606是向视频搜索/合成装置发送相关视频条件的处理，607是增加日期/时间变量的处理，608是判定预定时间段内的处理是否终止的处理，701是在显示装置上的单一视频显示屏，702是多角度指令按钮，703是用户输入的多角度指令，704是在显示装置上播放的视频数据，705是正在播放的视频数据的成像位置信息，706是相关视频，707是显示装置中的多角度视频显示，801是显示装置上的输入屏幕，802是用户输入的搜索关键字，803是与搜索关键字匹配的基本视频，804是基本视频的成像位置信息，805是与基本视频的成像位置相邻的位置，806是相关视频，807是显示装置上的输出屏幕，901是从显示装置接收搜索关键字的处理，902是从视频数据库中搜索与搜索关键字匹配的视频，以判定是否存在匹配的视频数据即基本视频的处理，903是从视频数据库中获取基本视频的成像位置信息的处理，904是计算与基本视频的成像位置相邻的相邻区域位置的处理，905是将相邻区域位置和日期/时间信息设置为相关视频条件的处理，906是向视频搜索/合成装置发送相关视频条件的处理，1001是监控摄像机X，1002是监控区域中存在的障碍，1003是监控摄像机X的当前成像区域，1004是当监控摄像机X的成像区域是1003时的不可见区域，1005是每个摄像机的不可见区域信息，1101是显示装置上的输入屏幕，1102是用户输入的搜索关键字，1103是基本视频，1104是基本视频的成像位置信息，1105是不可见区域信息，1106是摄像机的不可见区域，1107是将不可见区域作为成像位置信息的相关视频，1108是显示装置上的输出屏幕，1201是从显示装置接收搜索关键字的处理，1202是从视频数据库中搜索与搜索关键字匹配的视频，以判定是否存在匹配的视频数据即基本视频的处理，1203是从视频数据库中获取基本视频的成像位置信息的处理，1204是计算基本视频的成像位置的不可见区域位置的处理，1205是将不可见区域位置和日期/时间信息设置为相关视频条件的处理，1206是向视频搜索/合成装置发送相关视频条件的处理，1301是监控区域的地图，1302是在搜索条件中指定的成像范围，1303是在显示在作为排序对象的视频上的成像范围，1401是显示多角度视频的输入屏幕，1401-a是基本视频，1401-b是相关视频①，1401-c是相关视频②，1402是将相关视频②1401-c指定为基本视频的输入，1403是将利用相关视频②1401-c再现的多角度视频显示为基本视频的输出屏幕，1501是显示多角度视频的显示屏，1502是显示在显示屏上的视频信息，1503是将现在显示在显示屏上的一个相关视频指定为基本视频的输入，1504是在拥有的视频数据信息中对应于指定视频的视频数据，1505是显示装置向相关视频条件产生装置发送的搜索关键字，1601是显示装置，1602是视频数据库，1603是正常记录区域，1604是保存区域，1701是将区域ID值作为成像位置信息的第一轴，1702是具有日期/时间信息的第二轴，1703是二维排列的数据保存区域，具有在第二轴指定的日期/时间拍摄由第一轴1701指定的区域的摄像机的摄像机ID，1801是视频搜索/合成装置，1802是视频数据库，1803是数据表，1804是以摄像机为单位记录视频数据的正常记录区域，18-a是视频搜索/合成装置发送搜索条件的处理，18-b是获取在指定的日期/时间拍摄由搜索条件中的数据表指定的成像位置的摄像机的信息的处理，18-c是基于数据表中的信息搜索满足搜索关键字的处理，18-d是向视频搜索/合成装置发送与搜索条件匹配的视频的处理，1901是显示终端，1902是视频搜索装置，1903是视频数据库，1904是显示终端向视频搜索装置发送搜索条件的处理，1905是视频搜索装置基于搜索条件从视频数据库中搜索匹配视频的处理，1906是视频搜索装置从视频数据库中获取搜索结果或匹配视频的处理，1907是视频搜索装置向显示终端发送搜索结果或匹配视频的处理。

具体实施方式

下面参考图1至图19解释本发明的实施例。在这种情况下，本发明不仅限于这些实施例，本发明还可以在不脱离其精神的范围内按照多种模式实施。

(实施例1)

作为第一实施例，下面参考图1至图7解释用于产生由指定的基本视频和与该基本视频显示相同地点的视频组成的多角度视频的视频产生处理装置。

在这种情况中，在本说明书中提出的基本视频代表在产生多角度视频时用作基础的视频，而相关视频代表与该基本视频的属性信息或视频特征相关的视频。

在这种情况下，不特别提及指定基本视频的方法。但是，下面的描述中将在假定通过将摄像机ID或摄像机ID与日期/时间信息指定为搜索关键字来指定基本视频的条件下进行解释。

首先，参考图1和图2解释视频产生处理装置的配置。

在图1中，显示装置101可以在需要时输入摄像机ID和日期/时间或时间段作为搜索关键字，还可以接收/显示多角度视频。多角度视频产生装置102由相关视频条件产生装置103和视频搜索/合成装置104这两个装置组成。相关视频条件产生装置103搜索与从显示装置101获得的摄像机ID和日期/时间信息匹配的视频，即从视频数据库105搜索基本视频，然后获取该基本视频的成像位置信息。所获取的成像位置信息和日期/时间信息设置为相关视频条件，并发送到相关视频搜索装置106。相关视频搜索装置106基于从相关视频条件产生装置103获得的相关视频条件，从视频数据库105中搜集所有的匹配视频。所搜集的所有相关视频都发送到相关视频合成装置107。相关视频合成装置107将相关视频搜索装置106获取的相关视频与基本视频关联，并将它们合成为多角度视频。然后，将多角度视频发送到显示装置101。

在这种情况下，在下面的描述中，将相关视频搜索装置106和相关视频合成装置107总称为视频搜索/合成装置104。

视频数据库105是其中视频数据以及每个视频数据的拍摄时间和成像位置信息都作为监控摄像机的记录数据的数据库，并且可以在给出摄像机ID、日期/时间和成像位置中任意一个或其中任意组合的条件下从该数据库中搜索相应的数据。

图2示出保存在视频数据库105中的数据结构的例子。在视频数据库105中，视频记录在分配给每个摄像机的区域201中，日期/时间信息202、视频数据203和成像位置数据204作为数据205记录在每个视频帧中。图2是示出本发明实施例1的视频数据库的记录结构的视图。作为视频数据203，可以保存视频数据本身，或者保存唯一指定记录在另一区域中的视频数据的ID。图2示出由后者记录的例子。成像位置数据204可以根据管理监控区域的地图的方法来采取各种模式。作为例子，如图3所示，说明了一种将监控区域作为一组被划分为部分区域并分别分配了合适ID(下面称为“区域ID”)的小区域来管理的方法。在这种情况下，记录在视频数据库105中的成像位置数据204可以记录为一组如图2所示的区域ID。而且，作为另一个例子，还有一种提供将监控区域的一个点作为基准的坐标***、然后用坐标值来管理监控区域的方法。在这种情况下，成像位置数据204可以由表示成像范围的矩形的各顶点的坐标值组成的数据表示。

上述记录数据结构和成像位置数据格式只是一个例子，它们的记录格式可以灵活变化。

在本发明实施例的描述中，下面解释利用图2所示的记录数据库和图3所示的监控区域的地图信息来管理数据的情况。

本发明的视频产生处理装置按照图4所示的处理流来操作。

步骤401：用户通过显示装置101输入搜索关键字。在图4中，作为例子，输入摄像机ID＝{Cx}和日期/时间{t0}作为搜索关键字。

步骤402：当接收到搜索关键字输入和搜索指令时，显示装置101向相关视频条件产生装置103发送搜索关键字数据{Cx，t0}。

步骤403：相关视频条件产生装置103基于所接收的搜索关键字数据{Cx，t0}，从视频数据库105中搜索与搜索关键字匹配的视频。在图4的例子中，搜索由摄像机Cx在时间t0拾取的视频，以找到匹配视频数据fx0。

步骤404：作为搜索结果，相关视频条件产生装置103接收一组区域ID{dn，dm}作为成像位置信息，这是匹配视频数据fx0的一个属性信息。

步骤405：相关视频条件产生装置103将搜索关键字给出的日期/时间信息{t0}和所获取的成像位置信息{dn，dm}设置为相关视频条件{{dn，dm}，t0}，然后发送到视频搜索/合成装置104。

步骤406：视频搜索/合成装置104从视频数据库中搜索与相关视频条件{{dn，dm}，t0}匹配的视频。在该例子的情况下，基于相关视频条件从视频数据库105中完全搜索其区域ID包含任何一个{dn，dm}作为成像位置信息、并满足时间信息t0的视频。

步骤407：作为搜索结果，视频搜索/合成装置104接收由满足相关视频条件的视频(在图4的例子中是fy27，fz44)构成的一组视频数据。

步骤408：视频搜索/合成装置104基于步骤407中获得的基本视频fx0和相关视频fy27、fz44，产生多角度视频F，然后将该视频发送到显示装置101。在这种情况下，基本视频fx0可以在步骤403的某个时刻从视频数据库105接收到视频搜索/合成装置104中，或者在步骤407的时刻取出。

图5示出由本实施例实施的多角度视频显示。

当摄像机X和2002/11/19-10:20:00作为输入502输入到显示装置的输入屏幕501上的摄像机ID和日期/时间中作为搜索关键字时，根据本实施例的上述操作执行视频搜索和视频合成处理。然后，在输出屏幕503上显示由摄像机X在该时刻拾取的视频和显示与摄像机X拾取的地点相同或重叠的视频组成的多角度视频。

在这种情况下，在本实施例1的视频产生处理装置中，通过提高作为一个搜索关键字的日期/时间信息的灵活性，可以允许在指定日期/时间之前和之后的预定时间间隔。而且，可以通过时间间隔、即起始时间和结束时间来精确指定日期/时间信息。

当指定时间间隔后，在将该指定时间间隔的起始时间用做初始值的同时，每隔预定时间间隔就更新作为确定基本视频的一个要素的时间信息。并再次搜索基本视频以对应于该更新。结果，由于在任何时间都更新基本视频，并且还改变基本视频的成像位置信息，因此也在任何时间更新有相关视频条件产生装置设置的相关视频条件的内容。

当输入摄像机ID和时间间隔作为搜索关键字时，相关视频条件产生装置103根据图6所示的操作流程图进行操作。该操作分为如下的8个步骤执行。

步骤601：接收摄像机ID Cx以及时间间隔的起始时间ts和结束时间te作为搜索关键字。

步骤602：将起始时间ts设置为日期/时间变量t。

步骤603：将{Cx，t}设置为搜索关键字，并从视频数据库105中搜索与该搜索关键字匹配的视频数据，也就是基本视频。

步骤604：当存在基本视频时获取该基本视频的成像位置信息Dxt。

步骤605：将相关视频条件设置为基本视频的成像位置信息和时间值{Dxt，t}。

步骤606：向视频搜索/合成装置104发送所设置的相关视频条件{Dxt，t}。

步骤607：将预定时间间隔Δt加上日期/时间变量。

步骤608：如果日期/时间变量没有超过结束时间，则返回步骤603，以重复该处理。

利用在相关视频条件产生装置103中的处理，视频搜索/合成装置104基于从相关视频条件产生装置103接收的相关视频条件，从视频数据库105中搜索满足相关视频条件的视频，然后从导出的视频中产生多角度视频。

而且，在本实施例1的视频产生处理装置中，描述了通过输入摄像机ID和日期/时间信息作为搜索关键字来读取期望多角度视频的方法。在这种情况下，通过提供正常单一视频显示功能和允许用户在读取视频期间向本发明的视频产生处理装置指示多角度，可以实现用于显示正在播放的基本视频以及与该视频关联的相关视频的多角度视频显示。这种情况的操作要点在图7中示出。

在图7中，下面作为例子解释在显示屏101上提供按钮作为指示多角度显示的输入装置的配置。当例如摄像机X显示在显示屏701的同时用户单击703显示在显示屏701上的多角度显示指令按钮702时，相关视频条件产生装置103搜索正在播放的摄像机X的视频数据704，并将该视频数据识别为基本视频。

通过图4和图5所示实施例中的显示屏来设置摄像机ID，但将正在播放的视频的摄像机ID设置在其中，同时也通过上述实施例中的显示屏来设置日期/时间信息，但将正在播放的视频的成像时间设置在其中。随后的处理与图4和图5所示实施例中描述的处理类似。首先，获取基本视频的成像位置信息705，也就是摄像机X在当前播放时间13:24:00的视频。在此，获得由区域ID表达的a-3、b-3。接着，将所获取的成像位置705和播放时间值作为相关视频条件来从视频数据库中搜索/收集在13:24:00拾取的区域ID a-3或b-3的视频。图7示出从摄像机Y的视频发送包含成像位置中的区域a-3的帧294。所有按照这种方式收集的相关视频都合成为多角度视频，并显示在输出屏幕707上。对播放视频的每一视频帧都重复该处理，并显示多角度视频。

在这种情况下，在本实施例的解释中，作为管理监控区域地图的方法描述二维管理监控区域的方法。但是可以通过增加从地面开始的高度方向来三维管理该地图。

在这种情况下，在本实施例的解释中，在图5和图7所示的多角度视频中，基本视频显示得大，而相关视频显示得小。但是该格式只是一个示例，可以采用多种显示方式。

如上所述，在本实施中，提供下述功能：当指定基本视频或确定该基本视频的搜索关键字时，产生由该基本视频和作为相关视频的、显示与该基本视频所示的成像位置相同地点的视频组成的多角度视频。由此，由于可以从多个角度观察特定摄像机拍摄的对象，因此可以达到减少死角的效果。

而且，为了响应监控人员通常在视频监控期间感觉到的、诸如“监控人员希望从不同角度观看视频”、“监控人员希望检查该地点是否由其它摄像机拍摄”等等进一步观看的请求，该装置允许用户实现这样的观看，而不必重新搜索期望视频，也不必涉及诸如成像位置、时间、拍摄摄像机等等的监控处理。因此可以达到改善搜索效率的效果。

而且，随着近年来摄像机成本的降低和诸如鱼眼摄像机、驱动摄像机等的广角摄像机的出现，可以通过组合使用摄像机等来执行各种监控方法。由于交叉从多个角度监控对象的多个摄像机的成像范围的方法是其中一种，因此有效观看多个摄像机视频的方法预计会成为观看方法。由此，本发明的能观看多角度视频的视频产生处理装置具有很重要的实际效果。

在此，当采用驱动摄像机时，视频中的成像地点随时变化。在这种情况下，显示在显示装置101上的相关视频不仅限于作为基本视频的在同一时间拾取的视频。换句话说，在图4的步骤406中采用的相关视频条件中的时间信息可以设置为由搜索关键字指定的时间t0之前或之后的时间(t0±驱动摄像机转动时间段)。当这样做时，其它可能在同时拍摄与基本视频相同地点的摄像机的视频可以作为相关视频提出。

(实施例2)

作为实施例2，下面借助图8和图9解释可以在指定基本视频时产生由该基本视频和作为相关视频的、显示与该基本视频所示的成像位置相同地点的视频组成的多角度视频的视频产生处理装置。

在这种情况下，构成本实施例的各装置与实施例1相同，除了相关视频条件产生装置的内部功能、视频数据库的记录结构、监控区域的地图信息等等，如果没有在下述解释中特别提到都与实施例1类似。因此下面主要解释与实施例1不同的部分。

下面参考图8解释由实施例2实现的多角度视频监控相邻区域的要点。

用户在输入屏幕801上输入摄像机ID和日期/时间信息802作为搜索关键字。例如，在图8的例子中指定摄像机X和2002/11/19-10:20:00。从视频数据库105中搜索与输入搜索关键字匹配的视频，也就是由摄像机X在2002/11/19-10:20:00拍摄的视频，并将搜索到的视频帧019设置为基本视频803。由于记录为基本视频帧019的属性信息的成像位置信息804具有区域ID a-3，b-3，因此根据地图信息搜索具有区域ID a-2、a-4、b-2、b-4、c-2、c-3、c-4的区域作为相邻区域。搜索具有在此作为成像位置数据检测的相邻区域位置的视频作为相关视频806。图8示出搜索成像位置为c-2、c-3的摄像机Y的帧519。由按照这种方式搜索的所有相关视频和基本视频组成的多角度视频显示在输出屏幕807上。

如上所述，为了实现将显示与基本视频相邻的相邻区域位置的视频设置为相关视频条件的功能，本实施例2中的相关视频条件产生装置除了实施例1中的之外，还具有监控区域的地图信息，并可以基于该地图信息计算与特定成像位置相邻的位置。

相关视频条件产生装置根据图9所示的流程操作，并由以下6个步骤组成。

步骤901：从显示装置中接收摄像机ID Cx以及日期/时间信息t作为搜索关键字。

步骤902：从视频数据库105中搜索与搜索关键字{Cx，t}匹配的视频数据，也就是基本视频。

步骤903：当存在基本视频时获取该基本视频的成像位置信息Dxt。

步骤904：基于监控区域的地图信息计算与步骤903中获得的基本视频的图像位置信息Dxt相邻的相邻区域位置信息NDxt。

步骤905：将相关视频条件设置为步骤904中计算的相邻区域位置和日期/时间信息{NDxt，t}。

步骤906：向视频搜索/合成装置发送所设置的相关视频条件数据。

在这种情况下，在步骤904，根据管理监控区域的地图信息的方法，计算与基本视频的成像位置相邻的相邻区域的位置信息的方法变得不同。在图3作为例子使用的管理方法中，对监控区域的区域管理就像用长度和宽度划分的矩阵那样。在这种情况下，将每个区域ID的8个相邻单元检测为相邻区域。在此，如果用矩阵号来管理区域ID，则可以通过简单计算来检测相邻区域。

在实施例2的视频产生处理装置中，可以通过时间间隔来指定日期/时间信息作为一个搜索关键字。

此外，在实施例2的视频产生处理装置中，描述通过输入摄像机ID和日期/时间信息作为搜索关键字来观看由与搜索关键字匹配的基本视频和相邻视频组成的多角度视频的方法。但是，如果在观看视频期间将正常单一视频显示功能和用于指示形成多角度视频的输入装置提供给本发明的视频产生处理装置，则在将当前播放的视频作为基本视频的同时，可以通过执行与上述处理类似的处理来观看由基本视频和有时显示该基本视频的相邻视频的视频组成的多角度视频。

而且，在实施例2中的视频产生处理装置中，将相关视频条件设置为与成像位置具有物理位置关系的相邻视频。但是，可以将视频特征空间中的相邻视频选择为有意义的相邻视频。

作为视频特征空间中的相邻视频，例如，摄像机视频显示一个人具有接近于显示在基本视频中的人的脸部特征的脸部特征，那么，通过将所述视频特征空间设置为代表脸部的特征量的特征空间，而将所述摄像机视频选择为相关视频。图20示出此时显示多角度视频的方法示例。以图20(a)的基本视频和相关视频中显示的人的大小为顺序来显示视频，并且根据图20(b)的脸部朝向来排列和显示视频。而且，如果将视频特征空间设置为诸如典型色(typicalcolor)、彩色(coloring)、纹理(texture)等的颜色特征空间，则可以将具有与基本视频相似的颜色特征的摄像机视频设置为相关视频。而且，如果将视频特征空间设置为诸如运动方向、速度等的运动特征集合，则可以将显示具有与基本视频中显示的移动对象相似的运动信息的对象的摄像机视频设置为相关视频。

而且，在实施例2的视频产生处理装置中，将相关视频条件设置为与成像位置具有物理位置关系的相邻视频。但是在含义上类似于基本视频的摄像机运动的相邻视频可以设置为相关视频。例如，如果基本视频是经受放大操作的视频，则其它同样经受放大操作的摄像机的视频可以选择为相关视频。或者，由于相邻视频的含义，其中发生了与发生在基本视频中的事件相同或类似的事件(例如门被打开、人跑步等等)的视频可以设置为相关视频。

如上所述，在本实施例中，提供了在将摄像机ID指定为搜索关键字时产生由与该搜索关键字匹配的基本视频和给出基本视频中所示的成像位置的相邻位置的视频组成的多角度视频的功能。由此，可在很大范围内观看由特定摄像机拍摄的对象，还可以达到减少死角的效果。

而且，通常监控摄像机用于在事件发生后进行查证等等。此时，除了事件发生地点的视频之外，显示周围环境的视频也被考虑成了解当时状况的重要视频。在该应用中，通常必须重新搜索和观看显示期望位置的视频，以考虑监控摄像机的安装位置等等。本发明的装置可以省略搜索时间和劳力，并方便地实现对周围区域的监控。

按照这种方式，在本实施例中的监控可以获得大大增强安全水平和改善搜索效率的效果，并具有重要的实际效果。

(实施例3)

作为实施例3，下面参考图10至图12解释可以在指定基本视频时产生由该基本视频和作为相关视频的、显示该基本视频的成像位置的不可见区域的视频组成的多角度视频的视频产生处理装置。

在这种情况下，本实施例类似于实施例1的结构，并且包含显示装置、有相关视频条件产生装置和视频搜索/合成装置组成的多角度视频产生装置、以及视频数据库。

由于显示装置、视频装置和视频搜索/合成装置分别具有与实施例相同的功能，在此省略对它们描述。

相关视频条件产生装置除了实施例1种的功能之外，还具有监控区域的地图信息、各摄像机的不可见区域位置信息和基于该地图信息、不可见区域位置信息和各摄像机的成像位置信息计算不可见区域位置的功能。

本说明书中描述的“不可见区域”是指位于摄像机可以拍摄的范围内、但由于诸如架子、柱子等障碍物而造成不可见的区域。图10示出了不可见区域的一个例子。

假定诸如架子、柱子等的障碍物1002存在于其中具有摄像机X1001的监控区域。尽管利用监控摄像机X1001的镜头摇动/倾斜/放大功能使得当前成像区域位于当前成像区域1003中、但还是由于障碍物1002而变得不可见的区域1004被定义为不可见区域。

不可见区域信息1005描述在摄像机的成像区域中的不可见区域的信息。包含在相关视频条件产生装置中的不可见区域信息给出表示哪个区域被造成在特定摄像机拾取特定区域图像时变得不可见的数据，并且该不可见区域信息是事先设置并准备好的。

而且，由相关视频条件产生装置设置的相关视频条件设置满足搜索关键字的视频的成像区域的不可见区域信息，以及时间信息。

下面借助图11解释由实施例3实现的多角度视频观看不可见区域的要点。

用户在输入屏幕1101上输入摄像机ID和日期/时间信息1102作为搜索关键字。例如，在图11指定摄像机X和2002/11/19-10:20:00。从视频数据库中搜索与输入搜索关键字匹配的视频，也就是由摄像机X在2002/11/19-10:20:00拍摄的视频，并将搜索到的视频帧019设置为基本视频1103。由于记录为基本视频帧019的属性信息的成像位置1104具有区域ID c-3、c-4、d-3、d-4，因此根据不可见区域信息1105搜索关于当前成像位置的不可见区域1106作为具有区域ID d-3的区域。具有在此作为成像位置数据检测的不可见区域1106的视频被检测为相关视频1107。图11示出检测成像位置为d-2、d-3的摄像机Y的视频帧332。由按照这种方式检测的所有相关视频和基本视频帧019组成的多角度视频显示在输出屏幕1108上。

相关视频条件产生装置根据图12所示的流程操作，并包括以下6个步骤。

步骤1201：从显示装置中接收摄像机ID Cx以及日期/时间信息t作为搜索关键字。

步骤1202：从视频数据库中搜索与搜索关键字{Cx，t}匹配的视频数据，也就是基本视频。

步骤1203：当存在基本视频时获取该基本视频的成像位置信息Dxt。

步骤1204：基于摄像机Cx的不可见区域信息，响应步骤1203中获得的基本视频的成像位置信息Dxt来计算当前成像位置中的不可见区域位置NVDxt。

步骤1205：将相关视频条件设置为步骤1204中计算的不可见区域位置和日期/时间信息{NVDxt，t}。

步骤1206：向视频搜索/合成装置发送所设置的相关视频条件数据。

在图10中，作为不可见区域信息的例子，示出将不可见区域ID设置给各摄像机的各成像区域的方法。信息保存方法并没有与上述方法不同，并且可以按照任意方式获得。因此，例如，如果监控区域由坐标装置给定，则可以按照在观看特定坐标点时指定构成不可见区域的区域的方式来保存信息。

而且，在本实施例中，描述事先设置不可见区域信息的效果。可以基于监控区域的地图信息、摄像机的状态信息(放大、摇动镜头、倾斜等等)、障碍物的位置信息等等来顺序计算不可见区域信息。

在这种情况下，在本实施例3中的视频产生处理装置中，可以通过时间间隔来指定作为搜索关键字之一的日期/时间信息。

而且，在本实施例3的视频产生处理装置中，描述通过输入摄像机ID和日期/时间信息作为搜索关键字来观看由期望视频和不可见区域视频组成的多角度视频的方法。在这种情况下，如果在观看视频期间将正常单一视频显示功能和用于指示形成多角度视频的输入装置提供给本发明的视频产生处理装置，则在将当前播放的视频作为基本视频的同时，可以通过执行与上述处理类似的处理来观看由基本视频和有时显示该基本视频的不可见区域视频的视频组成的多角度视频。

如上所述，在本实施例中，提供了在将摄像机ID指定为搜索关键字时产生由与该搜索关键字匹配的基本视频和给出基本视频及其不可见区域中所示的成像位置的视频组成的多角度视频的功能。由此，可以同时检查其中障碍物等等在由特定摄像机拍摄的区域中产生死角的区域。

诸如架子、柱子等障碍物存在于实际监控地点，并且即使在摄像机的监控范围内也存在其中由障碍物产生死角的区域。为了检查具有死角的区域是否处于危险中，通常必须再次搜索和观看显示期望位置的视频，以考虑监控摄像机所提供的位置等等。但是，本发明的装置可以省略这种搜索时间和劳力，并方便地实现对死角区域的监控。

在这种方式下，本实施例的监控可以获得大大增强安全水平和改善搜索效率的效果，并具有重要的实际效果。

(实施例4)

作为实施例4，参考图14解释具有包含优先级规则来排序构成多角度视频的视频的视频搜索/合成装置，以及能基于按照该规则的各视频优先级压缩多角度视频的视频产生处理装置。

在这种情况下，实施例4所示的本发明涉及一种从多个视频中合成多角度视频的方法，并与图1所示的视频产生处理装置中的相关视频合成装置107有关。因此，该实施例没有限制构成视频产生处理装置的其它装置的功能，并且可以实施在上述实施例1至3提出的任何装置中。

在下面的解释中，主要描述提供给相关视频合成装置的视频优先级规则。

在相关视频合成装置中处理的视频由基本视频和因为与该基本视频高度相关而被收集的相关视频组成。可以在实施例1至3的相关视频中收集多个需要排序的视频。通过将成像位置信息作为搜索条件来收集这些视频。因此，基于成像位置的优先级标准用作排序这些视频的第一标准。

此外，基于对象的个人信息的优先级标准用作排序这些视频的第二标准。这是因为本发明涉及监控领域，并且个人信息在监控时是一种非常重要的信息。

下面参考图13解释基于成像位置的第一优先级标准。

在由一组区域ID组成的信息被指定为相关图像条件之后，从数据库中获得在相关视频合成装置中处理的、作为排序对象的视频作为与成像位置信息匹配的视频。

例如，假定将

D＝{d0，d1，d2，...，dn}

指定为由n个ID组成的成像位置信息，并且获取具有包含在该成像位置信息D中的一个或多个区域ID作为成像位置的视频作为匹配视频。存在u个所收集的匹配视频，也就是作为排序对象的视频，并且这些视频分别表示为

f0，f1，f2，...，fx，...，fu

并且，假定在各视频fx中显示的成像位置由一组m个区域ID表示

Ax＝{ax0，ax1，ax2，...，axj，...，axm}

下面两个估计值用作排序视频f0，f1，f2，...，fu的标准。

(1)与搜索条件匹配的位置与作为排序对象的视频fx中显示的成像位置之比

(2)其中显示视频fx的位置与搜索条件中的成像位置D之比

在此，(1)是表示相关率的指数。例如，当视频fx显示除图13的13-E所示的期望位置之外的很多部位时降低了估计值，而当视频fx除图13的13-A至C所示的期望位置之外几乎不显示什么位置时增大了估计值。(2)是表示调用率的指数。例如，当视频fx只显示由图13的13-A所示的搜索条件指定的成像位置的一部分时降低了估计值，而当视频fx显示由图13的13-C至E所示的指定成像位置的很多部位时增大了估计值。指数(1)和(2)是交替使用的关系，但两个估计值都在只完全显示期望位置的视频中具有最高值。因此，采用在其中两个估计值相互结合的整体估计值。作为整体估计值，考虑采用(1)和(2)中的估计值之和，或乘积，或任意加权和，等等的估计值。在此，在假定将两个估计值的简单和设置为总估计值的条件下进行解释。

下面具体示出计算(1)和(2)中各估计值的方法示例。

用等式(1)中的估计值判定属于估计对象视频fx的成像位置Ax的每个区域Idaxj是否包含在期望成像位置D中。

$\left.\begin{array}{c}\mathrm{axj}\∈\mathrm{Ax},\mathrm{axj}\∈D\→I\left(\mathrm{axj}\right)=1\\ \mathrm{axj}\∈\mathrm{Ax},\mathrm{axj}\∈D\→I\left(\mathrm{axj}\right)=0\end{array}\right\}---\left(1\right)$

通过使用该值，(1)中的估计值E1由等式(2)确定。

E1＝{∑j＝0，m I(axj)}/m    (2)

而且，(2)的估计值E2由等式(3)确定。

E2＝{∑j＝0，m I(axj)}/n    (3)

其中m是组Ax的元素数目，而n是组D的元素数目。

估计值E由(1)和(2)的和确定。

E＝E1+E2

如果利用该估计值E估计每个视频fx，然后从具有最高估计值的视频开始顺序排列这些视频，则各视频可以从除期望位置之外显示部分最少、但显示期望位置的部分最多的视频开始顺序显示。

下面，作为第二标准解释基于个人信息的优先级标准。

如上所述，个人信息在监控领域非常重要。因此，为相关视频合成装置提供了人员识别功能，并对作为排序对象的各视频应用人员识别处理，然后利用其结果分配优先级。

作为基于人员识别结果的估计值，采用如下两个值。

(1)在视频中显示的人的大小

(2)在视频中显示的人脸的朝向

在这种情况下，当在一幅视频中显示多人时，可以考虑在视频显示得最大的人的信息、在视频最中间部分显示的人的信息等等。在(1)中，通过从视频中检测人的区域的功能，将视频中的人占据的比例用作估计值。在(2)中，通过检测头部，将该头部分区域中占据的人脸的皮肤有色区域的比例用作估计值。

上面，作为排序多个视频的优先级标准来解释基于成像位置的标准和基于个人信息的标准。在这种情况下，可以自由设置诸如其中各标准相互组合的估计方法。

而且，如果将本实施例所示的优先级配属到视频，然后提供限制显示视频数的功能或提供较低限制的估计值的功能，则可以先滤波该视频然后显示。

而且，在本实施例中的视频排序结果可以反映到视频显示的大小上，例如具有最大估计值的视频显示得较大，而具有低估计值的视频显示得较小等等。

如上所述，在本实施例中，由于向用于从基本视频和相关视频中产生多角度视频的装置提供基于预定优先级标准排序构成多角度视频的多个视频的功能。由此，可以达到改善在监控多个视频时产生的难以见到状况的效果。

而且，由于采用期望估计值来排序视频，因此可以容易地从满足搜索关键字的视频中获取最期望的视频。

在这种方式下，本实施例中的监控可以达到改善视频监控显示的效果，并获得重要的实际效果。

(实施例5)

作为实施例5，下面参考图14和图15解释具有用于将基本视频切换为显示装置中正显示的任意视频的装置，并且能响应该切换指令重建新基本视频的多角度视频的视频产生处理装置，其中在该显示装置上显示由基本视频和相关视频组成的多角度视频。

在这种情况下，实施例5中所示的本发明涉及由相关视频和图1所示的视频产生处理装置产生的基本视频组成的多角度视频的显示/监控功能，并定位为其扩展功能。因此，该实施例没有限制构成视频产生处理装置的各装置的功能，并且可以实施在上述实施例1至4提出的任何装置中。

在下面的解释中，主要描述与本发明关联的显示装置的功能。

图14示出本实施例的操作要点。

输入屏幕1401示出显示多角度视频的显示装置101的屏幕。多角度视频由基本视频和相关视频组成。在图14的例子中，显示了一个基本视频1401-a和相关视频①1401-b以及相关视频②1401-c。

对于对象在相关视频②1401-c中比在基本视频1401-a中显示得大的原因，例如是由于在观看该多角度视频时希望“主要观看相关视频②的细节”。此时，用户可以通过单击等等来指定相关视频②1401-c，指示显示装置1401将视频切换到基本视频。

本装置再次在屏幕1401上将相关视频②1401-c设置为基本视频，并在输出屏幕1403上显示由新的基本视频和相关视频组成的多角度视频。

图15示出执行图14所示操作的处理流程。

在这种情况下，由于本实施例中的视频产生处理装置具有与图1相似的配置，因此在图15中只示出与本实施例5密切相关的显示装置101和作为多角度视频产生装置102的一部分的相关视频条件产生装置103。其它装置的处理流程分别在实施例1至3的解释中给出。

首先，假定由一个基本视频和两个相关视频①，②组成的多角度视频显示在显示装置101(屏幕1501)上。此时，显示装置101具有每个视频的帧ID、摄像机ID、日期/时间、成像位置等信息作为正显示在显示屏幕1501上的视频数据1502。

例如，当显示装置从用户那里接收到将显示屏中的相关视频切换为基本视频的指令1503时，显示装置从所拥有的视频数据1502中搜索指定相关视频②的视频数据1504。在图15中，将该指定视频识别为由摄像机Cz在成像时间t0在成像位置b-2拍摄的视频。显示装置101基于该数据设置由摄像机ID和日期/时间信息组成的搜索关键字{Cz，t0}或有成像位置信息和日期/时间信息组成的搜索关键字{b-2，t0}，然后发送到相关视频条件产生装置103(1505)。

相关视频条件产生装置103在接收到该搜索关键字时，根据该搜索关键字由上述实施例1至3中的相应处理确定相关视频条件。由于在上述实施例1至3中已经解释了随后的处理，因此在此省略其解释。

按照这种方式，在本实施例中，显示装置101具有管理功能，总是在其自身显示装置上显示视频数据，然后在用户指示改变基本视频时基于指定视频数据的信息再次设置搜索关键字，接着将该搜索关键字发送到相关视频条件产生装置103。作为发送到相关视频条件产生装置103中的搜索关键字，可以采用摄像机ID或成像位置信息。多角度视频产生装置102响应各搜索关键字来执行处理，然后产生由用户指定的视频的多角度视频，接着在显示装置101上显示该视频。

如上所述，在本实施例中，提供了一种具有用于在监控由基本视频和相关视频组成的多角度视频时将基本视频切换为正在显示的任意视频的装置，并且能根据该切换指令重建新基本视频的多角度视频的视频产生处理装置。由此可以实现根据监控时产生的可注意视频的变化来改变显示视频的高水平监控。

这样，本实施例的监控具有改善用户界面的效果，并具有重要的实际效果。

(实施例6)

作为实施例6，下面参考图16解释一种视频产生处理装置，该装置所具有的功能包括对显示在显示装置上的多角度视频(即基于用户指令的多个视频)进行分组、然后在视频数据库中记录该分组视频，其中该视频数据库具有一个与用于记录监控摄像机的成像视频的正常记录区域(下面称为“正常记录区域”)分开的、用于累计期望视频的记录区域(下面称为“保存区域”)。

在这种情况下，实施例6所示的本发明定位为图1的视频产生处理装置的附加功能。因此，本实施例没有限制构成视频产生处理装置的各装置的功能，并且可以实施在上述实施例1至3提出的任何装置中。

在下面的解释中，主要描述与本发明关联的显示装置和视频数据库。

图16中示出本实施例的视频产生处理装置的配置图。

图16中，1601表示显示装置，该显示装置1601除具有图1的显示装置101的功能之外，还具有指示保存正在显示的多角度视频的输入装置，以及从累积在后面描述的视频数据库1602的保存区域1604中的数据中提取出待显示视频的功能。

此外，1602表示视频数据库，其包括类似于图1中的视频数据库105记录视频数据的正常记录区域1603，和可以关联多个从显示装置1601接收的视频数据、然后分组这些数据并累积这些数据的保存区域1604。

在图16中，显示装置1601、多角度视频产生装置102、相关视频条件产生装置103、视频搜索/合成装置104和视频数据库1602中的正常记录区域1603可以由上述实施例1至3中描述的操作产生多角度视频，然后分别在显示装置1601上显示该视频。

在显示装置1601上显示多角度视频时，该显示装置1601在屏幕上显示可以指示保存正显示的多角度视频的输入手段。例如显示“保存按钮”等。当用户单击该“保存按钮”时，显示装置1601向视频数据库1602中的保存区域发送按下该按钮所显示的多角度视频的数据，并在该保存区域中记录该数据。多角度视频由多个视频组成，并且显示装置与各视频数据相关，然后对这些视频进行分组，然后保存它们。这里提出的“进行分组”意思是将多个视频作为一块(lump)来处理，并通过将表示从同一块中的一个视频到另一视频的信息记录到记录区域来实现。作为保存数据，记录各视频的属性信息和关于在基本视频和相关视频之间进行选择的信息、即搜索关键字等等以及各视频数据。

在这种情况下，在观看记录在保存区域1604中的视频时，可以利用每个事先保存的数据来搜索视频，并且可以作为一个分组视频或单个视频来搜索视频。

在本实施例中，描述了可以对正在显示的多角度视频分组并进行保存的功能。但是除了正在显示的视频外还可以实现类似的功能。例如，还可以实现通过指定日期/时间或时间间隔和摄像机ID或成像位置信息以及在显示装置上指示保存该视频，直接将基于指定条件产生的多角度视频加载到视频数据库的保存区域中并进行保存的功能。

如上所述在本实施例中，提供了由用户保存任意多个具有构成多角度视频的相关性的视频而同时又保持该相关性的功能。因此，该功能允许用户将诸如一组从不同角度显示可疑人物的视频、多个显示事件发生时该事件周围环境的视频等相关视频作为一块来处理。

而且，由此在观看所保存的视频时，可以非单独而是和相关视频一起的监控满足条件的视频。

这样，本实施例中的监控可以达到获得高水平精读/保存和改善用户界面的效果，以及改善视频数据便携性的效果，并具有明确的实际效果。

(实施例7)

作为实施例7，下面参考图17和图18解释通过提供采用可以从任意两种信息中提取出第三种信息的数据表来集中管理关于累积在视频数据库中的视频的成像位置、日期/时间和成像摄像机这三种信息的装置，基于这三种信息加速视频搜索的视频产生处理装置。

在这种情况下，实施例7所示的本发明涉及视频数据库，并定位于图1中的视频产生处理装置的附加功能。因此，本实施例可以实施在上述实施例1至3提出的任何装置中，并且该实施例没有限制构成视频产生处理装置的其它装置的功能。

作为用于管理成像位置、日期/时间和成像摄像机的记录结构的例子，图17示出一个数据表，用于将由一组在第二轴表示的日期/时间拍摄由第一轴表示的区域的摄像机ID组成的数据1703保存到二维排列的单元中，在所述单元第一轴和第二轴相互交叉，并且该二维排列具有在第一轴1701上的成像位置的区域ID，以及在第二轴1702上的日期/时间信息。

在这种情况下，可以通过在监控视频被顺序记录到视频数据库中时将摄像机ID添加到满足视频数据信息的单元中，来产生图17所示的数据表。在这种方式下，通过在正常记录视频数据的同时将视频数据记录到数据表中，可以管理在视频数据库中累积的所有视频。

下面，解释在具有正常记录区域和视频数据库的视频产生处理装置中执行的观看处理，在该正常记录区域中对每个摄像机记录视频数据和视频数据的属性信息，并且该视频数据库利用图17所示的数据表管理记录在正常记录区域中的所有视频信息。

图18示出当成像位置信息和日期/时间信息作为搜索条件给出时执行的搜索处理流程。在图18中，只示出作为视频产生处理装置中本处理的主要部分的相关视频搜索装置和视频数据库。

步骤18-a：相关视频搜索装置1801利用作为搜索条件的一组表示成像位置的区域ID{dn，dm}和日期/时间信息t0访问视频数据库1802。

步骤18-b：首先，相关视频搜索装置从视频数据库1802的数据表1803中扫描与搜索条件中的每个区域ID和日期/时间信息的组合匹配的单元。在图18中，相关视频搜索装置获得摄像机ID组{Cy，Cz}作为区域ID是dn且日期/时间是t0的单元的信息，还获得摄像机ID组{Cz}作为区域ID是dm且日期/时间是t0的单元的信息。这意味着两个在日期/时间t0显示区域dn的摄像机是Cy、Cz，并且一个在日期/时间t0显示区域dm的摄像机是Cz。

步骤18-c：由于与搜索条件{{dn，dm}，t0}匹配的视频由摄像机Cy和Cz拾取，因此相关视频搜索装置从保存摄像机Cy和Cz的视频数据的正常记录区域1804中搜索在成像时间t0拾取的视频。

步骤18-d：相关视频搜索装置获取在步骤18-c中找到的视频数据。

这样，可以通过提供数据表1803来省略从所有摄像机视频中搜索满足搜索条件的视频的处理。

在这种情况下，在本实施例中，图17中的数据表用于通过指定成像位置和日期/时间来检测在预定日期/时间拍摄预定位置的摄像机。但是该数据表还可用作他途。例如，可以容易地实现用户希望观看显示某一天特定成像位置的所有视频的搜索效果等等。在只采用正常记录区域的传统记录中，必须利用在指定日期的时间00:00:00作为日期/时间信息的初始值，从所有摄像机视频中搜索所有时间显示预定位置的视频。但是，利用本发明的数据表，可以容易地获取表示哪个摄像机在特定时间拍摄特定位置的信息。

在这种情况下，在本实施例中，用于管理成像位置信息、日期/时间信息和成像摄像机欣喜地记录结构通过二维排列来实现。但是，如果通过成像位置和日期/时间的两个值只能唯一引用图像摄像机信息，则任何模式都可以用于体现该结构。

如上所述，在本实施例中，由于提供了利用可从任两种信息中提取出第三种信息的数据表来集中管理关于在视频数据库中累积的视频的成像位置信息、日期/时间信息和成像摄像机信息这三种信息的装置，可以达到加速基于这三种信息进行的视频搜索的效果。

特别的，在搜索操作中，该操作需要传统视频记录中的全搜索，以便用户希望获得显示特定区域的视频，用户希望获得在特定日期/时间拍摄的视频，等等，可以大大改善处理速度。

这样，本实施例的监控具有改善搜索处理速度的效果和重要的实际效果。

本申请是基于在2002年7月2日提交的日本专利申请(专申请号2002-193048)而提交的，并且通过引用将其内容合并于此。

工业实用性

如上所述，根据本发明可以获得如下优点。

首先，由于提供了产生由用户指定的基本视频和作为相关视频的、其它拍摄与基本视频相同地点的摄像机的视频组成的多角度视频的功能，可以简化从多角度对特定摄像机显示的对象的监控，并执行减少死角区域的高安全水平监控。

第二，由于提供了产生由用户指定的基本视频和作为相关视频的、其它拍摄基本视频成像地点的相邻地点的摄像机的视频组成的多角度视频的功能，可以简化对特定摄像机显示的对象的周围情况的检查，并执行减少死角区域的高安全水平监控。

第三，由于提供了产生由用户指定的基本视频和作为相关视频的、其它拍摄基本视频不可见区域的摄像机的视频组成的多角度视频的功能，可以执行减少死角区域的高安全水平监控。

第四，由于提供了通过按照基于各视频的成像位置信息的优先级标准排序构成多角度视频的多个视频来构成多角度视频的功能，可以按照接近于用户期望视频的成像位置的顺序来排列视频，并且可以达到改善在观看多个视频时产生的难以看见状况的效果。

第五，由于提供了通过将人员检测处理应用于各视频、然后基于个人信息排序构成多角度视频的多个视频来构成多角度视频的功能，可以按照对监控很重要的个人信息的重要程度来排列视频，并达到改善在观看多个视频时产生的难以看见状况的效果。

第六，由于提供了在监控由基本视频和相关视频组成的多角度视频期间切换基本视频的装置，可以实现根据在观看视频时产生的可注意视频的变化而改变显示视频的高水平监控。

第七，由于提供了用于保存正在显示的多个视频而在监控多角度视频时使相关性保持原样的装置，可以将多个相关视频处理为一块。

第八，由于提供了采用可以从任意两种信息中提取出第三种信息的数据表来集中管理关于累积在视频数据库中的视频的成像位置、日期/时间和成像摄像机这三种信息的装置，可以改善由成像位置信息或日期/时间信息或成像摄像机或各信息的组合表征的视频数据的搜索速度。

Claims (12)

1.一种视频产生处理装置，包括：

多个成像装置，每一个成像装置都用于拾取视频；

视频存储装置，用于存储由多个成像装置拾取的视频和各视频的附加信息；

相关视频条件产生装置，用于基于存储在所述视频存储装置中的视频和附加信息产生与基本视频相关的相关视频条件，该相关视频条件包括所述基本视频的成像位置信息、相邻位置信息、或不可视区域的位置信息；

视频获取装置，用于从所述视频存储装置中获取满足相关视频条件的相关视频，

其中，处理由多个成像装置拾取的视频，以显示多个相互关联并满足所述相关视频条件的视频。

2.根据权利要求1所述的视频产生处理装置，

其中，所述视频产生处理装置利用选择基本视频的第一预定条件，从视频存储装置中获取基本视频的成像位置信息，并且基于包含在第一预定条件中的所获取的成像位置信息和日期/时间信息，产生相关视频条件。

3.根据权利要求1所述的视频产生处理装置，还包括显示处理装置，用于处理基本视频和相关视频，以同时显示在一个屏幕上。

4.根据权利要求1所述的视频产生处理装置，其中，分别用于拾取相关视频的成像装置和用于拾取基本视频的成像装置是不同的。

5.根据权利要求4所述的视频产生处理装置，其中，所述相关视频条件包含成像位置信息和日期/时间信息。

6.根据权利要求4所述的视频产生处理装置，其中，所述相关视频条件包含与基本视频的成像位置信息和日期/时间信息表示的位置相邻的相邻区域的位置信息。

7.根据权利要求4所述的视频产生处理装置，其中，所述相关视频条件包含没有在基本视频中拾取的不可视区域的位置信息和日期/时间信息。

8.根据权利要求4所述的视频产生处理装置，其中，所述相关视频条件产生装置获取在视频特征空间中与基本视频相邻的视频的成像位置信息，以产生相关视频条件。

9.根据权利要求4所述的视频产生处理装置，其中，所述相关视频条件产生装置获取在内容含义上与基本视频具有相关性的视频的成像位置信息，以产生相关视频条件。

10.根据权利要求1所述的视频产生处理装置，其中，当相关视频包含至少两个视频时根据优先规则排序各视频。

11.根据权利要求1所述的视频产生处理装置，其中，存储在视频存储装置中的各视频的附加信息包括成像位置信息、日期/时间信息和成像装置信息，以及

视频存储装置的数据结构由二维排列构成，其中第一轴表示成像位置信息，而第二轴表示日期/时间信息，然后在预定日期/时间拍摄预定成像位置的成像装置的信息保存在一个预定成像位置信息和预定日期/时间信息相互交叉的单元中。

12.一种视频产生处理方法，包括步骤：

由多个成像装置拾取视频；

将由多个成像装置拾取的视频和各视频的附加信息存储在视频存储装置中；

根据存储在所述视频存储装置中的视频和附加信息产生与基本视频相关的相关视频条件，该相关视频条件包括所述基本视频的成像位置信息、相邻位置信息、或不可视区域的位置信息；

从视频存储装置中获取满足相关视频条件的相关视频；以及

处理由多个成像装置拾取的视频，以显示多个相互关联并满足所述相关视频条件的视频。

Images