CN108702439B - 信息处理设备、方法、计算机可读介质和多摄像机*** - Google Patents

信息处理设备、方法、计算机可读介质和多摄像机*** Download PDF

Info

Publication number
CN108702439B
CN108702439B CN201680082324.1A CN201680082324A CN108702439B CN 108702439 B CN108702439 B CN 108702439B CN 201680082324 A CN201680082324 A CN 201680082324A CN 108702439 B CN108702439 B CN 108702439B
Authority
CN
China
Prior art keywords
camera
calibration
configuration
imaging
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680082324.1A
Other languages
English (en)
Other versions
CN108702439A (zh
Inventor
押领司宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108702439A publication Critical patent/CN108702439A/zh
Application granted granted Critical
Publication of CN108702439B publication Critical patent/CN108702439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00047—Methods therefor using an image not specifically designed for the purpose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H04N1/00087—Setting or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

[目的]在高效地确定用于优化多摄像机***的校准的摄像机配置而无需反复试验。[解决方案]提供了一种信息处理设备，其设置有：信息获取单元，其被配置成获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；以及评估单元，其基于由摄像机配置信息指示的成像摄像机的配置和校准摄像机的配置来评估在将校准摄像机定位在成像空间中时获得的校准准确度。

Description

信息处理设备、方法、计算机可读介质和多摄像机***
技术领域
本公开内容涉及信息处理设备、方法、程序和多摄像机***。
背景技术
常规地，已知一种整体处理来自位于实际空间中的多个地点的各个摄像机的图像的多摄像机***。例如，在记录或再现图像时，多摄像机***可以将来自多个摄像机的图像进行拼接以生成一系列连续再现的图像，同时无缝地移动巨大的合成图像或视野。多摄像机***还可以用于分析或识别对象的三维运动。为了平滑且整体地处理来自多摄像机***中的多个摄像机的图像，重要的是适当地执行摄像机的校准，并且正确地领会诸如摄像机的定位、姿态或视角的参数之间的相对关系。
通常根据参考摄像机方法或顺序方法来执行用于多摄像机***的摄像机的校准。根据参考摄像机方法，选择多个成像摄像机中的一个作为参考摄像机，并且在参考摄像机与其余摄像机的每个摄像机之间执行校准。根据顺序方法，以下面这样的级联方式执行校准：在第一摄像机与第二摄像机之间执行校准，然后在第二摄像机与第三摄像机之间执行校准，然后在第三摄像机与第四摄像机之间执行校准......专利文献1公开了一种用于在多摄像机***中根据参考摄像机方法对由每个摄像机捕获的图像的图像属性诸如亮度和白平衡进行校准的技术。
引用列表
专利文献
专利文献1：JP 2004-088247A
发明内容
技术问题
然而，现有的参考摄像机方法的缺点在于，对于所有成对的参考摄像机和另外的成像摄像机，不一定实现用于校准的最佳配置。在很多情况下，摄像机配置是通过由操作者在位置现场执行的反复试验确定的。然而，还存在这样的折衷问题，当摄像机配置针对校准进行优化时，例如，该配置不适用于成像。
另一方面，顺序方法的缺点在于由于以级联方式执行校准而导致误差累积。如果执行用于最终在摄像机之间分配错误的重新计算(所谓的光束法平差(bundleadjustment))，则错误本身可能会减少，但是重新计算的计算成本可能是巨大的。
根据本公开内容的技术具有解决或减少这些现有技术中的至少一个缺点的目的。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，包括：信息获取单元，其被配置成获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；以及评估单元，其被配置成基于由摄像机配置信息指示的多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将校准摄像机定位在成像空间中的情况下获得的校准准确度。
此外，根据本公开内容，提供了一种由信息处理设备执行的方法，所述方法包括：获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；以及基于由摄像机配置信息指示的多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将校准摄像机定位在成像空间中的情况下获得的校准准确度。
此外，根据本公开内容，提供了一种用于使信息处理设备的处理器用作以下单元的程序：信息获取单元，其被配置成获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；以及评估单元，其被配置成基于由摄像机配置信息指示的多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将校准摄像机定位在成像空间中的情况下获得的校准准确度。
此外，根据本公开内容，提供了一种多摄像机***，包括：多个成像摄像机，所述多个成像摄像机位于成像空间中并且被配置成对成像空间进行成像；以及校准摄像机，其位于成像空间中并且参与针对多个成像摄像机的配置的校准。校准摄像机的配置被确定以优化在给定多个成像摄像机的配置的情况下校准的准确度。
发明的有益效果
根据本公开内容的技术使得能够有效地找到用于优化多摄像机***的校准的摄像机位置而无需反复试验。
注意，上述效果并非是限制性的。连同或替代上述效果，还可以实现在本说明书中描述的效果或者根据本说明书能够领会的其他效果中的任何一个。
附图说明
[图1]图1是用于描述多摄像机***的一般配置的示例的说明图。
[图2]图2是用于描述多摄像机***的一般配置的另一示例的说明图。
[图3]图3是用于描述用于多摄像机***的校准的现有技术的示例的顺序图。
[图4]图4是用于描述在一个实施方式中采用的校准摄像机的配置的说明图。
[图5]图5是用于描述通过使用校准摄像机校准成像摄像机的说明图。
[图6]图6是用于描述校准摄像机的添加的说明图。
[图7]图7是用于描述根据一个实施方式的校准准确度评估设备的应用的说明图。
[图8]图8是示出根据一个实施方式的校准准确度评估设备的配置的示例的框图。
[图9A]图9A是用于描述定位评估指数的示例的说明图。
[图9B]图9B是用于描述姿态评估指数的示例的说明图。
[图10]图10是用于描述搜索附加的校准摄像机的配置的说明图。
[图11]图11是示出根据一个实施方式的配置优化处理的流程的示例的流程图。
[图12]图12是示出图11所示的定位搜索处理的详细流程的示例的流程图。
[图13]图13是示出图11所示的姿态搜索处理的详细流程的示例的流程图。
[图14]图14是示出在采用全方位摄像机作为校准摄像机的情况下的配置优化处理的流程的示例的流程图。
[图15]图15是示出图14所示的姿态搜索处理的详细流程的示例的流程图。
[图16]图16是用于描述根据一个实施方式的校准准确度评估设备的另外的应用的说明图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的(一个或多个)优选实施方式。注意，在本说明书和附图中，使用相同的附图标记来表示基本上具有相同功能和结构的结构要素，并且省略对这些结构要素的重复说明。
此外，将按以下顺序给出描述。
1.介绍
1-1.多摄像机***的一般配置
1-2.用于校准的现有技术
1-3.采用校准摄像机
1-4.校准准确度评估设备的介绍
2.根据一个实施方式的校准准确度评估设备的配置
3.根据一个实施方式的处理的流程
3-1.配置优化处理
3-2.定位搜索处理
3-3.姿态搜索处理
4.采用全方位摄像机
4-1.全方位摄像机作为校准摄像机
4-2.全方位摄像机作为成像摄像机
5.应用示例
6.结论
<1.介绍>
[1-1.全方位摄像机***的一般配置]
图1是用于描述多摄像机***的一般配置的示例的说明图。参照图1，多个摄像机20a、20b、20c和20d位于成像空间10中。这些摄像机20a、 20b、20c和20d从各个视点对区域11进行成像以生成捕获的图像。所捕获的图像可以是静止图像，或者可以是运动图像中包括的每个帧。区域11 是存在成像目标的部分空间。在图1的示例中，区域11是进行运动的地点。由摄像机20a、20b、20c和20d生成的捕获的图像经由网络发送至服务器30。服务器30整体处理从摄像机20a、20b、20c和20d接收到的捕获的图像。例如，在记录或再现图像时，服务器30可以将来自不同视点的多个捕获的图像进行拼接以生成巨大的合成图像。此外，服务器30可以生成一系列连续再现的图像，同时无缝地移动显示器的视野。此外，服务器30可以基于视差的分析来识别对象的三维运动。
多摄像机***可以包括任何数量的摄像机。此外，摄像机可以以与***的对象一致的任何定位和姿态位于成像空间中。在本说明书中，摄像机“配置”通常应该指的是在真实空间中的摄像机定位和姿态。然而，如在视角不受限制的全方位摄像机中可以省略对姿态的考虑的情况下，摄像机“配置”可以仅指实际空间中的摄像机定位。
图2是用于描述多摄像机***的一般配置的另一示例的说明图。参照图2，多个摄像机20e、20f和20g位于成像空间12中。这些摄像机20e、 20f、20g从各个视点对区域13进行成像以生成捕获的图像。同样在图2 的示例中，由摄像机20e、20f和20g生成的捕获的图像经由网络被发送至服务器30，并且由服务器30整体处理。
注意，在以下描述中不需要将摄像机20a至20g彼此区分的情况下，通过省略在附图标记末尾的字母将它们统称为摄像机20。
[1-2.用于校准的现有技术]
图3是用于描述如图1和图2所示的用于校准多摄像机***的现有技术的示例的顺序图。图3所示的校准技术中涉及操作者15、多个摄像机 20和服务器30。
首先，当将多摄像机***部署在成像空间中时，操作者15预先确定摄像机和标记的配置(步骤S10)。标记是用于校准并具有已知视觉模式的对象。可以通过例如将标记在成像空间中的配置用为参考根据标记在捕获的图像中被看到的方式得到摄像机的位置来执行校准。这里，应该使用其配置可以由操作者15移动的人造标记(在标记是成像空间中固有的天然标记的情况下，标记的配置不由操作者15确定，但可以以固定的方式限定)。然后，操作者15根据步骤S10中的确定将摄像机和标记定位在成像空间中(步骤S12)。
接下来，摄像机20各自对标记进行成像以生成标记图像(步骤S20)。然后，摄像机20将生成的标记图像发送至服务器30。服务器30从摄像机20获取标记图像(步骤S22)，并且执行校准(步骤S24)。例如，在摄像机20a和摄像机20b从各自的视点对一个共同标记进行成像的情况下，可以使用来自这些摄像机的两个标记图像来获知摄像机20a与摄像机20b 之间的相对定位关系(或视角之间的关系)。
此后，根据需要从成像空间移除人造标记，并且服务器30指示每个摄像机20开始成像(步骤S30)。每个摄像机20对作为成像目标的区域进行成像(步骤S32)，并且将捕获的图像发送至服务器30。服务器30从多个摄像机20收集捕获的图像(步骤S34)，并且执行多视点图像处理(步骤S36)。这里执行的多视点图像处理可以是任何类型的处理，诸如多个图像的同步记录、图像的拼接或者对象的三维运动的分析。在多视点图像处理中，可以利用步骤S24中的校准结果(例如，摄像机之间的定位关系)。步骤S32至S36可以被重复任何次数。
操作者15根据需要验证校准准确度(步骤S40)。根据现有技术，在实际定位到摄像机和标记之前，是否获得足够的校准准确度是未知的。在确定没有获得足够的校准准确度的情况下，操作者15改变摄像机和标记的配置。这表明可以在开始***的全面操作之前对摄像机和标记的配置执行反复试验。
[1-3.采用校准摄像机]
适用于对作为成像的目标的区域(或区域中的对象)进行成像的摄像机的配置不一定适用于校准。相反，当优化用于校准的摄像机的位置时，这些配置可能不能够充分地提取作为内容的捕获图像的吸引力。因此，在根据本公开内容的技术的一个实施方式中，除了对成像空间进行成像的多个成像摄像机之外，还可以采用校准摄像机来参与对那些成像摄像机的配置的校准。例如，可以从增加内容的吸引力的角度预先确定成像摄像机在成像空间中的配置。另一方面，确定校准摄像机的配置，以优化在给定多个成像摄像机的配置的情况下的校准准确度。一旦校准终止，可以从成像空间移除校准摄像机。
图4是用于描述在一个实施方式中采用的校准摄像机的配置的说明图。参照图4，多摄像机***1包括成像摄像机20a、20b、20c和20d以及校准摄像机41。成像摄像机20a、20b、20c和20d分别位于成像空间中的不同定位处并且处于不同的姿态。成像摄像机20a、20b、20c和20d的配置被确定成使得例如通过对区域11的成像来提供最有吸引力的多视点图像内容。校准摄像机41以优化校准准确度的定位和姿态位于摄像机可定位区域中。在图4中示出了三维成像空间中区域11周围的第一摄像机可定位区域45a和区域11上方的第二摄像机可定位区域45b。
图5是用于描述通过使用校准摄像机对成像摄像机进行校准的说明图。参照图5，再次示出了类似于图4的包括成像摄像机20a、20b、20c 和20d以及校准摄像机41的多摄像机***1。此外，标记51a、51b、51c 和51d位于区域11中。这里，校准摄像机41具有作为在上述参考摄像机方法中的参考摄像机的作用。然后，由成像摄像机20a和对标记51a进行成像的校准摄像机41执行成像摄像机20a的校准。由成像摄像机20b和对标记51b进行成像的校准摄像机41执行成像摄像机20b的校准。由成像摄像机20c和对标记51c进行成像的校准摄像机41执行成像摄像机20c 的校准。由成像摄像机20d和对标记51d进行成像的校准摄像机41执行成像摄像机20d的校准。以这种方式，通过采用定位的校准摄像机41以便仅优化校准准确度并且通过利用校准摄像机41作为参考摄像机方法中的参考摄像机，可以解决上述有关摄像机配置的优化的折衷。注意，这里示出了针对一个成像摄像机存在一个标记的示例，而成像摄像机与标记之间的关系不一定是一一对应。例如，可以对一个共同标记进行成像用于校准两个或更多个成像摄像机。此外，可以对两个或更多个标记进行成像用于校准一个成像摄像机。
在一个实施方式中，多摄像机***可以包括两个或更多个校准摄像机。图6是用于描述校准摄像机的添加的说明图。参照图6，除了成像摄像机20a、20b、20c和20d以及校准摄像机41以外，多摄像机***1还包括校准摄像机42。例如，在确定仅通过利用单个校准摄像机41作为参考摄像机没有实现作为整个***的足够的校准准确度的情况下，可以将校准摄像机42添加到***。在图6的示例中，由成像摄像机20a和对标记 51a进行成像的校准摄像机41执行成像摄像机20a的校准。由成像摄像机 20b和对标记51b进行成像的校准摄像机41执行成像摄像机20b的校准。由成像摄像机20c和对标记51c进行成像的校准摄像机42执行成像摄像机20c的校准。由成像摄像机20d和对标记51d进行成像的校准摄像机42 执行成像摄像机20d的校准。然后，当校准摄像机41和校准摄像机42两者都对标记51d进行成像并且应用上述顺序方法时，成像摄像机20a和20b 的校准结果以及成像摄像机20c和20d的校准结果可以被集成。
注意，在一个实施方式中，在校准摄像机被定位以便仅优化校准准确度并且执行对成像摄像机的校准之后，校准摄像机还可以用于对成像空间进行成像的目的。
[1-4.校准准确度评估设备的介绍]
此外，在根据本公开内容的技术的一个实施方式中，校准摄像机的配置由新引入的校准准确度评估设备确定，而不是如现有技术那样由操作者以反复试验方式确定。
图7是用于描述根据一个实施方式的校准准确度评估设备100的应用的说明图。在图7的示例中，校准准确度评估设备100是信息处理设备。校准准确度评估设备100可以具有例如诸如中央处理单元(CPU)的处理器、诸如只读存储器(ROM)的非易失性存储器以及诸如随机存取存储器(RAM)的易失性存储器。校准准确度评估设备100例如获取指示位于成像空间中的多个成像摄像机的配置的成像摄像机配置信息作为输入信息。注意，作为输入信息获取的摄像机配置信息可以以与在稍后的校准处理中得到的配置信息相比显著粗略的准确度来指示每个摄像机的配置。然后，校准准确度评估设备100基于多个成像摄像机中的每一个的配置和校准摄像机的临时配置来评估在将校准摄像机定位在成像空间中的情况下获得的校准准确度。可以通过计算一个或更多个评估指数来执行校准准确度的评估。校准准确度评估设备100计算校准摄像机(和根据需要的标记)的各种(临时)配置的评估指数，并且确定指示最有利分数的配置是最佳配置。校准准确度评估设备100可以在监测器上显示优化结果(即，校准摄像机(和标记)的最佳配置)，将优化结果存储在存储器中或者打印优化结果。
用户(例如操作者)可以仅通过将成像摄像机位置信息和其它多个补充信息输入到校准准确度评估设备100中来容易地获知用于以良好的准确度执行多摄像机***的校准的校准摄像机的位置。在下一部分和随后的部分中将详细描述这样的校准准确度评估设备100的具体配置的示例。
<2.根据一个实施方式的校准准确度评估设备的配置>
图8是示出根据一个实施方式的校准准确度评估设备100的配置的示例的框图。参照图8，校准准确度评估设备100包括信息获取单元110、用户接口单元120、配置确定单元130、准确度评估单元140和存储单元 150。
信息获取单元110获取用于在校准准确度评估设备100中执行对校准准确度的评估和对校准摄像机的配置的优化的输入信息。由信息获取单元 110获取的输入信息至少包括指示成像空间中的多个成像摄像机的配置的成像摄像机配置信息。成像摄像机配置信息包括例如M个成像摄像机中的每一个成像摄像机的成像摄像机定位Pimg_m和成像摄像机姿态Aimg_m(m ＝1,...,M)。此外，由信息获取单元110获取的输入信息包括M个成像摄像机中的每一个成像摄像机的摄像机参数信息PRimg_m(m＝1,...,M)。摄像机参数信息可以是用于校准成像摄像机所需的一组摄像机内部参数，并且可以包括例如表示焦距、视角、纵横比和歪斜(失真)的各个参数。此外，由信息获取单元110获取的输入信息还可以包括限定校准摄像机可以位于的区域的摄像机可定位区域信息Rclb。这些输入信息可以经由用户接口单元120的一些输入装置输入，可以预先由存储单元150存储，或者可以经由未示出的通信接口从另一设备获取。信息获取单元110将获取的输入信息输出到配置确定单元130。
用户接口单元120可以包括用于向由用户执行的校准准确度评估设备100输入指令或信息的输入接口121以及用于显示信息的显示接口123。输入接口121可以包括例如触摸面板、小键盘、键盘、鼠标、触摸板等。显示接口123可以包括监测器诸如液晶显示器或有机发光二极管(OLED) 显示器或投影仪。
配置确定单元130执行用于确定位于成像空间中的校准摄像机的最佳配置的搜索处理。配置确定单元130例如将校准摄像机的一个候选配置 pclb、aclb设置在由摄像机可定位区域信息Rclb限定的摄像机可定位区域的范围内，并且使准确度评估单元140评估针对设置候选配置的校准准确度。本文的校准准确度的评估是通过基于校准摄像机的临时配置(即，候选配置)计算一个或更多个评估指数而不是通过实际执行校准并测量准确度来执行的。配置确定单元130针对多个候选配置中的每一个候选配置重复候选配置的这种设置和校准准确度的评估，并且根据被评估为具有最佳校准准确度的候选配置来确定校准摄像机的配置。
在利用未固定的标记进行校准的情况下，配置确定单元130还可以针对N个标记中的每一个标记设置候选配置pmrk_n、amrk_n(n＝1,...,N)，并且可以将候选配置pmrk_n、amrk_n作为校准准确度的评估的输入提供给准确度评估单元140。在利用成像空间中固有的固定天然标记的情况下，标记的配置被预先限定，并且该配置信息可以被提供给准确度评估单元140。在下文中，为了便于描述，假设标记的数量N等于成像摄像机的数量M，并且一个标记被成像用于对一个成像摄像机的校准。然而，根据本公开内容的技术也适用于标记的数量N与成像摄像机的数量M不同的情况。
准确度评估单元140基于M个成像摄像机中的每一个成像摄像机的配置Pimg_m、Aimg_m和校准摄像机的候选配置pclb、aclb来评估在将校准摄像机定位在成像空间中的情况下获得的校准准确度。在要被成像以用于成像摄像机的校准的N个标记也位于成像空间中的情况下，准确度评估单元 140还可以基于N个标记中的每一个标记的配置来评估校准准确度。如上所述，在某种情况下，校准摄像机的配置和N个标记中的每一个标记的配置都是搜索最佳校准准确度的可变参数，并且校准摄像机的配置和N个标记中的每一个标记的配置是通过搜索确定的。在另一情况下，N个标记中的每一个标记的配置是固定的，并且在搜索时仅校准摄像机的配置是可变参数。
通常，校准准确度随着标记在校准中捕获的标记图像中以较大尺寸 (以较高分辨率)反射而增加。因此，为了提高作为整个***的校准准确度，期望在距校准摄像机和任何成像摄像机的平均距离不远的位置处定位各个相应的标记。如果存在其要被成像的标记被定位得非常远的摄像机，则无法获得足够的校准准确度。因此，作为示例，准确度评估单元140使用关于摄像机与和该摄像机相对应的标记之间的距离的变化的第一评估指数来评估校准准确度。第一评估指数是主要用于搜索摄像机定位的指数。这里，第一评估指数被称为定位评估指数CPOS。例如，定位评估指数 CPOS由下面的表达式(1)定义。
[数学式1]
Figure BDA0001772306490000111
Di＝|pmrk_i-pimg_i| (2)
dj＝|pmrk_j-pclb| (3)
包括在表达式(1)的右侧的Di表示第i个标记的(候选)定位pmrk_i与和该标记相对应的第i个成像摄像机的定位Pimg_i之间的距离(参见表达式(2))。Dave表示M对标记与成像摄像机之间的距离Di的平均值，包括在表达式(1)的右侧的dj表示第j个标记的(候选)定位pmrk_j与校准摄像机的定位pclb之间的距离(参见表达式(3))，并且dave表示N对标记与校准摄像机之间的距离dj的平均值。
图9A是为了理解分别由表达式(2)和表达式(3)定义的中间参数 D和d而提供的说明图。在图9A中，距离Dk表示第k个标记51k与第k 个成像摄像机20k之间的距离。距离Dh表示第h个标记51h与第h个成像摄像机20h之间的距离。距离dk表示第k个标记51k与临时定位的校准摄像机41之间的距离。距离dh表示第h个标记51h与临时定位的校准摄像机41之间的距离。
当由准确度评估单元140针对所有可能的校准摄像机的候选定位和标记的候选定位计算定位评估指数CPOS时，配置确定单元130可以确定最佳校准摄像机的定位Pclb以及作为使定位评估指数CPOS最小化的数据集的N个标记的定位Pmrk_n，如在下面的表达式中那样。
[数学式2]
Figure BDA0001772306490000112
此外，通常，校准准确度随着标记被反射到更接近校准时捕获的标记图像的中心而增加。在要被成像的标记在标记图像的边缘处被反射的情况下，标记图案可能很大程度受到透镜失真影响，并且校准准确度可能降低。此外，随着标记指向标记图像中的前方，校准准确度增加。在标记是二维标记的情况下，在以较小角度将标记反射到标记图像的情况下(例如，标记被指向横向)，校准准确度可以以任何方式减小。因此，为了提高作为整个***的校准准确度，期望由连接每个摄像机与标记的光路相对于每个摄像机的光轴所形成的角度尽可能小，并且由连接每个摄像机与标记的光路相对于标记的校准图案的法线所形成的角度尽可能小。因此，准确度评估单元140使用关于摄像机与标记之间的光路与摄像机或标记的姿态之间的关系的第二评估指数来评估校准准确度。第二评估指数是主要用于搜索摄像机姿态的指数。这里，第二评估指数被称为姿态评估指数CATT。例如，姿态评估指数CATT由下面的表达式(5)定义。
[数学式3]
Figure BDA0001772306490000121
αi＝Ang(Pmrk_i，Pimg_i，Aimg_i) (6)
βi＝Ang(Pmrk_i，Pimg_i，amrk_i) (7)
γj＝Ang(Pmrk_j，Pclb，aclb) (8)
δj＝Ang(Pmrk_j，Pclb，amrk_j) (9)
包括在表达式(5)的右侧的αi表示第i个标记的定位Pmrk_i与第i个成像摄像机的定位Pimg_i之间的光路相对于第i个成像摄像机的姿态Aimg_i所形成的角度(参见表达式(6))。βi表示第i个标记的定位Pmrk_i与第i 个成像摄像机的定位Pimg_i之间的光路相对于第i个标记的(候选)姿态 amrk_i所形成的角度(参见表达式(7))。包括在表达式(5)的右侧的γj表示第j个标记的定位Pmrk_j与校准摄像机的定位Pclb之间的光路相对于校准摄像机的姿态aclb所形成的角度(参见表达式(8))。δj表示第j个标记的定位Pmrk_j与成像摄像机的定位Pclb之间的光路相对于第j个标记的(候选)姿态amrk_j所形成的角度(参见表达式(9))。
图9B是为了理解分别由表达式(6)至(9)定义的中间参数α、β、γ和δ而提供的说明图。在图9B中，角度αk是第k个标记51k与第k个成像摄像机20k之间的光路91k相对于第k个成像摄像机20k的光轴92k (相当于姿态)所形成的角度。角度βk是第k个标记51k与第k个成像摄像机20k之间的光路91k相对于第k个标记51k的法线93k(相当于姿态) 所形成的角度。角度γk是第k个标记51k与校准摄像机41之间的光路94k 相对于校准摄像机41的光轴95(相当于姿态)所形成的角度。角度δk是第k个标记51k与校准摄像机41之间的光路94k相对于第k个标记51k 的法线93k(相当于姿态)所形成的角度。
当由准确度评估单元140针对所有可能的校准摄像机的候选姿态和标记的候选姿态计算姿态评估指数CATT时，配置确定单元130可以确定最佳校准摄像机的姿态Aclb和N个标记的姿态Amrk_n作为使姿态评估指数 CATT最大化的数据集，如在下面的表达式中那样。
[数学式4]
Figure BDA0001772306490000131
配置确定单元130可以基于由准确度评估单元140使用表达式(1) 和表达式(5)计算的评估指数所指示的(预期的)校准准确度来确定校准摄像机(以及根据需要的标记)的最佳配置。配置确定单元130可以按照定位评估指数CPOS的分数的顺序来选择多个配置数据集，而不是例如根据表达式(4)选择指示校准摄像机和标记的最佳定位的单个数据集，并且可以基于这些定位数据集执行每个符合表达式(10)的姿态的搜索。此外，配置确定单元130可以输出指示校准摄像机和标记的最佳定位和姿态的单个数据集作为姿态搜索的结果，或者可以按照评估指数的分数的顺序输出多个数据集。
在一个实施方式中，配置确定单元130可以在校准摄像机位于被评估为具有最佳校准准确度的候选配置的情况下验证是否满足预定的校准准确度条件。本文的预定校准准确度条件可以是基于上述定位评估指数CPOS和姿态评估指数CATT中的至少一个的条件，并且可以包括以下中的一个或更多个，例如：
条件1)定位评估指数CPOS下降到第一阈值以下
条件2)姿态评估指数CATT超过第二阈值
注意，与定位评估指数CPOS比较的第一阈值和与姿态评估指数CATT比较的第二阈值可以是取决于成像摄像机的数量M或标记的数量N的可变值。此外，这些阈值可以预先由存储单元150存储，或者可以由用户经由用户接口单元120指定。
在确定当校准摄像机位于由于定位和姿态搜索而获得的配置时上述校准准确度条件未被满足的情况下，配置确定单元130可以确定附加的校准摄像机要被定位在成像空间中。在确定附加的校准摄像机要被定位在成像空间中的情况下，配置确定单元130可以再次执行定位和姿态搜索，用于使用上述由准确度评估单元140计算的定位评估指数CPOS和姿态评估指数CATT来确定附加的校准摄像机的配置。在该重新搜索中，配置确定单元130可以使准确度评估单元140基于其余成像摄像机的配置来评估针对附加的校准摄像机获得的校准准确度，其中该其余成像摄像机是通过从多个成像摄像机排除可以被初始校准摄像机(其配置已经作为初始搜索的结果而被建立)良好地校准的成像摄像机获得的。
图10是用于描述对附加的校准摄像机的配置进行搜索的说明图。在图10的示例中，作为对定位和姿态的初始搜索的结果，假设由准确度评估单元140针对初始校准摄像机41和标记51a、51b、51c、51d的组合计算的评估指数指示最有利的分数，但是该评估指数不满足上述校准准确度条件。因此，配置确定单元130确定将附加的校准摄像机定位在成像空间中，以提高作为整个***的校准准确度。
可以通过类似于上述针对定位和姿态的初始搜索的重新搜索来确定附加的校准摄像机的配置。然而，对于该重新搜索，配置确定单元130从成像摄像机20a、20b、20c和20d中选择与初始搜索中的定位评估指数 CPOS和姿态评估指数CATT的劣化更强相关的成像摄像机。这里选择的成像摄像机可以是具有距相应的标记较长距离的成像摄像机或者相应的标记与初始校准摄像机之间距离较长的成像摄像机。此外，这里选择的成像摄像机可以是其相应的标记不具有良好姿态的成像摄像机。在图10的示例中，作为与初始搜索中的评估指数的劣化更强相关的成像摄像机，成像摄像机20c和20d已经被选择。成像摄像机20a和20b被从重新搜索中的评估指数的计算中排除，因为它们可以被初始校准摄像机41有利地校准。在重新搜索之前建立分别对应于成像摄像机20a和20b的标记51a和51b 的配置。然后，配置确定单元130使准确度评估单元140基于比初始搜索中更少的成像摄像机的配置来评估预期的附加的校准摄像机的校准准确度，以确定评估指数指示最有利分数和未建立的标记的配置的附加的校准摄像机的配置。在图10的示例中，已经确定作为重新搜索的结果，校准摄像机42将被另外地定位。作为示例，可以将与成像摄像机20d相对应的标记51d的配置保持为初始搜索的结果，以便能够在初始校准摄像机 41与附加的校准摄像机42之间集成校准结果。另一方面，与成像摄像机 20c相对应的标记的配置被设置成在重新搜索时是可变的，并且已经确定要重新定位标记51e。
配置确定单元130可以重复校准准确度的评估和校准摄像机的添加，直到确定通过初始校准摄像机的配置和零个或更多个附加的校准摄像机满足了上述校准准确度条件。然后，当满足上述校准准确度条件时，要位于多摄像机***1中的校准摄像机的数量和配置以及标记组的配置可以被全部建立。注意，在校准摄像机的数量达到预定上限数量的情况下，配置确定单元130可以不管是否满足校准准确度条件而中止重复重新搜索。
<3.根据一个实施方式的处理的流程>
在本部分中，将使用若干流程图描述可以由上述校准准确度评估设备 100执行的处理的流程的示例。注意，虽然在流程图中描述了多个处理步骤，但是那些处理步骤可以不必按照流程图中指示的顺序执行。一些处理步骤可以并行执行。此外，可以采用附加的处理步骤，并且可以省略一些处理步骤。
[3-1.配置优化处理]
图11是示出根据一个实施方式的配置优化处理的流程的示例的流程图。在确定成像空间中的多个成像摄像机的配置之后，可以根据由用户输入的触发例如经由输入接口121开始图11中所示的处理。
首先，信息获取单元110获取指示成像摄像机的配置的成像摄像机配置信息和指示成像摄像机的摄像机内部参数的摄像机参数信息(步骤 S100)。此外，信息获取单元110获取限定校准摄像机可以位于的区域的摄像机可定位区域信息(步骤S105)。
接下来，配置确定单元130执行用于确定校准摄像机(和标记)的最佳定位的定位搜索处理(步骤S110)。这里执行的位置搜索处理将在后面更详细地描述。作为定位搜索处理的结果，配置确定单元130确定在由摄像机可定位区域信息指示的区域的范围内的最佳校准摄像机的定位。此外，配置确定单元130还可以确定一个或更多个标记的最佳定位。
接下来，配置确定单元130执行用于确定校准摄像机(和标记)的最佳姿态的姿态搜索处理(步骤S110)。这里执行的姿态搜索处理将在后面更详细地描述。作为姿态搜索处理的结果，配置确定单元130确定在步骤 S110中确定的定位处的校准摄像机的最佳姿态。此外，配置确定单元130 还可以确定一个或更多个标记的最佳姿态。
接下来，配置确定单元130获取由准确度评估单元140计算的评估指数(例如，定位评估指数和姿态评估指数)的分数，该评估指数对应于作为定位搜索处理和姿态搜索处理的结果而确定的最佳配置(步骤S140)。然后，配置确定单元130确定评估指数是否满足校准准确度条件(步骤 S145)。在评估指数满足校准准确度条件的情况下，处理进入步骤S180。另一方面，在评估指数不满足校准准确度条件的情况下，处理进入步骤 S150。
在步骤S150中，配置确定单元130从重新搜索的评估目标中排除能够被初始校准摄像机有利地校准的成像摄像机(步骤S150)。然后，配置确定单元130执行用于确定附加的校准摄像机(和未建立的标记)的最佳定位的定位搜索处理(步骤S160)。这里执行的定位搜索处理可以类似于步骤S110中执行的处理，除了不考虑一些成像摄像机和相应的标记。此外，配置确定单元130执行用于确定附加的校准摄像机(和未建立的标记) 的最佳姿态的姿态搜索处理(步骤S170)。这里执行的姿态搜索处理可以类似于步骤S120中执行的处理，除了不考虑一些成像摄像机和相应的标记。作为这些定位搜索处理和姿态搜索处理的结果，确定了附加的校准摄像机的最佳配置(以及未建立的标记的最佳配置)。
接下来，配置确定单元130获取与通过重新搜索确定的最佳配置相对应的评估指数的分数(步骤S140)，并确定评估指数是否满足校准准确度条件(步骤S145)。配置确定单元130重复上述步骤S140至S170中的处理，直到满足上述校准准确度条件。
然后，当满足校准准确度条件时(或当校准摄像机的数量达到预定上限数量时)，配置确定单元130建立一个或更多个校准摄像机和标记的所有的配置(步骤S180)。
[3-2.定位搜索处理]
图12是示出图11中的定位搜索处理的详细流程的示例的流程图。
参照图12，首先，配置确定单元130将用于搜索的校准摄像机的候选定位设置在由摄像机可定位区域信息指示的可定位区域的范围内(步骤 S111)。此外，配置确定单元130设置与要被考虑的各个成像摄像机相对应的标记的候选定位(步骤S112)。注意，在标记的定位是固定的情况下，可以跳过步骤S112。
接下来，准确度评估单元140基于校准摄像机的候选定位、标记的定位和成像摄像机的定位来计算关于距标记的距离变化的定位评估指数(步骤S113)。
配置确定单元130重复上述步骤S112和S113，直到针对可能的标记的所有候选定位的组合结束定位评估指数的计算(步骤S114)。此外，位置确定单元130重复上述步骤S111至S114，直到针对搜索范围内的校准摄像机的所有候选定位结束定位评估指数的计算(步骤S115)。
当搜索结束时，配置确定单元130选择指示一个或多个最有利的(或某些较好的)定位评估指数的一组校准摄像机和标记的候选定位(步骤 S116)。
[3-3.姿态搜索处理]
图13是示出图11中示出的姿态搜索处理的详细流程的示例的流程图。
参照图13，首先，配置确定单元130设置用于在作为定位搜索处理的结果确定的校准摄像机的定位处进行搜索的校准摄像机的候选姿态(步骤S121)。此外，配置确定单元130设置与要被考虑的各个成像摄像机相对应的标记的候选姿态(步骤S122)。注意，在标记的姿态是固定的情况下，可以跳过步骤S122。
接下来，准确度评估单元140基于校准摄像机的定位和候选姿态、标记的定位和候选姿态以及成像摄像机的定位和姿态来计算关于摄像机与标记之间的光路与摄像机或标记的姿态之间的关系的姿态评估指数(步骤 S123)。
配置确定单元130重复上述步骤S122和S123，直到针对可能标记的所有候选姿态的组合结束姿态评估指数的计算(步骤S124)。此外，配置确定单元130重复上述步骤S121至S124，直到针对校准摄像机的所有候选姿态结束姿态评估指数的计算(步骤S125)。
当搜索结束时，配置确定单元130选择指示最有利的姿态评估指数的一组校准摄像机和标记的候选姿态(步骤S126)。
<4.采用全方位摄像机>
[4-1.全方位摄像机作为校准摄像机]
全方位摄像机是在方位角以及迎角和俯角上均可以具有360°视角的摄像机。在采用全方位摄像机作为校准摄像机的情况下，校准摄像机的姿态几乎不影响校准准确度。因此，在这种情况下，只有校准摄像机的定位可以是配置优化处理的实质搜索的目标。
图14是示出在采用全方位摄像机作为校准摄像机的情况下的配置优化处理的流程的示例的流程图。在确定成像空间中的多个成像摄像机的配置之后，可以响应于由用户输入的触发例如经由输入接口121开始图14 中所示的处理。
首先，信息获取单元110获取指示成像摄像机的配置的成像摄像机配置信息和指示成像摄像机的摄像机内部参数的摄像机参数信息(步骤 S100)。此外，信息获取单元110获取限定校准摄像机可以位于的区域的摄像机可定位区域信息(步骤S105)。
接下来，配置确定单元130执行用于确定校准摄像机和标记的最佳定位的定位搜索处理(步骤S110)。这里执行的定位搜索处理可以类似于使用图12描述的处理。
接下来，配置确定单元130执行用于确定标记的最佳姿态的姿态搜索处理(步骤S130)。这里执行的姿态搜索处理将在后面更详细地描述。
接下来，配置确定单元130获取由准确度评估单元140计算的评估指数的分数，其对应于作为定位搜索处理和姿态搜索处理的结果而确定的最佳配置(步骤S140)。然后，配置确定单元130确定评估指数是否满足校准准确度条件(步骤S145)。在评估指数不满足校准准确度条件的情况下，配置确定单元130从评估目标中排除可以有利地校准的成像摄像机(步骤 S150)，并且执行用于确定附加的校准摄像机和未建立的标记的最佳定位的定位搜索处理(步骤S160)和用于确定未建立的标记的最佳姿态的姿态搜索处理(步骤S170)。
配置确定单元130重复上述步骤S140至S170中的处理，直到满足上述校准准确度条件(步骤S145)。然后，当满足校准准确度条件时(或当校准摄像机的数量达到预定上限数量时)，配置确定单元130建立一个或更多个校准摄像机(全方位摄像机)和标记的所有的配置(步骤S180)。
图15是示出图14中所示的姿态搜索处理的详细流程的示例的流程图。注意，在标记的姿态是固定的情况下，可以不执行当前姿态搜索处理。
参照图14，首先，配置确定单元130设置与要被考虑的各个成像摄像机相对应的标记的候选姿态(步骤S132)。
接下来，准确度评估单元140基于校准摄像机的定位、标记的定位和候选姿态以及成像摄像机的定位和姿态计算关于摄像机与标记之间的光路与摄像机或标记的姿态之间的关系的姿态评估指数(步骤S133)。由于全方位摄像机被认为相对于每个方向面向前侧，因此在这里的姿态评估指数的计算中可以省略姿态评估指数CATT的计算公式(表达式(5))中的角度γj的项。
配置确定单元130重复上述步骤S132和S133，直到针对可能标记的所有候选姿态的组合结束姿态评估指数的计算(步骤S134)。
当搜索结束时，配置确定单元130选择指示最有利的姿态评估指数的一组标记的候选姿态(步骤S136)。
[4-2.全方位摄像机作为成像摄像机]
全方位摄像机本身可以被配置成一组多个摄像机模块。当在制造这种多模块型全方位摄像机或在将多模块型全方位摄像机部署在成像空间中时发生模块之间的轻微图像位移时，该位移可能使全方位图像的图像质量降低。然而，通过使用上述校准准确度评估设备100基于多个摄像机模块的配置确定校准摄像机和标记的最佳配置，当部署多模块型全方位摄像机时可以有效地完成全方位摄像机的校准。在这种情况下，由信息获取单元 110获取的成像摄像机配置信息表示全方位摄像机的各个摄像机模块在全方位摄像机的本地坐标系中或者假设的成像空间的坐标系中的配置(定位和姿态)。例如，当运送全方位摄像机时，作为成像摄像机的全方位摄像机的制造商可以根据先前使用校准准确度评估设备100确定的配置将校准摄像机和标记定位在成像空间中，并且可以在现场附接全方位摄像机的操作同时完成校准。
<5.应用示例>
前面部分中描述的校准准确度评估设备100不仅可以用于搜索校准摄像机的最佳配置，还可以用于验证由操作者临时确定的附加的校准摄像机的配置。
图16是用于描述与使用图7描述的应用不同的校准准确度评估设备 100的应用的说明图。在图16的示例中，除了指示位于成像空间中的多个成像摄像机的配置的成像摄像机配置信息之外，校准准确度评估设备 100的信息获取单元110获取指示可以被临时确定的校准摄像机的配置的校准摄像机配置信息作为输入信息。信息获取单元110还可以获取指示可以被临时确定的多个标记的配置的标记配置信息作为输入信息。然后，校准准确度评估设备100的准确度评估单元140评估通过计算上述定位评估指数和姿态评估指数临时确定的这些配置所预期的校准准确度。用户接口单元120将由准确度评估单元140执行的校准准确度的评估结果反馈给用户。校准准确度的评估结果的反馈可以通过诸如在监测器上显示或打印定位评估指数和姿态评估指数的分数本身或者关于每个分数是否满足上述校准准确度条件的确定结果的技术来执行。
根据上述应用示例，在临时确定校准摄像机(和标记)的配置之后，在没有将摄像机(和标记)实际定位在成像空间中和执行校准的情况下，用户可以容易地获知是否可以获得良好的校准准确度。因此，可以减少已经在现有技术中针对校准执行的反复试验的负担，并且可以立即执行多摄像机***的部署。
<6.结论>
到目前为止已经使用图1至图16详细描述了根据本公开内容的技术的实施方式。根据上述实施方式，提供了一种信息处理设备，其获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息，并且基于成像摄像机中的每一个的配置和校准摄像机的配置来评估在将校准摄像机定位在上述成像空间中的情况下获得的校准准确度。因此，避免了操作者对在***部署现场处的摄像机的校准进行反复试验的必要性。此外，根据上述实施方式，由于可以在不考虑校准准确度的情况下预先确定成像摄像机的配置，成像的内容的吸引力不会因为出于校准目的的配置的改变而减少。
此外，根据上述实施方式，除了多个成像摄像机之外，还采用参与对这些成像摄像机的配置进行校准的校准摄像机，并且校准摄像机配置可以被确定以优化在给定多个成像摄像机的配置的情况下校准的准确度。以这种方式，由于使用校准摄像机的配置(例如，定位和姿态或者在校准摄像机是全方位摄像机的情况下仅定位)作为可变参数对校准准确度进行优化，多摄像机***中的摄像机的校准可以在不需要移动成像摄像机的配置的情况下以良好的准确度来执行。由于校准摄像机可以用作参考摄像机方法中的参考摄像机，因此原则上不需要顺序方法中所需的光束法平差，并且抑制了校准的计算成本。一旦校准结束，还可以从成像空间移除校准摄像机。
此外，根据上述实施方式，基于在定位校准摄像机的情况下获得的校准准确度的评估结果来确定位于成像空间中的校准摄像机的最佳配置。因此，操作者可以仅通过输入成像摄像机配置信息和其它多个补充信息容易地获知具有良好的准确度的用于执行多摄像机***的校准的校准摄像机的配置。例如，操作者可以通过根据可以被显示在监测器上或者可以被打印的配置将校准摄像机(和根据需要的一个或更多个标记)配置在成像空间中以从一开始就可以预期良好准确度的方式开始校准。
此外，根据上述实施方式，可以假设针对成像摄像机的校准进行成像的一个或更多个标记也位于成像空间中来评估校准准确度。因此，基于校准准确度的评估结果不仅可以优化校准摄像机的配置，而且可以优化用于校准的标记的配置。
此外，根据上述实施方式，可以针对校准摄像机可以位于的摄像机可定位区域内的多个候选配置中的每一个候选配置来评估校准准确度，并且可以根据被评估为具有最佳校准准确度的候选配置来确定校准摄像机的位置。因此，校准摄像机可以位于根据成像空间的情况不同的摄像机可定位区域的范围内的最有利定位处并且处于最有利的姿态。
此外，根据上述实施方式，在首先假设一个校准摄像机被配置的情况下优化的校准准确度不足的情况下(在确定不满足预定校准准确度条件的情况下)，可以进一步搜索另外位于成像空间中的校准摄像机的最佳配置。因此，通过改变校准摄像机的数量，可以可靠地实现多摄像机***必须实现的校准准确性。此外，防止不必要的大量校准摄像机被配置。
此外，根据某个应用示例，可以针对由操作者临时确定的校准摄像机的配置评估预期的校准准确度的程度，并且可以经由用户接口反馈评估的结果。在这种情况下，操作者可以在没有以反复试验的方式重复摄像机配置的变化和校准准确度的实际测量的情况下容易地获知校准摄像机的配置是否合适。
注意，通过本说明书中描述的一系列处理可以使用软件、硬件以及软件和硬件的组合中的任何一种来实现。例如，包括在软件中的程序被预先存储在要被安装到每个设备的内部或外部的存储介质(非暂态介质)中。然后，每个程序在执行时被读取至RAM中并且由处理器例如CPU来执行。
上面已经参照附图描述了本公开内容的一个或多个优选实施方式，然而本公开内容不限于上面的示例。本领域技术人员可以在所附权利要求的范围内发现各种变化和修改，并且应当理解的是，这些变化和修改自然会归入本公开内容的技术范围之内。
此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。也就是说，结合或代替以上效果，根据本公开内容的技术可以实现根据本说明书的描述对于本领域技术人员清楚的其他效果。
此外，本技术还可以配置如下。
(1)
一种信息处理设备，包括：
信息获取单元，其被配置成获取指示多个成像摄像机位于成像空间中的配置的摄像机配置信息；以及
评估单元，其被配置成基于由所述摄像机配置信息指示的所述多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将所述校准摄像机定位在所述成像空间中的情况下获得的校准准确度。
(2)
根据(1)所述的信息处理设备，还包括：
配置确定单元，其被配置成基于由所述评估单元评估的所述校准准确度来确定位于所述成像空间中的所述校准摄像机的最佳配置。
(3)
根据(2)所述的信息处理设备，其中，
如果要被成像以用于所述成像摄像机的校准的一个或更多个标记也位于所述成像空间中，则所述评估单元基于所述多个成像摄像机中的每一个的配置、所述校准摄像机的配置以及所述一个或更多个标记中的每一个的配置来评估所述校准准确度。
(4)
根据(3)所述的信息处理设备，其中，
所述配置确定单元使所述评估单元针对所述校准摄像机能够位于的区域内的多个候选配置中的每一个评估所述校准准确度，并且根据被评估为具有最佳校准准确度的候选配置来确定所述校准摄像机的配置。
(5)
根据(4)所述的信息处理设备，其中，
所述配置确定单元使用所述校准摄像机的位置和所述一个或更多个标记中的每一个标记的配置两者作为可变参数来搜索所述最佳校准准确度，并且通过所述搜索来确定所述校准摄像机的配置和所述一个或更多个标记中的每一个标记的配置。
(6)
根据(3)至(5)中任一项所述的信息处理设备，其中，
所述评估单元使用关于摄像机与和所述摄像机相对应的标记之间的距离的变化的第一评估指数来评估所述校准准确度。
(7)
根据(3)至(6)中任一项所述的信息处理设备，其中，
所述评估单元使用关于摄像机与和所述摄像机相对应的标记之间的光路与所述摄像机或所述标记的姿态之间的关系的第二评估指数来评估所述校准准确度。
(8)
根据(2)至(7)中任一项所述的信息处理设备，其中，
所述配置确定单元确定在将所述校准摄像机定位在被评估为具有所述最佳校准准确度的候选配置的情况下是否满足预定校准准确度条件，并且在确定不满足所述预定校准准确度条件的情况下，确定附加的校准摄像机要被定位于所述成像空间中。
(9)
根据(8)所述的信息处理设备，其中，
所述预定校准准确度条件基于以下中的至少一个：关于摄像机与和所述摄像机相对应的标记之间的距离的变化的第一评估指数；和关于摄像机与和所述摄像机相对应的标记之间的光路与所述摄像机或所述标记的姿态之间的关系的第二评估指数。
(10)
根据(8)或(9)所述的信息处理设备，其中，
在确定所述附加的校准摄像机要被定位于所述成像空间中的情况下，所述配置确定单元使所述评估单元基于其余成像摄像机的配置来评估针对所述附加的校准摄像机获得的校准准确度，其中所述其余成像摄像机是通过从所述多个成像摄像机中排除能够在初始阶段由所述校准摄像机良好地校准的成像摄像机而获得的。
(11)
根据(8)至(10)中任一项所述的信息处理设备，其中，
所述配置确定单元重复对所述校准准确度的评估和所述校准摄像机的添加，直到确定初始阶段的所述校准摄像机的位置以及多于或等于零个的所述附加的校准摄像机的配置满足所述预定校准准确度条件。
(12)
根据(1)至(11)中任一项所述的信息处理设备，其中，
所述信息获取单元还获取限定所述校准摄像机能够位于的区域的区域信息。
(13)
根据(1)所述的信息处理设备，其中，
所述信息获取单元获取指示所述校准摄像机在所述成像空间中的配置的另外的摄像机配置信息，其中所述配置是临时确定的，并且
所述信息处理设备还包括：
用户接口单元，其被配置成将所述校准准确度的评估结果反馈给用户，其中所述评估由所述评估单元使用所述摄像机配置信息和所述另外的摄像机配置信息来执行。
(14)
根据(1)至(13)中任一项所述的信息处理设备，其中，
所述成像摄像机的配置包括所述成像摄像机的定位和姿态，以及
所述校准摄像机的配置至少包括所述校准摄像机的定位。
(15)
一种由信息处理设备执行的方法，该方法包括：
获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；以及
基于由所述摄像机配置信息指示的所述多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将所述校准摄像机定位在所述成像空间中的情况下获得的校准准确度。
(16)
一种用于使信息处理设备的处理器用作以下单元的程序：
信息获取单元，其被配置成获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；以及
评估单元，其被配置成基于由所述摄像机配置信息指示的所述多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将校准摄像机定位在所述成像空间中的情况下获得的校准准确度。
(17)
一种多摄像机***，包括：
多个成像摄像机，所述多个成像摄像机位于成像空间中并且被配置成对所述成像空间进行成像；以及
校准摄像机，所述校准摄像机位于成像空间中并且参与针对多个成像摄像机的配置的校准，其中，
所述校准摄像机的配置被确定以优化在给定所述多个成像摄像机的配置的情况下所述校准的准确度。
附图标记列表
1 多摄像机***
10,12 成像空间
11,13 区域
20 成像摄像机
41,42 校准摄像机
51 标记
100 校准准确度评估设备(信息处理设备)
110 信息获取单元
120 用户接口单元
130 配置确定单元
140 准确度评估单元
150 存储单元

Claims (16)

1.一种信息处理设备，包括：
信息获取单元，其被配置成获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；
评估单元，其被配置成基于由所述摄像机配置信息指示的所述多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将所述校准摄像机定位在所述成像空间中的情况下获得的校准准确度；以及
配置确定单元，其被配置成基于由所述评估单元评估的所述校准准确度来确定位于所述成像空间中的所述校准摄像机的最佳配置，
其中，所述评估单元还被配置为使用第一评估指数和第二评估指数中的至少一个来评估所述校准准确度，其中所述第一评估指数是用于搜索摄像机定位的指数，所述第二评估指数是用于搜索摄像机姿态的指数。
2.根据权利要求1所述的信息处理设备，其中，
如果要被成像以用于所述成像摄像机的校准的一个或更多个标记也位于所述成像空间中，则所述评估单元基于所述多个成像摄像机中的每一个的配置、所述校准摄像机的配置以及所述一个或更多个标记中的每一个的配置来评估所述校准准确度。
3.根据权利要求2所述的信息处理设备，其中，
所述配置确定单元使所述评估单元针对所述校准摄像机能够位于的区域内的多个候选配置中的每一个评估所述校准准确度，并且根据被评估为具有最佳校准准确度的候选配置来确定所述校准摄像机的配置。
4.根据权利要求3所述的信息处理设备，其中，
所述配置确定单元使用所述校准摄像机的配置和所述一个或更多个标记中的每一个标记的配置两者作为可变参数来搜索所述最佳校准准确度，并且通过所述搜索来确定所述校准摄像机的配置和所述一个或更多个标记中的每一个标记的配置。
5.根据权利要求2所述的信息处理设备，其中，
所述评估单元使用关于摄像机与和所述摄像机相对应的标记之间的距离的变化的所述第一评估指数来评估所述校准准确度。
6.根据权利要求2所述的信息处理设备，其中，
所述评估单元使用关于以下二者之间的关系的所述第二评估指数来评估所述校准准确度：摄像机与和所述摄像机相对应的标记之间的光路，所述摄像机或所述标记的姿态。
7.根据权利要求1所述的信息处理设备，其中，
所述配置确定单元确定在将所述校准摄像机定位在被评估为具有所述最佳校准准确度的候选配置的情况下是否满足预定校准准确度条件，并且在确定不满足所述预定校准准确度条件的情况下，确定附加的校准摄像机要被定位于所述成像空间中。
8.根据权利要求7所述的信息处理设备，其中，
所述预定校准准确度条件基于所述第一评估指数和所述第二评估指数中的至少一个，其中所述第一评估指数关于摄像机与和所述摄像机相对应的标记之间的距离的变化，所述第二评估指数关于以下二者之间的关系：摄像机与和所述摄像机相对应的标记之间的光路，所述摄像机或所述标记的姿态。
9.根据权利要求7所述的信息处理设备，其中，
在确定所述附加的校准摄像机要被定位于所述成像空间中的情况下，所述配置确定单元使所述评估单元基于其余成像摄像机的配置来评估针对所述附加的校准摄像机获得的校准准确度，其中所述其余成像摄像机是通过从所述多个成像摄像机中排除能够在初始阶段由所述校准摄像机良好地校准的成像摄像机而获得的。
10.根据权利要求7所述的信息处理设备，其中，
所述配置确定单元重复对所述校准准确度的评估和所述校准摄像机的添加，直到确定初始阶段的所述校准摄像机的位置以及多于或等于零个的所述附加的校准摄像机的配置满足所述预定校准准确度条件。
11.根据权利要求1所述的信息处理设备，其中，
所述信息获取单元还获取限定所述校准摄像机能够位于的区域的区域信息。
12.根据权利要求1所述的信息处理设备，其中，
所述信息获取单元获取指示所述校准摄像机在所述成像空间中的配置的另外的摄像机配置信息，其中所述配置是临时确定的，并且
所述信息处理设备还包括：
用户接口单元，其被配置成将所述校准准确度的评估结果反馈给用户，其中所述评估由所述评估单元使用所述摄像机配置信息和所述另外的摄像机配置信息来执行。
13.根据权利要求1所述的信息处理设备，其中，
所述成像摄像机的配置包括所述成像摄像机的定位和姿态，以及
所述校准摄像机的配置至少包括所述校准摄像机的定位。
14.一种由信息处理设备执行的方法，该方法包括：
获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；
基于由所述摄像机配置信息指示的所述多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将所述校准摄像机定位在所述成像空间中的情况下获得的校准准确度；以及
基于所评估的校准准确度来确定位于所述成像空间中的所述校准摄像机的最佳配置，
其中，通过使用第一评估指数和第二评估指数中的至少一个来评估所述校准准确度，其中所述第一评估指数是用于搜索摄像机定位的指数，所述第二评估指数是用于搜索摄像机姿态的指数。
15.一种存储程序的计算机可读介质，所述程序用于使信息处理设备的处理器用作以下单元：
信息获取单元，其被配置成获取指示位于成像空间中的多个成像摄像机的配置的摄像机配置信息；
评估单元，其被配置成基于由所述摄像机配置信息指示的所述多个成像摄像机中的每一个的配置和校准摄像机的配置来评估在将所述校准摄像机定位在所述成像空间中的情况下获得的校准准确度；以及
配置确定单元，其被配置成基于由所述评估单元评估的所述校准准确度来确定位于所述成像空间中的所述校准摄像机的最佳配置，
其中，所述评估单元还被配置为使用第一评估指数和第二评估指数中的至少一个来评估所述校准准确度，其中所述第一评估指数是用于搜索摄像机定位的指数，所述第二评估指数是用于搜索摄像机姿态的指数。
16.一种多摄像机***，包括：
多个成像摄像机，所述多个成像摄像机位于成像空间中并且被配置成对所述成像空间进行成像；以及
校准摄像机，其位于所述成像空间中并且参与针对所述多个成像摄像机的配置的校准，其中，
以在给定所述多个成像摄像机的配置的情况下优化所述校准的准确度的方式来确定所述校准摄像机的配置，
其中，通过使用第一评估指数和第二评估指数中的至少一个来评估所述校准准确度，其中所述第一评估指数是用于搜索摄像机定位的指数，所述第二评估指数是用于搜索摄像机姿态的指数。
CN201680082324.1A 2016-02-29 2016-11-25 信息处理设备、方法、计算机可读介质和多摄像机*** Active CN108702439B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-037835 2016-02-29
JP2016037835 2016-02-29
PCT/JP2016/085054 WO2017149869A1 (ja) 2016-02-29 2016-11-25 情報処理装置、方法、プログラム及びマルチカメラシステム

Publications (2)

Publication Number Publication Date
CN108702439A CN108702439A (zh) 2018-10-23
CN108702439B true CN108702439B (zh) 2020-10-09

Family

ID=59743684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680082324.1A Active CN108702439B (zh) 2016-02-29 2016-11-25 信息处理设备、方法、计算机可读介质和多摄像机***

Country Status (5)

Country Link
US (1) US11165945B2 (zh)
EP (1) EP3425897B1 (zh)
JP (1) JP6750667B2 (zh)
CN (1) CN108702439B (zh)
WO (1) WO2017149869A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
CN108234900B (zh) * 2018-02-13 2020-11-20 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
JP7046567B2 (ja) * 2017-11-13 2022-04-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
CN113330275B (zh) * 2019-01-23 2023-05-09 株式会社索思未来 相机信息计算装置、***、相机信息计算方法及记录介质
CN111292382B (zh) * 2020-02-10 2023-11-14 阿波罗智能技术(北京)有限公司 车载图像采集设备标定的方法和装置、电子设备、介质
EP3882857A1 (en) * 2020-03-19 2021-09-22 Sony Group Corporation Extrinsic calibration of multi-camera system
JP7429667B2 (ja) 2021-03-23 2024-02-08 Kddi株式会社 カメラキャリブレーション装置、方法及びプログラム
CN113938606B (zh) * 2021-10-27 2023-04-07 杭州海康威视数字技术股份有限公司 确定球机架设参数的方法、装置及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635056A (zh) * 2008-07-22 2010-01-27 精工爱普生株式会社 图像捕捉和校准
WO2010132791A1 (en) * 2009-05-15 2010-11-18 Purdue Research Foundation Calibration of large camera networks
WO2011090163A1 (ja) * 2010-01-22 2011-07-28 富士通テン株式会社 パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
CN104160700A (zh) * 2012-06-28 2014-11-19 日本电气株式会社 相机位置姿态评估设备、相机位置姿态评估方法和相机位置姿态评估程序
CN105338233A (zh) * 2015-12-04 2016-02-17 中国航空工业集团公司洛阳电光设备研究所 一种摄像机装调与校准方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088247A (ja) 2002-08-23 2004-03-18 Sony Corp 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム
US7129830B2 (en) * 2004-11-12 2006-10-31 Honeywell International Inc. Methods and systems for providing security
US20110199491A1 (en) * 2008-10-28 2011-08-18 Takashi Jikihira Calibration index determination device, calibration device, calibration performance evaluation device, system, method, and program
JP5901379B2 (ja) 2012-03-26 2016-04-06 三菱電機株式会社 撮像装置校正方法および画像合成装置
EP2739049A1 (en) * 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP6163899B2 (ja) 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
CN111886518A (zh) * 2018-03-29 2020-11-03 洋马动力科技有限公司 障碍物检测***以及作业车辆
US10964058B2 (en) * 2019-06-21 2021-03-30 Nortek Security & Control Llc Camera auto-calibration system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635056A (zh) * 2008-07-22 2010-01-27 精工爱普生株式会社 图像捕捉和校准
WO2010132791A1 (en) * 2009-05-15 2010-11-18 Purdue Research Foundation Calibration of large camera networks
WO2011090163A1 (ja) * 2010-01-22 2011-07-28 富士通テン株式会社 パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
CN104160700A (zh) * 2012-06-28 2014-11-19 日本电气株式会社 相机位置姿态评估设备、相机位置姿态评估方法和相机位置姿态评估程序
CN105338233A (zh) * 2015-12-04 2016-02-17 中国航空工业集团公司洛阳电光设备研究所 一种摄像机装调与校准方法

Also Published As

Publication number Publication date
JPWO2017149869A1 (ja) 2018-12-27
EP3425897A1 (en) 2019-01-09
US11165945B2 (en) 2021-11-02
US20210183101A1 (en) 2021-06-17
JP6750667B2 (ja) 2020-09-02
WO2017149869A1 (ja) 2017-09-08
EP3425897A4 (en) 2019-05-22
EP3425897B1 (en) 2021-05-05
CN108702439A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
CN108702439B (zh) 信息处理设备、方法、计算机可读介质和多摄像机***
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
US10327633B2 (en) Computational array camera with dynamic illumination for eye tracking
Mrovlje et al. Distance measuring based on stereoscopic pictures
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
CN107077743A (zh) 用于阵列相机的动态校准的***和方法
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
JP2014013147A5 (zh)
EP2779091A1 (en) Automatic stereoscopic camera calibration
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
EP3951314A1 (en) Three-dimensional measurement system and three-dimensional measurement method
CN112802002A (zh) 物体表面数据侦测方法、***、电子装置和存储介质
JP6485116B2 (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP5267100B2 (ja) 運動推定装置及びプログラム
CN111292380A (zh) 图像处理方法及装置
CN111829489B (zh) 一种视觉定位的方法及装置
CN115700611A (zh) 学习方法、存储介质以及图像处理装置
JP2023118479A (ja) 情報処理装置、情報処理方法、プログラム、及び、記憶媒体
JP6730029B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
JP7482070B2 (ja) 学習方法、プログラム及び画像処理装置
US20240257490A1 (en) Focal position estimation method, focal position estimation system, model generation method, model generation system, focal position estimation model, and non-transitory computer-readable storage medium
JP5609667B2 (ja) 運動推定装置及びプログラム
JP2024110640A (ja) 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム
JP2023010392A (ja) 画像処理装置、画像処理装置の制御方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant