CN114445502A - 多摄影机定位调度***及方法 - Google Patents

多摄影机定位调度***及方法 Download PDF

Info

Publication number
CN114445502A
CN114445502A CN202110005055.1A CN202110005055A CN114445502A CN 114445502 A CN114445502 A CN 114445502A CN 202110005055 A CN202110005055 A CN 202110005055A CN 114445502 A CN114445502 A CN 114445502A
Authority
CN
China
Prior art keywords
camera
cameras
coordinates
processing device
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110005055.1A
Other languages
English (en)
Inventor
刘礼毅
黄博裕
梁伟刚
李松霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN114445502A publication Critical patent/CN114445502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

本发明提供一种多摄影机定位调度***，包括多个摄影机及处理装置。该些摄影机分布于具有多个区域的室内空间内；该些摄影机分别对应于该些区域且分别撷取该些区域的影像。处理装置将对应于各个区域的摄影机的影像的像素坐标转换为此区域的摄影机坐标，且根据此摄影机与室内空间的相对位置关系将此区域的摄影机坐标转换为此区域的世界坐标，并叠加并取该些摄影机的影像的交集以整合该些摄影机的影像，并产生世界坐标系定义的室内空间的全景地图。其中，当任一摄影机撷取的影像包含工作单位时，处理装置根据工作单位在此摄影机撷取的影像的像素坐标将工作单位投影至全景地图。此***能通过全景地图进行定位，以达成室内环境管理优化并节省人力资源。

Description

多摄影机定位调度***及方法
技术领域
本发明有关于一种多摄影机定位调度***及其方法。
背景技术
电子商务平台已成为现代人主要的购物管道之一。一般而言，供应商 需要提供的货物品项的数量极为庞大；因此，当订单突然增加时，供应商 可能因各种仓储问题(例如：仓储空间不足或货物放置于错误的位置)导致 仓储管理效率不佳而影响出货时间，同时也耗费大量的人力资源。
自走车可用于执行重复性高的工作，故能节省大量的人力资源。然而， 由于目前缺乏在仓储空间中能有效地定位及调度工作人员及自走车的方 法，故仍无法有效地解决前述的问题。
发明内容
本发明的一目的在于提出一种多摄影机定位调度***及其方法，以产 生室内空间的全景地图，并有效地定位室内空间中的单位。
本发明的另一目的在于提出一种多摄影机定位调度***及其方法，以 有效地平均所有工作单位的工作量及优化移动路线，以提升室内管理的效 率并节省人力资源。
根据本发明的一实施例，本发明提出一种多摄影机定位调度***，其 包括多个摄影机及处理装置。该些摄影机分布于具有多个区域的室内空间 内；该些摄影机分别对应于该些区域且分别撷取该些区域的影像。处理装 置将对应于各个区域的摄影机的影像的像素坐标转换为此区域的摄影机 坐标，且将根据此摄影机与室内空间的相对位置关系将此区域的摄影机坐 标转换为此区域的世界坐标，并叠加并取该些摄影机的影像的交集以整合 该些摄影机撷取的影像，并产生世界坐标系定义的室内空间的全景地图。 其中，当任一摄影机撷取的影像包含工作单位时，处理装置根据工作单位 在此摄影机撷取的影像的像素坐标将工作单位投影至全景地图。
根据本发明的另一实施例，本发明提出一种多摄影机定位调度方法， 其包括下列步骤：将多个摄影机设置于具有多个区域的室内空间内，该些 摄影机分别对应于该些区域并分别撷取该些区域的影像；以处理装置将对 应于各个区域的摄影机的影像的像素坐标转换为此区域的摄影机坐标；由 处理装置根据此摄影机与室内空间的相对位置关系将此区域的摄影机坐 标转换为此区域的世界坐标；通过处理装置叠加并取该些摄影机的影像的 交集以整合该些摄影机撷取的影像，并产生世界坐标系定义的室内空间的 全景地图；以及经由处理装置在任一摄影机撷取的影像包括工作单位时， 根据工作单位在此摄机撷取的影像的像素坐标将工作单位投影至全景地 图。
前述的室内空间包括但不限于仓库的内部空间，而是泛指任何室内空 间，例如办公室、住家、工厂、卖场、购物中心及百货公司等。多摄影机 定位调度***及其方法可应用于任何室内空间。
承上所述，依本发明的多摄影机定位调度***及其方法，其可具有一 或多个下述优点：
(1)本发明的一实施例中，多摄影机定位调度***能叠加并取该些摄影 机的影像的交集，并整合所有摄影机撷取的影像以产生室内空间的全景地 图，且能将任一摄影机的影像中的工作单位投影至全景地图，故能有效地 对室内空间中的工作单位进行定位。
(2)本发明的一实施例中，多摄影机定位调度***能在两个或以上的摄 影机的影像包括工作单位时以定界框标定各个摄影机的影像内的工作单 位，并将该些定界框投影到全景地图，并根据该些定界框的重叠部份的中 心点将工作单位投影至全景地图，故能有效地增加定位精度。
(3)本发明的一实施例中，多摄影机定位调度***能分析仓储管理*** 的订单资料、仓储资料及工作单位的位置以产生分析结果，并根据分析结 果以产生工作分配及移动路径规划，故能平均该些工作单位(工作人员及运 输载具，如自走车等)的工作量及优化移动路线，以提升室内环境管理的效 率并且节省人力资源。
附图说明
图1为本发明的第一实施例的多摄影机定位调度***的框图。
图2为本发明的第一实施例的多摄影机定位调度***的第一示意图。
图3A为本发明的第一实施例的多摄影机定位调度***的产生全景地 图的第一示意图。
图3B为本发明的第一实施例的多摄影机定位调度***的产生全景地 图的第二示意图。
图3C为本发明的第一实施例的多摄影机定位调度***的产生全景地 图的第三示意图。
图4A为本发明的第一实施例的多摄影机定位调度***的监控方法的 流程图。
图4B为本发明的第一实施例的多摄影机定位调度***的影像辨识深 度学习算法的流程图。
图5为本发明的第一实施例的多摄影机定位调度***的一实际应用情 境的示意图。
图6A为本发明的第一实施例的多摄影机定位调度***的执行仓储资 源规划调度算法的示意图。
图6B为本发明的第一实施例的多摄影机定位调度***的仓储资源规 划调度算法的详细步骤的流程图。
图7A为本发明的第一实施例的多摄影机定位调度***的工作分配及 移动路径规划的第一示意图。
图7B为本发明的第一实施例的多摄影机定位调度***的工作分配及 移动路径规划的第二示意图。
图7C为本发明的第一实施例的多摄影机定位调度***的工作分配及 移动路径规划的第三示意图。
图8为本发明的第一实施例的多摄影机定位调度方法的流程图。
图9为本发明的第二实施例的多摄影机定位调度***的框图。
图10A为本发明的第二实施例的多摄影机定位调度***的产生全景 地图的第一示意图。
图10B为本发明的第二实施例的多摄影机定位调度***的产生全景地 图的第二示意图。
图11A为本发明的第二实施例的多摄影机定位调度***的定位算法的 第一示意图。
图11B为本发明的第二实施例的多摄影机定位调度***的定位算法的 第二示意图。
图12为本发明的第二实施例的多摄影机定位调度方法的流程图。
附图标记说明
1，2 多摄影机定位调度***
11，21 摄影机
12，22 处理装置
13，23 运算装置
M 仓储管理***
S 室内空间
O 原点
x x轴
y y轴
z z轴
U 工作单位
G1～G3 工作单位组
L 货架
Map 全景地图
R1，R1’，R2，R3，Rs1，Rs2，Rs3 路径
Pt 商品
K 理货区
F 定界框
J 重叠部份
Md 中心点
Da1 订单资料
Da2 仓储资料
Db，Rb 工作单位的坐标
SA 仓储资源规划调度算法
Pr 工作分配及移动路径规划
T1～T3 移动路径规划考量因素
A 机械手臂
具体实施方式
以下将参照相关附图，说明依本发明的多摄影机定位调度***及其方 法的实施例，为了清楚与方便附图说明的原因，图式中的各部件在尺寸与 比例上可能会被夸大或缩小地呈现。在以下描述及/或申请专利范围中， 当提及元件“连接”或“耦合”至另一元件时，其可直接连接或耦合至该 另一元件或可存在介入元件；而当提及元件“直接连接”或“直接耦合” 至另一元件时，不存在介入元件，用于描述元件或层之间的关系的其他字 词应以相同方式解释。为使便于理解，下述实施例中的相同元件以相同的 符号标示来说明。
请参阅图1及图2，其为本发明的第一实施例的多摄影机定位调度*** 的框图及示意图。如图所示，多摄影机定位调度***1包括多个摄影机11、 处理装置12及运算装置13，并与仓储管理***M连接。该些摄影机11与处 理装置12连接。处理装置12与运算装置13连接。运算装置13与仓储管理系 统M连接。
该些摄影机11分布于室内空间S内。室内空间S可分割为多个区域，而 该些摄影机11分别对应于该些区域；其中，该些区域定义为每个摄影机11 各自影像涵盖到的区域。由于该些摄影机11分别对应于室内空间S的该些 区域，故各个摄影机11的世界坐标及各个摄影机11与室内空间S的相对位 置关系为已知。前述的室内空间S不限于仓库的内部空间，而是泛指任何 室内空间，例如办公室、住家、工厂、卖场、购物中心及百货公司等。多 摄影机定位调度***1可应用于任何室内空间。
室内空间S中的特定点为原点O，并以原点O为基准定义x轴、y轴及z 轴，以建立一世界坐标系，借此表示室内空间S的各个位置在真实空间中 的坐标。若应用于针孔成像模型(Pinhole camera model)，处理装置12可进 行对应的坐标转换，如下式(1)所示：
Figure BDA0002881702110000061
其中，K表示摄影机11的内部参数矩阵；αx及αy表示摄影机11的镜头 焦距；u0及v0表示摄影机11的影像的正中心点坐标。
因此，处理装置12能根据各个摄影机11的内部参数矩阵将对应的区域 的像素坐标转换为此区域的摄影机坐标，再将此区域的摄影机坐标转换为 此区域在此摄影机11的影像中的世界坐标，如下式(2)所示：
Figure BDA0002881702110000062
其中，(Xc，Yc，Zc)为此区域的任一位置的摄影机坐标，(Xw，Yw，Zw)表示 对应于此位置的世界坐标；R及T为此摄影机11的外部参数；其中，R表示 此摄影机11的旋转(rotation)参数；T表示此摄影机11的平移(translation)参 数。
完整的计算过程如下式(3)所示：
Figure BDA0002881702110000063
式(3)定义了由欧基里德3维空间至一影像的3×4投影矩阵，如下式(4) 所示：
Figure BDA0002881702110000064
其中，x表示此区域的各个位置的像素坐标，其可表示为(u，v)，即式 (3)中的1×3矩阵；X(＝(Xw，Yw，Zw))为对应于此位置的世界坐标；如前述， K表示摄影机11的内部参数矩阵；R及T为此摄影机11的外部参数。
若应用于例如鱼眼摄影机模型(Fisheye camera model)，处理装置12也 可进行对应的坐标转换。若在摄影机坐标zc＝1的平面具有一个给定的点， 此给定的点的世界坐标为X＝(Xw，Yw，Zw)，其针孔投影如下式(5)所示：
Figure BDA0002881702110000071
式(5)可进一步表示为下式(6)：
f＝r′·tan(θ)………………………………………………(6)
其中，
Figure BDA0002881702110000072
θ表示此区域的各个位置相对于镜头的夹角；r表 示此位置相对于镜头中心的距离；f表示缩放参数；(u，v)表示此区域的各 个位置的像素坐标。
因此，鱼眼扭曲(Fisheye distortion)可由下式(7)表示：
θd＝θ(1+k1·θ2+k2·θ4+k3·θ6+k4·θ8)………………(7)
其中，θd表示鱼眼扭曲；k1～k4表示镜头的结构参数。
因此，扭曲点坐标可由下式(8)表示：
Figure BDA0002881702110000073
其中，(xd，yd)表示扭曲点坐标。
将式(8)转换至像素坐标；最后的像素坐标矢量可由下式(9)表示：
Figure BDA0002881702110000074
(u，v)表示此区域的各个位置的像素坐标；fx表示缩放参数；α表示形 变参数；cx及cy表示位移参数。
可通过下式(10)将式(9)以矩阵形式表示，如下：
Figure BDA0002881702110000075
因此，处理装置12能根据将任一区域的像素坐标转换为此区域的摄影 机坐标，再将此区域的摄影机坐标转换为此区域在此摄影机11的影像中的 世界坐标。
接下来，处理装置12可叠加并取该些摄影机11的影像的交集以整合该 些摄影机11撷取的影像以产生世界坐标系定义的室内空间S的全景地图。 在一实施例中，处理装置12可为各种计算机装置，如服务器、笔记型计算 机或个人计算机等。其中，处理装置12能根据各个摄影机11的影像内的特 征点获得此摄影机11与室内空间S的相对位置关系；然后，处理装置12能 根据该些摄影机11与室内空间S的相对位置关系通过取该些摄影机11的影像的交集并叠加该些摄影机11的影像的方式产生全景地图。
当任一摄影机11撷取的影像包含一工作单位U时，处理装置12根据此 工作单位U在此摄影机11撷取的影像的像素坐标及此摄影机与室内空间S 的相对位置关系将此工作单位U投影到全景地图，并且同时获得此工作单 位U的世界坐标；也就是说，此全景地图的全景地图坐标系即为世界坐标 系，而全景地图坐标系的全景地图坐标即为世界坐标。因此，多摄影机定 位调度***1能对位于室内空间S内的所有工作单位U进行定位。在一实施例中，工作单位U可为但不限于工作人员或运输载具(如自走车等)；工作 单位U可为室内空间S中的任何物体。
在上述的步骤中，处理装置12能执行影像辨识深度学习算法，以定界 框标定各个摄影机11的影像内的工作单位U，并通过卷积类神经网络 (CNN，Convolutional NeuralNetwork)处理各个摄影机11的影像，以计算各 个摄影机11的影像的工作单位U为工作人员的机率及运输载具的机率，以 判断此工作单位U为工作人员或运输载具，并输出判断结果及其坐标。
请参阅图3A、图3B及图3C，其为本发明的第一实施例的多摄影机定 位调度***的产生全景地图的第一示意图、第二示意图及第三示意图。如 图3A所示，分布于室内空间S内的该些摄影机11分别对应于不同区域且分 别撷取该些区域的影像；其中，该些区域为每个摄影机11各自影像涵盖到 的区域。
如图3B所示，处理装置12根据式(1)将对应于各个区域的摄影机11的影 像的各个位置的像素坐标转换为此区域的各个位置在此摄影机11的镜头 中的摄影机坐标，再根据式(2)将此区域的各个位置的摄影机坐标转换为此 区域的各个位置的世界坐标。然后，处理装置12通过取该些摄影机11的影 像的交集并叠加该些摄影机11的影像的方式产生如图3C所示的全景地图 Map。上述程序包含下列步骤：
步骤S31：将多个摄影机设置于具有多个区域的室内空间内，该些摄 影机分别对应于该些区域并分别撷取该些区域的影像。
步骤S32：以处理装置将对应于各个区域的摄影机的影像的各个位置 的像素坐标转换为此区域的摄影机坐标。
步骤S33：由处理装置根据摄影机与室内空间的相对位置关系将此区 域的摄影机坐标转换为此区域的世界坐标。
步骤S34：经由处理装置叠加并取该些摄影机的影像的交集以整合该 些摄影机的影像，并产生世界坐标系定义的此室内空间的全景地图。
步骤S35：经由处理装置在任一摄影机撷取的影像包括工作单位时， 根据此工作单位在此摄影机撷取的影像的像素坐标将此工作单位投影至 全景地图。
如图3C所示，当该些摄影机11的影像中具有工作单位U时，处理装置 12能根据该些工作单位U在该些摄影机11的像素坐标及该些摄影机11与全 景地图的相对关系将该些工作单位U投影到全景地图Map的对应位置，以 对该些工作单位U进行定位。
通过上述的机制，多摄影机定位调度***1能通过该些摄影机11产生 室内空间S的全景地图，并取得这些工作单位U的真实坐标及与其邻近的货 架L。
请参阅图4A及图4B，其为本发明的第一实施例的多摄影机定位调度 ***的监控方法的流程图及影像辨识深度学习算法的流程图。如前述，本 实施例的多摄影机定位调度***1采用特殊的监控方法；多摄影机定位调 度***1能接收设置于室内空间S的多个摄影机11的影像，再将该些摄影机 11的影像转换为世界坐标系定义的室内空间S的全景地图，并且将该些工 作单位U投影至全景地图，同时取得这些工作单位U的世界坐标，以对该 些工作单位U进行定位。
另外，如前述，多摄影机定位调度***1是通过影像辨识深度学习算 法辨识该些摄影机11的影像中的工作单位U为工作人员或运输载具。图4A 及图4B分别说明本实施例的多摄影机定位调度***1的监控方法及影像辨 识深度学习算法。
如图4A所示，本实施例的多摄影机定位调度***1采用的监控方法包 含下列步骤：
步骤S41：以多个摄影机设置于具有多个区域的室内空间内，该些摄 影机分别对应于该些区域并分别撷取该些区域的影像。
步骤S42：通过处理装置转换该些摄影机的影像的转换为全景地图。
步骤S43：经由处理装置执行影像辨识深度学习算法并通过卷积类神 经网络辨识各个摄影机的影像中的工作单位。
步骤S44：通过处理装置输出各个摄影机的影像中的工作单位的全景 地图坐标(即世界坐标)。
如图4B所示，前述的影像辨识深度学习算法包含下列步骤：
步骤S421：经由处理装置将该些摄影机的影像输入卷积类神经网络。
步骤S422：以处理装置计算以定界框标定的各个摄影机的影像内的工 作单位为工作人员的机率及运输载具的机率，以辨识此工作单位。
步骤S423：通过处理装置产生辨识结果。
步骤S424：由处理装置产生该些摄影机的影像的该些工作单位的坐 标。
接下来，如图1所示，运算装置13分析仓储管理***M的订单资料、 仓储资料(包含商品位置信息)及该些工作单位U在全景地图Map的位置产 生分析结果。其中，运算装置13可通过深度强化学习算法分析上述资料产 生分析结果；在一实施例中，深度强化学习算法可为Deep Q-Learning算法 或其它类似的算法。在一实施例中，运算装置13可为各种计算机装置，如 服务器、笔记型计算机或个人计算机等。
然后，运算装置13能执行仓储资源规划调度算法根据分析结果以产生 工作分配及移动路径规划。其中，运算装置13可根据分析结果执行指针网 络(Pointer Network)算法以产生工作分配及移动路径规划；运算装置13也可 执行其它现有的算法，如中国台湾专利申请号第107130814号所揭示的算 法。
请参阅图5，其为本发明的第一实施例的多摄影机定位调度***的一 实际应用情境的示意图。图5举例说明了本实施例的多摄影机定位调度系 统1执行前述的监控方法以及仓储资源规划调度算法应用于一物流仓库的 其中一种实际应用情境。
如图所示，仓储管理***M输出订单资料Da1及仓储资料Da2，而该些 摄影机11的影像通过前述的监控方法(如图2、图3A～3B及图4A～4B所示) 处理后产生该些工作单位的坐标Db。然后，运算装置13能根据订单资料 Da1、仓储资料Da2及该些工作单位的坐标Db执行仓储资源规划调度算法 SA(将于图6A～6B详细说明)产生工作分配及移动路径规划Pr；工作分配及 移动路径规划Pr的目的在于平均分配该些工作单位U的工作量，并使该些 工作单位U的移动路径最佳化，且有效地避免该些工作单位U碰撞及管控 路线重叠时的会车状况。接下来，物流仓库中的该些工作单位U依前述的 工作分配及移动路径规划Pr执行工作，而该些摄影机11持续实时监控该些 工作单位U并更新该些工作单位的坐标Db，使运算装置13能根据订单资料 Da1、仓储资料Da2及该些工作单位更新后的坐标Rb再执行仓储资源规划 调度算法SA，以持续更新工作分配及移动路径规划Pr。
请参阅图6A及图6B，其为本发明的第一实施例的多摄影机定位调度 ***的执行仓储资源规划调度算法的示意图及仓储资源规划调度算法的 详细步骤的流程图。如图6A所示，运算装置13能接收订单资料Da1、仓储 资料Da2及该些工作单位的坐标Db执行仓储资源规划调度算法SA，并能根 据订单资料Da1、仓储资料Da2及该些工作单位的坐标Db执行仓储资源规 划调度算法SA并产生工作分配及移动路径规划Pr。
如图6B所示，仓储资源规划调度算法的详细步骤如下：
步骤S61：输入订单资料、仓储资料及该些工作单位的坐标。
步骤S62：分析订单资料、仓储资料及该些工作单位的坐标。
步骤S63：产生工作分配及移动路径规划。其中，移动路径规划考量 因素可包含最短路径T1、防止碰撞及管控会车状况T2及运输载具的负载量 T3中之一或以上。
步骤S64：输出工作分配及移动路径规划至该些工作单位。
请参阅图7A、图7B及图7C，其为本发明的第一实施例的多摄影机定 位调度***的工作分配及移动路径规划的第一示意图、第二示意图及第三 示意图。如图7A所示，订单上的九个商品Pt分布于不同的货架L上。多个 工作单位组G1、G2、G3需分别经由路径R1、路径R2及路径R3到达该些商 品Pt的位置，并通过该些机械手臂A搬运该些商品Pt。
然而，若未进行适当的工作分配及移动路径规划，该些工作单位组 G1、G2、G3无法有效率的完成工作。如图7B所示，其中工作单位组G1需 先运送三个商品Pt并以路径R1移动至理货区K，再运送两个商品Pt并以路 径R1’移动至理货区K；而工作单位组G2及工作单位组G3则分别运送两个 商品Pt并分别以路径R2、R3移动至理货区K。然而，工作单位组G1的工作 量明显较该些工作单位组G2、G3大，故该些工作单位组G1、G2、G3的工 作分配并不平均，并且无法以最短路径完成工作。
如图7C所示，运算装置13能执行仓储资源规划调度算法根据分析结果 以产生工作分配及移动路径规划。其中，运算装置13可根据分析结果执行 指针网络(PointerNetwork)算法以产生工作分配及移动路径规划；运算装置 13也可执行其它现有的算法，如中国台湾专利申请号第107130814号揭示 的算法。通过上述的机制，运算装置13可平均该些工作单位组G1、G2、 G3的工作量，使三组工作单位组G1、G2、G3分别运送三个商品Pt，并分别以最短的路径Rs1、Rs2、Rs3移动至理货区K。因此，多摄影机定位调 度***1可有效地提升室内环境管理的效率并节省人力资源。
由于目前缺乏在室内空间中能有效地定位及调度工作人员及自走车 的方法，故供应商可能因各种仓储问题导致仓储管理效率不佳而影响出货 时间，同时也耗费大量的人力资源。然而，根据本发明的实施例，多摄影 机定位调度***1能叠加并取该些摄影机11的影像的交集以整合所有摄影 机11撷取的影像以产生室内空间S的全景地图Map，且能将任一摄影机11 的影像中的工作单位U投影至全景地图Map，并能有效地对室内空间S中的工作单位U进行定位。另外，多摄影机定位调度***1能分析仓储管理*** M的订单资料Da1、仓储资料Da2及工作单位U的坐标Db以产生分析结果， 并根据分析结果以产生工作分配及移动路径规划Pr，故能平均该些工作单 位U(工作单位U可为但不限于工作人员或运输载具，如自走车等)的工作量 及优化移动路线，以提升室内环境管理的效率并节省人力资源。
本实施例为举例说明，多摄影机定位调度***1的各元件及其协同关 系均可依实际需求变化，本发明并不以此为限。
请参阅图8，其为本发明的第一实施例的多摄影机定位调度方法的流 程图。本实施例的多摄影机定位调度***1的多摄影机定位调度方法包含 下列步骤：
步骤S81：将多个摄影机设置于具有多个区域的室内空间内，该些摄 影机分别对应于该些区域并分别撷取该些区域的影像。
步骤S82：以处理装置将对应于各个区域的摄影机的影像的像素坐标 转换为此区域的摄影机坐标。
步骤S83：由处理装置根据此摄影机与室内空间的相对位置关系将此 区域的摄影机坐标转换为此区域的世界坐标。
步骤S84：通过处理装置叠加并取该些摄影机的影像的交集以整合该 些摄影机撷取的影像，并产生世界坐标系定义的室内空间的全景地图。
步骤S85：经由处理装置在任一摄影机撷取的影像包括一工作单位 时，根据此工作单位在此摄影机撷取的影像的像素坐标将此工作单位投影 至全景地图。
步骤S86：经由运算装置分析仓储管理***的订单资料、仓储资料及 该些工作单位在全景地图的位置产生分析结果。
步骤S87：通过运算装置根据分析结果以产生工作分配及移动路径规 划。
请参阅图9、图10A及图10B；图9为本发明的第二实施例的多摄影机 定位调度***的框图；图10A及图10B为本发明的第二实施例的多摄影机 定位调度***的产生全景地图的第一示意图及第二示意图。如图6所示， 多摄影机定位调度***2包括多个摄影机21、处理装置22及运算装置23。 该些摄影机21与处理装置22连接。处理装置22与运算装置23连接。运算装 置23与仓储管理***M连接。
如图10A所示，该些摄影机21分布于室内空间S内。室内空间S可分割 为多个区域，而该些摄影机21分别对应于该些区域且分别撷取该些区域的 影像；其中，该些区域为每个摄影机11各自影像涵盖到的区域。其中，任 一个摄影机21撷取的影像与至少一个其它摄影机21撷取的影像可以为部 份重叠。同样的，多摄影机定位调度***2的处理装置22能根据式(1)将对 应于各个区域的摄影机21的影像的各个位置的像素坐标转换为此区域的 各个位置在此摄影机21的镜头中的摄影机坐标，再根据式(2)将此区域的各 个位置的摄影机坐标转换为此区域的各个位置的世界坐标。然后，处理装 置22通过取该些摄影机21的影像的交集并叠加该些摄影机21的影像的方 式产生全景地图。前述的室内空间S不限于仓库的内部空间，而是泛指任 何室内空间，例如办公室、住家、工厂、卖场、购物中心及百货公司等。多摄影机定位调度***2可应用于任何室内空间。
然后，如图10B所示，当任一摄影机21撷取的影像包含一工作单位U 时，多摄影机定位调度***2的处理装置22根据此工作单位U在此摄影机21 撷取的影像的像素坐标及此摄影机21与室内空间S的相对位置关系将此工 作单位U投影到全景地图Map，并同时获得此工作单位U的世界坐标；因此， 多摄影机定位调度***2能对位于室内空间S内的所有工作单位U进行定 位。
上述各元件的运作与前述实施例相似，故不在此多加赘述。与第一实 施例不同的是，本实施例采用更为精确的影像辨识算法。
请参阅图11A及图11B，其为本发明的第二实施例的多摄影机定位调 度***的定位算法的第一示意图及第二示意图。如图11A所示，工作单位 U于室内空间S内移动至一定点，且位于设置于室内空间S的两个摄影机21 的拍摄范围内，使该些摄影机21的影像均包括此工作单位U。
如图11B所示，处理装置22以定界框F标定各个摄影机21的影像内的工 作单位U，并同时将两个定界框F投影到全景地图Map。然后，处理装置22 根据这两个定界框F的重叠部份J的中心点Md将工作单位U投影至全景地 图Map。其中，处理装置22可根据该些定界框F内的该些工作单位U的位置 及移动方向判断该些定界框F的该些工作单位U是否为同一个工作单位U。
同样的，当三个或以上的摄影机21的影像包括同一个工作单位U时， 处理装置21以定界框F标定各个摄影机21的影像内的工作单位U，并同时将 三个定界框F投影到全景地图Map，并根据这三个定界框F的重叠部份J的中 心点将工作单位U投影至全景地图Map。
通过上述的定位算法，多摄影机定位调度***2能更为精确的定位室 内空间S中的所有工作单位U，并更精准地进行工作分配及移动路径规划， 以提升室内环境管理的效率并节省人力资源。
本实施例为举例说明，多摄影机定位调度***2的各元件及其协同关 系均可依实际需求变化，本发明并不以此为限。
请参阅图12，其为本发明的第二实施例的多摄影机定位调度方法的流 程图。本实施例的多摄影机定位调度***2的多摄影机定位调度方法包含 下列步骤：
步骤S121：将多个摄影机设置于具有多个区域的室内空间内，该些摄 影机分别对应于该些区域并分别撷取该些区域的影像。
步骤S122：以处理装置将对应于各个区域的摄影机的影像的像素坐标 转换为此区域的摄影机坐标。
步骤S123：由处理装置根据此摄影机与室内空间的相对位置关系将此 区域的摄影机坐标转换为此区域的世界坐标。
步骤S124：通过处理装置叠加并取该些摄影机的影像的交集以整合该 些摄影机撷取的影像，并产生世界坐标系定义的室内空间的全景地图。
步骤S125：由处理装置在两个或以上的该些摄影机的影像包括一工作 单位时，以定界框标定各个摄影机的影像内的此工作单位。
步骤S126：通过处理装置将该些定界框投影到全景地图，并根据该些 定界框的重叠部份的中心点将此工作单位投影至全景地图。
步骤S127：经由运算装置分析仓储管理***的订单资料、仓储资料及 该些工作单位在全景地图的位置产生分析结果。
步骤S128：通过运算装置根据分析结果以产生工作分配及移动路径规 划。
综上所述，根据本发明的实施例，多摄影机定位调度***能够叠加并 取该些摄影机的影像的交集以整合所有摄影机撷取的影像以产生室内空 间的全景地图，且能将任一摄影机的影像中的工作单位投影至全景地图， 故能有效地对室内空间中的工作单位进行定位。
另外，根据本发明的实施例，多摄影机定位调度***能在两个或以上 的摄影机的影像包括工作单位时以定界框标定各个摄影机的影像内的工 作单位，并将该些定界框投影到全景地图，并根据该些定界框的重叠部份 的中心点将工作单位投影至全景地图，故能有效地增加定位精度。
此外，根据本发明的实施例，多摄影机定位调度***能分析仓储管理 ***的订单资料、仓储资料及工作单位的位置以产生分析结果，并根据分 析结果以产生工作分配及移动路径规划，故能平均该些工作单位(工作单位 可为但不限于工作人员及运输载具，如自走车等)的工作量及优化移动路 线，以提升室内环境管理的效率并节省人力资源。
可见本发明在突破现有的技术下，确实已达到所欲增进的技术效果， 且也非本领域技术人员所容易想到的，其所具的进步性、实用性，显已符 合专利的申请要件，于是依法提出专利申请。
以上所述为举例性，而非为限制性者。其它任何未脱离本发明的精神 与范畴，而对其进行的等效修改或变更，均应该包含于后附的申请专利范 围中。

Claims (20)

1.一种多摄影机定位调度***，其特征在于，包括：
多个摄影机，分布于具有多个区域的室内空间内，该些摄影机分别对应于该些区域并分别撷取该些区域的影像；以及
处理装置，将对应于各个该区域的该摄影机的影像的像素坐标转换为该区域的摄影机坐标，且根据该摄影机与该室内空间的相对位置关系将该区域的摄影机坐标转换为该区域的世界坐标，并取该些摄影机的影像的交集并叠加该些摄影机的影像以产生世界坐标系定义的该室内空间的全景地图；
其中，当任一该摄影机撷取的影像包含工作单位时，该处理装置根据该工作单位在该摄影机撷取的影像的像素坐标将该工作单位投影至该全景地图。
2.根据权利要求1所述的多摄影机定位调度***，其特征在于，该处理装置根据各个该摄影机撷取的影像内的特征点获得该摄影机与该室内空间的相对位置关系。
3.根据权利要求1所述的多摄影机定位调度***，其特征在于，该处理装置根据各个该摄影机的旋转参数及平移参数将对应于该摄影机的该区域的世界坐标转为该区域的摄影机坐标。
4.根据权利要求1所述的多摄影机定位调度***，其特征在于，该处理装置根据各个该摄影机的内部参数矩阵将对应的该区域的像素坐标转换为该区域的摄影机坐标。
5.根据权利要求1所述的多摄影机定位调度***，其特征在于，任一个该摄影机撷取的影像与另一该摄影机撷取的影像部份重叠。
6.根据权利要求5所述的多摄影机定位调度***，其特征在于，当两个或以上的该些摄影机的影像包括该工作单位时，该处理装置以定界框标定各个该摄影机的影像内的该工作单位，并将该些定界框投影到该全景地图，并根据该些定界框的重叠部份的中心点将该工作单位投影至该全景地图。
7.根据权利要求1所述的多摄影机定位调度***，其特征在于，还包含运算装置，该运算装置分析仓储管理***的订单资料、仓储资料及该工作单位在全景地图的位置产生分析结果，并根据该分析结果以产生工作分配及移动路径规划。
8.根据权利要求7所述的多摄影机定位调度***，其特征在于，该运算装置执行深度强化学习算法分析该订单资料、该仓储资料及该工作单位的世界坐标以产生该分析结果。
9.根据权利要求7所述的多摄影机定位调度***，其特征在于，该运算装置根据该分析结果执行指针网络算法以产生该工作分配及该移动路径规划。
10.根据权利要求1所述的多摄影机定位调度***，其特征在于，该处理装置执行影像辨识深度学习算法并通过卷积类神经网络以辨识该工作单位。
11.一种多摄影机定位调度方法，其特征在于，包括：
将多个摄影机设置于具有多个区域的室内空间内，该些摄影机分别对应于该些区域并分别撷取该些区域的影像；
以处理装置将对应于各个该区域的该摄影机的影像的像素坐标转换为该区域的摄影机坐标；
由该处理装置根据该摄影机与该室内空间的相对位置关系将该区域的摄影机坐标转换为该区域的世界坐标；
通过该处理装置取该些摄影机的影像的交集并叠加该些摄影机的影像以产生世界坐标系定义的该室内空间的全景地图；以及
经由该处理装置在任一该摄影机撷取的影像包括工作单位时，根据该工作单位在该摄影机撷取的影像的像素坐标将该工作单位投影至该全景地图。
12.根据权利要求11所述的多摄影机定位调度方法，其特征在于，由该处理装置根据该摄影机与该室内空间的相对位置关系将该摄影机的摄影机坐标转换为该区域的像素坐标的步骤还包含：
经由该处理装置根据各个该摄影机撷取的影像内的特征点获得该摄影机与该室内空间的相对位置关系。
13.根据权利要求11所述的多摄影机定位调度方法，其特征在于，以该处理装置将对应于各个该摄影机的该区域的世界坐标转换为该区域的摄影机坐标的步骤还包括：
经由该处理装置根据各个该摄影机的旋转参数及平移参数将对应于该摄影机的该区域的世界坐标转为该区域的摄影机坐标。
14.根据权利要求11所述的多摄影机定位调度方法，其特征在于，由该处理装置将该区域的摄影机坐标转换为该区域的像素坐标的步骤还包括：
通过该处理装置根据各个该摄影机的内部参数矩阵将对应的该区域的像素坐标转换为该区域的摄影机坐标。
15.根据权利要求11所述的多摄影机定位调度方法，其特征在于，还包括：
任一个该摄影机撷取的影像与另一该摄影机撷取的影像部份重叠。
16.根据权利要求11所述的多摄影机定位调度方法，其特征在于，还包括：
由该处理装置在两个或以上的该些摄影机的影像包括该工作单位时，以定界框标定各个该摄影机的影像内的该工作单位；以及
通过该处理装置将该些定界框投影到该全景地图，并根据该些定界框的重叠部份的中心点将该工作单位投影至该全景地图。
17.根据权利要求11所述的多摄影机定位调度方法，其特征在于，还包括：
经由运算装置分析仓储管理***的订单资料、仓储资料及该工作单位在全景地图的位置产生分析结果；以及
通过该运算装置根据该分析结果以产生工作分配及移动路径规划。
18.根据权利要求17所述的多摄影机定位调度方法，其特征在于，经由该运算装置分析该仓储管理***的该订单资料、该仓储资料及该工作单位在全景地图的位置产生该分析结果的步骤还包括：
由该运算装置执行深度强化学习算法分析该订单资料、该仓储资料及该工作单位的世界坐标以产生该分析结果。
19.根据权利要求17所述的多摄影机定位调度方法，其特征在于，通过该运算装置根据该分析结果以产生该工作分配及该移动路径规划的步骤还包括：
以该运算装置根据该分析结果执行指针网络算法以产生该工作分配及该移动路径规划。
20.根据权利要求11所述的多摄影机定位调度方法，其特征在于，还包含：
经由该处理装置执行影像辨识深度学习算法并通过卷积类神经网络辨识该工作单位。
CN202110005055.1A 2020-11-06 2021-01-04 多摄影机定位调度***及方法 Pending CN114445502A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109138788 2020-11-06
TW109138788 2020-11-06

Publications (1)

Publication Number Publication Date
CN114445502A true CN114445502A (zh) 2022-05-06

Family

ID=81362213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110005055.1A Pending CN114445502A (zh) 2020-11-06 2021-01-04 多摄影机定位调度***及方法

Country Status (3)

Country Link
US (1) US11632499B2 (zh)
CN (1) CN114445502A (zh)
TW (1) TWI781511B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220327511A1 (en) * 2021-04-07 2022-10-13 Vcognition, Inc. System and method for acquiring training data of products for automated checkout
CN117197132B (zh) * 2023-11-03 2024-02-13 季华实验室 类镜面缺陷投影方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130130544A (ko) * 2012-05-22 2013-12-02 삼성테크윈 주식회사 감시 영상 표시 방법 및 시스템
KR20170058612A (ko) * 2015-11-19 2017-05-29 (주)예사싱크 영상 기반 실내측위 방법 및 그의 시스템
CN108805807A (zh) * 2017-04-26 2018-11-13 伟诠电子股份有限公司 环景图像的拼接方法及其***
CN110377015A (zh) * 2018-04-13 2019-10-25 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
CN110874669A (zh) * 2018-09-03 2020-03-10 财团法人工业技术研究院 拣货***及拣货方法
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
US20200265609A1 (en) * 2019-02-15 2020-08-20 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634336B2 (en) * 2005-12-08 2009-12-15 Electronics And Telecommunications Research Institute Localization system and method of mobile robot based on camera and landmarks
US9906769B1 (en) * 2014-07-31 2018-02-27 Raytheon Company Methods and apparatus for collaborative multi-view augmented reality video
CN106485937B (zh) 2016-08-31 2018-12-04 国网山东省电力公司巨野县供电公司 一种仓储空间智能管理方法
US10589931B2 (en) 2016-09-30 2020-03-17 Staples, Inc. Hybrid modular storage fetching system
CN107944781A (zh) 2016-10-12 2018-04-20 菜鸟智能物流控股有限公司 提供存放对象提示信息的方法及装置
WO2018160724A1 (en) 2017-02-28 2018-09-07 Wayfarer, Inc. Transportation system
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
CN107808272A (zh) 2017-11-17 2018-03-16 广州智联网络科技有限公司 一种基于图像识别技术的群控仓储智能调度装置
TWI622003B (zh) 2017-11-20 2018-04-21 財團法人工業技術研究院 物流管理方法及系統
EP3755969A1 (en) 2018-02-23 2020-12-30 Crown Equipment Corporation Systems and methods for optical target based indoor vehicle navigation
CN109359924A (zh) * 2018-11-19 2019-02-19 炬星科技（深圳）有限公司 基于机器人的物流分区拣选方法、装置、终端、***及存储介质
TWI690816B (zh) * 2018-11-28 2020-04-11 台達電子工業股份有限公司 地圖建置設備及其地圖建置方法
SG10201902705SA (en) * 2019-03-26 2020-10-29 Nec Asia Pacific Pte Ltd Method and system for object detection coverage estimation
CN110458879A (zh) * 2019-07-25 2019-11-15 南京邮电大学 一种基于机器视觉的室内定位与地图构建装置
CN111783849B (zh) * 2020-06-15 2022-10-28 清华大学 一种室内定位方法、装置、电子设备及存储介质
US11303853B2 (en) * 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
CN111860651B (zh) * 2020-07-22 2022-09-13 河海大学常州校区 一种基于单目视觉的移动机器人半稠密地图构建方法
US11692832B2 (en) * 2020-07-24 2023-07-04 Bayerische Motoren Werke Aktiengesellschaft Systems, methods, and computer programs for efficiently determining an order of driving destinations and for training a machine-learning model using distance-based input data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130130544A (ko) * 2012-05-22 2013-12-02 삼성테크윈 주식회사 감시 영상 표시 방법 및 시스템
KR20170058612A (ko) * 2015-11-19 2017-05-29 (주)예사싱크 영상 기반 실내측위 방법 및 그의 시스템
CN108805807A (zh) * 2017-04-26 2018-11-13 伟诠电子股份有限公司 环景图像的拼接方法及其***
CN110377015A (zh) * 2018-04-13 2019-10-25 北京三快在线科技有限公司 机器人定位方法和机器人定位装置
CN110874669A (zh) * 2018-09-03 2020-03-10 财团法人工业技术研究院 拣货***及拣货方法
US20200265609A1 (en) * 2019-02-15 2020-08-20 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法

Also Published As

Publication number Publication date
TWI781511B (zh) 2022-10-21
US11632499B2 (en) 2023-04-18
TW202219855A (zh) 2022-05-16
US20220150406A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US20190138676A1 (en) Methods and systems for automatically creating statistically accurate ergonomics data
Park et al. Deep learning-based mobile augmented reality for task assistance using 3D spatial mapping and snapshot-based RGB-D data
US10209063B2 (en) Using sensor-based observations of agents in an environment to estimate the pose of an object in the environment and to estimate an uncertainty measure for the pose
Zhang et al. 3-D model-based multi-camera deployment: A recursive convex optimization approach
US20160119540A1 (en) Model-based plane-like panorama and retail applications
CN114445502A (zh) 多摄影机定位调度***及方法
Ruffaldi et al. Third point of view augmented reality for robot intentions visualization
WO2014141928A1 (ja) 搬入経路計画システム
Al-Shanoon et al. Robotic manipulation based on 3-D visual servoing and deep neural networks
Ruan et al. Feature-based autonomous target recognition and grasping of industrial robots
Zhou et al. 3d pose estimation of robot arm with rgb images based on deep learning
Bolopion et al. Vision-Based Haptic Feedback for Remote Micromanipulation in–SEM Environment
Brecher et al. 3D assembly group analysis for cognitive automation
Sahu et al. Shape features for image-based servo-control using image moments
EP4194987A1 (en) Environment change proposition system and environment change proposition program
US20220317704A1 (en) Transport system, control apparatus, transport method, and program
Chowdhury et al. Neural Network-Based Pose Estimation Approaches for Mobile Manipulation
Upadhyay et al. Real-time deep learning–based image processing for pose estimation and object localization in autonomous robot applications
CN113510718A (zh) 一种基于机器视觉的智能售餐机器人及其使用方法
Du et al. A rapid oriented detection method of virtual components for augmented assembly
Chowdhury et al. Comparison of neural network-based pose estimation approaches for mobile manipulation
Liu et al. A pose estimation approach based on keypoints detection for robotic bin-picking application
Moon et al. Development of immersive augmented reality interface for construction robotic system
US20230342956A1 (en) Information processing device, information processing system, method of controlling information processing device, and storage medium
Connette et al. Efficient Monitoring of Process Plants by Telepresence and Attention Guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination