CN105518221A - 拍摄装置的校正***、作业机械和拍摄装置的校正方法 - Google Patents

拍摄装置的校正***、作业机械和拍摄装置的校正方法 Download PDF

Info

Publication number
CN105518221A
CN105518221A CN201580001082.4A CN201580001082A CN105518221A CN 105518221 A CN105518221 A CN 105518221A CN 201580001082 A CN201580001082 A CN 201580001082A CN 105518221 A CN105518221 A CN 105518221A
Authority
CN
China
Prior art keywords
filming apparatus
parameter
pair
filming
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580001082.4A
Other languages
English (en)
Inventor
川本骏
菅原大树
山口博义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN105518221A publication Critical patent/CN105518221A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08Superstructures; Supports for superstructures
    • E02F9/0858Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G01C11/10Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

拍摄装置的校正***包括:至少两个拍摄装置;以及处理装置,其使至少两个上述拍摄装置中的、第一拍摄装置与第二拍摄装置之间的距离固定,并使规定上述第二拍摄装置的姿势的参数变化,在由上述第一拍摄装置和上述第二拍摄装置得到的一对图像间查找对应的部分,基于查找到的结果求取上述参数。

Description

拍摄装置的校正***、作业机械和拍摄装置的校正方法
技术领域
本发明涉及用于对作业机械具有的拍摄装置进行校正的拍摄装置的校正***、作业机械和拍摄装置的校正方法。
背景技术
目前,存在具有拍摄装置的作业机械(例如专利文献1)。这样的作业机械通过拍摄装置拍摄对象并基于拍摄结果来控制自身的动作或将所拍摄的对象的信息发送至管理装置。
专利文献1:日本特开2012-233353号公报
发明内容
在专利文献1中记载有使用拍摄装置来校正作业机的技术。然而,在专利文献1中既没有记载也没有暗示对作业机械具有的拍摄装置进行校正。
本发明的目的在于对作业机械具有的拍摄装置进行校正。
本发明提供一种拍摄装置的校正***,其包括:至少两个拍摄装置;以及处理装置,其使至少两个上述拍摄装置中的、第一拍摄装置与第二拍摄装置之间的距离固定,并使规定上述第二拍摄装置的姿势的参数变化,在由上述第一拍摄装置和上述第二拍摄装置得到的一对图像间查找对应的部分,基于查找到的结果来求取上述参数。
优选的是,上述处理装置包括:查找部,其使至少两个上述拍摄装置中的、第一拍摄装置与第二拍摄装置之间的距离固定,并使规定上述第二拍摄装置的姿势的参数变化,在由上述第一拍摄装置和上述第二拍摄装置得到的一对图像间查找对应的部分;以及决定部,其基于上述查找部查找到的结果,求取规定上述拍摄装置的姿势的姿势参数。
优选的是,上述参数规定上述第二拍摄装置的旋度。
优选的是,上述参数包含使上述第二拍摄装置以上述第一拍摄装置为中心旋转的第一参数和使上述第二拍摄装置围绕上述第二拍摄装置的中心旋转的第二参数。
优选的是,上述处理装置基于在由至少两个上述拍摄装置中的一对上述拍摄装置得到的一对图像间查找对应的部分所得到的结果,决定需要求取上述参数的上述第一拍摄装置和上述第二拍摄装置。
优选的是,上述处理装置在有多对上述拍摄装置的情况下,对查找成功率小于阈值的一对上述拍摄装置求取上述参数。
本发明提供一种作业机械,其包括:上述的拍摄装置的校正***;以及多个上述拍摄装置。
本发明提供一种拍摄装置的校正方法,由至少两个拍摄装置拍摄对象来得到多个图像,基于在由多个上述拍摄装置中的一对拍摄装置得到的一对图像间查找对应的部分所得到的结果,决定是否求取用于规定一对上述拍摄装置中的任一方的姿势的参数,在求取上述参数时,使作为一对上述拍摄装置的第一拍摄装置与第二拍摄装置之间的距离固定,并使规定上述第二拍摄装置的姿势的参数变化,在由上述第一拍摄装置和上述第二拍摄装置得到的一对图像间查找对应的部分,基于查找到的结果来求取规定上述拍摄装置的姿势的姿势参数。
本发明能够抑制使用作业机械进行作业时的作业效率下降,该作业机械有具备作业部件的作业机。
附图说明
图1是具有实施方式涉及的拍摄装置的校正***的液压挖掘机的立体图。
图2是表示实施方式涉及的液压挖掘机的驾驶席附近的立体图。
图3是表示实施方式涉及的液压挖掘机具有的作业机的尺寸和液压挖掘机的坐标系的图。
图4是表示由多个拍摄装置拍摄对象而得到的图像的一个示例的图。
图5是表示多个拍摄装置拍摄的对象的一个示例的图。
图6是表示实施方式涉及的拍摄装置的校正***的图。
图7是说明使用一对拍摄装置对铲斗的斗齿的齿尖进行三维测量的示例的图。
图8是表示由一对拍摄装置得到的一对图像的图。
图9是表示由一对拍摄装置得到的一对图像的图。
图10是表示一对拍摄装置的位置关系的立体图。
图11是拍摄装置相对于拍摄装置的偏移的说明图。
图12是表示由一对拍摄装置得到的一对图像的图。
图13是表示由一对拍摄装置得到的一对图像的图。
图14是表示实施方式涉及的校正***执行实施方式涉及的校正方法时的处理的流程图。
图15是用于说明决定求取姿势参数的拍摄装置的方法的图。
图16是表示用于决定求取姿势参数的拍摄装置的表的一个示例的图。
图17是用于说明姿势参数的图。
图18是用于说明姿势参数的图。
图19是用于说明姿势参数的图。
图20是用于说明姿势参数的图。
图21是用于说明姿势参数的图。
附图标记说明
1车身
2作业机
3回转体
4驾驶室
5行走体
5a、5b履带
6动臂
7斗杆
8铲斗
9斗齿
10动臂缸
11斗杆缸
12铲斗缸
13动臂销
14斗杆销
15铲斗销
20处理装置
21处理部
22存储部
23输入输出部
30、30a、30b、30c、30d、30L、30R拍摄装置
31L、31R拍摄元件
32L、32R、32Lr图像
33、33’视差图像
50拍摄装置的校正***
100液压挖掘机
BL基线
d视差
f焦点距离
OCL、OCR、OCc、OCd光学中心
P3齿尖
SR灰阶比率
SRc阈值
TB判断表
α、β、γ、θ、角度
具体实施方式
参照附图来详细说明用于实施本发明的方式(实施方式)。
液压挖掘机的整体结构
图1是具有实施方式涉及的拍摄装置的校正***的液压挖掘机100的立体图。图2是表示实施方式涉及的液压挖掘机100的驾驶席附近的立体图。图3是表示实施方式涉及的液压挖掘机具有的作业机2的尺寸和液压挖掘机100的坐标系的图。
作为作业机械的液压挖掘机100具有车身1和作业机2。车身1具有回转体3、驾驶室4和行走体5。回转体3以可回转的方式安装于行走体5。回转体3收纳有未图示的液压泵和发动机等装置。驾驶室4配置于回转体3的前部。在驾驶室4内配置图2所示的操作装置25。行走体5具有履带5a、5b,通过履带5a、5b转动,使液压挖掘机100行走。
作业机2安装于车身1的前部,具有动臂6、斗杆7、作为作业部件的铲斗8、动臂缸10、斗杆缸11和铲斗缸12。在实施方式中,车身1的前方是指,从图2所示的驾驶席4S的椅背4SS朝向操作装置25的方向侧。车身1的后方是指,从操作装置25朝向驾驶席4S的椅背4SS的方向侧。车身1的前部是指,车身1的前方侧的部分,是车身1的与配重体WT相反一侧的部分。操作装置25是用于操作作业机2和回转体3的装置,具有右侧杆25R和左侧杆25L。
动臂6的基端部通过动臂销13可转动地安装于车身1的前部。动臂销13相当于动臂6相对于回转体3的转动中心。斗杆7的基端部通过斗杆销14可转动地安装于动臂6的前端部。斗杆销14相当于斗杆7相对于动臂6的转动中心。在斗杆7的前端部,通过铲斗销15可转动地安装有铲斗8。铲斗销15相当于铲斗8相对于斗杆7的转动中心。
如图3所示,动臂6的长度、即动臂销13与斗杆销14之间的长度是L1。斗杆7的长度、即斗杆销14与铲斗销15之间的长度是L2。铲斗8的长度、即铲斗销15与铲斗8的斗齿9的前端即齿尖P3之间的长度是L3。
图1所示的动臂缸10、斗杆缸11和铲斗缸12分别是通过液压驱动的液压缸。动臂缸10的基端部通过动臂缸下部销10a可转动地安装于回转体3。动臂缸10的前端部通过动臂缸上部销10b可转动地安装于动臂6。动臂缸10通过液压进行伸缩来驱动动臂6。
斗杆缸11的基端部通过斗杆缸下部销11a可转动地安装于动臂6。斗杆缸11的前端部通过斗杆缸上部销11b可转动地安装于斗杆7。斗杆缸11通过液压进行伸缩来驱动斗杆7。
铲斗缸12的基端部通过铲斗缸下部销12a可转动地安装于斗杆7。铲斗缸12的前端部通过铲斗缸上部销12b可转动地安装于第一连接部件47的一端和第二连接部件48的一端。第一连接部件47的另一端通过第一连接销47a可转动地安装于斗杆7的前端部。第二连接部件48的另一端通过第二连接销48a可转动地安装于铲斗8。铲斗缸12通过液压进行伸缩来驱动铲斗8。
如图3所示,在动臂6、斗杆7和铲斗8分别设置有第一角度检测部18A、第二角度检测部18B和第三角度检测部18C。第一角度检测部18A、第二角度检测部18B和第三角度检测部18C例如是行程传感器。它们分别检测动臂缸10、斗杆缸11和铲斗缸12的行程长度,来间接地检测动臂6相对于车身1的回转角、斗杆7相对于动臂6的回转角、铲斗8相对于斗杆7的回转角。
在实施方式中,第一角度检测部18A检测动臂缸10的行程长度。后述的处理装置20基于第一角度检测部18A检测出的动臂缸10的行程长度,计算动臂6相对于图3所示的液压挖掘机100的坐标系(Xm,Ym,Zm)的Zm轴的回转角δ1。以下,可将液压挖掘机100的坐标系称为车身坐标系。如图2所示,例如车身坐标系的原点是动臂销13的中心。动臂销13的中央是指在与动臂销13延伸的方向正交的平面截断动臂销13时的截面中心并且是动臂销13延伸的方向上的中心。车身坐标系并非由本实施方式的示例所限定,例如可以设回转体3的回转中心为Zm轴,与动臂销13延伸的方向平行的轴线为Ym轴,与Zm轴及Ym轴正交的轴线为Xm轴。
第二角度检测部18B检测斗杆缸11的行程长度。处理装置20基于第二角度检测部18B检测出的斗杆缸11的行程长度,计算斗杆7相对于动臂6的回转角δ2。第三角度检测部18C检测铲斗缸12的行程长度。处理装置20基于第三角度检测部18C检测出的铲斗缸12的行程长度,计算铲斗8相对于斗杆7的回转角δ3。
拍摄装置
如图2所示,液压挖掘机100例如在驾驶室4内具有多个拍摄装置30a、30b、30c、30d。以下,在不区分多个拍摄装置30a、30b、30c、30d的情况下可称为拍摄装置30。拍摄装置30a和拍摄装置30c配置于作业机2一侧。拍摄装置30的种类没有限定,不过在实施方式中,例如使用具有CCD(CoupleChargedDevice,电荷耦合器件)图像传感器或CMOS(ComplementaryMetalOxideSemiconductor,互补金属氧化物半导体)图像传感器的拍摄装置。
如图2所示,拍摄装置30a和拍摄装置30b隔开规定间隔并朝向相同方向或不同方向配置于驾驶室4内。拍摄装置30c和拍摄装置30d隔开规定间隔并朝向相同方向或不同方向例如配置于驾驶室4内。多个拍摄装置30a、30b、30c、30d,其中两个组合在一起构成立体摄影机。在实施方式中,由拍摄装置30a、30b的组合、以及拍摄装置30c、30d的组合构成立体摄影机。在实施方式中,拍摄装置30a和拍摄装置30b朝向上方,拍摄装置30c和拍摄装置30d朝向下方。至少拍摄装置30a和拍摄装置30c朝向液压挖掘机100、在实施方式中为朝向回转体3的正面。拍摄装置30b和拍摄装置30d也存在稍稍偏向作业机2的方向即稍稍偏向拍摄装置30a和拍摄装置30c一侧的方向地配置的情况。
在实施方式中,液压挖掘机100具有4个拍摄装置30,不过液压挖掘机100具有的拍摄装置30的数量至少为两个即可,不限定于4个。这是由于,液压挖掘机100是由至少一对拍摄装置30构成立体摄影机来对对象进行立体拍摄的。
多个拍摄装置30a、30b、30c、30d配置于驾驶室4内的前方且上方。上方是指与液压挖掘机100具有的履带5a、5b的接地面正交且远离接地面的方向。履带5a、5b的接地面是指,履带5a、5b中的至少一方接触地面的部分的、由不位于同一条直线上的至少3个点规定的平面。多个拍摄装置30a、30b、30c、30d对位于液压挖掘机100的车身1的前方的对象进行立体拍摄。对象例如是作业机2挖掘的对象。图1和图2所示的处理装置20至少使用一对拍摄装置30的立体拍摄的结果,对对象进行三维测量。多个拍摄装置30a、30b、30c、30d配置的场所不局限于驾驶室4内的前方且上方。
图4是表示由多个拍摄装置30a、30b、30c、30d拍摄对象而得到的图像的一个示例的图。图5是表示多个拍摄装置30a、30b、30c、30d拍摄的对象OJ的一个示例的图。图4所示的图像PIa、PIb、PIc、PId是例如由图5所示的多个拍摄装置30a、30b、30c、30d拍摄对象OJ而得到的。在该示例中,对象OJ具有第一部分OJa、第二部分OJb和第三部分OJc。
图像PIa是由拍摄装置30a拍摄而得到的图像,图像PIb是由拍摄装置30b拍摄而得到的图像,图像PIc是由拍摄装置30c拍摄而得到的图像,图像PId是由拍摄装置30d拍摄而得到的图像。一对拍摄装置30a、30b配置成朝向液压挖掘机100的上方,因此在图像PIa、PIb中拍摄到的是对象OJ的上方。一对拍摄装置30c、30d配置成朝向液压挖掘机100的下方,因此在图像PIc、PId中拍摄到的是对象OJ的下方。
从图4可知,在由一对拍摄装置30a、30b拍摄的图像PIa、PIb、以及由一对拍摄装置30c、30d拍摄的图像PIc、PId中,拍摄到的对象OJ的部分区域、在该示例中为第二部分OJb是重复的。即,朝向上方的一对拍摄装置30a、30b的拍摄区域和朝向下方的一对拍摄装置30c、30d的拍摄区域具有重复的部分。
对由多个拍摄装置30a、30b、30c、30d拍摄而得到的同一对象OJ的图像PIa、PIb、PIc、PId实施立体方式的图像处理时,处理装置20基于由一对拍摄装置30a、30b拍摄的图像PIa、PIb得到第一视差图像。此外,处理装置20基于由一对拍摄装置30c、30d拍摄的图像PIc、PId得到第二视差图像。然后,处理装置20将第一视差图像和第二视差图像合并而得到1个视差图像。处理装置20使用得到的视差图像对对象进行三维测量。这样,处理装置20和多个拍摄装置30a、30b、30c、30d通过一次拍摄就能够对对象OJ的整个规定区域进行三维测量。
在实施方式中,数量为4个的多个拍摄装置30a、30b、30c、30d中,例如以拍摄装置30c作为它们的基准。数量为4个的多个拍摄装置30a、30b、30c、30d分别具有坐标系。可将这些坐标系称为拍摄装置坐标系。在图2中,仅示出作为基准的拍摄装置30c的坐标系(Xs,Ys,Zs)。拍摄装置坐标系的原点是各拍摄装置30a、30b、30c、30d的中心。
拍摄装置的校正***
图6是表示实施方式涉及的拍摄装置的校正***50的图。拍摄装置的校正***50(以下可称为校正***50)包括多个拍摄装置30a、30b、30c、30d和处理装置20。它们如图1和图2所示设置于液压挖掘机100的车身1。处理装置20具有处理部21、存储部22和输入输出部23。处理部21例如通过如CPU(CentralProcessingUnit,中央处理单元)这样的处理器和存储器实现。处理部21具有查找部21A和决定部21B。处理装置20用于实现实施方式涉及的拍摄装置的校正方法(以下可称为校正方法)。在这种情况下,处理部21读取并执行存储在存储部22中的计算机程序。该计算机程序用于使处理部21执行实施方式涉及的校正方法。
实施方式涉及的校正方法是在拍摄装置30因某种原因移动的情况下,对拍摄装置30的位置偏移进行修正,以能够使用由至少一对拍摄装置30得到的立体拍摄结果来实现三维测量的方法。考虑在4个拍摄装置30a、30b、30c、30d中的、拍摄装置30c与拍摄装置30d之间发生位置偏移的情况。在这种情况下,处理装置20的处理部21执行实施方式涉及的校正方法。将被执行实施方式涉及的校正方法的拍摄装置30c和拍摄装置30d分别称为第一拍摄装置30c和第二拍摄装置30d。
处理部21在执行实施方式涉及的校正方法时,使至少两个拍摄装置、在实施方式中为4个拍摄装置30a、30b、30c、30d中的第一拍摄装置30c与第二拍摄装置30d之间的距离固定,并使用于规定第二拍摄装置30d的姿势的参数变化。然后,处理部21基于对由第一拍摄装置30c和第二拍摄装置30d得到的一对图像进行图像处理、在实施方式中为立体方式的图像处理中在一对图像间查找对应的部分所得到的结果,求取上述参数。处理部21的查找部21A执行上述参数的变更和查找。处理部21的决定部21A基于查找到的结果求取上述参数。立体方式的图像处理是指,基于从两个不同的拍摄装置30观测同一对象而得到的两个图像来获取到该对象为止的距离的方法。到对象为止的距离例如表现为距离图像,该距离图像是通过浓淡处理将到对象为止的距离信息可视化而得到的。
处理装置20在执行实施方式涉及的校正方法时,通过对由一对拍摄装置30拍摄的一对图像执行立体方式的图像处理,来求取对象的位置、具体而言是对象在三维坐标系中的坐标。这样,处理装置20能够使用通过由至少一对拍摄装置30拍摄同一对象而得到的一对图像来对对象进行三维测量。即,至少一对拍摄装置30和处理装置20通过立体方式对对象进行三维测量。
存储部22使用RAM(RandomAccessMemory,随机存取存储器)、ROM(RandomAccessMemory,只读存储器)、快闪存储器、EPROM(ErasableProgrammableRandomAccessMemory,可擦可编程只读存储器)、EEPROM(ElectricallyErasableProgrammableRandomAccessMemory,电可擦可编程只读存储器)等非易失性或易失性半导体存储器、磁盘、软盘和磁光盘中的至少一种。存储部22存储有用于使处理部21执行实施方式涉及的校正方法的计算机程序。存储部22存储处理部21执行实施方式涉及的校正方法时使用的信息。该信息例如包含各拍摄装置30的内部校正数据、各拍摄装置30的姿势、拍摄装置30彼此的位置关系、以及基于作业机2的姿势来求取作业机2的部分位置所需的信息。
输入输出部23是用于连接处理装置20和设备类的接口电路。输入输出部23与集线器(hub)51、第一角度检测部18A、第二角度检测部18B和第三角度检测部18C连接。集线器51与多个拍摄装置30a、30b、30c、30d连接。将拍摄装置30a、30b、30c、30d拍摄得到的结果经由集线器51输入至输入输出部23。处理部21经由集线器51和输入输出部23获取由拍摄装置30a、30b、30c、30d拍摄得到的结果。处理装置20既可以用专用的硬件实现,也可以由多个处理电路协同来实现处理装置20的功能。
三维测量
图7是说明使用一对拍摄装置30L、30R对铲斗8的斗齿9的齿尖P3进行三维测量的示例的图。图8和图9是表示由一对拍摄装置30L、30R得到的一对图像32L、32R的图。在实施方式中,图6所示的处理装置20通过对由一对拍摄装置30拍摄得到的一对图像实施立体方式的图像处理来求取对象的位置。在图7中,将拍摄齿尖P3的一对拍摄装置30称为拍摄装置30L和拍摄装置30R。一对拍摄装置30L、30R是图2所示的液压挖掘机100具有的拍摄装置30。在图7中,将拍摄装置30L的位置因某种外部原因移动后的状态表示为双点划线的拍摄装置30L’。
拍摄装置30L具有拍摄元件31L。拍摄装置30L的拍摄装置坐标系(Xs,Ys,Zs)的原点、即拍摄装置30L的中心是光学中心OCL。拍摄装置30L的Zs轴是拍摄装置30L的光轴,并且通过光学中心OCL。拍摄装置30L通过拍摄对象来得到包含对象的图像32L。拍摄装置30R具有拍摄元件31R。拍摄装置30R的拍摄装置坐标系(Xs,Ys,Zs)的原点、即拍摄装置30R的中心是光学中心OCR。拍摄装置30R的Zs轴是拍摄装置30R的光轴,并且通过光学中心OCR。拍摄装置30R通过拍摄对象来得到包含对象的图像32R。
在实施方式中,通过立体方式来求取位置的对象是图7所示的铲斗8的齿尖P3。拍摄装置30L和拍摄装置30R通过拍摄铲斗8来得到图8所示的一对图像32L和32R。拍摄装置30L朝向铲斗8配置于左侧,拍摄装置30R朝向铲斗8配置于右侧,并且与拍摄装置30L隔开规定距离B地被配置。如图8所示,由拍摄装置30L拍摄的图像32L中的铲斗8的齿尖P3的位置与由拍摄装置30R拍摄的图像32R中的铲斗8的齿尖P3的位置在拍摄装置30L和拍摄装置30R排列的方向上不同。这样,由于拍摄装置30L和拍摄装置30R隔开规定距离地配置,所以因对对象的观测地点的位置不同,看到对象的方向不同。
处理装置20对由拍摄装置30L拍摄的铲斗8的齿尖P3的图像32L和由拍摄装置30R拍摄的铲斗8的齿尖P3的图像32R实施立体方式的图像处理。通过立体方式的图像处理,对作为同一对象的铲斗8的齿尖P3的位置进行三维测量。立体方式的图像处理包括:基于一对图像32L、32R生成视差图像33的步骤;和基于包含在视差图像33中的视差信息,对拍摄装置30L、30R的拍摄范围的空间进行三维测量的步骤。
处理装置20在生成视差图像33的步骤中,如图9所示,在一对图像32L、32R间查找对应的部分、在实施方式中是与齿尖P3对应的像素PXl、PXr,基于对应的像素PXl、PXr的查找结果求取视差。视差是表示与齿尖P3对应的像素PXl、PXr彼此在物理上相距多远、例如相距何种程度的像素数的信息。视差图像33是以二维排列表现视差的图像。
另外,视差一般定义为相对于某个作为测量对象的基准点,一对拍摄装置30的视线所构成的角度变化量。在将一对拍摄装置30平行排列的情况下,视差为相对于作为基准的一个拍摄装置的图像中的测量点的投影点,另一个拍摄装置30的图像中的相同测量点的投影点在所拍摄的图像内偏移了何种程度的像素量。
视差图像33在对应的像素查找失败时,存储“0”到查找失败的像素PXs,在查找成功时,存储大于“0”的数值到查找成功的像素PXs。在视差图像33中,存储了“0”的像素PXs为黑色,存储了大于0的数值的像素PXs为灰阶。因此,用存储了“0”以外的数值的像素PXs在视差图像33中所占的比例,就能够确认立体方式的图像处理是否成功。例如只要灰阶像素PXs、即存储了“0”以外的数值的像素PXs在视差图像33中所占的比例为阈值以上,就判断为立体方式的图像处理成功。阈值例如可以设定为80%~90%,不过不局限于该范围的值。
处理装置20在三维测量的步骤中使用三角测量来求取到对象为止的距离。如图7所示,设定以拍摄装置30L的光学中心OCL为原点的三维坐标系(X,Y,Z)。拍摄装置30L和拍摄装置30R平行地配置。即,在拍摄装置30L与拍摄装置30R之间,图像32L、32R的图像面处于同一个平面,并且在X轴方向上的位置相同。设拍摄装置30L的光学中心OCL与拍摄装置30R的光学中心OCR之间的距离为B,设由拍摄装置30L拍摄的图像32L中的齿尖P3、即像素PXl的Y坐标为YL,设由拍摄装置30R拍摄的图像32R中的齿尖P3、即像素PXr的Y坐标为YR,设齿尖P3的Z坐标为ZP。YL、YR、ZP都是三维坐标系(X,Y,Z)中的坐标。Y轴与图像32L、32R的图像面之间的距离是拍摄装置30L、30R的焦点距离f。
在这种情况下,从拍摄装置30L、30R到齿尖P3的距离为三维坐标系(X,Y,Z)下的齿尖P3的Z坐标即ZP。如果设视差为d=YL-(YR-B),则ZP通过B×f/d求取。
对图9所示的视差图像33的各像素PXs,存储有表示查找是否成功的信息和查找成功的情况下的视差d。处理装置20能够基于图像32L、32R中的查找成功的各像素间的视差d、图像32L、32R中的查找成功的各像素的坐标、以及拍摄装置30L、30R的焦点距离f来求取到对象为止的距离。
在图9所示的示例中,处理装置20在一对图像32L、32R间查找对应的像素,来生成视差图像33。接着,处理装置20查找与要求取距离的对象即齿尖P3对应的像素PXl、PXr。在一对图像32L、32R间查找到与齿尖P3对应的像素PXl、PXr之后,处理装置20求取被查找到的像素PXl、PXr的Y坐标即YL、YR。处理装置20将所得到的YL、YR和距离B代入视差d的数式d=YL-(YR-B)来求取视差d。处理装置20使用所得到的视差d、距离B和焦点距离f,通过代入上述式来求取从拍摄装置30L、30R到齿尖P3的距离ZP。
图10是表示一对拍摄装置30L、30R的位置关系的立体图。一对拍摄装置30L、30R构成立体摄影机。在使用一对拍摄装置30L、30R对对象进行三维测量的情况下,为了便于说明,将一个拍摄装置30R作为基准机,另一个拍摄装置30L作为参照机。连接拍摄装置30R的光学中心OCR与拍摄装置30L的光学中心OCL的直线是基线BL。基线BL的长度为B。
在拍摄装置30L与拍摄装置30R并非平行配置时,存在无法在一对图像32L、32R间查找到对应的像素的情况。因此,预先求取拍摄装置30L与拍摄装置30R的相对位置关系。然后,基于拍摄装置30L与拍摄装置30R的偏移对图像32L、32R中的至少一方进行修正,由此能够进行立体方式的图像处理和三维测量,其中,拍摄装置30L与拍摄装置30R的偏移是从所得到的相对位置关系获得的。
拍摄装置30L与拍摄装置30R的偏移能够用参照机相对于基准机的偏移、即拍摄装置30L相对于拍摄装置30R的偏移来表示。该偏移包括拍摄装置30L的围绕Xs轴的旋度RTx、拍摄装置30L的围绕Ys轴的旋度RTy、拍摄装置30L的围绕Zs轴的旋度RTz、拍摄装置30L在Xs轴方向上的偏移、拍摄装置30L在Ys轴方向上的偏移、以及拍摄装置30L在Zs轴方向上的偏移共计6个方向上的偏移。
图11是拍摄装置30R相对于拍摄装置30L的偏移的说明图。如图11所示,例如对于拍摄装置30L来说,在围绕拍摄装置30L的Zs轴发生了旋度RTz的情况下,使基于存在偏移时的拍摄装置30L的姿势所得到的图像32Lr围绕Zs轴旋转由旋度Rty产生的偏移量,由此能够修正成没有偏移时的拍摄装置30L的图像32L。
由旋度RTz产生的偏移能够用围绕Zs轴的角度γ表示。因此,使用数式(1)使拍摄装置30L的图像32Lr在xs-ys平面上的位置(xs,ys)围绕Zs轴旋转,由此能够将其变换成没有偏移时的拍摄装置30L的图像32L在Xs-Ys平面上的位置(Xs,Ys)。
数式1
X s Y s = c o s γ - sin γ sin γ cos γ x s y s ... ( 1 )
与围绕Zs轴的旋度RTz同样地,由围绕Xs轴的旋度RTx产生的偏移由数式(2)进行修正,由围绕Ys轴的旋度RTy产生的偏移由数式(3)进行修正。数式(2)中的角度α表示由旋度RTx产生的偏移,数式(3)中的角度β表示由旋度RTy产生的偏移。角度α、β、γ是在拍摄装置30L的拍摄装置坐标系中对围绕轴的旋转方向上的偏移进行修正的量。以下,可将角度α、β、γ称为旋转方向修正量α、β、γ或简称为旋转方向修正量。
数式2
Y s Z s = cos α - s i n α sin α c o s α y s z s ... ( 2 )
数式3
X s Z s = c o s β sin β - sin β c o s β x s z s ... ( 3 )
拍摄装置30L在拍摄装置30R的Xs轴方向上产生的偏移,通过使由拍摄装置30L拍摄的图像32Lr的位置在与拍摄装置30R的Xs轴方向平行的方向上移动可抵消偏移的量ΔX来修正。拍摄装置30L在拍摄装置30R的Ys轴方向和Zs轴方向上产生的偏移,也与可抵消在Xs轴方向上产生的拍摄装置30L的偏移的量ΔX同样地进行修正。即,使由拍摄装置30L拍摄的图像32Lr的位置分别在与拍摄装置30R的Ys轴方向和Zs轴方向平行的方向上移动可抵消上述偏移的量ΔY、ΔZ。抵消偏移的量ΔX、ΔY、ΔZ是用于修正一对拍摄装置30在平移方向上的偏移的量。以下,可将抵消偏移的量ΔX、ΔY、ΔZ称为平移方向修正量ΔX、ΔY、ΔZ或简称为平移方向修正量。
将求取用于修正构成立体摄影机的一对拍摄装置30R和拍摄装置30L的偏移的旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ称为外部校正。外部校正例如在液压挖掘机100的工厂出货时进行。在外部校正中求取的、旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ是用于规定拍摄装置30的姿势的参数。以下,可将这些参数称为姿势参数。姿势参数是六维参数。通过外部校正求出的姿势参数存储在图6所示的处理装置20的存储部22中。处理装置20使用存储在存储部22中的姿势参数,对由至少一对拍摄装置30拍摄的图像实施立体方式的图像处理,来对拍摄到的对象进行三维测量。
图2所示的液压挖掘机100具有的至少一对拍摄装置30在安装于液压挖掘机100之后,利用上述方法对彼此的相对位置关系的偏移进行修正。在安装于液压挖掘机100之后被修正了的拍摄装置30因某种外部原因而产生物理移动的情况下,可能导致拍摄装置30移动之前的姿势参数与拍摄装置30的实际姿势不对应。
图12和图13是表示由一对拍摄装置30L、30R得到的一对图像32L、32R的图。图12和图13示出由图7所示的拍摄装置30R和因外部原因而移动的拍摄装置30L’拍摄的一对图像32L’、32R。图7所示的拍摄装置30L’是与拍摄装置30R平行地配置的拍摄装置30L例如围绕该拍摄装置坐标系的Xs轴沿使拍摄元件31L’的拍摄面朝向拍摄装置30R的方向旋转而得到的。
由这种状态的拍摄装置30L’拍摄的图像32L’如图12和图13所示,与由因外部原因移动之前的拍摄装置30L拍摄的图像32L相比,铲斗8的齿尖P3的位置向箭头Lt所示的方向、即图像32L的左侧移动。在这种状态下,即使处理装置20在一对图像32L’、32R间查找与齿尖P3对应的像素PXl’和像素PXr,也查找不到。因此,如图13所示,通过在一对图像32L’、32R之间查找而得到的视差图像33’中表示对应的像素查找失败的“0”所占的比例增加。其结果,视差图像33’其整个图像中灰阶像素所占的比例较低而黑的像素PXs所占的比例较高,从而无法实现立体方式的三维测量。
在拍摄装置30因外部原因移动的情况下,可以通过外部校正重新求取姿势参数,不过用于外部校正的设备构筑和外部校正的作业需要时间和工夫。图6所示的校正***50在拍摄装置30的姿势发生变化的情况下,执行实施方式涉及的校正方法来重新求取姿势参数,由此自动地修正多个拍摄装置30之间的偏移,使立体方式的三维测量变得可用。以下,可将该处理称为自动校正。
图14是表示实施方式涉及的校正***50执行实施方式涉及的校正方法时的处理的流程图。图15是用于说明决定求取姿势参数的拍摄装置的方法的图。图16是表示用于决定求取姿势参数的拍摄装置的表的一个示例的图。在步骤S101中,处理装置20使图2所示的多个拍摄装置30的全部拍摄对象。对象能够设定为铲斗8,不过不局限于此。
在步骤S102中,处理装置20对在步骤S101中拍摄的图像实施立体方式的图像处理。具体而言,对由构成立体摄影机的一对拍摄装置30拍摄的图像实施立体方式的图像处理。该图像处理是基于一对图像生成视差图像的处理。在步骤S102中,处理装置20基于由液压挖掘机100具有的多个拍摄装置30中的、能够构成立体摄影机的全部组合所得到的所有的一对图像来生成视差图像。
在实施方式中,液压挖掘机100具有4个拍摄装置30a、30b、30c、30d。在图15所示的示例中,处理装置20基于从下述6种组合R1、R2、R3、R4、R5、R6得到的6对图像,分别生成视差图像。
R1:拍摄装置30a和拍摄装置30b
R2:拍摄装置30a和拍摄装置30c
R3:拍摄装置30a和拍摄装置30d
R4:拍摄装置30b和拍摄装置30c
R5:拍摄装置30b和拍摄装置30d
R6:拍摄装置30c和拍摄装置30d
如果用上述的6种组合生成视差图像,则拍摄装置30a、30b、30c、30d分别生成3次视差图像。在实施方式中,在灰阶像素在视差图像中所占的比例为阈值以上的情况下,判断为该视差图像是正常的。阈值的大小如上所述。
在6种组合R1~R6中,对于只要生成了一次正常的视差图像的组合,构成该组合的一对拍摄装置30都没有产生偏移。基于通过6种组合R1~R6得到的6个视差图像,为了决定求取姿势参数的拍摄装置30,处理装置20例如使用图16所示的判断表TB。判断表TB存储在处理装置20的存储部22中。
在判断表TB中,对于生成正常的视差图像的组合所对应的拍摄装置30写入“1”,对于没有生成正常的视差图像的组合所对应的拍摄装置30写入“0”。而且,在判断表TB中,将各拍摄装置30a、30b、30c、30d被写入“1”的次数的合计值写入合计栏中。这样,从判断表TB可知拍摄装置30a、30b、30c、30d生成正常的视差图像的次数。处理部21将值写入判断表TB中。
在判断表TB中,按照下述规则写入“1”或“0”。
(1)在通过组合R1生成的视差图像为正常的情况下,对拍摄装置30a、30b写入“1”。
(2)在通过组合R2生成的视差图像为正常的情况下,对拍摄装置30a、30c写入“1”。
(3)在通过组合R3生成的视差图像为正常的情况下,对拍摄装置30a、30d写入“1”。
(4)在通过组合R4生成的视差图像为正常的情况下,对拍摄装置30b、30c写入“1”。
(5)在通过组合R5生成的视差图像为正常的情况下,对拍摄装置30b、30d写入“1”。
(6)在通过组合R6生成的视差图像为正常的情况下,对拍摄装置30c、30d写入“1”。
图16所示的判断表TB示出由组合R2、R3、R6生成的视差图像是正常,而由组合R1、R4、R5生成的视差图像是非正常的情况。在这种情况下,对拍摄装置30a、30c、30d写入“1”的次数如判断表TB的合计栏中所记载的分别是2次,对拍摄装置30b写入“1”的次数是0次。可以判断出:由于拍摄装置30b相对于拍摄装置30a、30c、30d产生了不能容许的偏移,所以一次也没能组成生成了正常的视差图像的组合。因此,拍摄装置30b成为求取姿势参数的对象。这样,判断表TB使用被写入“1”的次数、即基于拍摄装置30的拍摄结果生成正常的视差图像的次数来决定求取姿势参数的拍摄装置30。即,处理装置20基于在由至少两个拍摄装置30中的一对拍摄装置30得到的一对图像之间查找对应的部分而得到的结果即视差图像,决定用于求取姿势参数的一对拍摄装置30。在实施方式中已说明的决定用于求取姿势参数的一对拍摄装置30的上述方法是一个示例,不局限于此。
在步骤S103中,处理装置20使用判断表TB对生成正常的视差图像的次数按拍摄装置30a、30b、30c、30d进行计数。在步骤S104中,处理装置20基于生成正常的视差图像的次数来决定因产生偏移而要再次求取姿势参数的拍摄装置30。这样,在有多对拍摄装置30的情况下,处理装置20对查找成功率小于阈值、即生成正常的视差图像的一对拍摄装置30中的至少一方再次求取姿势参数。
决定了再次求取姿势参数的拍摄装置30之后,处理装置20执行求取姿势参数的处理。在步骤S105中,处理装置20、在本实施方式中是处理部21的查找部21A来变更姿势参数。然后,在步骤S106中,处理装置20的查找部21A使用变更后的姿势参数,对由再次求取姿势参数的拍摄装置30及与其配对的拍摄装置30拍摄的一对图像实施立体方式的图像处理。被实施立体方式的图像处理的一对图像是在步骤S101中拍摄的图像。立体方式的图像处理具体而言是基于一对图像生成视差图像的处理。
在步骤S106结束之后,处理装置20、在本实施方式中是处理部21的决定部21B在步骤S107中,对灰阶像素、即存储了“0”以外的数值的像素在步骤S106中生成的视差图像中所占的比例即灰阶比率SR和阈值SRc进行比较。步骤S107是用于判断立体方式的图像处理的成功率的处理。如上所述,阈值SRc的大小例如能够设定为80%~90%,不过不局限于该范围的值。在步骤S107中,在灰阶比率SR小于阈值SRc的情况下(步骤S107,“否”),处理装置20的决定部21B返回步骤S105,反复进行步骤S105~步骤S107,直至灰阶比率SR达到阈值SRc以上为止。
在步骤S107中,在视差图像的灰阶比率SR为阈值SRc以上的情况下(步骤S107,“是”),处理装置20的决定部21B在步骤S108中将此时的姿势参数决定为新的姿势参数。然后,根据在步骤S108中决定的姿势参数,来执行立体方式的图像处理。
在实施方式中,处理装置20以变更作为姿势参数变更对象的一对拍摄装置30中的一方的姿势参数,而不变更另一方的姿势参数的方式对由该拍摄装置30拍摄的一对图像实施立体图像处理。由于仅变更一对拍摄装置30中的一方的姿势参数,与变更双方的姿势参数的情况相比,能够使一对拍摄装置30的相对位置关系更快速地接近产生偏移之前的状态。其结果,能够缩短处理装置求取新的姿势参数的时间。
将作为姿势参数变更对象的一对拍摄装置30中的、不变更姿势参数的一方称为第一拍摄装置,变更姿势参数的一方称为第二拍摄装置。在该示例中,姿势参数变更对象是图2所示的拍摄装置30c和拍摄装置30d,拍摄装置30d的姿势参数要变更。因此,拍摄装置30c是第一拍摄装置,拍摄装置30d是第二拍摄装置。以下,可将拍摄装置30c称为第一拍摄装置30c,拍摄装置30d称为第二拍摄装置30d。
图17~图21是用于说明姿势参数的图。如上所述,姿势参数是旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ。处理装置20在求取新的姿势参数时,变更用于规定第一拍摄装置30c和第二拍摄装置30d在平移方向上的位置关系的第一参数、以及用于规定第二拍摄装置30d在拍摄装置坐标系中的姿势的第二参数。第一参数和第二参数、即用于规定第二拍摄装置30d的姿势的参数是表示第二拍摄装置30d的旋度的参数。处理装置20通过变更第一参数和第二参数,来变更作为姿势参数的旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ。
如下所述,第二参数如图17所示是角度α’、β’、γ’。角度α’、β’、γ’是围绕第二拍摄装置30d的拍摄装置坐标系(Xs,Ys,Zs)的各轴的、第二拍摄装置30d的旋转角度。第一参数是图18和图19所示的角度θ、以及图20和图21所示的角度。角度θ是基线BL与第二拍摄装置30d的拍摄装置坐标系(Xs,Ys,Zs)的Zs轴所构成的角度。角度是基线BL与第二拍摄装置30d的拍摄装置坐标系(Xs,Ys,Zs)的Xs轴所构成的角度。
如果变更作为第一参数的角度θ和角度,则第二拍摄装置30d以第一拍摄装置30c为中心,更具体而言是作为第一拍摄装置30c的拍摄装置坐标系的原点(在该示例中与光学中心OCc一致)旋转。即,第一参数是使第二拍摄装置30d以第一拍摄装置30c为中心旋转的参数。
如果变更作为第二参数的角度α’、β’、γ’,则第二拍摄装置30d围绕自身的中心、更具体而言是第二拍摄装置30d的拍摄装置坐标系的原点(在该示例中与光学中心OCd一致)旋转。即,第二参数是使第二拍摄装置30d围绕第二拍摄装置30d的中心旋转的参数。
这样,第一参数和第二参数都是用于规定第二拍摄装置30d的姿势的参数。通过规定第二拍摄装置30d的姿势,规定了第一拍摄装置30c和第二拍摄装置30d的相对位置关系。
在实施方式中,处理装置20使第一拍摄装置30c与第二拍摄装置30d之间的距离固定,即,使第一拍摄装置30c与第二拍摄装置30d之间的基线BL的长度B固定,变更用于规定第二拍摄装置30d的姿势的参数。第一拍摄装置30c与第二拍摄装置30d之间的基线BL是连接第一拍摄装置30c的光学中心OCc和第二拍摄装置30d的光学中心OCd的直线。
如果使基线BL的长度固定而变更作为第一参数的角度θ和角度,则会由于第二拍摄装置30d以第一拍摄装置30c为中心旋转,所以结果是除了第二拍摄装置30d的旋转分量以外第二拍摄装置30d的平移分量也发生变化。因此,通过变更第一参数和第二参数,来变更作为姿势参数的旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ。通过使基线BL的长度固定而变更作为第一参数的角度θ和角度,能够减少在求取姿势参数时要变更的参数的数量。其结果,减轻了处理装置20的计算负荷,故优选。
如果得到作为第一参数的角度θ、和作为第二参数的角度α’、β’、γ’,则能够得到第一拍摄装置30c和第二拍摄装置30d的相对位置关系。处理装置20变更第一参数和第二参数并生成视差图像,直至视差图像的灰阶比率SR成为阈值SRc以上为止。在变更第一参数和第二参数时,处理装置20以变更前的值为基准,在正方向和负方向两个方向上以规定的变化量变更角度θ、和角度α’、β’、γ’,直至其成为规定的大小为止。图17~图21例示地示出使角度θ、和角度α’、β’、γ’在正方向和负方向上变化的情况。
处理装置20每次变更角度θ、和角度α’、β’、γ’时,都使用变更后的角度θ、和角度α’、β’、γ’,基于由第一拍摄装置30c和第二拍摄装置30d拍摄的一对图像来生成视差图像。具体而言,处理装置20使用变更后的角度θ、和角度α’、β’、γ’,求取作为姿势参数的旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ,使用得到的姿势参数来生成视差图像。处理装置20对生成的视差图像的灰阶比率SR和阈值SRc进行比较。
处理装置20使用视差图像的灰阶比率SR为阈值SRc以上时的第一参数和第二参数,求取作为姿势参数的旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ。然后,使用新求出的旋转方向修正量α、β、γ及平移方向修正量ΔX、ΔY、ΔZ,对由拍摄装置30拍摄的图像执行立体方式的图像处理,进行对象的三维测量。
对多个拍摄装置30中的、3个拍摄装置30为姿势参数变更对象的情况进行说明。在图15所示的3个拍摄装置30b、30c、30d为姿势参数变更对象的情况下,有3种组合、即拍摄装置30c和拍摄装置30b的组合、拍摄装置30c和拍摄装置30d的组合、拍摄装置30d和拍摄装置30b的组合。在这种情况下,以3个拍摄装置30b、30c、30d中的1个拍摄装置为第一拍摄装置,剩余的两个拍摄装置分别为第二拍摄装置。于是,共用第一拍摄装置的两对拍摄装置的组合成立,因此处理装置20对各组合求取新的姿势参数。
例如以拍摄装置30c为第一拍摄装置,拍摄装置30b、30d为第二拍摄装置。于是,拍摄装置30c和拍摄装置30b的组合、拍摄装置30c和拍摄装置30d的组合成立。处理装置20对于前一组合变更拍摄装置30b的姿势参数,对于后一组合变更拍摄装置30d的姿势参数。
在3个拍摄装置30为姿势参数变更对象的情况下求取姿势参数的方法不局限于上述说明。例如处理装置20也可以首先在拍摄装置30c和拍摄装置30b的组合中决定拍摄装置30b的姿势参数,接着以拍摄装置30b为第一拍摄装置、拍摄装置30d为第二拍摄装置,来决定拍摄装置30d的姿势参数。
对多个拍摄装置30中的、4个拍摄装置30为姿势参数变更对象的情况进行说明。在图15所示的4个拍摄装置30a、30b、30c、30d为姿势参数变更对象的情况下,有拍摄装置30a和拍摄装置30b的组合、以及拍摄装置30c和拍摄装置30d的组合这2种组合,或者拍摄装置30a和拍摄装置30c的组合、以及拍摄装置30b和拍摄装置30d的组合这2种组合。
考虑第一组合即拍摄装置30a和拍摄装置30b的组合以及第二组合即拍摄装置30c和拍摄装置30d的组合成立的情况。在这种情况下,在第一组合中使任一方作为第一拍摄装置,另一方作为第二拍摄装置。同样,在第二组合中也使任一方作为第一拍摄装置,另一方作为第二拍摄装置。处理装置20在第一组合和第二组合各组合中,通过变更第二拍摄装置的姿势参数来求取新的姿势参数。
实施方式涉及的校正***50和校正方法,在作为作业机械的液压挖掘机100具有的至少两个拍摄装置30中的至少1个因外部原因产生位置偏移的情况下,以下述方式进行处理。即,实施方式涉及的校正***50和校正方法基于视差图像求取新的姿势参数,该视差图像是使至少两个拍摄装置30中的、第一拍摄装置与第二拍摄装置之间的距离固定并使姿势参数变化后,在由第一拍摄装置和第二拍摄装置得到的一对图像间查找对应的部分所得到的结果。这里,第一拍摄装置和第二拍摄装置中的至少一方是因外部原因而产生位置偏移的拍摄装置。
通过这样的处理,实施方式涉及的校正***50和校正方法,能够校正作为作业机械的液压挖掘机100具有的拍摄装置30。此外,实施方式涉及的校正***50和校正方法,由于不需要构筑用于校正的设备,所以能够容易且在短时间内修正在液压挖掘机100的用户的使用场所产生的拍摄装置30的位置偏移。这样,实施方式涉及的校正***50和校正方法具有如下优点:即使在没有用于校正拍摄装置30的设备的场所,也能够修正拍摄装置30的位置偏移,因此能够抑制作业的中断。实施方式涉及的校正***50和校正方法还具有如下优点:无需移动产生位置偏移的拍摄装置30,通过软件上的处理就能够容易且在短时间内修正拍摄装置30的位置偏移。
实施方式涉及的校正***50和校正方法,基于灰阶在由至少两个拍摄装置30中的一对拍摄装置30得到的一对图像间查找对应的部分所得到的结果即视差图像中所占的比例,决定需要求取姿势参数的拍摄装置30。具体而言,将连一次正常的视差图像都没能生成过的拍摄装置30作为需要求取姿势参数的拍摄装置30、即产生了不能容许的位置偏移的拍摄装置30。因此,实施方式涉及的校正***50和校正方法能够容易且可靠地决定需要求取姿势参数的拍摄装置30。
以上,对实施方式进行了说明,但是实施方式不由上述内容限定。此外,在上述结构要素中包含本领域技术人员能够容易想到的结构要素、实质上相同的结构要素、所谓的等同范围内的结构要素。能够适当地组合上述结构要素。在不脱离实施方式的要旨的范围内,能够进行结构要素的各种省略、置换和变更中的至少1种。作业机械是具有至少一对拍摄装置并使用该一对拍摄装置通过立体方式对对象进行三维测量的装置即可,不局限于液压挖掘机100,也可以是轮式装载机或推土机这样的作业机械。求取姿势参数的处理也可以由液压挖掘机100的外部处理装置执行。在这种情况下,将由拍摄装置30拍摄的图像例如通过通信发送至液压挖掘机100的外部处理装置。

Claims (7)

1.一种拍摄装置的校正***,其特征在于,包括:
至少两个拍摄装置;以及
处理装置,其使至少两个所述拍摄装置中的、第一拍摄装置与第二拍摄装置之间的距离固定,并使规定所述第二拍摄装置的姿势的参数变化,在由所述第一拍摄装置和所述第二拍摄装置得到的一对图像间查找对应的部分,基于查找到的结果来求取所述参数。
2.根据权利要求1所述的拍摄装置的校正***,其特征在于:
所述参数规定所述第二拍摄装置的旋度。
3.根据权利要求1或2所述的拍摄装置的校正***,其特征在于:
所述参数包含使所述第二拍摄装置以所述第一拍摄装置为中心旋转的第一参数和使所述第二拍摄装置围绕所述第二拍摄装置的中心旋转的第二参数。
4.根据权利要求1至3中任一项所述的拍摄装置的校正***,其特征在于:
所述处理装置基于在由至少两个所述拍摄装置中的一对所述拍摄装置得到的一对图像间查找对应的部分所得到的结果,决定需要求取所述参数的所述第一拍摄装置和所述第二拍摄装置。
5.根据权利要求4所述的拍摄装置的校正***,其特征在于:
所述处理装置在有多对所述拍摄装置的情况下,对查找成功率小于阈值的一对所述拍摄装置求取所述参数。
6.一种作业机械,其特征在于,包括:
权利要求1至5中任一项所述的拍摄装置的校正***;以及
多个所述拍摄装置。
7.一种拍摄装置的校正方法,其特征在于:
基于在由多个拍摄装置中的一对拍摄装置得到的一对图像间查找对应的部分所得到的结果,决定是否求取用于规定一对所述拍摄装置中的任一方的姿势的参数,
在求取所述参数时,使作为一对所述拍摄装置的第一拍摄装置与第二拍摄装置之间的距离固定,并使规定所述第二拍摄装置的姿势的参数变化,在由所述第一拍摄装置和所述第二拍摄装置得到的一对图像间查找对应的部分,
基于查找到的结果来求取规定所述拍摄装置的姿势的姿势参数。
CN201580001082.4A 2015-09-30 2015-09-30 拍摄装置的校正***、作业机械和拍摄装置的校正方法 Pending CN105518221A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077873 WO2016047808A1 (ja) 2015-09-30 2015-09-30 撮像装置の校正システム、作業機械及び撮像装置の校正方法

Publications (1)

Publication Number Publication Date
CN105518221A true CN105518221A (zh) 2016-04-20

Family

ID=55581323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580001082.4A Pending CN105518221A (zh) 2015-09-30 2015-09-30 拍摄装置的校正***、作业机械和拍摄装置的校正方法

Country Status (6)

Country Link
US (1) US20170094154A1 (zh)
JP (1) JPWO2016047808A1 (zh)
KR (1) KR20170048231A (zh)
CN (1) CN105518221A (zh)
DE (1) DE112015000108T5 (zh)
WO (1) WO2016047808A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700402A (zh) * 2017-02-09 2018-10-23 株式会社小松制作所 位置测量***、作业机械及位置测量方法
CN109564086A (zh) * 2016-08-18 2019-04-02 株式会社神户制钢所 工程机械
CN110573834A (zh) * 2017-09-08 2019-12-13 株式会社小松制作所 施工管理装置及施工管理方法
CN110998241A (zh) * 2018-01-23 2020-04-10 深圳市大疆创新科技有限公司 用于校准可移动对象的光学***的***和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7114907B2 (ja) * 2018-01-19 2022-08-09 コベルコ建機株式会社 先端アタッチメント判別装置
CN112334733B (zh) * 2018-06-29 2022-09-27 株式会社小松制作所 拍摄装置的校正装置、监视装置、作业机械及校正方法
JP7168682B2 (ja) * 2018-11-29 2022-11-09 本田技研工業株式会社 作業機、作業機の制御方法及びプログラム
US11466984B2 (en) 2019-05-15 2022-10-11 Caterpillar Inc. Bucket get monitoring system
US11447931B2 (en) 2019-05-15 2022-09-20 Caterpillar Inc. Ground engaging tool monitoring system
WO2023063219A1 (ja) * 2021-10-15 2023-04-20 住友重機械工業株式会社 作業機械の周辺監視システム、情報処理装置、及び周辺監視方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1514299A (zh) * 2002-11-20 2004-07-21 ���ǵ�����ʽ���� 能够调整视角的图像捕获装置及其控制方法
US20100232684A1 (en) * 2009-03-12 2010-09-16 Omron Corporation Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement
CN102289803A (zh) * 2010-06-02 2011-12-21 索尼公司 图像处理设备、图像处理方法及程序
CN102638693A (zh) * 2011-02-09 2012-08-15 索尼公司 摄像装置、摄像装置控制方法以及程序
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准***和立体摄像机的校准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010217001A (ja) * 2009-03-17 2010-09-30 Tokyo Electric Power Co Inc:The 飛翔***置測定装置
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012233353A (ja) * 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP2013048334A (ja) * 2011-08-29 2013-03-07 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
TWI520098B (zh) * 2014-01-28 2016-02-01 聚晶半導體股份有限公司 影像擷取裝置及其影像形變偵測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1514299A (zh) * 2002-11-20 2004-07-21 ���ǵ�����ʽ���� 能够调整视角的图像捕获装置及其控制方法
US20100232684A1 (en) * 2009-03-12 2010-09-16 Omron Corporation Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement
CN102289803A (zh) * 2010-06-02 2011-12-21 索尼公司 图像处理设备、图像处理方法及程序
CN102638693A (zh) * 2011-02-09 2012-08-15 索尼公司 摄像装置、摄像装置控制方法以及程序
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准***和立体摄像机的校准方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564086A (zh) * 2016-08-18 2019-04-02 株式会社神户制钢所 工程机械
CN109564086B (zh) * 2016-08-18 2020-12-15 株式会社神户制钢所 工程机械
US11028553B2 (en) 2016-08-18 2021-06-08 Kobe Steel, Ltd. Construction machine
CN108700402A (zh) * 2017-02-09 2018-10-23 株式会社小松制作所 位置测量***、作业机械及位置测量方法
US11120577B2 (en) 2017-02-09 2021-09-14 Komatsu Ltd. Position measurement system, work machine, and position measurement method
CN110573834A (zh) * 2017-09-08 2019-12-13 株式会社小松制作所 施工管理装置及施工管理方法
CN110998241A (zh) * 2018-01-23 2020-04-10 深圳市大疆创新科技有限公司 用于校准可移动对象的光学***的***和方法

Also Published As

Publication number Publication date
WO2016047808A1 (ja) 2016-03-31
DE112015000108T5 (de) 2016-06-16
KR20170048231A (ko) 2017-05-08
JPWO2016047808A1 (ja) 2017-04-27
US20170094154A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
CN105518221A (zh) 拍摄装置的校正***、作业机械和拍摄装置的校正方法
CN108700402B (zh) 位置测量***、作业机械及位置测量方法
JP6777375B2 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
WO2018043301A1 (ja) 作業機械の画像表示システム
JP6322612B2 (ja) 施工管理システム及び形状計測方法
CN113167054B (zh) 包括作业机械的***、由计算机执行的方法及学习用数据
DE112018000828B4 (de) Arbeitsmaschinenmesssystem, Arbeitsmaschine und Messfahren für Arbeitsmaschine
JP6585697B2 (ja) 施工管理システム
CN106817905A (zh) 校正***、作业机械和校正方法
DE112020000310T5 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen
WO2018062523A1 (ja) 作業機械の検出処理装置及び作業機械の検出処理方法
JP7462710B2 (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
CN111032962A (zh) 工程机械
JP6606230B2 (ja) 形状計測システム
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP7128497B2 (ja) 作業機械の画像表示システム
JP7333551B2 (ja) 作業機械の画像表示システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160420