CN106817905A - 校正***、作业机械和校正方法 - Google Patents

校正***、作业机械和校正方法 Download PDF

Info

Publication number
CN106817905A
CN106817905A CN201580001358.9A CN201580001358A CN106817905A CN 106817905 A CN106817905 A CN 106817905A CN 201580001358 A CN201580001358 A CN 201580001358A CN 106817905 A CN106817905 A CN 106817905A
Authority
CN
China
Prior art keywords
test section
information
coordinate system
filming apparatus
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580001358.9A
Other languages
English (en)
Inventor
川本骏
菅原大树
山口博义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN106817905A publication Critical patent/CN106817905A/zh
Pending legal-status Critical Current

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2203—Arrangements for controlling the attitude of actuators, e.g. speed, floating function
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G12—INSTRUMENT DETAILS
    • G12B—CONSTRUCTIONAL DETAILS OF INSTRUMENTS, OR COMPARABLE DETAILS OF OTHER APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G12B13/00—Calibrating of instruments and apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种校正***包括：第一位置检测部，其设置于具有作业机的作业机械，检测对象的位置并将其输出；以及处理部，其使用由上述第一位置检测部检测出的与上述作业机械的规定位置相关的信息即第一位置信息、以及在上述第一位置检测部检测出上述规定位置时的上述作业机械的姿势下由第二位置检测部检测出的与上述规定位置相关的信息即第二位置信息，求取用于将上述第一位置检测部检测出的位置从上述第一位置检测部的坐标系变换成与上述第一位置检测部的坐标系不同的坐标系的变换信息并将其输出、或者求取用于将上述第二位置检测部检测出的位置从上述第二位置检测部的坐标系变换成与上述第二位置检测部的坐标系不同的坐标系的变换信息并将其输出。

Description

校正***、作业机械和校正方法
技术领域
本发明涉及用于对作业机械具有的用于检测对象位置的位置检测部进行校正的校正***、作业机械和校正方法。
背景技术
现有具备拍摄装置来作为用于检测对象位置的装置的作业机械(例如专利文献1)。
专利文献1：日本特开2012-233353号公报
发明内容
在使用由作业机械具备的用于检测对象位置的位置检测装置检测出的对象的位置，例如对象的位置是基于位置检测装置的坐标系的位置的情况下，为了知道检测出的对象位置位于地球上的哪个位置上，需要将其从位置检测装置的坐标系变换成与该坐标系不同的坐标系。在专利文献1中记载了一种使用拍摄装置来校正作业机的技术。然而，在专利文献1中既没有暗示也没有记载将由作业机械具备的用于检测对象位置的装置检测出的对象位置变换为用于检测对象位置的装置以外的坐标系。
本发明的目的在于求取变换信息，该变换信息用于将由作业机械具备的用于检测对象位置的装置检测出的对象的位置信息变换成检测对象位置的装置以外的坐标系。
本发明提供一种校正***，其包括：第一位置检测部，其设置于具有作业机的作业机械，检测对象的位置并将其输出；以及处理部，其使用由上述第一位置检测部检测出的与上述作业机械的规定位置相关的信息即第一位置信息、以及在上述第一位置检测部检测出上述规定位置时的上述作业机械的姿势下由第二位置检测部检测出的与上述规定位置相关的信息即第二位置信息，求取用于将上述第一位置检测部检测出的位置从上述第一位置检测部的坐标系变换成与上述第一位置检测部的坐标系不同的坐标系的变换信息并将其输出、或者求取用于将上述第二位置检测部检测出的位置从上述第二位置检测部的坐标系变换成与上述第二位置检测部的坐标系不同的坐标系的变换信息并将其输出。
优选的是，上述第一位置信息是通过由上述第一位置检测部从不同姿势的上述作业机械检测上述规定位置而得到的多个信息，上述第二位置信息是通过由上述第二位置检测部从不同姿势的上述作业机机械检测上述规定位置而得到的多个信息。
优选的是，上述第一位置检测部是由至少一对拍摄装置构成的立体摄像机，上述第二位置检测部是设置于上述作业机械而用于检测使上述作业机动作的致动机构的动作量的传感器。
优选的是，上述规定位置是构成上述立体摄像机的一对上述拍摄装置排列的方向上的、上述作业机械的多个位置。
本发明是包括作业机和上述校正***的作业机械。
本发明提供一种校正方法，通过第一方法和第二方法在作业机械的姿势不同的状态下检测上述作业机械的规定位置，使用由上述第一方法检测出的与上述规定位置相关的信息即第一位置信息、以及在由上述第一方法检测出上述规定位置时的上述作业机的姿势下由上述第二方法检测出的与上述规定位置相关的信息即第二位置信息，求取用于将由上述第一方法检测出的位置从上述第一方法中的坐标系变换成与上述第一位置检测部的坐标系不同的坐标系的变换信息、或者求取用于将由上述第二位置检测部检测出的位置从上述第二位置检测部的坐标系变换成与上述第二位置检测部的坐标系不同的坐标系的变换信息。
本发明优选的是，上述第一位置检测部从不同姿势的上述作业机械检测上述规定位置而得到的多个信息是上述第一位置信息，上述第二位置检测部从不同姿势的上述作业机械检测上述规定位置而得到的多个信息是上述第二位置信息，在检测上述规定位置的情况下，上述第一位置检测部和上述第二位置检测部从不同姿势的上述作业机械检测上述规定位置。
优选的是，上述第一方法通过立体方式对上述规定位置进行三维测算，上述规定位置是用于上述立体方式的上述三维测算的一对拍摄装置排列的方向上的、上述作业机械的多个位置。
本发明能够求取变换信息，该变换信息用于将由作业机械具备的用于检测对象位置的装置检测出的对象的位置信息变换成检测对象位置的装置以外的坐标系。
附图说明
图1是具有实施方式涉及的校正***的液压挖掘机的立体图。
图2是实施方式涉及的液压挖掘机的驾驶席附近的立体图。
图3是表示实施方式涉及的液压挖掘机具有的作业机的尺寸和液压挖掘机的坐标系的图。
图4是表示通过多个拍摄装置拍摄对象而得到的图像的一个示例的图。
图5是表示由多个拍摄装置拍摄的对象的一个示例的图。
图6是表示实施方式涉及的校正***的图。
图7是说明实施方式涉及的校正方法的图。
图8是表示实施方式涉及的处理装置执行实施方式涉及的校正方法时的处理示例的流程图。
图9是表示在实施方式涉及的处理装置执行实施方式涉及的校正方法时拍摄装置30拍摄的对象的图。
图10是表示在实施方式涉及的处理装置执行实施方式涉及的校正方法时拍摄装置拍摄的对象的图。
图11是表示在实施方式涉及的处理装置执行实施方式涉及的校正方法时拍摄装置拍摄的对象的姿势的图。
图12是表示在实施方式涉及的处理装置执行实施方式涉及的校正方法时拍摄装置拍摄的对象的姿势的图。
图13是表示在实施方式涉及的处理装置执行实施方式涉及的校正方法时拍摄装置拍摄的对象的姿势的图。
符号说明
1 车身
2 作业机
3 回转体
4 驾驶室
5 行走体
6 动臂
7 斗杆
8 铲斗
9 铲齿
10 动臂缸
11 斗杆缸
12 铲斗缸
13 动臂销
14 斗杆销
15 铲斗销
18A 第一角度检测部
18B 第二角度检测部
18C 第三角度检测部
20 处理装置
21 处理部
22 存储部
23 输入输出部
25 操作装置
26 显示器面板
30a、30b、30c、30d 拍摄装置
50 校正***
52 输入装置
60 测算用目标
100 液压挖掘机
P3 齿尖
R 旋转矩阵
T 平移矢量
W 宽度方向
x0、y0、z0 分量
α、β、γ 角度
具体实施方式
参照附图对用于实施本发明的方式(实施方式)进行详细说明。
液压挖掘机的整体结构
图1是具有实施方式涉及的校正***的液压挖掘机100的立体图。图2是实施方式涉及的液压挖掘机100的驾驶席附近的立体图。图3是表示实施方式涉及的液压挖掘机具有的作业机2的尺寸和液压挖掘机100的坐标系的图。
作为作业机械的液压挖掘机100具有车身1和作业机2。车身1具有回转体3、驾驶室4和行走体5。回转体3以可回转的方式安装于行走体5。回转体3收纳有未图示的液压泵和发动机等装置。驾驶室4配置于回转体3的前部。在驾驶室4内配置图2所示的操作装置25。行走体5具有履带5a、5b，通过履带5a、5b转动，液压挖掘机100行走。
作业机2安装于车身1的前部，具有动臂6、斗杆7、作为作业工具的铲斗8、动臂缸10、斗杆缸11和铲斗缸12。在实施方式中，车身1的前方是从图2所示的驾驶席4S的靠背4SS朝向操作装置25的方向侧。车身1的后方是从操作装置25朝向驾驶席4S的靠背4SS的方向侧。车身1的前部是车身1的前方侧的部分，是车身1的与配重WT相反一侧的部分。操作装置25是用于操作作业机2和回转体3的装置，具有右侧杆25R和左侧杆25L。在驾驶室4内，在驾驶席4S的前方设置有显示器面板26。
动臂6的基端部通过动臂销13可转动地安装于车身1的前部。动臂销13相当于动臂6相对于回转体3的转动中心。斗杆7的基端部通过斗杆销14可转动地安装于动臂6的前端部。斗杆销14相当于斗杆7相对于动臂6的转动中心。在斗杆7的前端部，通过铲斗销15可转动地安装有铲斗8。铲斗销15相当于铲斗8相对于斗杆7的转动中心。
如图3所示，动臂6的长度、即动臂销13与斗杆销14之间的长度是L1。斗杆7的长度、即斗杆销14与铲斗销15之间的长度是L2。铲斗8的长度、即铲斗销15与铲斗8的铲齿9的前端即齿尖P3之间的长度是L3。
图1所示的动臂缸10、斗杆缸11和铲斗缸12分别是通过液压驱动的液压缸。它们是设置于液压挖掘机100的车身1的、使作业机2动作的致动机构。动臂缸10的基端部通过动臂缸底销(foot pin)10a可转动地安装于回转体3。动臂缸10的前端部通过动臂缸上销(toppin)10b可转动地安装于动臂6。动臂缸10通过液压进行伸缩来驱动动臂6。
斗杆缸11的基端部通过斗杆缸底销11a可转动地安装于动臂6。斗杆缸11的前端部通过斗杆缸上销11b可转动地安装于斗杆7。斗杆缸11通过液压进行伸缩来驱动斗杆7。
铲斗缸12的基端部通过铲斗缸底销12a可转动地安装于斗杆7。铲斗缸12的前端部通过铲斗缸上销12b可转动地安装于第一连杆部件47的一端和第二连杆部件48的一端。第一连杆部件47的另一端通过第一连杆销47a可转动地安装于斗杆7的前端部。第二连杆部件48的另一端通过第二连杆销48a可转动地安装于铲斗8。铲斗缸12通过液压进行伸缩来驱动铲斗8。
如图3所示，在动臂6、斗杆7和铲斗8分别设置有第一角度检测部18A、第二角度检测部18B和第三角度检测部18C。第一角度检测部18A、第二角度检测部18B和第三角度检测部18C例如是行程传感器。它们分别通过检测动臂缸10、斗杆缸11和铲斗缸12的行程长度，间接地检测动臂6相对于车身1的转动角度、斗杆7相对于动臂6的转动角度、铲斗8相对于斗杆7的转动角度。
在实施方式中，第一角度检测部18A检测动臂缸10的动作量即行程长度。后述的处理装置20基于第一角度检测部18A检测出的动臂缸10的行程长度，计算动臂6相对于图3所示的液压挖掘机100的坐标系(Xm，Ym，Zm)的Zm轴的转动角度δ1。以下，可将液压挖掘机100的坐标系称为车身坐标系。如图2所示，车身坐标系的原点是动臂销13的中心。动臂销13的中央是指用与动臂销13延伸的方向正交的平面截断动臂销13时的截面中心并且是动臂销13延伸方向上的中心。车身坐标系不限定于实施方式的示例，例如可以设回转体3的回转中心为Zm轴，与动臂销13延伸的方向平行的轴线为Ym轴，与Zm轴及Ym轴正交的轴线为Xm轴。
第二角度检测部18B检测斗杆缸11的动作量即行程长度。处理装置20基于第二角度检测部18B检测出的斗杆缸11的行程长度，计算斗杆7相对于动臂6的转动角度δ2。第三角度检测部18C检测铲斗缸12的动作量即行程长度。处理装置20基于第三角度检测部18C检测出的铲斗缸12的行程长度，计算铲斗8相对于斗杆7的转动角度δ3。
拍摄装置
如图2所示，液压挖掘机100例如在驾驶室4内具有多个拍摄装置30a、30b、30c、30d。以下，在不区分多个拍摄装置30a、30b、30c、30d的情况下可称为拍摄装置30。拍摄装置30的种类没有限定，不过在实施方式中，例如使用具有CCD(Couple Charged Device，电荷耦合器)图像传感器或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器的拍摄装置。
在实施方式中，多个(4个)拍摄装置30a、30b、30c、30d安装于液压挖掘机100。更详细而言，如图2所示，拍摄装置30a和拍摄装置30b隔开规定间隔且朝向相同方向地配置于例如驾驶室4内。拍摄装置30c和拍摄装置30d隔开规定间隔且朝向相同方向地配置于驾驶室4内。拍摄装置30b和拍摄装置30d也会稍稍朝向作业机2的方向即稍稍朝向拍摄装置30a和拍摄装置30c一侧的方向地配置。多个拍摄装置30a、30b、30c、30d通过组合2个拍摄装置而构成立体摄像机。在实施方式中，由拍摄装置30a、30b的组合、以及拍摄装置30c、30d的组合构成立体摄像机。
在实施方式中，液压挖掘机100具有4个拍摄装置30，不过液压挖掘机100具有的拍摄装置30的数量至少为2个即可，不限定于4个。这是由于，液压挖掘机100由至少一对拍摄装置30构成立体摄像机，就能对对象进行立体拍摄。
多个拍摄装置30a、30b、30c、30d配置于驾驶室4内的前上方。上方是指与液压挖掘机100具有的履带5a、5b的接触地面正交且远离接触地面的方向。履带5a、5b的接触地面是履带5a、5b中的至少一方接触地面的部分的、由不位于同一直线上的至少3点规定的平面。多个拍摄装置30a、30b、30c、30d对位于液压挖掘机100的车身1的前方的对象进行立体拍摄。对象例如是作业机2挖掘的对象。图1和图2所示的处理装置20使用至少一对拍摄装置30的立体拍摄的结果，对对象进行三维测算。即，处理装置20对至少一对拍摄装置30拍摄的同一对象的图像实施立体方式的图像处理，对上述对象进行三维测算。多个拍摄装置30a、30b、30c、30d配置的场所不局限于驾驶室4内的前上方。
图4是表示通过多个拍摄装置30a、30b、30c、30d拍摄对象而得到的图像的一个示例的图。图5是表示多个拍摄装置30a、30b、30c、30d拍摄的对象OJ的一个示例的图。图4所示的图像PIa、PIb、PIc、PId例如通过图5所示的多个拍摄装置30a、30b、30c、30d拍摄对象OJ而得到。在该示例中，对象OJ具有第一部分OJa、第二部分OJb和第三部分OJc。
图像PIa是由拍摄装置30a拍摄而得到的图像，图像PIb是由拍摄装置30b拍摄而得到的图像，图像PIc是由拍摄装置30c拍摄而得到的图像，图像PId是由拍摄装置30d拍摄而得到的图像。一对拍摄装置30a、30b朝向液压挖掘机100的上方配置，因此在图像PIa、PIb中拍摄有对象OJ的上方。一对拍摄装置30c、30d朝向液压挖掘机100的下方配置，因此在图像PIc、PId中拍摄有对象OJ的下方。
从图4可知，在由一对拍摄装置30a、30b拍摄的图像PIa、PIb、以及由一对拍摄装置30c、30d拍摄的图像PIc、PId中，对象OJ的部分区域、在该示例中为第二部分OJb被重复拍摄。即，朝向上方的一对拍摄装置30a、30b的拍摄区域和朝向下方的一对拍摄装置30c、30d的拍摄区域具有重复的部分。
处理装置20在对由多个拍摄装置30a、30b、30c、30d拍摄的同一对象OJ的图像PIa、PIb、PIc、PId实施立体方式的图像处理的情况下，基于由一对拍摄装置30a、30b拍摄的图像PIa、PIb得到第一视差图像。此外，处理装置20基于由一对拍摄装置30c、30d拍摄的图像PIc、PId得到第二视差图像。然后，处理装置20将第一视差图像和第二视差图像合并得到1个视差图像。处理装置20使用得到的视差图像对对象进行三维测算。这样，处理装置20和多个拍摄装置30a、30b、30c、30d通过1次拍摄就能对对象OJ的规定区域的整体进行三维测算。
在实施方式中，数量为4个的多个拍摄装置30a、30b、30c、30d中，将拍摄装置30c作为4个拍摄装置即多个拍摄装置30a、30b、30c、30d的基准。可将拍摄装置30c的坐标系(Xs，Ys，Zs)称为拍摄装置坐标系。拍摄装置坐标系的原点是拍摄装置30c的中心。拍摄装置30a、拍摄装置30b和拍摄装置30d的各自坐标系的原点是各拍摄装置的中心。
校正***
图6是表示实施方式涉及的校正***50的图。校正***50包括多个拍摄装置30a、30b、30c、30d和处理装置20。它们如图1和图2所示设置于液压挖掘机100的车身1。多个拍摄装置30a、30b、30c、30d安装于作为作业机械的液压挖掘机100，对对象进行拍摄，并将通过拍摄得到的对象的图像输出到处理装置20。
处理装置20具有处理部21、存储部22和输入输出部23。处理部21例如通过如CPU(Central Processing Unit，中央处理装置)这样的处理器和存储器实现。处理装置20实现实施方式涉及的校正方法。在这种情况下，处理部21读取并执行存储在存储部22中的计算机程序。该计算机程序用于使处理部21执行实施方式涉及的校正方法。
处理装置20在执行实施方式涉及的校正方法时，通过对由至少一对拍摄装置30拍摄的一对图像执行立体方式的图像处理，来求取对象的位置、具体而言是三维坐标系下的对象的坐标。这样，处理装置20能够使用由至少一对拍摄装置30拍摄同一对象而得到的一对图像，对对象进行三维测算。也就是说，至少一对拍摄装置30和处理装置20利用立体方式对对象进行三维测算。在实施方式中，至少一对拍摄装置30和处理装置20设置于液压挖掘机100，相当于用来检测对象位置并输出的第一位置检测部。在拍摄装置30具有执行立体方式的图像处理来对对象进行三维测算的功能的情况下，该至少一对拍摄装置30相当于第一位置检测部。在实施方式中，第一位置检测部利用第一方法检测对象的位置并将其输出。第一方法是通过立体方式对对象、例如实施方式的作业机械即液压挖掘机100的规定位置进行三维测算的方法，不过也可以例如是通过激光测量仪测算液压挖掘机100的规定位置的方法，不局限于立体方式的三维测算。在实施方式中，第一方法中使用的、液压挖掘机100的规定位置是作业机2的规定位置，不过只要是构成液压挖掘机100的部件的规定位置即可，不局限于作业机2的规定位置。
存储部22使用RAM(Random Access Memory，随机访问存储器)、ROM(RandomAccess Memory，只读存储器)、快闪存储器、EPROM(Erasable Programmable RandomAccess Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Random Access Memory，电可擦除可编程只读存储器)等非易失性或易失性半导体存储器、磁盘、软盘和光盘中的至少一种。存储部22存储用于使处理部21执行实施方式涉及的校正方法的计算机程序。存储部22存储处理部21执行实施方式涉及的校正方法时所使用的信息。该信息例如包含各拍摄装置30的内部校正数据、各拍摄装置30的姿势、拍摄装置30彼此的位置关系、作业机2等的已知尺寸、表示拍摄装置30与安装于液压挖掘机100的固定物的位置关系的已知尺寸、表示从车身坐标系的原点至各拍摄装置30或某一拍摄装置30的位置关系的已知尺寸、以及为了基于作业机2的姿势来求取作业机2的部分位置而所需的信息。
输入输出部23是用于连接处理装置20和设备类的接口电路。输入输出部23与集线器(hub)51、输入装置52、第一角度检测部18A、第二角度检测部18B和第三角度检测部18C连接。集线器51与多个拍摄装置30a、30b、30c、30d连接。也可以不使用集线器51而连接拍摄装置30与处理装置20。将拍摄装置30a、30b、30c、30d拍摄得到的结果经由集线器51输入至输入输出部23。处理部21经由集线器51和输入输出部23获取由拍摄装置30a、30b、30c、30d拍摄得到的结果。输入装置52用于输入在处理部21执行实施方式涉及的校正方法时所需的信息。
输入装置52例如可例示开关和触摸面板，不过不局限于此。在实施方式中，输入装置52设置于图2所示的驾驶室4内、更具体而言是驾驶席4S的附近。输入装置52既可以安装于操作装置25的右侧杆25R和左侧杆25L中的至少一方，也可以设置于驾驶室4内的显示器面板26。此外，输入装置52可以不与输入输出部23连接，可以通过使用电波或红外线的无线通信将信息输入至输入输出部23。
基于作业机2的各部尺寸和由第一角度检测部18A、第二角度检测部18B和第三角度检测部18C检测出的信息即作业机2的转动角度δ1、δ2、δ3，求取车身坐标系(Xm，Ym，Zm)下的作业机2的规定位置。基于作业机2的尺寸和转动角度δ1、δ2、δ3求取的作业机2的规定位置包含例如作业机2所具有的铲斗8的铲齿9的前端的位置、铲斗销15的位置、以及第一连杆销47a的位置。第一角度检测部18A、第二角度检测部18B和第三角度检测部18C相当于检测实施方式的作业机械即液压挖掘机100的位置、例如作业机2的位置的第二位置检测部。第二位置检测部利用第二方法检测对象的位置。在实施方式中，第二方法是基于实施方式的作业机械即液压挖掘机100的尺寸和姿势求取液压挖掘机100的规定位置，但只要第二方法与第一方法不同，不局限于实施方式的方法。在实施方式中，第二方法中使用的液压挖掘机100的规定位置与作为第一方法的测算对象的液压挖掘机100的规定位置相同。在实施方式中，第二方法中使用的液压挖掘机100的规定位置是作业机2的规定位置，但只要是构成液压挖掘机100的部件的规定位置，不局限于作业机2的规定位置。
图7是说明实施方式涉及的校正方法的图。通过对至少一对拍摄装置30拍摄的对象的图像实施立体方式的图像处理，得到对象的位置信息Ps(xs，ys，zs)。所得到的位置信息Ps(xs，ys，zs)如图7所示，从作为第一位置检测部的坐标系的拍摄装置坐标系(Xs，Ys，Zs)转换成与拍摄装置坐标系(Xs，Ys，Zs)不同的坐标系中的位置信息Pm(xm，ym，zm)。在实施方式中，与拍摄装置坐标系(Xs，Ys，Zs)不同的坐标系是车身坐标系(Xm，Ym，Zm)，不过不局限于此。
从至少一对拍摄装置30得到的位置信息Ps(xs，ys，zs)是三维信息，在实施方式中用坐标表示。使用位置信息Ps(xs，ys，zs)求取从拍摄装置30到对象的距离。本实施方式涉及的校正方法是求取变换信息的方法，该变换信息是将从至少一对拍摄装置30得到的位置信息Ps(xs，ys，zs)从拍摄装置坐标系(Xs，Ys，Zs)变换成车身坐标系(Xm，Ym，Zm)中的位置信息Pm(xm，ym，zm)时使用的。也就是说，变换信息是用于将作为第一位置检测部的至少一对拍摄装置30检测出的位置从第一位置检测部的坐标系变换成车身1的坐标系的信息。
拍摄装置坐标系中的位置信息Ps由式(1)变换成车身坐标系中的位置信息Pm。式(1)中的R是由式(2)表示的旋转矩阵，式(1)中的T是由式(3)表示的平移矢量。α是拍摄装置坐标系的围绕Xs轴的旋转角度，β是拍摄装置坐标系的围绕Ys轴的旋转角度，γ是拍摄装置坐标系的围绕Zs轴的旋转角度。旋转矩阵R和平移矢量T是变换信息。
Pm＝R·Ps+T…(1)
处理部21在执行实施方式涉及的校正方法时求取上述变换信息。具体而言，处理部21使用由至少一对拍摄装置30检测出的第一位置信息和由第一角度检测部18A、第二角度检测部18B和第三角度检测部18C检测出的第二位置信息求取变换信息并将其输出。在实施方式中，至少一对拍摄装置30是拍摄装置30c、30d，不过只要包括基准的拍摄装置30c即可。第二位置信息也可以使用除了各角度检测器18的检测值以外的、搭载于液压挖掘机100的图1和图2所示的IMU(Inertial Measurement Unit：惯性测量装置)24的检测值来求取。
第一位置信息是由第一位置检测部即至少一对拍摄装置30和处理装置20检测出的作业机2的规定位置、例如铲斗8的铲齿9的位置的信息。第二位置信息是由第一角度检测部18A、第二角度检测部18B和第三角度检测部18C检测出的作业机2的规定位置的信息。第二位置信息是在第一位置检测部检测出规定位置时的作业机2的姿势下由作为第二位置检测部的一个示例的第一角度检测部18A等检测出的信息。第一位置信息和第二位置信息都是作业机2为同一姿势并且作业机2的同一位置的信息。也就是说，第一位置信息和第二位置信息是在作业机2为同一姿势的状态下利用不同的方法来求取作业机2的同一位置而得到的信息。在实施方式中，第一位置信息和第二位置信息是在通过驱动作业机2而使作业机2处于不同的姿势时分别得到的多个信息，是在多个状态下得到的多个信息。
第一位置信息和第二位置信息只要是能够确定作业机2的规定位置的信息即可。例如第一位置信息和第二位置信息既可以是作业机2自身的规定位置的信息，也可以是安装于作业机并且与作业机2的位置关系为已知的部件的位置信息。也就是说，第一位置信息和第二位置信息不局限于作业机2自身的规定位置的信息。
处理装置20既可以用专用的硬件实现，也可以由多个处理电路协同来实现处理装置20的功能。接着，说明处理装置20执行实施方式涉及的校正方法时的处理示例。
处理示例
图8是表示实施方式涉及的处理装置20执行实施方式涉及的校正方法时的处理示例的流程图。图9和图10是表示在实施方式涉及的处理装置20执行实施方式涉及的校正方法时拍摄装置30拍摄的对象的图。图11～图13是表示在实施方式涉及的处理装置20执行实施方式涉及的校正方法时拍摄装置30拍摄的对象的姿势的图。
实施方式涉及的校正方法是基于由至少一对拍摄装置30得到的作业机2的规定位置的信息即第一位置信息和由第一角度检测部18A、第二角度检测部18B和第三角度检测部18C检测出的第二位置信息来求取作为未知数的旋转矩阵R中包含的角度α、β、γ及平移矢量的分量x0、y0、z0的方法。处理装置20在执行实施方式涉及的校正方法时，处理部21在步骤S101中将计数N、M设为0。
在步骤S102中，处理部21使一对拍摄装置30c、30d对对象进行拍摄。此外，处理部21获取第一角度检测部18A、第二角度检测部18B和第三角度检测部18C的检测值。
一对拍摄装置30c、30d拍摄的对象是作业机2的规定位置、在实施方式中为液压挖掘机100的铲斗8、更具体而言是铲齿9。如图9所示，铲斗8在铲齿9上设定有标记MKl、MKc、MKr。标记MKl设置于最左侧的铲齿9，标记MKc设置于中央的铲齿9，标记MKr设置于最右侧的铲齿9。以下，在不区分标记MKl、MKc、MKr的情况下，可将其称为标记MK。
在步骤S102中，处理部21在一对拍摄装置30c、30d拍摄铲斗8时的作业机2的姿势下，获取第一角度检测部18A、第二角度检测部18B和第三角度检测部18C的检测值。这样，在实施方式中，处理部21在作业机2的相同的姿势下执行由一对拍摄装置30c、30d的拍摄、以及第一角度检测部18A、第二角度检测部18B和第三角度检测部18C的检测值的获取。处理部21将拍摄装置30的拍摄结果所得到的图像、以及第一角度检测部18A、第二角度检测部18B和第三角度检测部18C的检测值存储在存储部22中。
在实施方式中，标记MKl、MKc、MKr在铲斗8的宽度方向W、即与铲斗销15延伸的方向平行的方向上排列。在实施方式中，铲斗8的宽度方向W是一对拍摄装置30c、30d排列的方向。铲斗8的宽度方向W上的中央的铲齿9在车身坐标系下仅在1个平面即Xm-Zm平面上移动。因此，在仅求取中央的铲齿9的位置的情况下，由于限制条件减弱，所以在使用一对拍摄装置30c、30d的立体方式的位置测算中车身坐标系下的Ym轴方向的精度下降。
实施方式涉及的校正方法测算铲斗8的宽度方向W上的多个位置、具体而言是3个铲齿9的位置作为第一位置信息。因此，在求取作为变换信息的旋转矩阵R及平移矢量T时能够利用铲斗8的宽度方向W上的多个平面的位置信息，所以能够抑制旋转矩阵R及平移矢量T的精度下降。将由实施方式涉及的校正方法得到的旋转矩阵R及平移矢量T用于使用一对拍摄装置30c、30d的立体方式的位置测算，由此抑制车身坐标系下的Ym轴方向的测算精度的下降。
在实施方式中，在铲斗8的3个铲齿9上设定标记MKl、MKc、MKr，不过标记MK的数量即作为测算对象的铲齿9的数量不局限于3个。标记MK也可以设置于至少1个铲齿9上。但是，为了抑制使用一对拍摄装置30c、30d的立体方式的位置测算的精度下降，在实施方式涉及的校正方法中，优选将2个以上的标记MK在铲斗8的宽度方向W上设置于分离的位置，测算2个以上的铲齿9可得到较高的测算精度。
图10示出使用安装于作业机2的测算用目标60来替代铲齿9的位置的示例。在该示例中，至少一对拍摄装置30和处理部21测算安装于作业机2的测算用目标60的位置，在实施方式涉及的校正方法中作为第一位置信息使用。测算用目标60具有：设置有标记MKa、MKb的目标部件63a、63b；连结2个目标部件63a、63b的轴部件62；以及安装于轴部件62的一端部的固定用部件61。
目标部件63a、63b在轴部件62延伸的方向上并排地配置。固定用部件61具有磁铁。固定用部件61吸附于作业机2，由此将例如目标部件63a、63b及轴部件62安装于作业机2。这样，固定用部件61能够安装于作业机2，并且能够从作业机2卸下。在实施方式中，固定用部件61吸附于铲斗销15，将目标部件63a、63b及轴部件62固定于作业机2。将测算用目标60安装于铲斗销15时，目标部件63a、63b就在铲斗8的宽度方向W上并排地配置。
测算用目标60具有的标记MKa、MKb的位置基于测算用目标60的尺寸被预先求取。用于安装测算用目标60的固定用部件61的作业机2的部分和铲齿9的位置基于铲斗8的尺寸被预先求取。因此，只要知道测算用目标60具有的标记MKa、MKb的位置，就可知道铲斗8的铲齿9的位置。测算用目标60具有的标记MKa、MKb与铲斗8的铲齿9的位置关系存储在处理装置20的存储部22中。处理部21在执行实施方式涉及的校正方法的情况下，从存储部22读取标记MKa、MKb与铲斗8的铲齿9的位置关系，在生成第一位置信息或第二位置信息时使用。
在步骤S102中，使用一对拍摄装置30c、30d的拍摄、以及第一角度检测部18A、第二角度检测部18B和第三角度检测部18C的检测值的规定位置的测算结束之后，使处理前进至步骤S103。在步骤S103中，处理部21使作业机2动作，使铲斗8向远离地面的方向、即上方移动。在步骤S104中，处理部21将计数N加1所得到的值设为新的计数N。
在步骤S105中，处理部21在当前的计数M为Mc－1以下的情况下，比较当前的计数N和计数阈值Nc1。在当前的计数M为Mc的情况下，处理部21比较当前的计数N和计数阈值Nc2。在实施方式中，计数阈值Nc1是2。计数阈值Nc2小于计数阈值Nc1，例如是1。
在步骤S105中，在计数N并非计数阈值Nc1的情况(步骤S105，“否”)下，处理部21反复进行步骤S102～步骤S105的处理。在步骤S105中，在计数N为计数阈值Nc1的情况(步骤S105，“是”)下，使处理前进至步骤S106。
在步骤S106中，处理部21使作业机2动作，使铲斗8沿进深方向、即远离图1所示的回转体3的方向移动。在步骤S107中，处理部21将计数M加1所得到的值设为新的计数M。在步骤S108中，处理部21比较当前的计数M和计数阈值Mc。在实施方式中，计数阈值Mc是2。
在步骤S108中，在计数M并非计数阈值Mc的情况(步骤S108，“否”)下，处理部21在步骤S109中使计数N为0。然后，处理部21执行步骤S102～步骤S105的处理。
通过步骤S101～步骤S105，一对拍摄装置30c、30d在多个拍摄装置30与铲斗8的水平距离L相等的条件下，在液压挖掘机100的上下方向上对铲斗8拍摄Nc+1次。即，使铲斗8的上下方向的位置不同，由一对拍摄装置30c、30d拍摄Nc+1次。水平距离L是与液压挖掘机100的接触地面即图1所示的履带5a、5b的接触地面平行并且与图2所示的动臂销13延伸的方向正交的方向上的、回转体3与铲斗8之间的距离。通过反复进行步骤S106～步骤S108，多个拍摄装置30使与液压挖掘机100的接触地面平行的作为回转体3与铲斗8之间的距离的水平距离L改变Mc+1次。即，使铲斗8的水平距离L不同，由一对拍摄装置30c、30d拍摄N c+1次。
具体而言，如图11所示，一对拍摄装置30c、30d在水平距离L＝L1的情况下，在位置A、比位置A高的位置B、以及比位置B高的位置C这3个位置拍摄铲斗8。因此，在水平距离L1的情况下，在不同的3阶段的高度得到标记MK1、MKc、MKr的位置的信息。位置A、B、C沿图11中的箭头h所示的方向上逐渐变高。
如图12所示，一对拍摄装置30c、30d在水平距离L＝L2的情况下，在位置D、比位置D高的位置E、以及比位置E高的位置F这3个位置拍摄铲斗8。因此，在水平距离L2的情况下，也在不同的3阶段的高度得到标记MK1、MKc、MKr的位置的信息。水平距离L2大于水平距离L1。水平距离L2大于水平距离L1表示铲斗8位于距离拍摄装置30c和拍摄装置30d较远的位置。位置D、E、F沿图12中的箭头h所示的方向上逐渐变高。
如图13所示，一对拍摄装置30c、30d在水平距离L＝L3的情况下，在位置G、以及比位置G高的位置H这2个位置拍摄铲斗8。因此，在水平距离L3下，在不同的2阶段的高度得到标记MK1、MKc、MKr的位置信息。水平距离L3大于水平距离L2。水平距离L3大于水平距离L2表示铲斗8位于距离拍摄装置30c和拍摄装置30d更远的位置。位置G、H沿图13中的箭头h所示的方向上逐渐变高。
在实施方式中，在水平距离为最大的L3的情况下，一对拍摄装置30c、30d拍摄上下方向的2个位置的铲斗8，不过拍摄上下方向上的位置不局限于2个位置。此外，在水平距离L固定而使铲斗在上下方向上移动来拍摄铲斗8的情况下，拍摄上下方向上的位置不局限于实施方式的位置。
由一对拍摄装置30c、30d对铲斗8进行拍摄，在水平距离L1拍摄3次、水平距离L2拍摄3次、水平距离L3拍摄2次共计8次。在立体方式的三维测算中，作为测算对象的部分、实施方式中的标记MKl、MKc、MKr位于由一对拍摄装置30c、30d拍摄的图像的端部会使限制条件增强，因此测算的精度得到提高。因此，处理部21使一对拍摄装置30c、30d拍摄在相同的水平距离L的情况下改变高度而处于多个位置上的铲斗8、更具体而言是标记MKl、MKc、MKr。这样，由于在由多个拍摄装置30拍摄的图像的两端、具体而言是上下方向上的两端配置标记MKl、MKc、MKr，所以测算的精度得到提高。
在实施方式中，使水平距离L按3阶段变化，高度方向的拍摄次数为3次或2次，不过不局限于此。使水平距离L变化的次数通过变更计数阈值Mc而变更。高度方向的拍摄次数通过变更计数阈值Nc1和计数阈值Nc2中的至少一方而变更。
在立体方式的三维测算中，测算位于远方的对象的情况下，即在更大的范围内立体方式的三维测算的精度提高。因此，处理部21变更铲斗8的水平距离L使一对拍摄装置30拍摄铲斗8、更具体而言是标记MKl、MKc、MKr。这样，在更大的范围内，三维测算的精度得到提高。
返回步骤S108，在计数M为计数阈值Mc的情况(步骤S108，“是”)下，使处理前进至步骤S110。在步骤S110中，处理部21求取第一位置信息和第二位置信息。具体而言，处理部21从存储部22获取通过一对拍摄装置30c、30d多次(在实施方式中为8次)拍摄铲斗8而得到的多对图像(在实施方式中为8对图像)。然后，处理部21对所获取的多对图像中的、分别成对的图像实施立体方式的图像处理，对标记MKl、MKc、MKr的位置进行三维测算。在实施方式中，处理部21通过图像处理来提取标记MKl、MKc、MKr。例如处理部21能够基于标记MKl、MKc、MKr的形状特征，从图像中提取它们。如后述的那样，标记MKl、MKc、MKr也可以通过由操作员操作图6所示的输入装置52来选择。
在三维测算中，处理部21利用三角测量来求取位于从一对拍摄装置30c、30d得到的一对图像中的标记MKl、MKc、MKr的位置。这样求出的标记MKl、MKc、MKr的位置信息是第一位置信息。处理部21分别针对步骤S101～步骤S109中得到的8个部位的拍摄结果求取第一位置信息输出到例如存储部21，进行临时存储。
对1个位置的拍摄可拍摄到设置于不同位置的3个标记MKl、MKc、MKr，因此对1个位置的拍摄能够得到3个第一位置信息。如上所述，铲斗8在8个位置被拍摄，因此能够得到共计24个第一位置信息。
在步骤S110中，处理部21获取第一角度检测部18A、第二角度检测部18B和第三角度检测部18C的检测值和作业机2的尺寸。第一角度检测部18A等的检测值是在作业机2的姿势为一对拍摄装置30c、30d拍摄铲斗8时的姿势时，由第一角度检测部18A等检测出的值。处理部21基于所获取的检测值和作业机2的尺寸，求取铲斗8的铲齿9的位置、更具体而言是标记MKl、MKc、MKr的位置。基于第一角度检测部18A等的检测值和作业机2的尺寸求出的标记MKl、MKc、MKr的位置信息是第二位置信息。处理部21分别对步骤S101～步骤S109中得到的8个位置的拍摄结果求取第二位置信息输出到例如存储部21，进行临时存储。
1个位置的拍摄能够得到3个第二位置信息。如上所述，由于对铲斗8在8个位置拍摄，所以能够得到共计24个第二位置信息。处理部21将在相同的作业机2的姿势下得到的第一位置信息和第二位置信息相对应，临时存储在存储部22中。第一位置信息和第二位置信息的组合在实施方式中共计24个。
在步骤S111中，处理部21使用第一位置信息和第二位置信息求取旋转矩阵R和平移矢量T。更具体而言，处理部21使用第一位置信息和第二位置信息求取旋转矩阵R中所包含的角度α、β、γ及平移矢量T的分量x0、y0、z0。在求取角度α、β、γ及分量x0、y0、z0时，使用24个第一位置信息和第二位置信息的组合，不过也可以将误差较大的去除。这样，能够抑制角度α、β、γ及分量x0、y0、z0的精度下降。
第一位置信息是车身坐标系的坐标，因此用(xm，ym，zm)表示。第二位置信息是拍摄装置坐标系，因此用(xs，ys，zs)表示。式(4)中从式(1)的左边减去右边后取平方得到的值为J。
J＝{Pmi－(R·Psi+T)}2…(4)
处理部21从存储部22读取在相同的作业机2的姿势下得到的第一位置信息和第二位置信息，将第一位置信息提供给式(4)的位置信息Pm，将第二位置信息提供给式(4)的位置信息Ps。于是，得到包括旋转矩阵R中所包含的角度α、β、γ及平移矢量T的分量x0、y0、z0中的任一个的、3个式子。在实施方式中，由于第一位置信息和第二位置信息的组合是24个，所以处理部21通过将24个第一位置信息和第二位置信息的组合提供给式(4)，得到包括在旋转矩阵R中所包含的角度α、β、γ及平移矢量T的分量x0、y0、z0中的任一个的、共计72个J。
共计72个J的总和JS由式(5)求取。处理部21基于式(5)求取总和JS。
JS＝∑Ji＝∑{Pmi－(R·Psi+T)}2，{i：1～72}…(5)
接着，处理部21使得JS成为最小。因此，处理部21分别按角度α、角度β、角度γ、分量x0、分量y0、分量z0对∑{Pmi－(R·Psi+T)}2进行偏微分，使得到的值为0。处理部21例如用牛顿-拉弗森法去解这样得到的6个方程式，由此求取角度α、β、γ及平移矢量T的分量x0、y0、z0。处理部21基于求出的角度α、β、γ及平移矢量T的分量x0、y0、z0求取旋转矩阵R和平移矢量T。这样得到的旋转矩阵R和平移矢量T是用于将由第一位置检测部检测出的对象的位置信息变换成第一位置检测部以外的坐标系、在实施方式中为车身坐标系的变换信息。
另外，处理部21也可以求取用于将由第二位置检测部检测出的对象的位置变换成与第二位置检测部的坐标系不同的坐标系、例如第一位置检测部的坐标系的变换信息。在这种情况下，通过式(6)，能够将第二位置检测部检测出的、第二位置检测部的坐标系下的对象位置变换成第一位置检测部的坐标系。在该示例中，第二位置检测部的坐标系是车身坐标系，第一位置检测部的坐标系是拍摄装置坐标系。
Ps＝R-1·Pm－R-1·T…(6)
式(6)中的R-1是由上述的式(2)表示的旋转矩阵的逆矩阵，式(6)中的T是由上述的式(3)表示的平移矢量。位置信息Pm是车身坐标系下的对象位置，位置信息Ps是拍摄装置坐标系下的对象位置。逆矩阵R-1及平移矢量T与R-1之积是变换信息。这样，处理部21的处理和实施方式的校正方法也能够求取用于将第二位置检测部检测出的位置从第二位置检测部的坐标系变换成与第二位置检测部的坐标系不同的坐标系的变换信息并将其输出。
在实施方式中，第二位置检测部是第一角度检测部18A、第二角度检测部18B和第三角度检测部18C，不过不局限于此。例如液压挖掘机100具有RTK-GNSS(Real TimeKinematic-Global Navigation Satellite Systems，实时动态-全球导航卫星***，GNSS称为全球导航卫星***)用天线，并且具有通过由GNSS测算天线的位置来检测本车辆位置的位置检测***。在这种情况下，将上述位置检测***设为第二位置检测部，将GNSS用天线的位置设为作业机械的规定位置。而且，一边使GNSS用天线的位置变化一边通过第一位置检测部和第二位置检测部检测GNSS用天线的位置来得到第一位置信息和第二位置信息。处理部21使用所得到的第一位置信息和第二位置信息，求取用于将由第一位置检测部检测出的对象的位置信息变换成第一位置检测部以外的坐标系、在实施方式中为车身坐标系的变换信息。此外，处理部21也能够使用所得到的第一位置信息和第二位置信息，求取用于将由第二位置检测部检测出的对象的位置信息变换成第二位置检测部以外的坐标系的变换信息。
除此以外，将可卸下的GNSS接收器安装于液压挖掘机1的规定位置、例如行走体5或作业机2的规定位置，将GNSS接收器设为第二位置检测部，由此与将检测上述本车辆位置的位置检测***设为第二位置检测部的情况同样地得到变换信息。
实施方式涉及的校正***50和校正方法在液压挖掘机100具有的作业机2的姿势相同的状态下使用用于检测对象位置的装置即第一位置检测部及与第一位置检测部不同的第二位置检测部求取作业机2的规定位置。而且，实施方式涉及的校正***50和校正方法使用由第一位置检测部求出的第一位置信息和由第二位置检测部求出的第二位置信息求取旋转矩阵R及平移矢量T。通过这样的处理，实施方式涉及的校正***50和校正方法能够求取用于将由第一位置检测部检测出的对象的位置信息变换成第一位置检测部以外的坐标系的变换信息。
对多个拍摄装置30中的至少一对拍摄装置30拍摄的对象的图像实施立体方式的图像处理，能够得到拍摄装置坐标系下的对象的位置信息。只要根据实施方式涉及的校正***50和校正方法得到变换信息，就能够将拍摄装置坐标系下的对象的位置信息变换成车身坐标系下的位置信息，因此液压挖掘机100能够使用变换后的对象的位置信息，控制作业机2或者使显示器显示作业机2的引导画面。
实施方式涉及的校正***50和校正方法使用设置于液压挖掘机100的处理装置20和一对拍摄装置30c、30d，因此不需要用于求取旋转矩阵R及平移矢量T的外部设备。因此，实施方式涉及的校正***50和校正方法例如能够在用户使用液压挖掘机100的场所求取旋转矩阵R及平移矢量T。这样，实施方式涉及的校正***50和校正方法具有即使在没有用于求取旋转矩阵R及平移矢量T的外部设备的情况下也能够求取旋转矩阵R及平移矢量T的优点。
实施方式涉及的校正***50和校正方法，通过使第一位置信息和第二位置信息为从姿势不同的作业机2检测出的规定位置的信息，能够增加用于求取作为变换信息的旋转矩阵R及平移矢量T的信息量。其结果，实施方式涉及的校正***50和校正方法能够高精度地求取旋转矩阵R及平移矢量T。
在实施方式中，第一位置检测部是由至少一对拍摄装置30构成的立体摄像机，不过不局限于此。第一位置检测部例如可以是激光扫描仪或3D扫描仪。作业机械只要具有至少一对拍摄装置、使用该一对拍摄装置以立体方式对对象进行三维测算，并不局限于液压挖掘机100。作业机械具有作业机即可，例如可以是轮式装载机或推土机等作业机械。
在实施方式中，在求取旋转矩阵R和平移矢量T时，在铲齿9设置有标记MKl、MKc、MKr，不过这些标记不是必要的。例如也可以利用图6所示的输入装置52，在由拍摄装置30拍摄得到的对象的图像内指定由处理部21求取位置的部分、例如铲斗8的铲齿9的部分。在这种情况下，处理部21对被指定的部分执行三维测算。
以上，对实施方式进行了说明，但是实施方式并不局限于上述内容。此外，在上述结构要素中包含本领域技术人员能够容易想到的结构要素、实质上相同的结构要素、所谓的等同范围内的结构要素。能够适当地组合上述结构要素。在不脱离本实施方式的要旨的范围内，能够进行结构要素的各种省略、置换和变更中的至少一项。

Claims (8)

1.一种校正***，其特征在于，包括：
第一位置检测部，其设置于具有作业机的作业机械，检测对象的位置并将其输出；以及
处理部，其使用由所述第一位置检测部检测出的与所述作业机械的规定位置相关的信息即第一位置信息、以及在所述第一位置检测部检测出所述规定位置时的所述作业机械的姿势下由第二位置检测部检测出的与所述规定位置相关的信息即第二位置信息，求取用于将所述第一位置检测部检测出的位置从所述第一位置检测部的坐标系变换成与所述第一位置检测部的坐标系不同的坐标系的变换信息并将其输出、或者求取用于将所述第二位置检测部检测出的位置从所述第二位置检测部的坐标系变换成与所述第二位置检测部的坐标系不同的坐标系的变换信息并将其输出。
2.根据权利要求1所述的校正***，其特征在于：
所述第一位置信息是通过由所述第一位置检测部从不同姿势的所述作业机械检测所述规定位置而得到的多个信息，所述第二位置信息是通过由所述第二位置检测部从不同姿势的所述作业机机械检测所述规定位置而得到的多个信息。
3.根据权利要求1或2所述的校正***，其特征在于：
所述第一位置检测部是由至少一对拍摄装置构成的立体摄像机，所述第二位置检测部是设置于所述作业机械而用于检测使所述作业机动作的致动机构的动作量的传感器。
4.根据权利要求3所述的校正***，其特征在于：
所述规定位置是构成所述立体摄像机的一对所述拍摄装置排列的方向上的、所述作业机械的多个位置。
5.一种作业机械，其特征在于，包括：
作业机；以及
权利要求1至权利要求4中任一项所述的校正***。
6.一种校正方法，其特征在于：
通过第一方法和第二方法在作业机械的姿势不同的状态下检测所述作业机械的规定位置，
使用由所述第一方法检测出的与所述规定位置相关的信息即第一位置信息、以及在由所述第一方法检测出所述规定位置时的所述作业机的姿势下由所述第二方法检测出的与所述规定位置相关的信息即第二位置信息，求取用于将由所述第一方法检测出的位置从所述第一方法中的坐标系变换成与所述第一位置检测部的坐标系不同的坐标系的变换信息、或者求取用于将由所述第二位置检测部检测出的位置从所述第二位置检测部的坐标系变换成与所述第二位置检测部的坐标系不同的坐标系的变换信息。
7.根据权利要求6所述的校正方法，其特征在于：
所述第一位置检测部从不同姿势的所述作业机械检测所述规定位置而得到的多个信息是所述第一位置信息，所述第二位置检测部从不同姿势的所述作业机械检测所述规定位置而得到的多个信息是所述第二位置信息，在检测所述规定位置的情况下，所述第一位置检测部和所述第二位置检测部从不同姿势的所述作业机械检测所述规定位置。
8.根据权利要求6或7所述的校正方法，其特征在于：
所述第一方法通过立体方式对所述规定位置进行三维测算，所述规定位置是用于所述立体方式的所述三维测算的一对拍摄装置排列的方向上的、所述作业机械的多个位置。
CN201580001358.9A 2015-09-30 2015-09-30 校正***、作业机械和校正方法 Pending CN106817905A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077872 WO2016047807A1 (ja) 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法

Publications (1)

Publication Number Publication Date
CN106817905A true CN106817905A (zh) 2017-06-09

Family

ID=55581322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580001358.9A Pending CN106817905A (zh) 2015-09-30 2015-09-30 校正***、作业机械和校正方法

Country Status (6)

Country Link
US (1) US9790666B2 (zh)
JP (1) JPWO2016047807A1 (zh)
KR (1) KR20170039612A (zh)
CN (1) CN106817905A (zh)
DE (1) DE112015000132T5 (zh)
WO (1) WO2016047807A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903337A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定挖掘机的铲斗的位姿的方法和装置
US11524406B2 (en) 2018-11-20 2022-12-13 Industrial Technology Research Institute Calibration method and device for robotic arm system

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
US10132060B2 (en) * 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
JP6714534B2 (ja) * 2017-03-29 2020-06-24 日立建機株式会社 建設機械
JP6966218B2 (ja) * 2017-04-27 2021-11-10 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法
CN112334733B (zh) * 2018-06-29 2022-09-27 株式会社小松制作所 拍摄装置的校正装置、监视装置、作业机械及校正方法
US10781575B2 (en) 2018-10-31 2020-09-22 Deere & Company Attachment calibration control system
CN109816778B (zh) * 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN115104075A (zh) * 2020-01-28 2022-09-23 拓普康定位***公司 使用机器视觉对工作机器上的机具进行控制的***和方法
GB2593759B (en) * 2020-04-02 2023-04-26 Caterpillar Inc Method and control unit for generating a control command to at least one actuator of an electro-hydraulic machine

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110061448A1 (en) * 2008-03-10 2011-03-17 Cadman Kristen D Hydraulic system calibration method and apparatus
JP2012225111A (ja) * 2011-04-22 2012-11-15 Kajima Corp 建設車両周辺の作業者検出装置
US20130166143A1 (en) * 2011-03-24 2013-06-27 Komatsu Ltd. Hydraulic shovel calibration device and hydraulic shovel calibration method
CN103687999A (zh) * 2011-06-03 2014-03-26 卡特彼勒公司 具有触觉反馈的操作员交互装置
CN103924628A (zh) * 2013-01-10 2014-07-16 神钢建设机械株式会社 回转式工程机械

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3827480B2 (ja) * 1999-08-13 2006-09-27 日立建機株式会社 自動運転建設機械およびその位置計測手段の校正方法
JP2010014535A (ja) 2008-07-03 2010-01-21 Yanmar Co Ltd 回転検出装置及び不整地用走行車両
JP5390813B2 (ja) * 2008-09-02 2014-01-15 東急建設株式会社 空間情報表示装置及び支援装置
JP5052463B2 (ja) * 2008-09-10 2012-10-17 日立建機株式会社 作業機械のステレオ画像処理装置
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法
JP6219043B2 (ja) * 2013-03-18 2017-10-25 株式会社タダノ ブームの先端位置検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110061448A1 (en) * 2008-03-10 2011-03-17 Cadman Kristen D Hydraulic system calibration method and apparatus
US20130166143A1 (en) * 2011-03-24 2013-06-27 Komatsu Ltd. Hydraulic shovel calibration device and hydraulic shovel calibration method
JP2012225111A (ja) * 2011-04-22 2012-11-15 Kajima Corp 建設車両周辺の作業者検出装置
CN103687999A (zh) * 2011-06-03 2014-03-26 卡特彼勒公司 具有触觉反馈的操作员交互装置
CN103924628A (zh) * 2013-01-10 2014-07-16 神钢建设机械株式会社 回转式工程机械

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11524406B2 (en) 2018-11-20 2022-12-13 Industrial Technology Research Institute Calibration method and device for robotic arm system
CN109903337A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定挖掘机的铲斗的位姿的方法和装置
US11004235B2 (en) 2019-02-28 2021-05-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining position and orientation of bucket of excavator

Also Published As

Publication number Publication date
US9790666B2 (en) 2017-10-17
DE112015000132T5 (de) 2016-11-10
WO2016047807A1 (ja) 2016-03-31
US20170089041A1 (en) 2017-03-30
KR20170039612A (ko) 2017-04-11
JPWO2016047807A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
CN106817905A (zh) 校正***、作业机械和校正方法
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
CN105518228B (zh) 位置计测***、工作机械以及位置计测方法
JP7365122B2 (ja) 画像処理システムおよび画像処理方法
KR102076631B1 (ko) 위치 계측 시스템, 작업 기계, 및 위치 계측 방법
AU2012209015B2 (en) Inclination angle compensation systems and methods
JP6995767B2 (ja) 計測システム、作業機械及び計測方法
CN106029994B (zh) 校正***、作业机械和校正方法
US20120114181A1 (en) Vehicle pose estimation and load profiling
JP2016160741A (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
CN107002383A (zh) 作业机械的控制***、作业机械及作业机械的控制方法
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
JP6322612B2 (ja) 施工管理システム及び形状計測方法
CN113167054B (zh) 包括作业机械的***、由计算机执行的方法及学习用数据
CN107002384A (zh) 作业机械的控制***及作业机械的控制方法
CN105518221A (zh) 拍摄装置的校正***、作业机械和拍摄装置的校正方法
CN105118021A (zh) 基于特征点的图像配准方法及***
WO2019239668A1 (ja) 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの位置推定モデルの製造方法、および学習用データ
WO2020065738A1 (ja) 作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP2022164713A (ja) 作業機械の画像表示システム及び作業機械の画像表示方法
JP2020016147A (ja) 形状計測システム及び形状計測方法
Borthwick Mining haul truck pose estimation and load profiling using stereo vision
JP6391544B2 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP7065002B2 (ja) 作業機械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170609