JP7159903B2 - 目標位置推測装置 - Google Patents

Description

本発明は、作業機械のオペレータの作業目標位置を推測する目標位置推測装置に関する。

例えば特許文献１などに、運転者が注視している領域を推測する技術が記載されている。

特開２０１８－１８５７６３号公報

同文献に記載の技術では、運転者の視線の方向に基づき、運転者が注視している領域（目標位置）を推測する。しかし、例えば車道を走行する自動車の運転者などに比べ、作業機械のオペレータは、様々な位置を目標として見る。そのため、オペレータの視線の方向のみからでは、目標位置の推測の精度が不十分となるおそれがある。

そこで、本発明は、作業機械のオペレータの作業目標位置を精度良く推測できる、目標位置推測装置を提供することを目的とする。

目標位置推測装置は、アタッチメントの先端部に設けられる先端装置を備える作業機械に用いられる。目標位置推測装置は、姿勢検出部と、操作検出部と、視線検出部と、距離情報検出部と、コントローラと、を備える。前記姿勢検出部は、前記作業機械の姿勢を検出する。前記操作検出部は、前記作業機械の操作を検出する。前記視線検出部は、前記作業機械を操作するオペレータの視線を検出する。前記距離情報検出部は、前記作業機械の前方の距離情報を検出する。前記コントローラは、前記オペレータの目標位置を推測する。前記コントローラは、前記姿勢検出部および前記操作検出部のそれぞれの検出結果に基づいて、前記先端装置が通ると予測される軌跡である予測軌跡に基づく領域であって、前記距離情報における領域である予測軌跡領域を算出する。前記コントローラは、前記視線検出部の検出結果に基づいて、前記オペレータの注視点に基づく領域であって、前記距離情報における領域である注視点領域を算出する。前記目標位置の条件には、前記予測軌跡領域の範囲内かつ前記注視点領域の範囲内であることが含まれる。

上記構成により、作業機械のオペレータの作業目標位置を精度良く推測できる。

目標位置推測装置３０を備える作業機械１を横から見た図である。 図１に示す作業機械１を上から見た図である。 図１に示す目標位置推測装置３０のブロック図である。 図１に示す目標位置推測装置３０の作動を示すフローチャートである。 図２に示す注視点Ｂ１の分布を示す図である。

図１～図５を参照して、図１に示す作業機械１に用いられる目標位置推測装置３０について説明する。

作業機械１は、先端装置２５を用いて作業を行う機械である。作業機械１は、例えば、建設作業を行う建設機械であり、例えば、ショベルなどである。作業機械１は、下部走行体１１と、上部旋回体１５と、を備える。下部走行体１１は、作業機械１を走行させる部分である。上部旋回体１５は、下部走行体１１に対して旋回可能であり、下部走行体１１よりも上側に配置される。上部旋回体１５は、キャブ１６を備える。

キャブ１６は、作業機械１を操作するオペレータＯが操作を行う運転室である。キャブ１６は、座席１７と、操作部１８と、を備える。座席１７は、オペレータＯが座るための席である。操作部１８は、作業機械１を操作するための装置であり、オペレータＯに操作される。操作部１８によって行われる操作には、下部走行体１１を走行させる操作、下部走行体１１に対して上部旋回体１５を旋回させる操作、および、アタッチメント２０を作動させる操作が含まれる。操作部１８は、例えば、レバーを備えてもよく、ペダルを備えてもよい。

アタッチメント２０は、上部旋回体１５に取り付けられ、作業を行う装置である。アタッチメント２０は、例えば油圧シリンダにより駆動される。アタッチメント２０は、ブーム２１と、アーム２３と、先端装置２５と、を備える。ブーム２１は、上部旋回体１５に回転（起伏）可能に取り付けられる。アーム２３は、ブーム２１に回転可能に取り付けられる。

先端装置２５は、作業対象（例えば土砂など）に接触する装置である。先端装置２５は、アタッチメント２０の先端部に設けられる。例えば、先端装置２５は、アーム２３に回転可能に取り付けられる。先端装置２５は、例えば、土砂をすくうバケットでもよく、ハサミ状装置（ニブラ、カッターなど）（図示なし）でもよく、ブレーカ（図示なし）などでもよい。先端装置２５に関する位置には、特定位置２５ｔがある（詳細は後述）。

目標位置推測装置３０は、図２に示すオペレータＯが作業を行おうとしている位置（作業目標位置）を推測する装置である。目標位置推測装置３０は、目標位置Ｔを算出する。目標位置推測装置３０は、オペレータＯが先端装置２５（さらに詳しくは特定位置２５ｔ）を移動させようとしている位置を推測する。目標位置推測装置３０は、作業機械１に用いられ、作業機械１に配置（取り付け、搭載）される。目標位置推測装置３０の構成要素の一部は、作業機械１の外部に配置されてもよい。図３に示すように、目標位置推測装置３０は、姿勢検出部３１と、操作検出部３２と、視線検出部３３と、距離情報検出部３４と、種類情報取得部３５と、オペレータ情報取得部３６と、除外領域取得部３７と、コントローラ４０と、を備える。

姿勢検出部３１は、図１に示す作業機械１の姿勢を検出する。具体的には、姿勢検出部３１（図３参照）は、下部走行体１１に対する上部旋回体１５の旋回角度、およびアタッチメント２０の姿勢を検出する。アタッチメント２０の姿勢には、例えば、上部旋回体１５に対するブーム２１の回転角度、ブーム２１に対するアーム２３の回転角度、および、アーム２３に対する先端装置２５の回転角度が含まれる。姿勢検出部３１は、回転角度を検出する回転角度センサを備えてもよい。姿勢検出部３１は、作業機械１の少なくとも一部（例えばアタッチメント２０）の姿勢を、カメラで取得した画像情報に基づいて検出してもよい。上記「カメラ」は、距離情報検出部３４と兼用されてもよい。姿勢検出部３１は、アタッチメント２０の姿勢を検出することで、先端装置２５の移動速度を検出してもよい。

操作検出部３２（図３参照）は、オペレータＯによる作業機械１の操作を検出する。操作検出部３２は、オペレータＯによる操作部１８の操作を検出し、具体的には例えば、操作部１８の操作量および操作方向を検出する。

視線検出部３３（図３参照）は、オペレータＯの視線Ｂ０を検出する。視線検出部３３は、座席１７に向けられたカメラを備え、オペレータＯの目を撮影する。

距離情報検出部３４（図３参照）は、作業機械１の前方の距離情報を検出し、上部旋回体１５の前方の距離情報を検出する。上記「作業機械１の前方」は、上部旋回体１５に対して先端装置２５が配置される側である。距離情報検出部３４は、作業機械１の周囲の領域であって、オペレータＯの視界を含む領域の、距離情報を検出する。距離情報検出部３４に検出される距離情報は、三次元の情報であり、奥行きの情報を含む画像（映像）情報である。距離情報検出部３４は、例えばＴＯＦ（Time of Flight）カメラを備えてもよく、複眼カメラを備えてもよい。

種類情報取得部３５（図３参照）は、先端装置２５の種類に関する情報（種類情報）を取得する。種類情報取得部３５は、例えばオペレータＯなどにより手作業により入力された情報に基づいて、先端装置２５の種類情報を取得してもよい。種類情報取得部３５は、カメラなど（例えば距離情報検出部３４など）に取得された画像に基づいて、先端装置２５の種類を自動的に判別することで、先端装置２５の種類情報を取得してもよい。

オペレータ情報取得部３６（図３参照）は、作業機械１を操作しているオペレータＯに関する情報（オペレータＯ情報）を取得する。オペレータＯ情報は、オペレータＯが誰であるかの情報を含んでもよい。オペレータＯ情報は、後述する予測軌跡領域Ａ２（図２参照）および注視点領域Ｂ２（図２参照）の少なくともいずれかの設定に関する情報を含んでもよい。オペレータ情報取得部３６（図３参照）は、手作業により入力された情報に基づいてオペレータＯ情報を取得してもよい。オペレータ情報取得部３６は、オペレータＯが所持する装置（例えば無線タグなど）からオペレータＯ情報を取得してもよい。オペレータ情報取得部３６は、カメラで撮影したオペレータＯの画像からオペレータＯ情報（誰であるか）を取得してもよい。

除外領域取得部３７（図３参照）は、図２に示す目標位置Ｔから除外する領域である除外領域Ｄに関する情報を取得する（後述）。

コントローラ４０は、図３に示すように、信号の入出力、情報の記憶、演算（算出、判定など）を行う。コントローラ４０は、目標位置Ｔ（図２参照）の推測に関する演算を行う。

（作動）
目標位置推測装置３０は、以下のように作動するように構成される。以下では、主に、コントローラ４０については図３を参照し、各ステップ（Ｓ１０～Ｓ４３）については図４を参照して説明する。図２に示す目標位置推測装置３０の作動の概要は次の通りである。コントローラ４０は、アタッチメント２０の姿勢および操作部１８の操作に基づいて、先端装置２５の予測軌跡領域Ａ２を算出する（ステップＳ２０）。コントローラ４０は、オペレータＯの視線Ｂ０から注視点領域Ｂ２を算出する（ステップＳ３０）。コントローラ４０は、予測軌跡領域Ａ２と注視点領域Ｂ２とが重なる重複領域Ｃから除外領域Ｄを除いた領域を、目標位置Ｔとする。目標位置推測装置３０の作動の詳細は、以下の通りである。

距離情報検出部３４（図３参照）に検出された距離情報が、コントローラ４０に入力される（ステップＳ１０）。

（予測軌跡領域Ａ２の算出（ステップＳ２０））
コントローラ４０は、姿勢検出部３１（図３参照）および操作検出部３２（図３参照）のそれぞれの検出結果に基づいて、予測軌跡領域Ａ２を算出する（ステップＳ２０）。予測軌跡領域Ａ２の算出の詳細は、次の通りである。

姿勢検出部３１（図３参照）に検出された作業機械１の姿勢が、コントローラ４０に入力される（ステップＳ２１）。コントローラ４０は、作業機械１の姿勢に基づいて、先端装置２５の位置を算出する（ステップＳ２２）。このとき、コントローラ４０は、例えば、基準位置に対する先端装置２５の位置を算出する。上記「基準位置」は、例えば距離情報検出部３４の位置でもよく、上部旋回体１５の（例えばキャブ１６の）特定の位置でもよい。なお、基準位置に対する先端装置２５の位置の算出に必要な情報であって、作業機械１の姿勢以外の情報は、予め（先端装置２５の位置の算出前に）コントローラ４０に設定される。具体的には例えば、基準位置に対するブーム２１の基端部の位置、ブーム２１、アーム２３、および先端装置２５のそれぞれの寸法および形状などの情報は、予めコントローラ４０に設定される。

コントローラ４０は、先端装置２５の位置の情報を、距離情報に関連付ける（ステップＳ２３）。さらに詳しくは、コントローラ４０は、基準位置に対する先端装置２５の現実の位置の情報を、距離情報のデータ上の位置に関連付ける（対応付ける、重畳させる）。なお、この関連付けに必要となる情報は、予めコントローラ４０に設定される。具体的には例えば、基準位置に対する距離情報検出部３４の位置および検出方向などの情報は、予めコントローラ４０に設定される。

操作検出部３２（図３参照）に検出された操作が、コントローラ４０に入力される（ステップＳ２４）。

コントローラ４０は、姿勢検出部３１（図３参照）および操作検出部３２（図３参照）のそれぞれの検出結果に基づいて、予測軌跡Ａ１を算出する（ステップＳ２５）。予測軌跡Ａ１は、先端装置２５（さらに詳しくは特定位置２５ｔ）が通ると予測される軌跡である。さらに詳しくは、コントローラ４０は、操作検出部３２で検出されている操作が、現在（現時刻）からある時間経過後まで継続すると仮定した場合に、先端装置２５が通ると予測される予測軌跡Ａ１を検出する。なお、図２には、ブーム２１に対してアーム２３が畳まれた状態から、ブーム２１に対してアーム２３が開きながら、下部走行体１１に対して上部旋回体１５が左に旋回する場合の、予測軌跡Ａ１を示す。

コントローラ４０は、何らかの条件に応じて、予測軌跡Ａ１を変えてもよい。例えば、コントローラ４０は、種類情報取得部３５に取得された先端装置２５の種類情報に応じて、予測軌跡Ａ１を変えてもよい。この詳細は次の通りである。作業時にオペレータＯが注視すると想定される位置が、先端装置２５の種類によって異なる。具体的には例えば、先端装置２５がバケットの場合、オペレータＯは、バケットの先端（特定位置２５ｔ）を注視すると想定される。また、例えば、先端装置２５がハサミ状装置の場合、オペレータＯは、開いたハサミの間の空間を注視すると想定される。先端装置２５に関する位置であって、作業時にオペレータＯが注視すると想定される位置を特定位置２５ｔとする。そして、コントローラ４０は、この特定位置２５ｔが通ると予測される軌跡を、予測軌跡Ａ１として算出する。

コントローラ４０は、予測軌跡領域Ａ２を算出する（ステップＳ２７）。予測軌跡領域Ａ２は、予測軌跡Ａ１を含む領域であり、予測軌跡Ａ１に基づいて算出される。予測軌跡領域Ａ２は、距離情報における領域（データ上の位置の範囲）である。予測軌跡Ａ１から、予測軌跡領域Ａ２の外側端部（境界）までの距離を、距離Ｌとする。第１の向きにおける距離Ｌを距離Ｌａとし、第１の向きとは異なる第２の向きにおける距離Ｌを距離Ｌｂとする。

予測軌跡領域Ａ２の広さについて説明する。コントローラ４０が推測しようとしている目標位置Ｔは、予測軌跡領域Ａ２と注視点領域Ｂ２との重複領域Ｃの範囲内であることが条件となる。よって、予測軌跡領域Ａ２は、目標位置Ｔの候補となる領域である。そのため、予測軌跡領域Ａ２が狭い（距離Ｌが短い）ほど、目標位置Ｔの候補となる領域が狭くなり、目標位置Ｔの精度が向上し得る。一方、予測軌跡領域Ａ２が狭いほど、注視点領域Ｂ２（詳細は後述）が予測軌跡領域Ａ２に含まれず、目標位置Ｔを特定できない可能性が高くなる。また、予測軌跡領域Ａ２が広い（距離Ｌが長い）ほど、目標位置Ｔの候補となる領域が広くなるので、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれやすくなる。一方、予測軌跡領域Ａ２が広いほど、目標位置Ｔの精度は悪くなり得る（注視点領域Ｂ２の広さによる）。

予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲（以下、単に「予測軌跡領域Ａ２の範囲」とも言う）は、様々に設定可能である。例えば、予測軌跡領域Ａ２の広さ、および、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲の偏りなどは、様々に設定可能である。［例１］予測軌跡領域Ａ２は、予測軌跡Ａ１から一定の距離Ｌ以内の範囲でもよい（距離Ｌは一定値でもよい）。この場合、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲の偏りはない。［例１ａ］距離Ｌは０でもよい。予測軌跡領域Ａ２は、予測軌跡Ａ１と一致してもよく、線状の領域でもよい。［例１ｂ］距離Ｌが一定値の場合、距離Ｌは、正の数でもよい。予測軌跡領域Ａ２は、空間的広がりを有する範囲でもよい。

［例２］距離Ｌは、一定でなくてもよい。［例２ａ］距離Ｌは、予測軌跡Ａ１に対する向きによって相違してもよい。具体的には例えば、第１の向きの距離Ｌａ（例えば予測軌跡Ａ１に対して作業機械１側の距離Ｌａ）と、第２の向きの距離Ｌｂ（例えば予測軌跡Ａ１に対して作業機械１とは反対側の距離Ｌｂ）と、が相違してもよい。［例２ｂ］距離Ｌは、作業機械１の特定の位置からの距離によって相違してもよい。例えば、キャブ１６から遠いほど、距離Ｌが大きく設定されてもよい。例えば、現在の先端装置２５の位置から遠い位置ほど、距離Ｌが大きく設定されてもよい。

［例３］予測軌跡領域Ａ２の範囲は、何らかの条件に応じて変えられても（設定されても）よい。［例３ａ］予測軌跡領域Ａ２の範囲は、オペレータＯなどが入力した情報（例えば距離Ｌの値など）に基づいて設定されてもよい。

［例３ｂ］コントローラ４０は、先端装置２５の移動速度に応じて、予測軌跡領域Ａ２の範囲を変えてもよい。先端装置２５の移動速度は、例えば、ステップＳ２２で算出される先端装置２５の位置の単位時間当たりの変化量である。例えば、先端装置２５の移動速度が速いほど、オペレータＯの実際の作業目標位置と予測軌跡Ａ１とのずれが大きくなり、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれない可能性が高くなり、目標位置Ｔを特定できない可能性が高くなる場合がある。そこで、コントローラ４０は、先端装置２５の移動速度が速いほど、予測軌跡領域Ａ２を広くしてもよい。なお、この例はあくまで一例であり（以下の具体例も同様）、コントローラ４０は、先端装置２５の移動速度が速いほど予測軌跡領域Ａ２を狭くしてもよい。

［例３ｃ］コントローラ４０は、姿勢検出部３１に検出されたアタッチメント２０の姿勢に応じて、予測軌跡領域Ａ２の範囲を変えてもよい。さらに詳しくは、アタッチメント２０の姿勢に基づいて予測軌跡Ａ１が算出され（ステップＳ２１～Ｓ２５）、さらに、アタッチメント２０の姿勢に応じて、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲が変えられてもよい。例えば、アタッチメント２０の水平方向における長さ（例えばキャブ１６から先端装置２５までの距離）が長いほど、オペレータＯの実際の作業目標位置と予測軌跡Ａ１とのずれが大きくなり、目標位置Ｔを特定できない可能性が高くなる場合がある。そこで、コントローラ４０は、アタッチメント２０の水平方向における長さが長いほど、予測軌跡領域Ａ２を広く（距離Ｌを長く）してもよい。

［例３ｄ］コントローラ４０は、種類情報取得部３５に取得された先端装置２５の種類に関する情報に応じて、予測軌跡領域Ａ２の範囲を変えてもよい。

［例３ｅ］コントローラ４０は、オペレータ情報取得部３６に取得されたオペレータＯ情報に応じて、予測軌跡領域Ａ２の範囲を変えてもよい。具体的には例えば、オペレータＯの熟練度によって、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれの大きさが異なる。例えば、オペレータＯが熟練者であるほど、現在の操作部１８の操作状態が維持されたまま先端装置２５を移動させることができるので、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれが小さい。一方、オペレータＯが非熟練者であるほど、無駄な操作が多く、操作部１８の操作状態が変化しやすく、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれが大きい。そこで、コントローラ４０は、熟練度の高いオペレータＯほど予測軌跡領域Ａ２を狭く設定してもよい。また、オペレータＯによって操作の傾向（癖）が異なる。例えば、実際の先端装置２５の軌跡と予測軌跡Ａ１とのずれの傾向（ずれの大きさ、向きなど）がオペレータＯによって異なる場合がある。また、注視点領域Ｂ２と予測軌跡Ａ１とのずれの傾向がオペレータＯによって異なる場合がある。そこで、コントローラ４０は、オペレータＯに応じて予測軌跡領域Ａ２を変えてもよい。

［例３ｆ］コントローラ４０は、予測軌跡領域Ａ２の範囲を、学習により変えてもよい（調整してもよい）。例えば、コントローラ４０は、目標位置Ｔを推測した後（後述するステップＳ４３の後）、第１所定時間内に、先端装置２５（さらに詳しくは特定位置２５ｔ）が目標位置Ｔに移動したか否かに応じて、予測軌跡領域Ａ２の範囲を変える。具体的には例えば、作業機械１による作業の開始時には、予測軌跡領域Ａ２をできるだけ広く設定しておくことで、予測軌跡領域Ａ２に注視点領域Ｂ２が含まれやすくする。そして、作業中に、目標位置Ｔの推測が行われる。目標位置Ｔが推測され、ある時間（第１所定時間）内に、先端装置２５が目標位置Ｔに実際に移動した場合は、目標位置Ｔの推測が妥当であったことになる。この場合、コントローラ４０は、目標位置Ｔの精度を向上させるために、予測軌跡領域Ａ２を狭くする。例えば、コントローラ４０は、目標位置Ｔの推測が妥当であった回数が所定回数を超えた場合に、予測軌跡領域Ａ２を狭くしてもよい。一方、目標位置Ｔが推測された後、第１所定時間内に、先端装置２５が目標位置Ｔに移動しなかった場合は、目標位置Ｔの推測が妥当ではなかったことになる。この場合、予測軌跡領域Ａ２を広くすることで、目標位置Ｔの候補となる領域を広げる。これにより、オペレータＯの実際の作業目標位置が、目標位置Ｔに含まれやすくなる。

（注視点領域Ｂ２の算出（ステップＳ３０））
コントローラ４０は、視線検出部３３（図３参照）の検出結果に基づいて、注視点領域Ｂ２を算出する（ステップＳ３０）。注視点領域Ｂ２の算出の詳細は、次の通りである。

視線検出部３３に検出されたオペレータＯの視線Ｂ０の情報（向き）が、コントローラ４０に入力される（ステップＳ３１）。

コントローラ４０は、視線Ｂ０の情報を、距離情報に関連付ける（ステップＳ３３）。さらに詳しくは、コントローラ４０は、視線Ｂ０の現実の位置（例えば、視線Ｂ０の通過点の位置および方向）を、距離情報のデータ上の位置に関連付ける（対応付ける、重畳させる）。なお、この関連付けに必要となる情報は、予めコントローラ４０に設定される。具体的には例えば、基準位置に対する視線検出部３３の位置および検出方向などの情報は、予めコントローラ４０に設定される。

コントローラ４０は、視線検出部３３の検出結果に基づいて、注視点Ｂ１（アイポイント位置）を算出する（ステップＳ３５）。注視点Ｂ１は、オペレータＯが注視している現実の位置に対応する、距離情報における位置（データ上の位置）である。

コントローラ４０は、視線検出部３３の検出結果に基づいて、注視点領域Ｂ２を算出する（ステップＳ３７）。注視点領域Ｂ２は、距離情報におけるデータ上の領域（位置の範囲）であり、注視点Ｂ１に基づく領域である。予測軌跡領域Ａ２と同様に、注視点領域Ｂ２は、目標位置Ｔの候補となる領域である。注視点領域Ｂ２が狭いほど、目標位置Ｔの候補となる領域が狭くなり、目標位置Ｔの精度が向上し得る。一方、注視点領域Ｂ２が狭いほど、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれない可能性が高くなり、目標位置Ｔを特定できない可能性が高くなる。また、注視点領域Ｂ２が広いほど、目標位置Ｔの候補となる領域が広くなり、注視点領域Ｂ２が予測軌跡領域Ａ２に含まれやすくなる。一方、注視点領域Ｂ２が広いほど、目標位置Ｔの精度は悪くなり得る（予測軌跡領域Ａ２の広さによる）。

注視点Ｂ１に対する注視点領域Ｂ２の範囲（単に「注視点領域Ｂ２の範囲」とも言う）（例えば広さ）は、様々に設定可能である。［例４］注視点領域Ｂ２は、注視点Ｂ１と一致してもよい。注視点領域Ｂ２は、点状または線状の領域でもよい。［例４ａ］この場合、現在の（ある瞬間の）注視点Ｂ１を注視点領域Ｂ２としてもよい。［例４ｂ］ある時間内での注視点Ｂ１の軌跡を注視点領域Ｂ２としてもよい。この「ある時間」は、一定時間でもよく、下記の第２所定時間などと同様に様々に設定されてもよい（下記の［例５ｂ］の「ある時間」も同様）。［例５］注視点領域Ｂ２は、広がりを有する領域でもよい。［例５ａ］この場合、現在の（ある瞬間の、１点の）注視点Ｂ１を含む、広がりを有する領域を、注視点領域Ｂ２としてもよい。［例５ｂ］また、ある時間内での注視点Ｂ１の軌跡を含む、広がりを有する領域を注視点領域Ｂ２としてもよい。

［例６］オペレータＯの注視点Ｂ１は常時揺れ動いているところ、オペレータＯが特に見ていると推測される領域を、注視点領域Ｂ２としてもよい。さらに詳しくは、コントローラ４０は、図５に示すように、ある時間（第２所定時間）内での注視点Ｂ１の頻度の分布に基づいて、注視点領域Ｂ２を設定してもよい。なお、図５では、点で示す複数の注視点Ｂ１のうち、一部の注視点Ｂ１にのみ符号を付した。［例６ａ］具体的には、距離情報を複数の領域に分け、注視点Ｂ１が含まれた回数を各領域で計測することで、注視点Ｂ１の頻度の分布が算出される。コントローラ４０は、距離情報における複数の領域の中で、注視点Ｂ１の頻度が、閾値ｔｈ１（注視点領域設定閾値）よりも大きい領域を、注視点領域Ｂ２とする。［例６ａ１］例えば、距離情報をメッシュ状に複数の領域に分け、各領域での注視点Ｂ１の頻度の分布が算出されてもよい。［例６ａ２］図５に示す例では、図５における左右方向の注視点Ｂ１の頻度の分布を示した。［例６ａ３］図５における上下方向の注視点Ｂ１の頻度の分布が算出されてもよい。

［例７ａ］上記［例６］において、注視点Ｂ１の分布を取得する時間（第２所定時間）は、一定時間でもよい。［例７ｂ］上記［例６］において、注視点領域Ｂ２を決定するための閾値ｔｈ１は、一定値でもよい。

［例８］注視点Ｂ１に対する注視点領域Ｂ２の範囲（以下、単に「注視点領域Ｂ２の範囲」とも言う）は、何らかの条件に応じて変えられても（設定されても）よい。具体的には、上記の第２所定時間および閾値ｔｈ１の少なくともいずれかは、何らかの条件に応じて変えられてもよい。第２所定時間を長くするほど注視点領域Ｂ２は広くなる。閾値ｔｈ１を小さくするほど、注視点領域Ｂ２は広くなる。［例８ａ］注視点Ｂ１と注視点領域Ｂ２との関係は、オペレータＯなどが入力した情報に応じて変えられてもよい。

［例８ｂ］コントローラ４０は、図２に示す先端装置２５の移動速度に応じて、注視点領域Ｂ２の範囲を変えてもよい。先端装置２５の移動速度は、例えば、ステップＳ２２で算出される先端装置２５の位置の単位時間当たりの変化量である。例えば、先端装置２５の移動速度が速いほど、オペレータＯが実際の作業目標位置を見る時間が短いと考えられる。そこで、コントローラ４０は、先端装置２５の移動速度が速いほど、第２所定時間を短くしてもよい。なお、この例はあくまで一例であり（以下の具体例も同様）、コントローラ４０は、先端装置２５の速度が速いほど第２所定時間を長くしてもよい。

［例８ｃ］コントローラ４０は、姿勢検出部３１に検出されたアタッチメント２０の姿勢に応じて、注視点領域Ｂ２の範囲を変えてもよい。［例８ｄ］コントローラ４０は、種類情報取得部３５に取得された先端装置２５の種類情報に応じて、注視点領域Ｂ２の範囲を変えてもよい。

［例８ｅ］コントローラ４０は、オペレータ情報取得部３６に取得されたオペレータＯ情報に応じて、注視点領域Ｂ２を変えてもよい。具体的には例えば、オペレータＯによって、実際の作業目標位置を注視する時間、および注視点Ｂ１の揺れ動きの度合いが相違する。例えば、オペレータＯが熟練者であるほど、注視点Ｂ１の揺れ動きが少ないと考えられる。そこで、コントローラ４０は、熟練度の高いオペレータＯほど注視点領域Ｂ２を狭く設定してもよく、具体的には例えば、第２所定時間を短くしてもよく、閾値ｔｈ１を高くしてもよい。

［例８ｆ］コントローラ４０は、注視点領域Ｂ２の範囲を、学習により変えてもよい（調整してもよい）。例えば、コントローラ４０は、目標位置Ｔを推測した後（ステップＳ４３の後）、第３所定時間内に、先端装置２５（さらに詳しくは特定位置２５ｔ）が目標位置Ｔに移動したか否かに応じて、注視点領域Ｂ２を変える。具体的には例えば、上記［例３ｆ］と同様に、作業機械１の作業の開始時には、注視点領域Ｂ２をできるだけ広くしておくことで、予測軌跡領域Ａ２に注視点領域Ｂ２が含まれやすくする。そして、作業機械１の作業中に、目標位置Ｔの推測が行われる。目標位置Ｔが推測された後、ある時間（第３所定時間）内に、先端装置２５が目標位置Ｔに実際に移動した場合は、目標位置Ｔの推測が妥当であったことになる。この場合、コントローラ４０は、目標位置Ｔの精度を向上させるために、注視点領域Ｂ２を狭くしてもよい。例えば、コントローラ４０は、目標位置Ｔの推測が妥当であった回数が所定回数を超えた場合に、注視点領域Ｂ２を狭くしてもよい。一方、目標位置Ｔが推測され、第３所定時間内に、先端装置２５が目標位置Ｔに移動しなかった場合は、目標位置Ｔの推測が妥当ではなかったことになる。この場合、注視点領域Ｂ２を広くすることで、目標位置Ｔの候補となる領域を広げてもよい。これにより、オペレータＯの実際の作業目標位置が、目標位置Ｔに含まれやすくなる。

オペレータＯの実際の作業目標位置は、通常１か所であるため、注視点領域Ｂ２は通常１か所である。図２に示す例では、注視点領域Ｂ２は１か所である。一方、注視点領域Ｂ２の条件を満たす領域が複数か所に存在する（互いに離れた位置に存在する）場合も考えられる。この場合は、注視点領域Ｂ２の条件を満たす複数の領域を、そのまま注視点領域Ｂ２としてもよい。また、この場合は、上記「複数の領域」を含むような範囲であって、現在の注視点領域Ｂ２よりも広い１か所の範囲を、新たな注視点領域Ｂ２としてもよい。

（目標位置Ｔの算出（ステップＳ４０））
コントローラ４０は、予測軌跡領域Ａ２および注視点領域Ｂ２に基づいて、目標位置Ｔを算出する（ステップＳ４０）。この算出の詳細は次の通りである。

コントローラ４０は、予測軌跡領域Ａ２の範囲内かつ注視点領域Ｂ２の範囲内である重複領域Ｃを算出する（ステップＳ４１）。なお、重複領域Ｃが存在しない場合は、目標位置Ｔは算出されない。この場合は、例えば、次回の処理から、予測軌跡領域Ａ２および注視点領域Ｂ２の少なくともいずれかを、現在（今回の処理）よりも広く設定してもよい。

除外領域取得部３７（図３参照）に取得された除外領域Ｄが、コントローラ４０に入力される。除外領域Ｄは、目標位置Ｔから除外する領域である。具体的には例えば、作業機械１が土砂を掘削する作業を行う場合、土砂の運搬車両が存在する領域、および、建物が存在する領域などは、オペレータＯの実際の作業目標位置ではない。そこで、実際の作業目標位置とはならない領域を除外領域Ｄとする。そして、コントローラ４０は、重複領域Ｃから除外領域Ｄを除外する（ステップＳ４２）。除外領域Ｄは、例えばオペレータＯなどが入力した情報に基づいて取得されてもよい。除外領域Ｄは、距離情報検出部３４の距離情報に基づいて自動的に設定されてもよく、距離情報検出部３４以外の検出部（カメラなど）に取得された画像に基づいて自動的に設定されてもよい。

コントローラ４０は、重複領域Ｃから除外領域Ｄを除いた領域を、目標位置Ｔとする（ステップＳ４３）。目標位置Ｔは、例えば所定の時間ごとに更新される。目標位置Ｔは、様々に利用可能であり、例えば操作のアシスト、操作のガイダンス、操作の訓練、操作の自動化（例えば視線Ｂ０による操作）などに利用できる。

（背景の例）
建設現場での人手不足が問題となっており、特に、熟練オペレータ不足による建設現場の生産性の低下が問題となっている。さらに詳しくは、非熟練オペレータは、熟練オペレータに比べて、無駄な操作が多く、安定した作業を行うのが難しいため、生産性の低下の要因になっている。さらに具体的には、非熟練オペレータは、作業目標位置を特定しても、その位置に素早く無駄なく先端装置２５を移動させ停止させるなどの技量がないことがある。また、作業機械１の種類（大きさや、後方小旋回機であるか否かなど）によって、上部旋回体１５やアタッチメント２０の慣性力や特性が変わる。そのため、ある機種の操作に慣れたオペレータでも、作業機械１の種類が変わるごとに、作業機械１の特性を理解して操作できるようになるまでに時間がかかる。上記の問題を改善するには、操作のアシスト、操作のガイダンス、操作の訓練、操作の自動化などが考えられるところ、これらには、具体的な目標位置Ｔの特定が必要である。なお、この背景の例に関する問題点は、本実施形態によって解決されなくてもよい。

また、自動車の運転者の走行目標位置は、通常、決められた走行車線上である。一方、作業機械１では、様々な位置が、オペレータＯの作業目標位置となり得る。例えば、作業機械１では、成形しようとする土の形状に対して、現状の土の状態や形状などを加味して、ある程度自由な範囲でオペレータＯが作業目標位置を決める。そのため、オペレータＯの視線Ｂ０の情報のみから作業目標位置を推測することは困難である。一方、本実施形態では、以下のように作業機械１のオペレータＯの作業目標位置を推測できる。

（効果）
図２に示す目標位置推測装置３０による効果は次の通りである。なお、コントローラ４０については図３を参照する。

（第１の発明の効果）
目標位置推測装置３０は、アタッチメント２０の先端部に設けられる先端装置２５を備える作業機械１に用いられる。図３に示すように、目標位置推測装置３０は、姿勢検出部３１と、操作検出部３２と、視線検出部３３と、距離情報検出部３４と、コントローラ４０と、を備える。姿勢検出部３１は、図２に示す作業機械１の姿勢を検出する。操作検出部３２（図３参照）は、作業機械１の操作を検出する。視線検出部３３（図３参照）は、作業機械１を操作するオペレータＯの視線Ｂ０を検出する。距離情報検出部３４（図３参照）は、作業機械１の前方の距離情報を検出する。コントローラ４０は、オペレータＯの目標位置Ｔを推測する。

［構成１］図３に示すコントローラ４０は、姿勢検出部３１および操作検出部３２のそれぞれの検出結果に基づいて、図２に示す予測軌跡領域Ａ２を算出する。予測軌跡領域Ａ２は、先端装置２５が通ると予測される軌跡である予測軌跡Ａ１に基づく領域であって、距離情報における領域である。コントローラ４０は、視線検出部３３の検出結果に基づいて、注視点領域Ｂ２を算出する。注視点領域Ｂ２は、オペレータＯの注視点Ｂ１に基づく領域であって、距離情報における領域である。目標位置Ｔの条件には、予測軌跡領域Ａ２の範囲内かつ注視点領域Ｂ２の範囲（重複領域Ｃ）内であることが含まれる。

上記［構成１］では、オペレータＯの注視点Ｂ１に基づく注視点領域Ｂ２の範囲内、かつ、先端装置２５の予測軌跡領域Ａ２の範囲内であることが、目標位置Ｔの条件に含まれる。よって、オペレータＯの注視点Ｂ１に関する情報のみに基づいて目標位置Ｔを推測する場合に比べ、オペレータＯの実際の作業目標位置に対する、目標位置Ｔの精度を高くできる。したがって、作業機械１のオペレータＯの作業目標位置を精度良く推測できる。

（第２の発明の効果）
［構成２］コントローラ４０は、先端装置２５の種類に関する情報に応じて、予測軌跡Ａ１を変える。

オペレータＯが作業目標位置とする位置（特定位置２５ｔ）は、先端装置２５の種類によって異なる。そのため、先端装置２５の種類によって、適切な予測軌跡Ａ１が異なる。そこで、目標位置推測装置３０は、上記［構成２］を備える。よって、先端装置２５の種類に基づいた適切な予測軌跡Ａ１を算出でき、その結果、予測軌跡領域Ａ２を、先端装置２５の種類に基づいた適切な領域（位置、範囲）に設定できる。

（第３の発明の効果）
［構成３］コントローラ４０は、先端装置２５の移動速度に応じて、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲を変える。

上記［構成３］により、予測軌跡領域Ａ２を、先端装置２５の移動速度に基づいた適切な領域に設定できる。

［効果α］例えば、予測軌跡領域Ａ２を狭くした（距離Ｌを短くした）場合は、オペレータＯの実際の作業目標位置に対する目標位置Ｔの精度をより向上させることができる。また、予測軌跡領域Ａ２を広くした（距離Ｌを長くした）場合は、オペレータＯの実際の作業目標位置を予測軌跡領域Ａ２（目標位置Ｔの候補となる領域）に含まれやすくできる。

（第４の発明の効果）
［構成４］コントローラ４０は、アタッチメント２０の姿勢に応じて、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲を変える。

上記［構成４］により、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲を、アタッチメント２０の姿勢に基づいた適切な領域に設定できる。その結果、上記［効果α］と同様の効果を得ることができる。

（第５の発明の効果）
［構成５］コントローラ４０は、作業機械１を操作しているオペレータＯに関する情報に応じて、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲を変える。

上記［構成５］により、予測軌跡領域Ａ２を、オペレータＯに関する情報に基づいた適切な領域に設定できる。その結果、上記［効果α］と同様の効果を得ることができる。

（第６の発明の効果）
［構成６］コントローラ４０は、目標位置Ｔを推測した後、第１所定時間内に、先端装置２５が目標位置Ｔに移動したか否かに応じて、予測軌跡Ａ１に対する予測軌跡領域Ａ２の範囲を変える。

目標位置Ｔを推測した後、第１所定時間内に、先端装置２５が目標位置Ｔに移動した場合は、目標位置Ｔの推測が妥当であったと言える。一方、目標位置Ｔを推測した後、第１所定時間内に、先端装置２５が目標位置Ｔに移動しなかった場合は、目標位置Ｔの推測が妥当でなかったと言える。そこで、目標位置推測装置３０は、上記［構成６］を備える。よって、予測軌跡領域Ａ２を、目標位置Ｔの推測が妥当であったか否かに基づいた適切な領域に設定できる。その結果、上記［効果α］と同様の効果を得られる。

（第７の発明の効果）
［構成７］コントローラ４０は、第２所定時間内での注視点Ｂ１の頻度の分布に基づいて、注視点領域Ｂ２を設定する。

オペレータＯの視点は揺れ動くので、オペレータＯの注視点Ｂ１が、必ずしもオペレータＯの実際の作業目標位置に一致するとは限らない。そこで、目標位置推測装置３０は、上記［構成７］を備える。よって、オペレータＯの実際の作業目標位置である可能性が高い領域を、注視点領域Ｂ２として設定できる。

［効果β］例えば、注視点領域Ｂ２を広くした場合は、オペレータＯの実際の作業目標位置に対する目標位置Ｔの精度をより向上させることができる。また、注視点領域Ｂ２を狭くした場合は、オペレータＯの実際の作業目標位置を注視点領域Ｂ２（目標位置Ｔの候補となる領域）に含まれやすくできる。

（第８の発明の効果）
［構成８］コントローラ４０は、先端装置２５の移動速度に応じて、注視点Ｂ１に対する注視点領域Ｂ２の範囲を変える。

上記［構成８］により、注視点領域Ｂ２の範囲を、先端装置２５の移動速度に応じた適切な範囲に設定できる。その結果、上記［効果β］と同様の効果を得ることができる。

（第９の発明の効果）
［構成９］コントローラ４０は、作業機械１を操作しているオペレータＯに関する情報に応じて、注視点Ｂ１に対する注視点領域Ｂ２の範囲を変える。

上記［構成９］により、注視点領域Ｂ２を、オペレータＯに関する情報に基づいた適切な領域に設定できる。その結果、上記［効果β］と同様の効果を得ることができる。

（第１０の発明の効果）
［構成１０］コントローラ４０は、目標位置Ｔを推測した後、第３所定時間内に、先端装置２５が目標位置Ｔに移動したか否かに応じて、注視点Ｂ１に対する注視点領域Ｂ２の範囲を変える。

上記［構成１０］により、注視点領域Ｂ２を、目標位置Ｔの推測が妥当であったか否かに基づいた適切な領域に設定できる（上記［構成６］による効果の説明を参照）。その結果、上記［効果β］と同様の効果を得られる。

（第１１の発明の効果）
［構成１１］コントローラ４０は、目標位置Ｔから除外する領域である除外領域Ｄを取得する。目標位置Ｔの条件には、除外領域Ｄの外部であることが含まれる。

上記［構成１１］により、オペレータＯの作業目標位置ではないと想定される領域を除外領域Ｄに設定した場合、目標位置Ｔの精度をより向上させることができる。

（変形例）
例えば、図３に示す回路の接続は変更されてもよい。例えば、図４に示すフローチャートのステップの順序が変更されてもよく、ステップの一部が行われなくてもよい。例えば、上記実施形態の構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部分（構成要素）として説明したものが、一つの部分とされてもよい。例えば、一つの部分として説明したものが、互いに異なる複数の部分に分けて設けられてもよい。

例えば、目標位置推測装置３０（図２、図３を参照）の構成要素の一部が、図２に示す作業機械１の外部に配置されてもよい。例えば、コントローラ４０が、作業機械１の外部に配置されてもよい。オペレータＯは、作業機械１の外部で作業機械１を遠隔操縦してもよい。この場合、座席１７、操作部１８、操作検出部３２（図４参照）、および視線検出部３３は、作業機械１の外部に配置される。この場合、オペレータＯは、作業機械１の周囲の画像が映された画面を見ながら操作するところ、視線検出部３３は、このオペレータＯの視線Ｂ０（画面のどこを見ているか）を検出する。

例えば、上記のように、予測軌跡領域Ａ２は、予測軌跡Ａ１と一致してもよく（線状の領域でもよく）、注視点領域Ｂ２は、注視点Ｂ１と一致してもよい（点状または線状でもよい）。予測軌跡領域Ａ２および注視点領域Ｂ２の少なくともいずれかは、空間的広がりを有する領域であることが好ましい。

例えば、何らかの条件に応じて予測軌跡Ａ１、予測軌跡領域Ａ２、注視点Ｂ１、および注視点領域Ｂ２を変える例を示したが、各例の一部のみが行われてもよい。例えば、除外領域Ｄは設定されなくてもよい。

１ 作業機械
２０ アタッチメント
２５ 先端装置
３０ 目標位置推測装置
３１ 姿勢検出部
３２ 操作検出部
３３ 視線検出部
３４ 距離情報検出部
４０ コントローラ
Ａ１ 予測軌跡
Ａ２ 予測軌跡領域
Ｂ１ 注視点
Ｂ２ 注視点領域
Ｄ 除外領域
Ｏ オペレータ
Ｔ 目標位置

Claims (11)

1. アタッチメントの先端部に設けられる先端装置を備える作業機械に用いられる、目標位置推測装置であって、
   前記作業機械の姿勢を検出する姿勢検出部と、
   前記作業機械の操作を検出する操作検出部と、
   前記作業機械を操作するオペレータの視線を検出する視線検出部と、
   前記作業機械の前方の距離情報を検出する距離情報検出部と、
   前記オペレータの目標位置を推測するコントローラと、
   を備え、
   前記コントローラは、
   前記姿勢検出部および前記操作検出部のそれぞれの検出結果に基づいて、前記先端装置が通ると予測される軌跡である予測軌跡に基づく領域であって、前記距離情報における領域である予測軌跡領域を算出し、
   前記視線検出部の検出結果に基づいて、前記オペレータの注視点に基づく領域であって、前記距離情報における領域である注視点領域を算出し、
   前記目標位置の条件には、前記予測軌跡領域の範囲内かつ前記注視点領域の範囲内であることが含まれる、
   目標位置推測装置。
2. 請求項１に記載の目標位置推測装置であって、
   前記コントローラは、前記先端装置の種類に関する情報に応じて、前記予測軌跡を変える、
   目標位置推測装置。
3. 請求項１または２に記載の目標位置推測装置であって、
   前記コントローラは、前記先端装置の移動速度に応じて、前記予測軌跡に対する前記予測軌跡領域の範囲を変える、
   目標位置推測装置。
4. 請求項１～３のいずれか１項に記載の目標位置推測装置であって、
   前記コントローラは、前記アタッチメントの姿勢に応じて、前記予測軌跡に対する前記予測軌跡領域の範囲を変える、
   目標位置推測装置。
5. 請求項１～４のいずれか１項に記載の目標位置推測装置であって、
   前記コントローラは、前記作業機械を操作している前記オペレータに関する情報に応じて、前記予測軌跡に対する前記予測軌跡領域の範囲を変える、
   目標位置推測装置。
6. 請求項１～５のいずれか１項に記載の目標位置推測装置であって、
   前記コントローラは、前記目標位置を推測した後、第１所定時間内に、前記先端装置が前記目標位置に移動したか否かに応じて、前記予測軌跡に対する前記予測軌跡領域の範囲を変える、
   目標位置推測装置。
7. 請求項１～６のいずれか１項に記載の目標位置推測装置であって、
   前記コントローラは、第２所定時間内での前記注視点の頻度の分布に基づいて、前記注視点領域を設定する、
   目標位置推測装置。
8. 請求項１～７のいずれか１項に記載の目標位置推測装置であって、
   前記コントローラは、前記先端装置の移動速度に応じて、前記注視点に対する前記注視点領域の範囲を変える、
   目標位置推測装置。
9. 請求項１～８のいずれか１項に記載の目標位置推測装置であって、
   前記コントローラは、前記作業機械を操作している前記オペレータに関する情報に応じて、前記注視点に対する前記注視点領域の範囲を変える、
   目標位置推測装置。
10. 請求項１～９のいずれか１項に記載の目標位置推測装置であって、
    前記コントローラは、前記目標位置を推測した後、第３所定時間内に、前記先端装置が前記目標位置に移動したか否かに応じて、前記注視点に対する前記注視点領域の範囲を変える、
    目標位置推測装置。
11. 請求項１～１０のいずれか１項に記載の目標位置推測装置であって、
    前記コントローラは、
    前記目標位置から除外する領域である除外領域を取得し、
    前記目標位置の条件には、前記除外領域の外部であることが含まれる、
    目標位置推測装置。

Images