JP2021033373A - Work machine - Google Patents

Work machine Download PDF

Info

Publication number
JP2021033373A
JP2021033373A JP2019149083A JP2019149083A JP2021033373A JP 2021033373 A JP2021033373 A JP 2021033373A JP 2019149083 A JP2019149083 A JP 2019149083A JP 2019149083 A JP2019149083 A JP 2019149083A JP 2021033373 A JP2021033373 A JP 2021033373A
Authority
JP
Japan
Prior art keywords
transmission
main body
speaker
voice
target position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019149083A
Other languages
Japanese (ja)
Other versions
JP7148464B2 (en
Inventor
貴彦 黒瀬
Takahiko Kurose
貴彦 黒瀬
荒井 雅嗣
Masatsugu Arai
雅嗣 荒井
田中 正道
Masamichi Tanaka
正道 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2019149083A priority Critical patent/JP7148464B2/en
Publication of JP2021033373A publication Critical patent/JP2021033373A/en
Application granted granted Critical
Publication of JP7148464B2 publication Critical patent/JP7148464B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Emergency Alarm Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

To provide a work machine that can receive cooperation from surrounding workers while ensuring the safety of the surrounding workers, even if it is a work machine that operates unmanned.SOLUTION: Providing omnidirectional speakers (22a to 22d) that emit sound in any direction around a main body (1), a controller (30) includes: ambient condition acquisition units (305, 306) that acquire at least ambient sound or images as an ambient condition; ambient condition output units (330, 340) that notify an administrator at a work site of the ambient condition; an outgoing voice acquisition unit (304) that acquires an outgoing voice DV of the administrator; a transmission target position setting unit (303) for setting a transmission target position PT of the outgoing voice DV; a transmission direction volume calculation unit (310) that calculates a transmission direction CD and volume CP of the outgoing voice DV so that the change in volume of the outgoing voice DV reaching the transmission target position PT is small based on the transmission target position PT, and the direction RC and the position PC of the main body; and an audio output unit (320) that processes the outgoing voice DV to generate an audio signal and outputs the audio signal to the omnidirectional speakers based on the calculation result of the transmission direction volume calculation unit.SELECTED DRAWING: Figure 5

Description

本発明は作業機械に係り、特に周囲作業者に対する指示音声を発信する技術に関する。 The present invention relates to a work machine, and particularly relates to a technique for transmitting an instruction voice to surrounding workers.

土木現場において舗装作業に従事するタイヤローラなどの作業機械は、本体を形成するフレーム、走行及び路面の転圧を行うための車輪を有し、オペレータによる操作指示により走行して所望の作業を行う。 Work machines such as tire rollers engaged in pavement work at civil engineering sites have a frame forming the main body and wheels for running and rolling the road surface, and run according to an operation instruction by an operator to perform desired work. ..

このような作業機械では近年、無人で所定の領域を自動的に施工する自律施工システムの導入が進められている。しかしながら、作業機械だけでは工程の全作業を行うことができないため、一般に手元作業とよばれる準備、検測、片付けなどの補助作業を行う作業者が作業機械の周囲で協働している。 In recent years, such work machines have been introduced with an autonomous construction system that automatically constructs a predetermined area unmanned. However, since it is not possible to perform all the work of the process with the work machine alone, workers who perform auxiliary work such as preparation, inspection, and tidying up, which is generally called manual work, cooperate around the work machine.

このような実情から、無人で稼働する作業機械であっても、周囲作業者の安全を確保しながら周囲作業者から手元作業の協力を受けられる運用の実現が求められている。例えば、移動体が検出した周囲情報に基づいて、接近警告音の生成及び複数のスピーカからの放音を行う接近警告音発生装置と呼ばれる装置を用いる技術が提案されている(特許文献1)。 Under these circumstances, it is required to realize an operation in which even a work machine that operates unmanned can receive cooperation from surrounding workers while ensuring the safety of surrounding workers. For example, a technique using a device called an approach warning sound generator that generates an approach warning sound and emits a sound from a plurality of speakers based on the surrounding information detected by the moving body has been proposed (Patent Document 1).

特許第5549306号Patent No. 5549306

特許文献1に開示された技術を用いる場合、周囲作業者は接近警告音の放音を受けて安全を確保することができるが、単純に警告音による警告を受けるのみでは手元作業の段取りが分からず、自分の作業を遂行できない場合がある。 When the technique disclosed in Patent Document 1 is used, surrounding workers can ensure safety by receiving an approach warning sound, but simply receiving a warning sound does not tell the setup of the work at hand. In some cases, you may not be able to carry out your work.

本発明は上記問題点に鑑みてなされたものであり、その目的とするところは、無人で稼働する作業機械であっても、周囲作業者の安全を確保しながら周囲作業者から手元作業の協力を受けられる作業機械を提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to cooperate with surrounding workers while ensuring the safety of surrounding workers, even if the work machine operates unmanned. It is to provide a work machine that can receive.

上記の目的を達成するため、本発明の作業機械は、作業現場において走行するための走行装置を含む本体と、コントローラと、を備えた作業機械であって、前記本体は、前記本体の向いている方向を検出する方位検出装置と、前記本体の位置を検出する位置検出装置と、前記本体の周囲の任意方向に放音する全方位スピーカとを備え、前記コントローラは、前記本体の周囲状況として少なくとも前記本体の周囲の音声または画像を取得する周囲状況取得部と、前記周囲状況取得部が取得した周囲状況を作業現場の管理者に報知する周囲状況出力部と、前記管理者の発信音声を取得する発信音声取得部と、前記発信音声取得部が取得した前記発信音声の発信目標位置を設定する発信目標位置設定部と、前記発信目標位置、前記方位検出装置により検出された前記本体の方向及び前記位置検出装置により検出された前記本体の位置に基づいて、前記発信目標位置に届く前記発信音声の音量の変化が少なくなるよう、前記発信音声の発信方向及び音量を演算する発信方向音量演算部と、前記発信方向音量演算部の演算結果に基づいて、前記発信音声を加工して音声信号を生成し、前記音声信号を前記全方位スピーカに出力する音声出力部とを有する。 In order to achieve the above object, the work machine of the present invention is a work machine including a main body including a traveling device for traveling at a work site and a controller, and the main body faces the main body. The controller includes an azimuth detection device that detects the direction in which the user is present, a position detection device that detects the position of the main body, and an omnidirectional speaker that emits sound in an arbitrary direction around the main body. At least the surrounding situation acquisition unit that acquires the sound or image around the main body, the surrounding situation output unit that notifies the manager of the work site of the surrounding situation acquired by the surrounding situation acquisition unit, and the transmitted sound of the manager. The transmission sound acquisition unit to be acquired, the transmission target position setting unit that sets the transmission target position of the transmission voice acquired by the transmission voice acquisition unit, the transmission target position, and the direction of the main body detected by the direction detection device. And, based on the position of the main body detected by the position detection device, the transmission direction volume calculation for calculating the transmission direction and volume of the transmission sound so that the change in the volume of the transmission sound reaching the transmission target position is small. It has a unit and an audio output unit that processes the transmitted sound to generate an audio signal based on the calculation result of the transmission direction volume calculation unit and outputs the audio signal to the omnidirectional speaker.

その他の態様として、前記全方位スピーカは、前記本体の前方に向け放音する前方スピーカと、前記本体の左方に向け放音する左方スピーカと、前記本体の後方に向け放音する後方スピーカと、前記本体の右方に向け放音する右方スピーカとで構成され、前記音声出力部は、前記発信方向音量演算部の演算結果に基づいて、前記前方スピーカ、前記左方スピーカ、前記後方スピーカ及び前記右方スピーカの少なくともいずれか1つ以上に前記音声信号を出力する。 As another aspect, the omnidirectional speaker includes a front speaker that emits sound toward the front of the main body, a left speaker that emits sound toward the left side of the main body, and a rear speaker that emits sound toward the rear of the main body. And a right speaker that emits sound toward the right side of the main body, and the audio output unit includes the front speaker, the left speaker, and the rear based on the calculation result of the transmission direction volume calculation unit. The audio signal is output to at least one or more of the speaker and the right speaker.

本発明の作業機械によれば、管理者が音声を伝達したい周囲作業者等の位置と作業機械の位置及び方向に基づいて、管理者からの音声の発信方向及び発信音量を適切に演算し、管理者が音声を伝達したい周囲作業者等に向けて全方位スピーカで音声を発することができる。これにより、作業機械の管理者と周囲作業者の間で、安全や手元作業の段取りに関わる意思疎通を図ることが可能となる。その結果、無人で稼働する作業機械であっても、周囲作業者の安全を確保しながら周囲作業者から手元作業の協力を受けることができる。 According to the work machine of the present invention, the transmission direction and the transmission volume of the voice from the administrator are appropriately calculated based on the position of the surrounding workers and the like and the position and direction of the work machine to which the administrator wants to transmit the voice. The omnidirectional speaker can emit voice to the surrounding workers who want to transmit the voice. As a result, it becomes possible to communicate between the manager of the work machine and the surrounding workers regarding safety and setup of the work at hand. As a result, even if the work machine operates unmanned, it is possible to receive the cooperation of the surrounding workers from the surrounding workers while ensuring the safety of the surrounding workers.

本発明に係る作業機械を左側から視た側面図である。It is a side view which looked at the work machine which concerns on this invention from the left side. 本発明に係る作業機械の上視図である。It is a top view of the work machine which concerns on this invention. 管理者用コンピュータを示す図である。It is a figure which shows the computer for an administrator. 遠隔地の管理事務所の管理者と作業機械の通信形態のイメージを示す図である。It is a figure which shows the image of the communication form of the manager of the management office of a remote place, and the work machine. コントローラ及び管理者用コンピュータの制御系を示すブロック図である。It is a block diagram which shows the control system of a controller and a computer for an administrator. コントローラと管理者用コンピュータの各制御のシーケンスを示す図である。It is a figure which shows each control sequence of a controller and an administrator computer. 管理者用コンピュータが管理者用ディスプレイを介して管理者に表示する表示インタフェースの一例を示す図である。It is a figure which shows an example of the display interface which an administrator computer displays to an administrator through an administrator display. 発信方向及び発信音量の演算手順を示すフローチャートである。It is a flowchart which shows the calculation procedure of a transmission direction and a transmission volume. 指向性スピーカ単体の減衰特性を示す図である。It is a figure which shows the attenuation characteristic of a directional speaker alone. 4つの指向性スピーカによる発信音声のカバー範囲を示すイメージ図である。It is an image diagram which shows the coverage range of the transmitted voice by four directional speakers. 作業機械が発信目標位置の前を旋回しながら横切るように移動する状況を示す図である。It is a figure which shows the situation which the work machine moves so as to cross while turning in front of a transmission target position. 作業機械が図11に示すように移動した場合の発信方向音量ベクトルの変化を示す図である。It is a figure which shows the change of the transmission direction volume vector when the work machine moves as shown in FIG. 発信方向音量ベクトル及び発信音声の広がり方を示すイメージ図であって、作業機械の移動及び旋回を考慮しなかった補正なしの場合(a)と考慮した補正ありの場合(b)を示す図である。It is an image diagram showing the transmission direction volume vector and the spread of the transmitted voice, and is a diagram showing a case (a) without correction not considering the movement and turning of the work machine and a case (b) with correction considering it. .. 発信方向音量ベクトルを作業機械の速度で速度補正する場合を示す図である。It is a figure which shows the case where the transmission direction volume vector is speed-corrected by the speed of a work machine. 発信方向の角度情報に基づいて出力するスピーカを選択する図である。It is a figure which selects the speaker which outputs based on the angle information of a transmission direction.

以下、図面に基づき本発明の一実施形態について説明する。
図1を参照すると、本発明に係る作業機械の左側から視た側面図が示されており、図2を参照すると、作業機械の上側から視た上視図が模式的に示されている。作業機械は、例えば転圧車両であって、本体フレーム2に前輪及び後輪としての転圧ローラ(走行装置)3、4が配設されて本体1が構成されてなるタイヤローラである。そして、このタイヤローラは、オペレータによって運転操作も可能である一方、主としてオペレータが搭乗せずに遠方の管理者により遠隔操作されることで自動運転可能に構成されている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
With reference to FIG. 1, a side view seen from the left side of the work machine according to the present invention is shown, and with reference to FIG. 2, an upper view seen from the upper side of the work machine is schematically shown. The work machine is, for example, a rolling vehicle, and is a tire roller in which the main body 1 is configured by disposing rolling rollers (traveling devices) 3 and 4 as front wheels and rear wheels on the main body frame 2. While the tire roller can be operated by the operator, it is configured to be automatically operated mainly by being remotely controlled by a distant administrator without the operator boarding.

本体1は、エンジン5、エンジン5で油圧ポンプを作動させて発生する圧油により油圧モータを作動させて転圧ローラ4を駆動するHST(Hydro Static Transmission)7及び前輪である転圧ローラ3を操舵する操舵装置8を備えている。これにより、本体1は、自動運転時には、後述するコントローラ30によってエンジン5、HST7及び操舵装置8を作動制御することで、転圧ローラ3、4を回転させ、適宜転圧ローラ3を操舵させて、施工領域における路面等の地盤を転圧することが可能である。 The main body 1 includes an engine 5, an HST (Hydro Static Transmission) 7 that drives a rolling roller 4 by operating a hydraulic motor with pressure oil generated by operating a hydraulic pump in the engine 5, and a rolling roller 3 that is a front wheel. The steering device 8 for steering is provided. As a result, during automatic operation, the main body 1 rotates the rolling rollers 3 and 4 by controlling the operation of the engine 5, HST 7 and steering device 8 by the controller 30, which will be described later, and steers the rolling rollers 3 as appropriate. , It is possible to roll the ground such as the road surface in the construction area.

本体1には、例えば転圧ローラ3の回転速度を検出することで自車両の走行速度を計測する速度センサ12、本体1の進行方位を計測する方位センサ(方位検出装置)14、及び、自車両の位置をGNSS(Global Navigation Satellite System)、例えばGPS(Global Positioning System)で計測する位置センサ(位置検出装置)16が設けられている。また、本体1には、本体1の前後左右の各位置に伝達ユニット20a、20b、20c、20dが配設されている。 The main body 1 includes, for example, a speed sensor 12 that measures the traveling speed of its own vehicle by detecting the rotation speed of the rolling roller 3, an orientation sensor (direction detection device) 14 that measures the traveling direction of the main body 1, and its own. A position sensor (position detection device) 16 that measures the position of the vehicle by GNSS (Global Navigation Satellite System), for example, GPS (Global Positioning System) is provided. Further, in the main body 1, transmission units 20a, 20b, 20c, and 20d are arranged at positions on the front, back, left, and right of the main body 1.

これら伝達ユニット20a〜20dは、それぞれ本体1の前後左右の各方向に向けて音声を出力する前方スピーカ22a、左方スピーカ22b、後方スピーカ22c及び右方スピーカ22d(以下、まとめてスピーカ22a〜22dとも言う)と、本体1の前後左右の音声を取得するマイク24a〜24dと、本体1の前後左右の光景を画像として取得するカメラ26a〜26dとを有して構成されている。なお、前方スピーカ22a、左方スピーカ22b、後方スピーカ22c及び右方スピーカ22dにより任意方向に放音可能な全方位スピーカが構成されている。 These transmission units 20a to 20d include a front speaker 22a, a left speaker 22b, a rear speaker 22c, and a right speaker 22d (hereinafter collectively referred to as speakers 22a to 22d) that output sound toward the front, rear, left, and right directions of the main body 1, respectively. (Also referred to as), the speakers 24a to 24d for acquiring the front, rear, left, and right sounds of the main body 1, and the cameras 26a to 26d for acquiring the front, back, left, and right scenes of the main body 1 as images. The front speaker 22a, the left speaker 22b, the rear speaker 22c, and the right speaker 22d constitute an omnidirectional speaker capable of emitting sound in any direction.

そして、本体1には、本体1の各種作動制御を行うとともに、伝達ユニット20a〜20dのマイク24a〜24d及びカメラ26a〜26dから得られた音声や映像等の情報を処理して無線通信アンテナ32を介して遠隔地の管理事務所の管理者に送信する一方、無線通信アンテナ32を介して管理者から受信した音声情報に基づき出力すべき音量及び方向を演算してスピーカ22a〜22dに出力する音声信号を生成するコントローラ30を備えている。 Then, the main body 1 performs various operation controls of the main body 1 and processes information such as audio and video obtained from the microphones 24a to 24d and the cameras 26a to 26d of the transmission units 20a to 20d to process the wireless communication antenna 32. While transmitting to the administrator of the management office in a remote location via the wireless communication antenna 32, the volume and direction to be output are calculated based on the audio information received from the administrator via the wireless communication antenna 32 and output to the speakers 22a to 22d. It includes a controller 30 that generates an audio signal.

コントローラ30は、上述のように各種作動制御をはじめとして本体1の総合的な制御を行う制御装置であり、入出力装置、記憶装置(ROM、RAM、不揮発性RAM等)、中央処理装置(CPU)等を含んで構成されている。 As described above, the controller 30 is a control device that performs comprehensive control of the main body 1 including various operation controls, and is an input / output device, a storage device (ROM, RAM, non-volatile RAM, etc.), and a central processing unit (CPU). ) Etc. are included.

図3は、管理者用コンピュータ40を示す図である。管理者用コンピュータ40はノートパソコン等の民生用コンピュータであり、図3に示すように、無線通信によって音声や映像などを遠隔地の作業機械と送受する無線通信アンテナ41と、管理者が発信する音声の発信目標位置を指定する管理者用キーボード42と、管理者が発信する発信音声を取得する管理者用マイク44と、本体1の前後左右の音声を管理者に発信する管理者用スピーカ46と、本体1の前後左右の光景を管理者に画像で表示する管理者用ディスプレイ48とを備えている。 FIG. 3 is a diagram showing an administrator computer 40. The administrator computer 40 is a consumer computer such as a laptop computer, and as shown in FIG. 3, the administrator transmits a wireless communication antenna 41 that transmits and receives audio and video to and from a remote work machine by wireless communication. An administrator keyboard 42 that specifies a target position for transmitting voice, an administrator microphone 44 that acquires the transmitted voice transmitted by the administrator, and an administrator speaker 46 that transmits the front, back, left, and right voices of the main body 1 to the administrator. It also includes an administrator display 48 that displays the front, back, left, and right scenes of the main body 1 as images to the administrator.

図4は、遠隔地の管理事務所の管理者と作業機械の通信形態のイメージを示す図である。通常、管理者が管理する作業機械は作業機械A、B、Cのように複数台存在し、それぞれが担当する工区を与えられて、別々の場所で施工を行う。管理者は、管理事務所から管理者用コンピュータ40を用いて、図中の各作業機械を遠隔管理する。管理者用コンピュータ40は、各作業機械の本体1のコントローラ30が有する無線通信アンテナ32と同様に無線通信アンテナ41を有しているので、例えば無線電話回線を利用してインターネットに接続して相互に情報の送受信を行うことが可能である。以下、作業機械Aを例に説明する。作業機械B及び作業機械Cについては、作業機械Aと同様であり、説明を省略する。 FIG. 4 is a diagram showing an image of a communication mode between a manager of a management office in a remote location and a work machine. Normally, there are a plurality of work machines managed by the manager, such as work machines A, B, and C, and each is given a work area in charge, and construction is performed at different places. The administrator remotely manages each work machine in the drawing from the management office using the administrator computer 40. Since the administrator computer 40 has a wireless communication antenna 41 similar to the wireless communication antenna 32 included in the controller 30 of the main body 1 of each work machine, it is connected to the Internet using, for example, a wireless telephone line and mutually. It is possible to send and receive information to. Hereinafter, the work machine A will be described as an example. The work machine B and the work machine C are the same as those of the work machine A, and the description thereof will be omitted.

図5は、コントローラ30及び管理者用コンピュータ40の制御系を示すブロック図である。コントローラ30と管理者用コンピュータ40は、上述したように無線通信アンテナ32、41を介して無線による接続が確立されており、相互に通信可能な状態であるものとして説明する。 FIG. 5 is a block diagram showing a control system of the controller 30 and the administrator computer 40. The controller 30 and the administrator computer 40 will be described as being in a state where they can communicate with each other because the wireless connection is established via the wireless communication antennas 32 and 41 as described above.

コントローラ30は、方位センサ14から車両方位信号を取り込んで現在車両方位RCとして記憶する現在車両方位記憶部301と、位置センサ16から車両位置信号を取り込んで現在車両位置PCとして記憶する現在車両位置記憶部302と、後述する発信目標位置取得部401から無線通信を通じて発信目標位置DTを取り込んで記憶する発信目標位置記憶部(発信目標位置設定部)303と、後述する発信音声取得部402から無線通信を通じて発信音声DVを取り込んで記憶する発信音声記憶部(発信音声取得部)304と、マイク24a〜24dから周囲音声信号を取り込んで周囲音声SSとして記憶する周囲音声記憶部(周囲状況取得部)305と、カメラ26a〜26dから周囲画像信号を取り込んで周囲画像SPとして記憶する周囲画像記憶部(周囲状況取得部)306と、現在車両方位記憶部301、現在車両位置記憶部302及び発信目標位置記憶部303からの入力に応じて発信方向CD、発信音量CPを演算する発信方向音量演算部310と、発信方向音量演算部310、発信音声記憶部304からの入力に応じて音声信号を生成し、スピーカ22a〜22dに発信する音声発信部(音声出力部)320と、周囲音声記憶部305から周囲音声SSを取り込んで無線通信により後述する周囲音声提示部403に送信する周囲音声送信部(周囲状況出力部)330と、周囲画像記憶部306から周囲画像SPを取り込んで無線通信により後述する周囲画像提示部404に送信する周囲画像送信部(周囲状況出力部)340とを備えている。 The controller 30 has a current vehicle orientation storage unit 301 that captures a vehicle orientation signal from the orientation sensor 14 and stores it as the current vehicle orientation RC, and a current vehicle position memory that captures the vehicle position signal from the position sensor 16 and stores it as the current vehicle position PC. Wireless communication from unit 302, transmission target position storage unit (transmission target position setting unit) 303 that captures and stores transmission target position DT through wireless communication from transmission target position acquisition unit 401, which will be described later, and transmission voice acquisition unit 402, which will be described later. Outgoing voice storage unit (outgoing voice acquisition unit) 304 that captures and stores outgoing voice DV through, and ambient voice storage unit (surrounding situation acquisition unit) 305 that takes in ambient audio signals from microphones 24a to 24d and stores them as ambient audio SS. Around image storage unit (surrounding condition acquisition unit) 306 that captures ambient image signals from cameras 26a to 26d and stores them as ambient image SP, current vehicle orientation storage unit 301, current vehicle position storage unit 302, and transmission target position storage. A transmission direction volume calculation unit 310 that calculates the transmission direction CD and the transmission volume CP according to the input from the unit 303, and a voice signal are generated according to the inputs from the transmission direction volume calculation unit 310 and the transmission voice storage unit 304. A voice transmitting unit (voice output unit) 320 that transmits to the speakers 22a to 22d, and a surrounding voice transmitting unit (surrounding condition) that takes in the surrounding voice SS from the surrounding voice storage unit 305 and transmits the surrounding voice SS to the surrounding voice presenting unit 403 described later by wireless communication. An output unit) 330 and a peripheral image transmission unit (surrounding situation output unit) 340 that captures the ambient image SP from the ambient image storage unit 306 and transmits the ambient image SP to the ambient image presentation unit 404 described later by wireless communication.

管理者用コンピュータ40は、管理者用キーボード42から管理者操作信号を取り込んで、管理者の入力操作に応じた発信目標位置DTを演算して無線通信により発信目標位置記憶部303に送信する発信目標位置取得部401と、管理者用マイク44から管理者音声信号を取り込んで、発信音声DVとして無線通信により発信音声記憶部304に送信する発信音声取得部402と、周囲音声送信部330から周囲音声SSを取り込んで、提示用周囲音声信号を生成し、管理者用スピーカ46に出力する周囲音声提示部403と、周囲画像送信部340から周囲画像SPを取り込んで、提示用周囲画像信号を生成し、管理者用ディスプレイ48に出力する周囲画像提示部404とを備えている。 The administrator computer 40 takes in the administrator operation signal from the administrator keyboard 42, calculates the transmission target position DT according to the input operation of the administrator, and transmits the transmission to the transmission target position storage unit 303 by wireless communication. The target position acquisition unit 401, the outgoing voice acquisition unit 402 that takes in the administrator voice signal from the administrator microphone 44 and transmits it to the outgoing voice storage unit 304 by wireless communication as the outgoing voice DV, and the surrounding voice transmission unit 330 to surround the area. The ambient image SP for presentation is generated by capturing the ambient image SP from the ambient audio presentation unit 403 and the ambient image transmission unit 340 that capture the audio SS to generate the ambient audio signal for presentation and output it to the administrator speaker 46. It also includes a peripheral image presentation unit 404 that outputs to the administrator display 48.

図6は、管理者の管理者用コンピュータ40と作業機械のコントローラ30に対する操作及び管理者用コンピュータ40とコントローラ30間の送受信を含む管理者用コンピュータ40とコントローラ30の各制御のシーケンスを示す図である。 FIG. 6 is a diagram showing a sequence of each control of the administrator computer 40 and the controller 30, including operation of the administrator computer 40 and the controller 30 of the work machine and transmission / reception between the administrator computer 40 and the controller 30. Is.

同図に示すように、管理者が作業機械の電源をONにするとともに管理者用コンピュータ40の電源をONにすると、作業機械のコントローラ30とともに管理者用コンピュータ40が立ち上がり、作業機械のコントローラ30による本体1の各種作動制御が可能になるとともに管理者用コンピュータ40と作業機械のコントローラ30間の通信が開始される。 As shown in the figure, when the administrator turns on the power of the work machine and the power of the administrator computer 40, the administrator computer 40 starts up together with the controller 30 of the work machine, and the controller 30 of the work machine starts up. Various operation control of the main body 1 becomes possible, and communication between the administrator computer 40 and the controller 30 of the work machine is started.

以下、図6に沿い、管理者の操作、管理者用コンピュータ40及び作業機械のコントローラ30の本発明に係る制御内容について説明する。管理者用コンピュータ40及び作業機械のコントローラ30の当該制御は、管理者が管理者用コンピュータ40の電源をOFFにするとともに作業機械の電源をOFFにするまで周期的に実施され続ける(電源ON中ループ処理)。 Hereinafter, the control contents according to the present invention of the operation of the administrator, the computer 40 for the administrator, and the controller 30 of the work machine will be described with reference to FIG. The control of the administrator computer 40 and the controller 30 of the work machine continues to be periodically executed until the administrator turns off the power of the administrator computer 40 and turns off the power of the work machine (while the power is on). Loop processing).

作業機械のコントローラ30は、周囲音声記憶部305において、マイク24a〜24dから周囲音声信号を周囲音声SSとして取り込み(ステップS201)、周囲画像記憶部306において、カメラ26a〜26dから周囲画像信号を周囲画像SPとして取り込む(ステップS202)。 The controller 30 of the work machine captures the ambient audio signal from the microphones 24a to 24d as the ambient audio SS in the ambient audio storage unit 305 (step S201), and captures the ambient image signal from the cameras 26a to 26d in the ambient image storage unit 306. Imported as an image SP (step S202).

そして、コントローラ30は、周囲音声送信部330において、周囲音声記憶部305から周囲音声SSを読み出し、管理者用コンピュータ40の周囲音声提示部403に送信し(ステップS203)、周囲画像送信部340において、周囲画像記憶部306から周囲画像SPを読み出し、管理者用コンピュータ40の周囲画像提示部404に送信する(ステップS204)。 Then, the controller 30 reads the ambient voice SS from the ambient voice storage unit 305 in the ambient voice transmission unit 330 and transmits it to the ambient voice presentation unit 403 of the administrator computer 40 (step S203), and the ambient image transmission unit 340 , The surrounding image SP is read from the peripheral image storage unit 306 and transmitted to the peripheral image presenting unit 404 of the administrator computer 40 (step S204).

また、コントローラ30は、現在車両方位記憶部301において、方位センサ14から車両方位信号を取り込み(ステップS205)、現在車両位置記憶部302において、位置センサ16から車両位置信号を取り込む(ステップS206)。 Further, the controller 30 captures the vehicle direction signal from the orientation sensor 14 in the current vehicle orientation storage unit 301 (step S205), and captures the vehicle position signal from the position sensor 16 in the current vehicle position storage unit 302 (step S206).

管理者用コンピュータ40は、周囲音声提示部403において、周囲音声送信部330から周囲音声SSを取り込み(ステップS101)、周囲音声SSを基に提示用周囲音声信号を生成し、これを管理者用スピーカ46に出力する(ステップS103)。また、管理者用コンピュータ40は、周囲画像提示部404において、周囲画像送信部340から周囲画像SPを取り込み(ステップS102)、周囲画像SPを基に提示用周囲画像信号を生成し、これを管理者用ディスプレイ48に出力する(ステップS104)。 The administrator computer 40 takes in the ambient audio SS from the ambient audio transmission unit 330 in the ambient audio presentation unit 403 (step S101), generates a presentation ambient audio signal based on the ambient audio SS, and uses this for the administrator. Output to the speaker 46 (step S103). Further, the administrator computer 40 takes in the surrounding image SP from the surrounding image transmitting unit 340 in the surrounding image presenting unit 404 (step S102), generates a presentation peripheral image signal based on the surrounding image SP, and manages the surrounding image signal. Output to the personal display 48 (step S104).

図7は、管理者用コンピュータ40が管理者用ディスプレイ48を介して管理者に表示する表示インタフェースの一例を示す図である。このように、管理者用コンピュータ40は、本体1に搭載したカメラ26a〜26dから取得した画像を用いて、管理者に本体1の周囲状況を管理者用ディスプレイ48に視覚的に提示する。 FIG. 7 is a diagram showing an example of a display interface that the administrator computer 40 displays to the administrator via the administrator display 48. In this way, the administrator computer 40 visually presents the surrounding situation of the main body 1 to the administrator on the administrator display 48 by using the images acquired from the cameras 26a to 26d mounted on the main body 1.

管理者用ディスプレイ48の画面左側には、管理者の発信音声を発信する作業機械の選択状況が表示される。管理対象の作業機械A、作業機械B、作業機械Cが選択可能項目として並んでおり、ここでは上述したように作業機械Aが選択されている様子が白抜矢印で示されている。 On the left side of the screen of the administrator display 48, the selection status of the work machine that transmits the administrator's outgoing voice is displayed. The work machine A, the work machine B, and the work machine C to be managed are arranged as selectable items, and here, the state in which the work machine A is selected as described above is indicated by a white arrow.

選択項目の変更は、管理者用キーボード42の操作によって可能であり、選択された作業機械、ここでは作業機械Aについて周囲情報の提示及び発信音声の発信が実施される。
管理者用ディスプレイ48の画面右側には、作業機械Aの本体1における前方のカメラ26aの光景Ca、左方のカメラ26bの光景Cb、後方のカメラ26cの光景Cc、右方のカメラ26dの光景Cdが並べて表示され、各画像内には周囲作業者の位置及び遠近状況が模式的に表現される。
The selection items can be changed by operating the administrator keyboard 42, and the surrounding information is presented and the transmitted voice is transmitted for the selected work machine, here the work machine A.
On the right side of the screen of the administrator display 48, the view Ca of the front camera 26a, the view Cb of the left camera 26b, the view Cc of the rear camera 26c, and the view of the right camera 26d in the main body 1 of the work machine A. Cd is displayed side by side, and the position and perspective status of surrounding workers are schematically represented in each image.

管理者用ディスプレイ48の画面中央には、各光景Ca、Cb、Cc、Cdを変形して合成した全周囲画像が表示される。この全周囲画像は、本体1を上空から俯瞰した様子を模擬するものであり、周囲の作業者の位置が模式的に表現されている。 In the center of the screen of the administrator display 48, an omnidirectional image obtained by transforming and synthesizing each scene Ca, Cb, Cc, and Cd is displayed. This omnidirectional image simulates a bird's-eye view of the main body 1 from the sky, and schematically represents the positions of surrounding workers.

管理者用ディスプレイ48に表示される周囲作業者の位置及び遠近状況を視た管理者は、発信が必要な周囲作業者がいる場合には、表示された周囲作業者の中から発信する作業者を選択すべく管理者用キーボード42を操作して発信目標位置を指定する。これにより、発信目標位置取得部401に管理者操作信号が取り込まれる(ステップS105)。 When the administrator who has seen the position and perspective status of the surrounding workers displayed on the administrator display 48 has a surrounding worker who needs to make a call, the worker who makes a call from the displayed surrounding workers. The administrator keyboard 42 is operated to select the transmission target position. As a result, the administrator operation signal is taken into the transmission target position acquisition unit 401 (step S105).

発信目標位置取得部401では、取り込んだ管理者操作信号に基づいて管理者が指示する発信目標位置DTを演算し、発信目標位置記憶部303に出力する(ステップS106)。
具体的には、管理者は、図7に示すように、管理者用ディスプレイ48に表示される全周囲画像及び前後左右のカメラ26a〜26dの各画像を見ながら意思疎通を図りたい作業者の位置を確認し、管理者用キーボード42の操作によって矢印カーソル及び十字線を動かすことで発信目標位置を指定する。図中に記載の(CTx、CTy)は、ディスプレイ表示用の座標系(ピクセル単位)での発信目標位置の座標である。発信目標位置取得部401では、この座標を、本体1の中央位置及び前方を基準としたローカル座標系(メートル単位)になるように座標変換し、発信目標位置DT(DTx、DTy)を得る。このようにして求められた発信目標位置DTがコントローラ30の発信目標位置記憶部303に出力される。
The transmission target position acquisition unit 401 calculates the transmission target position DT instructed by the administrator based on the captured administrator operation signal, and outputs the transmission target position DT to the transmission target position storage unit 303 (step S106).
Specifically, as shown in FIG. 7, the administrator wants to communicate while looking at the omnidirectional image displayed on the administrator display 48 and the images of the front, rear, left, and right cameras 26a to 26d. The position is confirmed, and the transmission target position is specified by moving the arrow cursor and the crosshair by operating the administrator keyboard 42. (CTx, CTy) described in the figure are the coordinates of the transmission target position in the coordinate system (pixel unit) for display display. The transmission target position acquisition unit 401 obtains the transmission target position DT (DTx, DTy) by transforming the coordinates so as to have a local coordinate system (in meters) with reference to the center position and the front of the main body 1. The transmission target position DT thus obtained is output to the transmission target position storage unit 303 of the controller 30.

コントローラ30では、発信目標位置記憶部303において、発信目標位置取得部401から発信目標位置DTを取り込む(ステップS207)。
管理者は、発信する作業者を選択した後、管理者用マイク44に音声を発信し、管理者用コンピュータ40は、発信音声取得部402において、管理者音声信号を発信音声DVとして取り込み(ステップS107)、発信目標位置記憶部303に向けて発信音声DVの送信処理を行う(ステップS108)。
In the controller 30, the transmission target position storage unit 303 captures the transmission target position DT from the transmission target position acquisition unit 401 (step S207).
After selecting the worker to be transmitted, the administrator transmits a voice to the microphone 44 for the administrator, and the computer 40 for the administrator captures the administrator voice signal as the transmitted voice DV in the transmitted voice acquisition unit 402 (step). S107), the transmission process of the transmission voice DV is performed toward the transmission target position storage unit 303 (step S108).

コントローラ30では、発信音声記憶部304において、発信音声取得部402から発信音声DVを取り込む(ステップS208)。そして、発信方向音量演算部310において、発信方向CD及び発信音量CPを演算する(ステップS210)。 In the controller 30, the outgoing voice storage unit 304 captures the outgoing voice DV from the outgoing voice acquisition unit 402 (step S208). Then, the transmission direction volume calculation unit 310 calculates the transmission direction CD and the transmission volume CP (step S210).

発信方向CD及び発信音量CPの演算は、図8のフローチャートに沿い実行される。
先ず、現在車両方位記憶部301から現在車両方位RCを読み出すとともに現在車両位置記憶部302から現在車両位置PCを読み込み(ステップS211)、発信目標位置記憶部303から発信目標位置DTを発信目標位置PTとして読み込む(ステップS212)。そして、これら現在車両方位RC、現在車両位置PC及び発信目標位置PTに基づいて発信方向音量ベクトルVTを演算する(ステップS213)。
The calculation of the transmission direction CD and the transmission volume CP is executed according to the flowchart of FIG.
First, the current vehicle direction RC is read from the current vehicle orientation storage unit 301, the current vehicle position PC is read from the current vehicle position storage unit 302 (step S211), and the transmission target position DT is transmitted from the transmission target position storage unit 303. (Step S212). Then, the transmission direction volume vector VT is calculated based on the current vehicle direction RC, the current vehicle position PC, and the transmission target position PT (step S213).

発信方向音量ベクトルVTは、スピーカ22a〜22dから出力する音声の方向及び音量を定めるもので、本体1の現在車両位置PCを始点、発信目標位置PTを終点とする二次元ベクトルである。 The transmission direction volume vector VT determines the direction and volume of the sound output from the speakers 22a to 22d, and is a two-dimensional vector having the current vehicle position PC of the main body 1 as the start point and the transmission target position PT as the end point.

ところで、本実施形態におけるスピーカ22a〜22dは、それぞれ指向性を有した指向性スピーカで構成されている。図9に示すように、指向性スピーカ単体の減衰特性は、前方に減衰小、後方に減衰大に設定されている。この指向性により、音声を発する方向の限定が可能であり、図10にはスピーカ22a〜22dの4つの指向性スピーカによる発信音声のカバー範囲がイメージ図で示されているが、スピーカ22a〜22dは、それぞれ本体1の前後左右の各外方に向けてのみ音声を発するよう構成されている。 By the way, the speakers 22a to 22d in the present embodiment are each composed of directional speakers having directivity. As shown in FIG. 9, the attenuation characteristics of the directional speaker alone are set to be small in the front and large in the rear. With this directivity, it is possible to limit the direction in which sound is emitted. In FIG. 10, the coverage range of the transmitted sound by the four directional speakers of the speakers 22a to 22d is shown in an image diagram, but the speakers 22a to 22d , Each is configured to emit sound only toward the front, back, left, and right of the main body 1.

このような指向性スピーカを移動体である作業機械で使う場合、発信目標位置PTに届く音声の音量を保つ為、即ち移動しても届く発信音声の音量の変化が少なくなるようにするには、本体1の移動及び旋回を考慮して、発信方向及び発信音量を定める必要がある。 When such a directional speaker is used in a work machine that is a mobile body, in order to maintain the volume of the sound that reaches the transmission target position PT, that is, to reduce the change in the volume of the sound that arrives even if it moves. , It is necessary to determine the transmission direction and the transmission volume in consideration of the movement and rotation of the main body 1.

例えば、図11に示すように、本体1が発信目標位置PTの前を旋回しながら横切るように移動する状況を想定する。この場合、本体1は、図中の位置PC1、PC2、PC3の順に移動する。図12は、本体1が図11に示すように移動した場合の発信方向音量ベクトルVTの変化を示している。 For example, as shown in FIG. 11, it is assumed that the main body 1 moves across the transmission target position PT while turning. In this case, the main body 1 moves in the order of the positions PC1, PC2, and PC3 in the drawing. FIG. 12 shows a change in the transmission direction volume vector VT when the main body 1 moves as shown in FIG.

先ず、発信目標位置PTは、本体1が位置PC1にいるときに設定され固定される。ここでは、本体1が位置PC1にいるとき、カメラ26aから取得した画像に基づき本体1の前方に位置する作業者を発信目標位置PTとして取り込んだ場合を示している。 First, the transmission target position PT is set and fixed when the main body 1 is at the position PC1. Here, when the main body 1 is at the position PC 1, a case where a worker located in front of the main body 1 is captured as a transmission target position PT based on an image acquired from the camera 26a is shown.

これにより、発信目標位置PTの位置が特定され、現在車両方位RC、現在車両位置PCと当該発信目標位置PTとに基づき発信方向音量ベクトルVTが演算される。即ち、本体1が位置PC1にいるときの発信目標位置PTに向けた発信方向音量ベクトルVTがベクトルVT1として求められる。この場合には、ベクトルVT1の向きは本体1の前方(図の上方向)となる。なお、音量と音声が届く距離との関係が予め設定されており、ベクトルVT1の大きさは、本体1から発信目標位置PTまで音声が届く音量に対応した大きさとして演算される。 As a result, the position of the transmission target position PT is specified, and the transmission direction volume vector VT is calculated based on the current vehicle direction RC, the current vehicle position PC, and the transmission target position PT. That is, the transmission direction volume vector VT toward the transmission target position PT when the main body 1 is at the position PC1 is obtained as the vector VT1. In this case, the direction of the vector VT1 is the front of the main body 1 (upward in the figure). The relationship between the volume and the distance that the voice reaches is preset, and the magnitude of the vector VT1 is calculated as a magnitude corresponding to the volume that the voice reaches from the main body 1 to the transmission target position PT.

本体1が位置PC2にいるときには、発信目標位置PTはカメラ26dから取得した画像に基づき本体1の左方に位置することになり、発信目標位置PTに向けた発信方向音量ベクトルVTがベクトルVT2として求められる。この場合には、ベクトルVT2の向きは本体1の左方(図の左上方向)となり、本体1から発信目標位置PTへの距離は、本体1が位置PC1にいたときよりも小さく、故にベクトルVT2の大きさはベクトルVT1よりも小さくなる。 When the main body 1 is in the position PC2, the transmission target position PT is located to the left of the main body 1 based on the image acquired from the camera 26d, and the transmission direction volume vector VT toward the transmission target position PT is set as the vector VT2. Desired. In this case, the direction of the vector VT2 is to the left of the main body 1 (upper left direction in the figure), and the distance from the main body 1 to the transmission target position PT is smaller than when the main body 1 is at the position PC1. Therefore, the vector VT2 Is smaller than the vector VT1.

本体1がPC3にいるときには、発信目標位置PTはカメラ26cから取得した画像に基づき本体1の後方に位置することになり、発信目標位置PTに向けた発信方向音量ベクトルVTが図中のVT3として求められる。この場合には、VT3の向きは本体1の後方(図の左方向)となり、本体1から発信目標位置PTへの距離は、本体1が位置PC1にいたときとほぼ同じであり、故にベクトルVT3の大きさはベクトルVT1とほぼ同じになる。 When the main body 1 is in the PC3, the transmission target position PT is located behind the main body 1 based on the image acquired from the camera 26c, and the transmission direction volume vector VT toward the transmission target position PT is set as the VT3 in the figure. Desired. In this case, the direction of the VT3 is the rear of the main body 1 (to the left in the figure), and the distance from the main body 1 to the transmission target position PT is almost the same as when the main body 1 is at the position PC1. Therefore, the vector VT3 The magnitude of is almost the same as that of the vector VT1.

図13を参照すると、本体1の移動及び旋回を考慮しなかった補正なしの場合(a)と考慮した補正ありの場合(b)における、発信方向音量ベクトルVT及び図10に基づくスピーカ22a〜22dによる発信音声の広がり方がイメージ図で示されている。 Referring to FIG. 13, the speaker 22a to 22d based on the transmission direction volume vector VT and FIG. 10 in the case without correction (a) in which the movement and rotation of the main body 1 are not considered and in the case with correction (b) in consideration of rotation and rotation of the main body 1 The way the transmitted voice spreads by is shown in the image diagram.

同図(a)に示すように、本体1の移動及び旋回を考慮しなかった場合には、本体1が位置PC1にいるときに発信目標位置PTを設定し、発信方向音量ベクトルVTをベクトルVT1として求めて以降、ベクトルVT1が保持され、本体1と発信目標位置PTの相対的な位置変化が反映されず、本体1が位置PC3まで移動したときには、発信する音声が発信目標位置PTに全く届かない状況となる。 As shown in FIG. 3A, when the movement and turning of the main body 1 are not considered, the transmission target position PT is set when the main body 1 is in the position PC1, and the transmission direction volume vector VT is set to the vector VT1. Since the vector VT1 is held, the relative position change between the main body 1 and the transmission target position PT is not reflected, and when the main body 1 moves to the position PC3, the transmitted voice does not reach the transmission target position PT at all. There will be no situation.

これに対し、同図(b)に示すように、上述したように本体1の移動及び旋回を考慮した場合には、本体1が位置PC1、PC2、PC3の順に移動すると、発信目標位置PTに向けた発信方向音量ベクトルVTは、本体1の前方に向けたベクトルVT1、本体1の左方に向けたVT2、本体1の後方に向けたVT3のように変化し、発信する音声が発信目標位置PTに良好に届く状況となる。 On the other hand, as shown in FIG. 3B, when the movement and turning of the main body 1 are taken into consideration as described above, when the main body 1 moves in the order of the positions PC1, PC2, and PC3, the transmission target position PT is reached. The sound transmission direction volume vector VT changes like a vector VT1 directed to the front of the main body 1, a VT2 directed to the left of the main body 1, and a VT3 directed to the rear of the main body 1, and the transmitted voice is the transmission target position. The situation is such that it reaches the PT well.

なお、好ましくは、発信方向音量ベクトルVTにおいて、速度センサ12により検出される走行速度情報に基づき、本体1の走行速度ベクトルVCを相殺する速度補正を行うのがよい。図14には、本体1が位置PC2にいるときにベクトルVT2をこの位置での走行速度ベクトルであるベクトルVC2で相殺してベクトルVT2’とした場合が例示されているが、このように本体1の走行速度で発信方向音量ベクトルVTを速度補正することで、より適切な発信方向CD、発信音量CPを求めることができる。 It is preferable to perform speed correction in the transmission direction volume vector VT to cancel the traveling speed vector VC of the main body 1 based on the traveling speed information detected by the speed sensor 12. FIG. 14 illustrates a case where the vector VT2 is offset by the vector VC2 which is the traveling speed vector at this position to obtain the vector VT2'when the main body 1 is at the position PC2. By speed-correcting the transmission direction volume vector VT with the traveling speed of, a more appropriate transmission direction CD and transmission volume CP can be obtained.

図8に戻り、発信方向音量演算部310において、発信方向音量ベクトルVTに基づいて発信方向CD、発信音量CPを演算する(ステップS214)。
ここでは、発信方向音量ベクトルVTの方向を発信方向CDとして演算し、発信方向音量ベクトルVTの大きさを発信音量CPとして演算する。発信方向CDについては角度(deg)で定義し、発信音量CPについては音圧レベル(dB)で定義する。具体的には、発信方向CDについては、本体1の右方を0°として上方、左方、後方の順に左回り(反時計回り)に360°まで角度を定義した場合に、本体1における発信方向音量ベクトルVTの方向がいずれの角度となるかを演算する。発信音量CPについては、発信方向音量ベクトルVTの大きさに適切な定数を乗算して演算する。
Returning to FIG. 8, the transmission direction volume calculation unit 310 calculates the transmission direction CD and the transmission volume CP based on the transmission direction volume vector VT (step S214).
Here, the direction of the transmission direction volume vector VT is calculated as the transmission direction CD, and the magnitude of the transmission direction volume vector VT is calculated as the transmission volume CP. The transmission direction CD is defined by the angle (deg), and the transmission volume CP is defined by the sound pressure level (dB). Specifically, regarding the transmission direction CD, when the right side of the main body 1 is defined as 0 ° and the angle is defined to 360 ° counterclockwise in the order of upward, left, and rear, the transmission in the main body 1 is performed. Direction Volume vector Calculates which angle the direction of the VT is. The transmission volume CP is calculated by multiplying the magnitude of the transmission direction volume vector VT by an appropriate constant.

そして、音声発信部320において、発信方向音量演算部310から読み出す発信方向CD、発信音量CPに基づいて、発信音声記憶部304から読み出す発信音声DVを加工した音声信号を生成し、スピーカ22a〜22dのいずれかに出力する(ステップS220)。 Then, the voice transmission unit 320 generates a voice signal processed from the transmission voice DV read from the transmission voice storage unit 304 based on the transmission direction CD read from the transmission direction volume calculation unit 310 and the transmission volume CP, and the speakers 22a to 22d. Output to any of (step S220).

具体的には、音声信号は、スピーカ22a〜22dを構成する前後左右の4つのスピーカに対応した4つのチャネルを持っており、図15には発信方向CDの角度情報に基づいて出力するスピーカ22a〜22dのいずれかを選択する図が示されているが、同図に示すように、演算により求められた発信方向CDの角度(0°〜360°)に応じてスピーカ22a〜22dから出力するスピーカ(出力するチャネル)を1つ選択するとともに発信音量CPが示す音圧レベルとなるように発信音声DVを加工することで得られる。 Specifically, the audio signal has four channels corresponding to the four front, rear, left, and right speakers constituting the speakers 22a to 22d, and FIG. 15 shows the speaker 22a that outputs the sound signal based on the angle information of the transmission direction CD. A diagram for selecting any of ~ 22d is shown, but as shown in the figure, the speakers 22a to 22d output according to the angle (0 ° to 360 °) of the transmission direction CD obtained by calculation. It is obtained by selecting one speaker (output channel) and processing the transmitted sound DV so that the sound pressure level indicated by the transmitted volume CP is obtained.

以上、説明したように、本発明に係る作業機械によれば、本体1の現在車両方位RCを検出する方位センサ14と、本体1の現在車両位置PCを検出する位置センサ16と、本体1の周囲の任意方向に放音する前方スピーカ22a、左方スピーカ22b、後方スピーカ22c及び右方スピーカ22dからなる全方位スピーカとを備え、コントローラ30は、本体1の周囲状況として周囲音声SS及び周囲画像SPを取得する周囲音声記憶部305及び周囲画像記憶部306と、周囲状況を作業現場の管理者に報知する周囲音声送信部330及び周囲画像送信部340と、管理者の発信音声DVを取得する発信音声記憶部304と、管理者が音声を伝達したい周囲作業者等の位置である発信音声DVの発信目標位置PTを設定する発信目標位置記憶部303と、発信目標位置PT、現在車両方位RC及び現在車両位置PCに基づいて発信方向音量ベクトルVTを求め、発信方向音量ベクトルVTに基づき、発信目標位置PTに届く発信音声DVの音量の変化が少なくなるよう、発信音声DVの発信方向CD及び発信音量CPを演算する発信方向音量演算部310と、発信方向音量演算部310の演算結果に基づいて、発信音声DVを加工して音声信号を生成し、音声信号を全方位スピーカに出力する音声発信部320とを有している。 As described above, according to the working machine according to the present invention, the directional sensor 14 for detecting the current vehicle directional RC of the main body 1, the position sensor 16 for detecting the current vehicle position PC of the main body 1, and the main body 1 The controller 30 includes an omnidirectional speaker including a front speaker 22a, a left speaker 22b, a rear speaker 22c, and a right speaker 22d that emits sound in an arbitrary direction of the surroundings. Acquires the ambient audio storage unit 305 and the ambient image storage unit 306 for acquiring the SP, the ambient audio transmission unit 330 and the ambient image transmission unit 340 for notifying the administrator of the work site of the ambient situation, and the transmitted audio DV of the administrator. The transmission voice storage unit 304, the transmission target position storage unit 303 that sets the transmission target position PT of the transmission voice DV, which is the position of the surrounding workers or the like to which the administrator wants to transmit the voice, the transmission target position PT, and the current vehicle direction RC. And the transmission direction volume vector VT is obtained based on the current vehicle position PC, and based on the transmission direction volume vector VT, the transmission direction CD of the transmission voice DV and the transmission direction CD and so as to reduce the change in the volume of the transmission voice DV reaching the transmission target position PT. Based on the calculation results of the transmission direction volume calculation unit 310 that calculates the transmission volume CP and the transmission direction volume calculation unit 310, the transmission voice DV is processed to generate a voice signal, and the voice signal is output to the omnidirectional speaker. It has a transmitter 320.

従って、管理者が音声を伝達したい周囲作業者等の位置と作業機械の位置及び方向に基づいて、管理者からの発信音声DVの発信方向CD及び発信音量CPを適切に演算し、管理者が音声を伝達したい周囲作業者等に向けて全方位スピーカで音声を発することができる。これにより、作業機械の管理者と周囲作業者の間で、安全や手元作業の段取りに関わる意思疎通を図ることが可能となる。その結果、無人で稼働する作業機械であっても、周囲作業者の安全を確保しながら周囲作業者から手元作業の協力を受けることができる。 Therefore, the administrator appropriately calculates the transmission direction CD and the transmission volume CP of the transmission sound DV from the administrator based on the position of the surrounding workers and the like and the position and direction of the work machine to which the administrator wants to transmit the sound. The omnidirectional speaker can emit sound to surrounding workers who want to transmit the sound. As a result, it becomes possible to communicate between the manager of the work machine and the surrounding workers regarding safety and setup of the work at hand. As a result, even if the work machine operates unmanned, it is possible to receive the cooperation of the surrounding workers from the surrounding workers while ensuring the safety of the surrounding workers.

また、管理者と周囲作業者とは、本体1に搭載したスピーカ22a〜22d及びマイク24a〜24dを通じて音声を双方向で通信可能である。これにより、周囲作業者は、有人の作業機械と同様に、作業機械の管理者と対話することができる。また、工事現場に迷い込んだ一般人などに対しても、施工予定場所で危ないため近寄らないように等、状況に応じた指示や警告を伝えることが可能である。 In addition, the administrator and surrounding workers can bidirectionally communicate voice through the speakers 22a to 22d and the microphones 24a to 24d mounted on the main body 1. As a result, the surrounding workers can interact with the manager of the work machine in the same manner as the manned work machine. In addition, it is possible to give instructions and warnings according to the situation, such as keeping away from the general public who got lost in the construction site because it is dangerous at the planned construction site.

また、全方位スピーカとしてのスピーカ22a〜22dをそれぞれ指向性スピーカとし、音声の放音範囲を限定することにより、無駄な方向に放音して騒音を生じさせることを抑制できる。周囲作業者にとっては、自分に向けて発せられた音声であるか否かを認識しやすくなり、自分以外に向けて発せられた音声によって作業を妨げられることを減らすことができる。 Further, by using the speakers 22a to 22d as the omnidirectional speakers as directional speakers and limiting the sound emission range of the sound, it is possible to suppress the generation of noise by emitting sound in a useless direction. It becomes easier for the surrounding workers to recognize whether or not the voice is emitted to oneself, and it is possible to reduce the possibility that the work is disturbed by the voice emitted to other than oneself.

以上で本発明に係る作業機械の説明を終えるが、本発明の実施形態は上記実施形態に限定するものではなく、発明の主旨を逸脱しない範囲で適宜変更可能である。
例えば、上記実施形態では、前方スピーカ22a、左方スピーカ22b、後方スピーカ22c及び右方スピーカ22dからなる4つの指向性スピーカで全方位スピーカを構成し、これら4つの指向性スピーカのいずれか1つを選択して音声を発するようにしたが、音声を発するスピーカは少なくともいずれか1つ以上であればよく、複数のスピーカから音声を分配して発するようにしてもよい。例えば、発信方向CDの角度が135°(左前方)であるときに、図15では左方スピーカ22bからのみ発するとした音声を前方スピーカ22aと左方スピーカ22bとに分配するようにしてもよい。
The description of the working machine according to the present invention is completed above, but the embodiment of the present invention is not limited to the above embodiment, and can be appropriately changed as long as the gist of the invention is not deviated.
For example, in the above embodiment, an omnidirectional speaker is composed of four directional speakers including a front speaker 22a, a left speaker 22b, a rear speaker 22c, and a right speaker 22d, and any one of these four directional speakers. However, the number of speakers that emit sound may be at least one or more, and the sound may be distributed and emitted from a plurality of speakers. For example, when the angle of the transmission direction CD is 135 ° (left front), the sound that is emitted only from the left speaker 22b in FIG. 15 may be distributed to the front speaker 22a and the left speaker 22b. ..

また、全方位スピーカは、上記前方スピーカ22a、左方スピーカ22b、後方スピーカ22c及び右方スピーカ22dからなる4つの指向性スピーカに限定するものではなく、個数と設置場所は任意に変更可能であり、全方位のいずれかの方向に任意に放音可能であれば、回転可能な雲台に取り付けた指向性スピーカ、アレイスピーカのような配列状スピーカ、無指向性スピーカ等を利用するようにしてもよい。 Further, the omnidirectional speaker is not limited to the four directional speakers including the front speaker 22a, the left speaker 22b, the rear speaker 22c, and the right speaker 22d, and the number and installation location can be arbitrarily changed. If it is possible to emit sound in any of the omnidirectional directions, use a directional speaker mounted on a rotatable platform, an array speaker such as an array speaker, an omnidirectional speaker, or the like. May be good.

また、上記実施形態では、作業機械として転圧車両であるタイヤローラを例に説明したが、作業機械は、タイヤローラに限定するものではなく、油圧ショベル、ホイールローダ等であってもよい。 Further, in the above embodiment, the tire roller, which is a compaction vehicle, has been described as an example of the work machine, but the work machine is not limited to the tire roller, and may be a hydraulic excavator, a wheel loader, or the like.

1 本体
2 本体フレーム
3、4 転圧ローラ(走行装置)
10 位置センサ(車両位置情報取得装置)
14 方位センサ(方位検出装置)
16 位置センサ(位置検出装置)
22a 前方スピーカ(全方位スピーカ)
22b 左方スピーカ(全方位スピーカ)
22c 後方スピーカ(全方位スピーカ)
22d 右方スピーカ(全方位スピーカ)
24a〜24d マイク
26a〜26d カメラ
30 コントローラ
40 管理者用コンピュータ
301 現在車両方位記憶部
302 現在車両位置記憶部
303 発信目標位置記憶部(発信目標位置設定部)
304 発信音声記憶部(発信音声取得部)
305 周囲音声記憶部(周囲状況取得部)
306 周囲画像記憶部(周囲状況取得部)
310 発信方向音量演算部
320 音声発信部(音声出力部)
330 周囲音声送信部(周囲状況出力部)
340 周囲画像送信部(周囲状況出力部)
401 発信目標位置取得部
402 発信音声取得部
403 周囲音声提示部
404 周囲画像提示部
1 Main body 2 Main body frame 3, 4 Rolling roller (traveling device)
10 Position sensor (vehicle position information acquisition device)
14 Direction sensor (direction detection device)
16 Position sensor (position detection device)
22a Front speaker (omnidirectional speaker)
22b Left speaker (omnidirectional speaker)
22c Rear speaker (omnidirectional speaker)
22d Right speaker (omnidirectional speaker)
24a to 24d Microphone 26a to 26d Camera 30 Controller 40 Administrator computer 301 Current vehicle orientation storage 302 Current vehicle position storage 303 Transmission target position storage (transmission target position setting)
304 Outgoing voice storage unit (outgoing voice acquisition unit)
305 Surrounding voice storage unit (surrounding status acquisition unit)
306 Surrounding image storage unit (surrounding condition acquisition unit)
310 Transmission direction Volume calculation unit 320 Voice transmission unit (voice output unit)
330 Surrounding audio transmitter (surrounding status output)
340 Surrounding image transmitter (surrounding status output)
401 Transmission target position acquisition unit 402 Transmission voice acquisition unit 403 Surrounding voice presentation unit 404 Surrounding image presentation unit

Claims (2)

作業現場において走行するための走行装置を含む本体と、
コントローラと、を備えた作業機械であって、
前記本体は、
前記本体の向いている方向を検出する方位検出装置と、
前記本体の位置を検出する位置検出装置と、
前記本体の周囲の任意方向に放音する全方位スピーカとを備え、
前記コントローラは、
前記本体の周囲状況として少なくとも前記本体の周囲の音声または画像を取得する周囲状況取得部と、
前記周囲状況取得部が取得した周囲状況を作業現場の管理者に報知する周囲状況出力部と、
前記管理者の発信音声を取得する発信音声取得部と、
前記発信音声取得部が取得した前記発信音声の発信目標位置を設定する発信目標位置設定部と、
前記発信目標位置、前記方位検出装置により検出された前記本体の方向及び前記位置検出装置により検出された前記本体の位置に基づいて、前記発信目標位置に届く前記発信音声の音量の変化が少なくなるよう、前記発信音声の発信方向及び音量を演算する発信方向音量演算部と、
前記発信方向音量演算部の演算結果に基づいて、前記発信音声を加工して音声信号を生成し、前記音声信号を前記全方位スピーカに出力する音声出力部と、
を有することを特徴とする作業機械。
The main body including the traveling device for traveling at the work site,
A work machine equipped with a controller
The main body
An orientation detection device that detects the direction in which the main body is facing, and
A position detection device that detects the position of the main body and
It is equipped with an omnidirectional speaker that emits sound in any direction around the main body.
The controller
As the surrounding condition of the main body, at least the surrounding condition acquisition unit that acquires the sound or image around the main body, and
The surrounding condition output unit that notifies the manager of the work site of the surrounding condition acquired by the surrounding condition acquisition unit, and
The outgoing voice acquisition unit that acquires the outgoing voice of the administrator,
A transmission target position setting unit that sets a transmission target position of the transmission voice acquired by the transmission voice acquisition unit, and a transmission target position setting unit.
Based on the transmission target position, the direction of the main body detected by the orientation detection device, and the position of the main body detected by the position detection device, the change in the volume of the transmission voice reaching the transmission target position is reduced. The transmission direction volume calculation unit that calculates the transmission direction and volume of the transmission voice,
Based on the calculation result of the transmission direction volume calculation unit, the transmission voice is processed to generate a voice signal, and the voice signal is output to the omnidirectional speaker.
A work machine characterized by having.
前記全方位スピーカは、前記本体の前方に向け放音する前方スピーカと、前記本体の左方に向け放音する左方スピーカと、前記本体の後方に向け放音する後方スピーカと、前記本体の右方に向け放音する右方スピーカとで構成され、
前記音声出力部は、前記発信方向音量演算部の演算結果に基づいて、前記前方スピーカ、前記左方スピーカ、前記後方スピーカ及び前記右方スピーカの少なくともいずれか1つ以上に前記音声信号を出力することを特徴とする、請求項1に記載の作業機械。
The omnidirectional speaker includes a front speaker that emits sound toward the front of the main body, a left speaker that emits sound toward the left side of the main body, a rear speaker that emits sound toward the rear of the main body, and the main body. It consists of a right speaker that emits sound to the right.
The audio output unit outputs the audio signal to at least one or more of the front speaker, the left speaker, the rear speaker, and the right speaker based on the calculation result of the transmission direction volume calculation unit. The work machine according to claim 1, wherein the work machine is characterized in that.
JP2019149083A 2019-08-15 2019-08-15 working machine Active JP7148464B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019149083A JP7148464B2 (en) 2019-08-15 2019-08-15 working machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019149083A JP7148464B2 (en) 2019-08-15 2019-08-15 working machine

Publications (2)

Publication Number Publication Date
JP2021033373A true JP2021033373A (en) 2021-03-01
JP7148464B2 JP7148464B2 (en) 2022-10-05

Family

ID=74678337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019149083A Active JP7148464B2 (en) 2019-08-15 2019-08-15 working machine

Country Status (1)

Country Link
JP (1) JP7148464B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152842A (en) * 2010-01-27 2011-08-11 Mitsubishi Motors Corp Vehicle approach sound control device
JP2012058314A (en) * 2010-09-06 2012-03-22 Hitachi Ltd Acoustic processing system and machine employing the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152842A (en) * 2010-01-27 2011-08-11 Mitsubishi Motors Corp Vehicle approach sound control device
JP2012058314A (en) * 2010-09-06 2012-03-22 Hitachi Ltd Acoustic processing system and machine employing the same

Also Published As

Publication number Publication date
JP7148464B2 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
CN111344460B (en) Periphery monitoring device
US11662723B2 (en) System and method for autonomous operation of a machine
JP6616423B2 (en) Construction machinery and construction management system
JP6612865B2 (en) Display system for remote control of work equipment
JP6077068B1 (en) Augmented reality system and augmented reality method
US7373218B2 (en) Image distribution system
US8311515B1 (en) System, method, and device for intelligence gathering and position tracking
US11230825B2 (en) Display system, display method, and display apparatus
JP6927821B2 (en) Display system and display device
KR101838119B1 (en) Device and method for displaying a position of mobile terminal
US8606230B2 (en) System, method, and device for intelligence gathering and position tracking
WO2019189430A1 (en) Construction machine
CN109173258B (en) Virtual object display and positioning information sending method, equipment and storage medium
JP6767241B2 (en) Terminal devices, control devices, data integration devices, work vehicles, imaging systems, and imaging methods
EP3398328A1 (en) Method and apparatus for imaging a scene
JP7148464B2 (en) working machine
WO2018021025A1 (en) Pedestrian position detection device
JP2007074081A (en) On-vehicle communication apparatus
JPH11303146A (en) Wireless remote control system, wireless moving type working machine, remote controller, and wireless device equipped with electric wave reflecting mechanism
JP2014143477A (en) Imaging system
CN111769898B (en) Method and system for defending unmanned aerial vehicle
KR20130029489A (en) Navigation device and method for controlling of the same
JP6647377B2 (en) Communication device, information processing method, program, and flight system
FI125822B (en) Method and apparatus for determining security area information
JP2015065563A (en) Radio transmission system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7148464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150