JP5506339B2 - Direction control device and direction control method - Google Patents

Direction control device and direction control method Download PDF

Info

Publication number
JP5506339B2
JP5506339B2 JP2009263835A JP2009263835A JP5506339B2 JP 5506339 B2 JP5506339 B2 JP 5506339B2 JP 2009263835 A JP2009263835 A JP 2009263835A JP 2009263835 A JP2009263835 A JP 2009263835A JP 5506339 B2 JP5506339 B2 JP 5506339B2
Authority
JP
Japan
Prior art keywords
target
monitoring
control amount
information
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009263835A
Other languages
Japanese (ja)
Other versions
JP2011109509A (en
Inventor
雅人 宅原
哲也 塘中
圭一 見持
祐一 佐々野
直人 川内
成敏 塩谷
拓志 佐藤
賢紀 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2009263835A priority Critical patent/JP5506339B2/en
Publication of JP2011109509A publication Critical patent/JP2011109509A/en
Application granted granted Critical
Publication of JP5506339B2 publication Critical patent/JP5506339B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、監視装置が監視する方向を制御するための方向制御装置および方向制御方法に関する。   The present invention relates to a direction control device and a direction control method for controlling a direction monitored by a monitoring device.

被災地における危険な被災場所や、工場の敷地内における特定の場所などを監視することができる監視システムが検討されている。従来、このような監視システムにおける監視装置には、例えば、左右方向(パン)、上下方向(チルト)、画角(ズーム)を制御することができる監視カメラなどが使用されている。そして、このような監視カメラを、例えば、無線操縦によって飛行するヘリコプターや航空機、自立的に走行することができる無人の自律走行車両などの移動体に搭載し、この移動体が監視範囲内を移動することによって監視対象を監視する。   Surveillance systems that can monitor dangerous locations in the disaster area or specific locations within the factory premises have been studied. Conventionally, as a monitoring device in such a monitoring system, for example, a monitoring camera capable of controlling a horizontal direction (pan), a vertical direction (tilt), and an angle of view (zoom) is used. Such a monitoring camera is mounted on a moving body such as a helicopter or an aircraft that flies by radio control or an unmanned autonomous traveling vehicle that can travel independently, and the moving body moves within the monitoring range. To monitor the monitored object.

このとき、監視カメラは、常に予め定め設定された注視点(監視点)にある監視対象を監視するように、移動中の撮影方向などが制御される。また、監視カメラによって撮影された監視対象の画像データなどは、無線通信などによって監視室に送信される(特許文献1〜特許文献3参照)。   At this time, the surveillance camera is controlled in the moving shooting direction so as to always monitor a monitoring target at a predetermined gazing point (monitoring point). Moreover, the image data of the monitoring object image | photographed with the monitoring camera etc. are transmitted to a monitoring room by radio | wireless communication etc. (refer patent document 1-patent document 3).

特開昭59−102578号公報JP 59-102578 A 特開昭61−245212号公報JP 61-245212 A 特開平11−284988号公報Japanese Patent Laid-Open No. 11-284888

例えば、自律走行車両による従来の監視システムでは、予め自律走行車両に走行経路が設定されている。そして、自律走行車両は、予め設定された走行経路に従って走行する。また、監視カメラには、予め監視対象の位置情報が設定されている。そして、監視カメラは、センサによって取得した現在の監視カメラの位置情報と、予め設定された監視対象の位置情報に基づいて、撮影(監視)する方向を算出し、この算出した方向に自監視カメラの向きを変える。   For example, in a conventional monitoring system using an autonomous vehicle, a travel route is set in advance for the autonomous vehicle. The autonomously traveling vehicle travels according to a preset travel route. In addition, position information of a monitoring target is set in advance in the monitoring camera. Then, the monitoring camera calculates the shooting (monitoring) direction based on the current position information of the monitoring camera acquired by the sensor and the position information of the monitoring target set in advance, and the own monitoring camera in the calculated direction. Change the direction.

しかしながら、自律走行車両の走行制御と監視カメラの方向制御とは、それぞれ設定された情報に基づいて、互いに独立して制御されている。従って、監視カメラは、自監視カメラの現在の位置情報に基づいて監視する方向を制御するか、自律走行車両の現在の走行状態が継続されるものとして監視する方向を制御している。しかし、自律走行車両の走行経路は、急に曲がっていることもある。また、例えば、自律走行車両が走行経路上に障害物を発見し、その障害物を回避するなど、自律走行車両の走行制御によって、自律走行車両1の走行経路が急に変更されることもある。このような場合、監視カメラの方向制御が、自律走行車両の急な走行経路の変更に対して間に合わず、実際に自律走行車両が、走行経路が曲がっている箇所や、変更した箇所を通過して、自律走行車両が走行する方向が変わった後に、再度位置情報を取得し、この取得した現在の位置情報に基づいて、監視する方向を変えることになる。このように、監視カメラの方向制御が遅れると、監視カメラの撮影範囲が、一時的に監視対象から外れてしまうという問題がある。   However, the traveling control of the autonomous traveling vehicle and the direction control of the monitoring camera are controlled independently from each other based on the set information. Therefore, the monitoring camera controls the direction of monitoring based on the current position information of the self-monitoring camera, or controls the direction of monitoring as the current traveling state of the autonomous vehicle continues. However, the travel route of the autonomous vehicle may be suddenly bent. In addition, for example, the traveling route of the autonomous traveling vehicle 1 may be suddenly changed by traveling control of the autonomous traveling vehicle, for example, the autonomous traveling vehicle finds an obstacle on the traveling route and avoids the obstacle. . In such a case, the direction control of the surveillance camera is not in time for the sudden change of the travel route of the autonomous vehicle, and the autonomous vehicle actually passes through the place where the travel route is bent or changed. Thus, after the direction in which the autonomous vehicle travels changes, the position information is acquired again, and the monitoring direction is changed based on the acquired current position information. As described above, when the direction control of the monitoring camera is delayed, there is a problem that the photographing range of the monitoring camera is temporarily excluded from the monitoring target.

本発明は、上記の課題認識に基づいてなされたものであり、自律走行車両などの移動体に搭載され、予め設定された監視対象(注視点)を監視する監視装置の向きを制御する方向制御装置において、監視装置の監視範囲内から監視対象が外れることなく、監視装置の向きを、常に監視する監視対象の方向に向けることができる方向制御装置および方向制御方法を提供することを目的としている。   The present invention has been made on the basis of the above problem recognition, and is directional control for controlling the direction of a monitoring device mounted on a moving body such as an autonomous vehicle and monitoring a preset monitoring target (gaze point). It is an object of the present invention to provide a direction control device and a direction control method capable of directing the direction of a monitoring device in the direction of the monitoring target to be constantly monitored without deviating from the monitoring range of the monitoring device. .

上記の課題を解決するため、本発明の一実施形態による方向制御装置は、予め定められた経路の情報に従って自律的に移動する移動体に搭載された監視装置の向きを、予め定められた監視対象が位置する方向に向ける方向制御装置であって、前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を目標の方向に向けるための目標制御量を算出する目標制御量算出手段と、前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または移動中における障害物の検知により臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、前記移動体の目標経路上の次の位置を予測し、該予測した前記移動体の目標経路上の前記次の位置の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を、次の目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手段によって算出された目標制御量を補正する目標制御量補正手段と、を備える、ことを特徴とする。
これにより、監視装置を監視対象の方向に向ける際に、移動体の移動経路が加味され、常に監視装置を監視対象の方向に向けることができる。
In order to solve the above-described problem, a direction control device according to an embodiment of the present invention monitors a direction of a monitoring device mounted on a mobile body that moves autonomously according to information on a predetermined route. A direction control device for directing a direction in which an object is located, wherein the monitoring device is set in a target direction based on information on a current position, posture, and speed of the moving body and information on a position of the monitoring target. Target control amount calculation means for calculating a target control amount for turning, information on the current position, posture, and speed of the moving body, and detection of obstacles during movement or a preset travel route of the moving body And predicting the next position on the target route of the mobile body based on the information on the input target route indicating any of the avoidance routes temporarily calculated by the above, and on the predicted target route of the mobile body The next place And the information on the position of the monitoring target, the correction control amount for directing the monitoring device in the direction of the next target is calculated, and the target is calculated based on the calculated correction control amount. And a target control amount correction unit that corrects the target control amount calculated by the control amount calculation unit.
Accordingly, when the monitoring device is directed in the direction of the monitoring target, the moving path of the moving body is taken into consideration, and the monitoring device can always be directed in the direction of the monitoring target.

また本発明の一実施形態による方向制御装置は、前記目標制御量算出手段は、前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、制御周期に基づいた現在のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための目標制御量を算出し、前記目標制御量補正手段は、前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または障害物の検知に基づいて臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、制御周期に基づいた次のタイミングにおける前記移動体の目標経路上の位置を予測し、該予測した前記次のタイミングにおける前記移動体の目標経路上の位置の情報と、前記監視対象の位置の情報とに基づいて、前記次のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手段によって算出された目標制御量を補正することを特徴とする。
これにより、監視装置を監視対象に向ける際の目標の姿勢を決定し、この目標の姿勢に基づいて、監視装置の方向を制御する制御量を決定することができる。
The direction control device according to an embodiment of the present invention may be configured such that the target control amount calculation unit performs control based on information on the current position, posture, and speed of the moving body and information on the position of the monitoring target. A target control amount for directing the monitoring device in a target direction for monitoring the monitoring target at a current timing based on a cycle is calculated, and the target control amount correction unit is configured to determine a current position and orientation of the moving body. And a control cycle based on the information on the speed and the information on the input target route indicating the avoidance route temporarily calculated based on the detection of the traveling route or the obstacle set in advance. The position of the moving body on the target route at the next timing based on the information, the position information on the target path of the moving body at the predicted next timing, and the position of the monitoring target And calculating a correction control amount for directing the monitoring device in a target direction for monitoring the monitoring target at the next timing based on the information, and based on the calculated correction control amount, the target control The target control amount calculated by the amount calculating means is corrected.
Accordingly, it is possible to determine a target posture when the monitoring device is directed toward the monitoring target, and to determine a control amount for controlling the direction of the monitoring device based on the target posture.

また、本発明の一実施形態による方向制御装置は、前記目標制御量補正手段が、前記移動体の現在の位置、姿勢、および速度と、入力した前記移動体の目標経路の情報とに基づいて、前記次のタイミングにおける前記移動体の目標経路上の位置および姿勢を予測し、前記予測された前記移動体が移動した後の位置および姿勢と、前記監視対象の位置とに基づいて、前記監視装置の姿勢の変化量を算出し、前記算出された前記監視装置の姿勢の変化量に基づいて、前記次のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための補正制御量を算出する、ことを特徴とする。
これにより、監視装置を監視対象に向ける際の目標の姿勢を補正し、この補正した姿勢に基づいて、監視装置の方向を制御する制御量を決定することができる。
In the directional control device according to the embodiment of the present invention, the target control amount correction unit may be configured based on the current position, posture, and speed of the moving body and the input target route information of the moving body. , Predicting the position and orientation of the moving body on the target path at the next timing, and based on the predicted position and orientation after the moving body has moved and the position of the monitoring target A correction for calculating a change amount of the posture of the device and directing the monitoring device in a target direction for monitoring the monitoring target at the next timing based on the calculated change amount of the posture of the monitoring device. The control amount is calculated.
As a result, it is possible to correct the target posture when the monitoring device is directed toward the monitoring target, and to determine the control amount for controlling the direction of the monitoring device based on the corrected posture.

また、本発明の一実施形態による方向制御装置は、前記目標制御量補正手段が、前記移動体の経路および速度が変更されたときには、前記移動体の現在の位置、姿勢、および速度と、前記変更された経路とに基づいて、前記次のタイミングにおける前記移動体位置および姿勢を予測する、ことを特徴とする。
これにより、監視装置を監視対象の方向に向ける際に、移動体の移動経路の変更が加味され、移動経路が急に変更された場合でも、常に監視装置を監視対象の方向に向けることができる。
Further, in the direction control device according to the embodiment of the present invention, when the target control amount correction unit changes the path and speed of the moving body, the current position, posture, and speed of the moving body, Based on the changed route, the position and orientation of the moving body at the next timing are predicted.
Accordingly, when the monitoring device is directed in the direction of the monitoring target, the change of the moving path of the moving body is taken into account, and even when the moving route is suddenly changed, the monitoring device can always be directed in the direction of the monitoring target. .

また、本発明の一実施形態による方向制御方法は、予め定められた経路の情報に従って自律的に移動する移動体に搭載された監視装置の向きを、予め定められた監視対象が位置する方向に向ける方向制御方法であって、前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を目標の方向に向けるための目標制御量を算出する目標制御量算出手順と、前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または障害物の検知に基づいて臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、前記移動体の目標経路上の次の位置を予測し、該予測した前記移動体の目標経路上の前記次の位置の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を、次の目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手順によって算出された目標制御量を補正する目標制御量補正手順と、を備える、ことを特徴とする。
また、本発明の一実施形態による方向制御方法は、前記目標制御量算出手順において、前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、制御周期に基づいた現在のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための目標制御量を算出し、前記目標制御量補正手順において、前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または障害物の検知に基づいて臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、制御周期に基づいた次のタイミングにおける前記移動体の目標経路上の位置を予測し、該予測した前記次のタイミングにおける前記移動体の目標経路上の位置の情報と、前記監視対象の位置の情報とに基づいて、前記次のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手順によって算出された目標制御量を補正することを特徴とする。
In addition, the direction control method according to the embodiment of the present invention sets the direction of the monitoring device mounted on the mobile body that moves autonomously according to the predetermined route information in the direction in which the predetermined monitoring target is located. A target control amount for directing the monitoring device in a target direction based on information on a current position, posture, and speed of the moving body and information on a position of the monitoring target. The target control amount calculation procedure for calculating the current position, posture, and speed information of the moving body, and the avoidance calculated temporarily based on the preset travel route or obstacle detection of the moving body And predicting a next position on the target path of the moving body based on the input target path information indicating any of the paths, and information on the predicted next position on the target path of the moving body; , Position of the monitoring target Based on the information, calculates a correction control amount for directing the monitoring device in the direction of the next target, and based on the calculated correction control amount, the target control calculated by the target control amount calculation procedure And a target control amount correction procedure for correcting the amount.
Further, in the direction control method according to an embodiment of the present invention, in the target control amount calculation procedure, based on information on the current position, posture, and speed of the moving body and information on the position of the monitoring target, A target control amount for directing the monitoring device in a target direction for monitoring the monitoring target at a current timing based on a control cycle is calculated, and in the target control amount correction procedure, a current position of the moving body, Control based on posture and speed information and input target route information indicating either a preset travel route of the moving object or an avoidance route temporarily calculated based on detection of an obstacle Predicting the position of the moving object on the target route at the next timing based on the period, information on the position of the moving object on the target route at the predicted next timing, and the monitoring Based on the information on the position of the target, the correction control amount for directing the monitoring device in the direction of the target for monitoring the monitoring target is calculated at the next timing, and based on the calculated correction control amount The target control amount calculated by the target control amount calculation procedure is corrected.

本発明によれば、自律走行車両などの移動体に搭載され、予め設定された監視対象(注視点)を監視する監視装置の向きを制御する方向制御装置において、監視装置の監視範囲内から監視対象が外れることなく、監視装置の向きを、常に監視する監視対象の方向に向けることができるという効果が得られる。   According to the present invention, in a direction control device that is mounted on a moving body such as an autonomous vehicle and controls the direction of a monitoring device that monitors a preset monitoring target (gaze point), the monitoring is performed from within the monitoring range of the monitoring device. There is an effect that the direction of the monitoring device can be directed to the direction of the monitoring target to be constantly monitored without losing the target.

本発明の実施形態による方向制御装置を搭載した自律走行車両の概略構成を示したブロック図である。1 is a block diagram showing a schematic configuration of an autonomous vehicle equipped with a direction control device according to an embodiment of the present invention. 本実施形態における自律走行車両の走行経路の変更を説明する図である。It is a figure explaining the change of the driving | running route of the autonomous vehicle in this embodiment. 本実施形態の方向制御装置におけるカメラ制御量算出部の概略構成を示したブロック図である。It is the block diagram which showed schematic structure of the camera control amount calculation part in the direction control apparatus of this embodiment. 本実施形態の方向制御装置においてカメラ方向の制御をするための自律走行車両の位置・姿勢の予測方法を説明する図である。It is a figure explaining the prediction method of the position and attitude | position of the autonomous running vehicle for controlling a camera direction in the direction control apparatus of this embodiment. 本実施形態の方向制御装置における方向制御の処理手順を示したフローチャートである。It is the flowchart which showed the process sequence of the direction control in the direction control apparatus of this embodiment. 本実施形態の方向制御装置におけるカメラ方向制御の一例を示した図である。It is the figure which showed an example of the camera direction control in the direction control apparatus of this embodiment.

以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態による方向制御装置を搭載した自律走行車両の概略構成を示したブロック図である。図1において、自律走行車両1は、監視カメラ10、駆動部11、車両制御部20、GPS(Global Positioning System)30、レーザレーダ40、IMU(Inertial Measurement Unit:慣性計測装置)50、車速パルス検出部60、ブレーキ/アクセルアクチュエータ70、ステアリングアクチュエータ80、無線LAN90を有する。自律走行車両1は、予め設定された走行経路に基づいて、監視範囲内を走行し、監視カメラ10によって、予め設定された監視対象の注視点を監視する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of an autonomous vehicle equipped with a direction control device according to the present embodiment. In FIG. 1, an autonomous vehicle 1 includes a monitoring camera 10, a drive unit 11, a vehicle control unit 20, a GPS (Global Positioning System) 30, a laser radar 40, an IMU (Inertial Measurement Unit) 50, and a vehicle speed pulse detection. Part 60, brake / accelerator actuator 70, steering actuator 80, and wireless LAN 90. The autonomously traveling vehicle 1 travels within the monitoring range based on a preset travel route, and the monitoring camera 10 monitors a preset gaze point of the monitoring target.

GPS30は、自律走行車両1の現在位置を表す車両位置情報を取得し、その取得した車両位置情報を車両制御部20に出力する。
IMU40は、自律走行車両1の現在の姿勢の情報を取得し、その取得した姿勢情報を車両制御部20に出力する。
車速パルス検出部50は、自律走行車両1の現在の走行速度の情報を取得し、その取得した走行速度情報を車両制御部20に出力する。
レーザレーダ60は、自律走行車両1の走行経路内の、例えば、障害物などを検出する。レーザレーダ60は、照射したレーザビームの反射波を観測することによって、自レーザレーダ60とレーザビームを反射した障害物との距離を検出し、その障害物までの距離の情報(以下「距離情報」という)を、車両制御部20に出力する。
The GPS 30 acquires vehicle position information representing the current position of the autonomous traveling vehicle 1 and outputs the acquired vehicle position information to the vehicle control unit 20.
The IMU 40 acquires information on the current attitude of the autonomous vehicle 1 and outputs the acquired attitude information to the vehicle control unit 20.
The vehicle speed pulse detection unit 50 acquires information on the current traveling speed of the autonomous traveling vehicle 1 and outputs the acquired traveling speed information to the vehicle control unit 20.
The laser radar 60 detects, for example, an obstacle in the traveling route of the autonomous traveling vehicle 1. The laser radar 60 detects the distance between the laser radar 60 and the obstacle that reflects the laser beam by observing the reflected wave of the irradiated laser beam, and information on the distance to the obstacle (hereinafter, “distance information”). Is output to the vehicle control unit 20.

ブレーキ/アクセルアクチュエータ70は、車両制御部20から入力された車両が走行する速度の制御値に応じて、自律走行車両1のアクセルおよびブレーキを制御する。このブレーキ/アクセルアクチュエータ70による制御によって、自律走行車両1が発進、加速、減速、または停止などの動作が行われる。
ステアリングアクチュエータ80は、車両制御部20から入力された車両が走行する方向の制御値に応じて、自律走行車両1のステアリングを制御する。このステアリングアクチュエータ80による制御によって、自律走行車両1の進行方向が変更される。
The brake / accelerator actuator 70 controls the accelerator and the brake of the autonomously traveling vehicle 1 according to the control value of the traveling speed of the vehicle input from the vehicle control unit 20. Under the control of the brake / accelerator actuator 70, the autonomously traveling vehicle 1 performs operations such as starting, accelerating, decelerating, or stopping.
The steering actuator 80 controls the steering of the autonomously traveling vehicle 1 according to the control value in the direction in which the vehicle travels input from the vehicle control unit 20. By the control by the steering actuator 80, the traveling direction of the autonomous traveling vehicle 1 is changed.

無線LAN90は、無線通信によって、例えば、監視者が操作する通信装置(図示せず)との通信を行う。監視者は、この無線LAN90との通信によって、自律走行車両1の走行経路や監視対象の注視点などを設定し、自律走行車両1が監視した監視結果を取得する。無線LAN90は、監視者が操作する通信装置から送信されてきた設定データを受信し、車両制御部20に出力する。また、無線LAN90は、監視結果を監視者が操作する通信装置に送信する。   The wireless LAN 90 communicates with a communication device (not shown) operated by a supervisor, for example, by wireless communication. The monitor sets the travel route of the autonomous vehicle 1 and the watch point of the monitoring target through communication with the wireless LAN 90, and acquires the monitoring result monitored by the autonomous vehicle 1. The wireless LAN 90 receives the setting data transmitted from the communication device operated by the supervisor and outputs it to the vehicle control unit 20. Further, the wireless LAN 90 transmits the monitoring result to the communication device operated by the monitor.

監視カメラ10は、監視対象の注視点を監視する、例えば、赤外線カメラや高感度カメラなどの監視装置である。監視カメラ10が監視対象の注視点を撮影することによって監視対象の監視動作が行われる。監視カメラ10が撮影した画像データなどの監視結果は、無線LAN90を介して監視者が操作する通信装置に送信される。   The monitoring camera 10 is a monitoring device such as an infrared camera or a high-sensitivity camera that monitors a gaze point to be monitored. The monitoring operation of the monitoring target is performed by the monitoring camera 10 photographing the watch point of the monitoring target. Monitoring results such as image data captured by the monitoring camera 10 are transmitted to the communication device operated by the monitoring person via the wireless LAN 90.

なお、監視カメラ10は、駆動部11に取り付けられており、駆動部11が、車両制御部20から入力された監視カメラ10の撮影方向の制御値に応じて、水平面内または垂直面内で回転することによって、監視カメラ10の撮影範囲が、左右方向(パン)または上下方向(チルト)に移動される。また、監視カメラ10は、ズームレンズを備えており、例えば、無線LAN90を介して送信されてきたズーム制御信号に応じて、ズーム比を変更することができる。このズーム比の変更によって、監視カメラ10が撮影する画像の画角が変更される。なお、以下の説明において、特に明示しない場合は、監視カメラ10と駆動部11とを合わせた構成を、監視カメラ10として説明する。   The surveillance camera 10 is attached to the drive unit 11, and the drive unit 11 rotates in a horizontal plane or a vertical plane according to the control value of the shooting direction of the surveillance camera 10 input from the vehicle control unit 20. By doing so, the imaging range of the surveillance camera 10 is moved in the left-right direction (pan) or the up-down direction (tilt). The surveillance camera 10 includes a zoom lens, and can change the zoom ratio according to a zoom control signal transmitted via the wireless LAN 90, for example. By changing the zoom ratio, the angle of view of the image captured by the monitoring camera 10 is changed. In the following description, unless otherwise specified, a configuration in which the monitoring camera 10 and the drive unit 11 are combined will be described as the monitoring camera 10.

車両制御部20は、無線LAN90を介して監視者が操作する通信装置から送信されてきた、自律走行車両1が走行する走行経路の情報(以下、「走行経路情報」という)に基づいて、自律走行車両1が監視範囲内を走行するための制御値を、ブレーキ/アクセルアクチュエータ70およびステアリングアクチュエータ80に出力する。また、無線LAN90を介して監視者が操作する通信装置から送信されてきた、監視カメラ10によって監視対象を監視するための注視点の位置情報(以下、「注視位置情報」という)に基づいて、監視カメラ10が監視対象を撮影するための撮影方向の制御値を、監視カメラ10に出力する。   The vehicle control unit 20 is autonomous based on information on a travel route on which the autonomous vehicle 1 travels (hereinafter referred to as “travel route information”) transmitted from a communication device operated by a supervisor via the wireless LAN 90. Control values for the traveling vehicle 1 to travel within the monitoring range are output to the brake / accelerator actuator 70 and the steering actuator 80. Further, based on position information (hereinafter referred to as “gaze position information”) of a gazing point for monitoring the monitoring target by the monitoring camera 10 transmitted from the communication device operated by the supervisor via the wireless LAN 90. The monitoring camera 10 outputs to the monitoring camera 10 a control value of the shooting direction for shooting the monitoring target.

ここで、車両制御部20による自律走行車両1の走行制御について説明する。なお、ここでは、車両制御部20が、予め設定された走行経路情報に基づいて、自律走行車両1の走行を制御する場合について説明する。自律走行車両1の走行制御は、以下の手順によって行われる。
(手順1):GPS30から入力された車両位置情報、IMU40から入力された姿勢情報、および車速パルス検出部50から入力された走行速度情報に基づいて、自律走行車両1の現在の位置、姿勢、速度(以下、「現在情報」)を算出する。
(手順2):算出した現在情報に基づいて、予め設定された走行経路情報、すなわち、目標とする走行経路(以下、「目標経路」という)に対する偏差を算出し、この算出した偏差に基づいて、ブレーキ/アクセルアクチュエータ70およびステアリングアクチュエータ80の制御量(以下、「車両制御量」という)を算出する。
(手順3):算出した車両制御量に応じた制御値をブレーキ/アクセルアクチュエータ70およびステアリングアクチュエータ80に出力する。これにより、自律走行車両1は、目標経路上を走行する。
Here, the traveling control of the autonomous traveling vehicle 1 by the vehicle control unit 20 will be described. Here, the case where the vehicle control unit 20 controls the traveling of the autonomous traveling vehicle 1 based on preset traveling route information will be described. The traveling control of the autonomous traveling vehicle 1 is performed according to the following procedure.
(Procedure 1): Based on the vehicle position information input from the GPS 30, the attitude information input from the IMU 40, and the travel speed information input from the vehicle speed pulse detector 50, the current position, attitude, The speed (hereinafter “current information”) is calculated.
(Procedure 2): Based on the calculated current information, a deviation with respect to preset travel route information, that is, a target travel route (hereinafter referred to as “target route”) is calculated, and based on the calculated deviation Then, control amounts of the brake / accelerator actuator 70 and the steering actuator 80 (hereinafter referred to as “vehicle control amount”) are calculated.
(Procedure 3): A control value corresponding to the calculated vehicle control amount is output to the brake / accelerator actuator 70 and the steering actuator 80. Thereby, the autonomous traveling vehicle 1 travels on the target route.

また、車両制御部20は、カメラ制御量算出部200を備えており、自律走行車両1が走行する目標経路の情報(以下、「目標経路情報」という)に基づいて、監視カメラ10の撮影方向を制御する。なお、カメラ制御量算出部200に関する詳細な説明は、後述する。   In addition, the vehicle control unit 20 includes a camera control amount calculation unit 200, and based on information on a target route on which the autonomous vehicle 1 travels (hereinafter referred to as “target route information”), the shooting direction of the monitoring camera 10 To control. A detailed description of the camera control amount calculation unit 200 will be described later.

また、車両制御部20は、レーザレーダ60が障害物を検出したことにより、検出した障害物の距離情報が入力されると、入力された距離情報に基づいて、走行経路を変更する。図2は、本実施形態における自律走行車両1の走行経路の変更を説明する図である。車両制御部20は、レーザレーダ60が図2に示すような障害物を検出したときの距離情報が入力されると、障害物を回避するための臨時の走行経路(以下、「回避経路」という)を算出する。この回避経路は、図2に示すように、目標経路から外れて障害物を回避し、障害物を回避した後に、早い段階(例えば、30[m]以内)で再び目標経路に戻るための短期的な走行経路である。このとき、車両制御部20は、予め設定された走行経路情報に代えて、算出した回避経路の情報(以下、「回避経路情報」という)に基づいて、自律走行車両1の走行を制御する。   In addition, when the distance information of the detected obstacle is input by the laser radar 60 detecting the obstacle, the vehicle control unit 20 changes the travel route based on the input distance information. FIG. 2 is a diagram illustrating a change in the travel route of the autonomous traveling vehicle 1 in the present embodiment. When the distance information when the laser radar 60 detects an obstacle as shown in FIG. 2 is input, the vehicle control unit 20 receives a temporary travel route for avoiding the obstacle (hereinafter referred to as “avoidance route”). ) Is calculated. As shown in FIG. 2, this avoidance route is a short-term for returning to the target route again at an early stage (for example, within 30 [m]) after avoiding the obstacle by avoiding the obstacle by deviating from the target route. Driving route. At this time, the vehicle control unit 20 controls the traveling of the autonomous traveling vehicle 1 based on the calculated avoidance route information (hereinafter referred to as “avoidance route information”) instead of the preset travel route information.

なお、回避経路情報に基づいた、車両制御部20による自律走行車両1の走行制御は、予め設定された走行経路情報の代わりに回避経路情報が用いられる以外は、予め設定された走行経路情報に基づいた走行制御と同様である。すなわち、車両制御部20は、上述の手順1〜手順3と同様に、現在情報に基づいて回避経路を目標経路としたときの偏差を算出し、算出した偏差に基づいて車両制御量を算出する。そして、算出した車両制御量に応じた制御値をブレーキ/アクセルアクチュエータ70およびステアリングアクチュエータ80に出力する。これにより、自律走行車両1は、回避経路上を走行する。   Note that the travel control of the autonomous traveling vehicle 1 by the vehicle control unit 20 based on the avoidance route information is based on the preset travel route information except that the avoidance route information is used instead of the preset travel route information. It is the same as the traveling control based on. That is, the vehicle control unit 20 calculates the deviation when the avoidance route is set as the target route based on the current information, and calculates the vehicle control amount based on the calculated deviation, similarly to the above-described procedure 1 to procedure 3. . Then, a control value corresponding to the calculated vehicle control amount is output to the brake / accelerator actuator 70 and the steering actuator 80. Thereby, the autonomous vehicle 1 travels on the avoidance route.

また、車両制御部20は、カメラ制御量算出部200に入力されている目標経路情報に代えて、算出した回避経路情報を目標経路情報として入力する。そして、カメラ制御量算出部200は、目標経路情報に代えて、入力された回避経路情報に基づいて、監視カメラ10の撮影方向を制御する。   In addition, the vehicle control unit 20 inputs the calculated avoidance route information as the target route information instead of the target route information input to the camera control amount calculation unit 200. Then, the camera control amount calculation unit 200 controls the shooting direction of the monitoring camera 10 based on the input avoidance route information instead of the target route information.

次に、本実施形態のカメラ制御量算出部200について説明する。図3は、本実施形態の方向制御装置におけるカメラ制御量算出部200の概略構成を示したブロック図である。図3において、カメラ制御量算出部200は、目標カメラ姿勢算出部210、加算部220、目標制御量算出部230、車両位置姿勢予測部240、姿勢変化量算出部250、補正制御量算出部260、加算部270、から構成される。   Next, the camera control amount calculation unit 200 of this embodiment will be described. FIG. 3 is a block diagram illustrating a schematic configuration of the camera control amount calculation unit 200 in the direction control device of the present embodiment. In FIG. 3, the camera control amount calculation unit 200 includes a target camera posture calculation unit 210, an addition unit 220, a target control amount calculation unit 230, a vehicle position / posture prediction unit 240, a posture change amount calculation unit 250, and a correction control amount calculation unit 260. , And an addition unit 270.

カメラ制御量算出部200は、従来の監視システムにおいて監視カメラ10の方向を制御する機能部に対して、目標経路情報に基づいて監視カメラ10の方向を補正する機能が追加されている。なお、カメラ制御量算出部200には、予め設定された走行経路情報、または臨時で算出された回避経路情報のいずれかの経路情報が、目標経路情報として逐次入力される。カメラ制御量算出部200は、この入力された目標経路情報に基づいて、監視カメラ10の撮影方向を制御する。従って、カメラ制御量算出部200による監視カメラ10の方向制御は、走行経路情報、または回避経路情報のどちらの経路情報であるかを判別して行うものではなく、逐次入力された目標経路情報に基づいて、逐次監視カメラ10の方向制御を行う。   The camera control amount calculation unit 200 has a function of correcting the direction of the monitoring camera 10 based on the target route information in addition to the function unit that controls the direction of the monitoring camera 10 in the conventional monitoring system. The camera control amount calculation unit 200 is sequentially inputted as target route information, either the preset travel route information or the temporarily calculated avoidance route information. The camera control amount calculation unit 200 controls the shooting direction of the monitoring camera 10 based on the input target route information. Therefore, the direction control of the monitoring camera 10 by the camera control amount calculation unit 200 is not performed by determining which route information is the travel route information or the avoidance route information, but the target route information input sequentially. Based on this, the direction control of the sequential monitoring camera 10 is performed.

目標カメラ姿勢算出部210は、車両制御部20に設定された監視カメラ10の注視位置情報、GPS30から入力された車両位置情報、IMU40から入力された姿勢情報、および車速パルス検出部50から入力された走行速度情報に基づいて、監視カメラ10の目標姿勢を算出する。そして、算出した監視カメラ10の目標姿勢の値を、加算部220および姿勢変化量算出部250に出力する。   The target camera attitude calculation unit 210 is input from the gaze position information of the monitoring camera 10 set in the vehicle control unit 20, vehicle position information input from the GPS 30, attitude information input from the IMU 40, and the vehicle speed pulse detection unit 50. Based on the travel speed information, the target posture of the monitoring camera 10 is calculated. Then, the calculated target posture value of the monitoring camera 10 is output to the adding unit 220 and the posture change amount calculating unit 250.

加算部220は、目標カメラ姿勢算出部210から入力された目標姿勢の値から、駆動部11における現在のカメラ姿勢の値を減算し、減算した姿勢の残差、すなわち、現在の監視カメラ10の姿勢を、目標とする監視カメラ10の姿勢とするための姿勢の値の差を、目標制御量算出部230に出力する。   The adding unit 220 subtracts the current camera posture value in the drive unit 11 from the target posture value input from the target camera posture calculating unit 210, and the subtracted posture residual, that is, the current monitoring camera 10. The difference between the posture values for setting the posture as the target posture of the monitoring camera 10 is output to the target control amount calculation unit 230.

目標制御量算出部230は、加算部220から入力された姿勢の値の差に基づいて、例えば、ゲインをかけるなどの処理を行い、駆動部11に出力する監視カメラ10の撮影方向の制御量(目標制御量)を算出する。そして、算出した目標制御量を加算部270に出力する。   The target control amount calculation unit 230 performs a process such as applying a gain based on the difference between the posture values input from the addition unit 220 and outputs the control amount in the shooting direction of the monitoring camera 10 output to the drive unit 11. (Target control amount) is calculated. Then, the calculated target control amount is output to the adding unit 270.

車両位置姿勢予測部240は、車両制御部20の目標経路情報(走行経路情報、または回避経路情報)、GPS30から入力された車両位置情報、IMU40から入力された姿勢情報、および車速パルス検出部50から入力された走行速度情報に基づいて、自律走行車両1の走行における次の位置と姿勢を予測する。そして、予測した自律走行車両1の位置と姿勢の予測値を、姿勢変化量算出部250に出力する。なお、車両位置姿勢予測部240における自律走行車両1の次の位置と姿勢の予測方法に関する詳細な説明は、後述する。   The vehicle position / orientation prediction unit 240 includes target route information (travel route information or avoidance route information) of the vehicle control unit 20, vehicle position information input from the GPS 30, attitude information input from the IMU 40, and a vehicle speed pulse detection unit 50. Next, the next position and posture in the traveling of the autonomous traveling vehicle 1 are predicted based on the traveling speed information input from. Then, the predicted predicted values of the position and posture of the autonomous traveling vehicle 1 are output to the posture change amount calculation unit 250. A detailed description of a method for predicting the next position and posture of the autonomous traveling vehicle 1 in the vehicle position and posture prediction unit 240 will be described later.

姿勢変化量算出部250は、車両位置姿勢予測部240から入力された自律走行車両1の位置と姿勢の予測値と、目標カメラ姿勢算出部210から入力された目標姿勢の値とに基づいて、監視カメラ10の姿勢の差を算出する。そして、算出した姿勢の差と、車両制御部20に設定された監視カメラ10の注視位置情報とに基づいて、監視カメラ10の姿勢変化量を算出する。そして、算出した姿勢変化量の値を、補正制御量算出部260に出力する。   The posture change amount calculation unit 250 is based on the predicted position and posture value of the autonomous traveling vehicle 1 input from the vehicle position / posture prediction unit 240 and the target posture value input from the target camera posture calculation unit 210. A difference in posture of the monitoring camera 10 is calculated. Based on the calculated attitude difference and the gaze position information of the monitoring camera 10 set in the vehicle control unit 20, the attitude change amount of the monitoring camera 10 is calculated. Then, the calculated posture change amount value is output to the correction control amount calculation unit 260.

補正制御量算出部260は、姿勢変化量算出部250から入力された姿勢変化量の値に基づいて、例えば、ゲインをかけるなどの処理を行い、駆動部11に出力する監視カメラ10の撮影方向を補正するための制御量(補正制御量)を算出する。そして、算出した補正制御量を加算部270に出力する。   The correction control amount calculation unit 260 performs a process such as applying a gain based on the value of the posture change amount input from the posture change amount calculation unit 250 and outputs the shooting direction of the monitoring camera 10 output to the drive unit 11. A control amount (correction control amount) for correcting is calculated. Then, the calculated correction control amount is output to the adding unit 270.

加算部270は、目標制御量算出部230から入力された目標制御量と、補正制御量算出部260から入力された補正制御量とを加算し、加算した制御量を、監視カメラ10の撮影方向を制御するカメラ制御量として、駆動部11に出力する。なお、駆動部11には、カメラ制御量に応じた制御値が入力される。これにより、駆動部11が水平面内または垂直面内で回転し、監視カメラ10が監視対象を監視するための注視点の方向に向けられる。   The addition unit 270 adds the target control amount input from the target control amount calculation unit 230 and the correction control amount input from the correction control amount calculation unit 260, and uses the added control amount as the shooting direction of the monitoring camera 10. Is output to the drive unit 11 as a camera control amount for controlling the. Note that a control value corresponding to the camera control amount is input to the drive unit 11. Thereby, the drive unit 11 rotates in a horizontal plane or a vertical plane, and the monitoring camera 10 is directed in the direction of the point of sight for monitoring the monitoring target.

次に、本実施形態の方向制御装置において、従来の方向制御機能に対してカメラ制御量算出部200において追加された機能である、車両位置姿勢予測部240による自律走行車両1が走行する位置と姿勢を予測方法について説明する。図4は、本実施形態の車両位置姿勢予測部240における自律走行車両の位置・姿勢の予測方法を説明する図である。カメラ制御量算出部200における監視カメラ10の撮影方向の制御は、例えば、CPU(Central Processing Unit)などで処理を行う際の制御周期に基づいたタイミングで処理が行われる。なお、以下の説明においては、説明をしやすくする観点から、監視カメラ10は、ある間隔を持って断続的に撮影するものとして説明する。   Next, in the direction control device of the present embodiment, a position where the autonomous traveling vehicle 1 travels by the vehicle position and orientation prediction unit 240, which is a function added in the camera control amount calculation unit 200 to the conventional direction control function, and A method for predicting a posture will be described. FIG. 4 is a diagram for explaining a method for predicting the position / posture of an autonomously traveling vehicle in the vehicle position / posture prediction unit 240 according to the present embodiment. The control of the shooting direction of the monitoring camera 10 in the camera control amount calculation unit 200 is performed at a timing based on a control cycle when processing is performed by a CPU (Central Processing Unit), for example. In the following description, from the viewpoint of facilitating the description, the monitoring camera 10 will be described as being intermittently photographed at a certain interval.

図4(a)に示すように、目標経路情報は、自律走行車両1の目標経路上の通過点(P1,P2,P3,P4,P5,P6,・・・,Pn)の座標列(Px,Py,Pv)として与えられる。各通過点の座標列(Px,Py,Pv)の各要素は、外界に固定された緯度、経度に基づいた位置の二次元座標(Px,Py)および速度(Pv)を表している。   As shown in FIG. 4A, the target route information is a coordinate sequence (Px) of passing points (P1, P2, P3, P4, P5, P6,..., Pn) on the target route of the autonomous vehicle 1. , Py, Pv). Each element of the coordinate sequence (Px, Py, Pv) of each passing point represents the two-dimensional coordinates (Px, Py) and the velocity (Pv) of the position based on the latitude and longitude fixed to the outside.

また、GPS30から入力される車両位置情報は、例えば、自律走行車両1の後輪タイヤの中心の位置が、外界に固定された緯度、経度に基づいた2次元座標(X,Y)として入力される。また、IMU40から入力される姿勢情報は、例えば、北の方向を基準とした方位角や自律走行車両1の前輪タイヤの切れ角の左右平均値などの角度θが入力される。また、車速パルス検出部50から入力される走行速度情報は、例えば、自律走行車両1の後輪タイヤの左右の平均速度Vが入力される。   In addition, the vehicle position information input from the GPS 30 is input, for example, as the two-dimensional coordinates (X, Y) based on the latitude and longitude fixed to the outside of the center position of the rear tire of the autonomous vehicle 1. The In addition, as the posture information input from the IMU 40, for example, an angle θ such as an azimuth angle with respect to the north direction as a reference or a left-right average value of the cutting angle of the front tire of the autonomous vehicle 1 is input. In addition, as the traveling speed information input from the vehicle speed pulse detection unit 50, for example, the left and right average speed V of the rear wheel tire of the autonomous traveling vehicle 1 is input.

車両位置姿勢予測部240は、GPS30から入力された現在の車両位置(X,Y)と目標経路情報(Px,Py)とを比較し、自律走行車両1の目標経路上の現在位置を算出する。この目標経路上の現在位置の算出は、例えば、算出した現在の車両位置の座標と、目標経路情報内の全ての通過点の位置の座標とに基づいて、それぞれの通過点と現在の車両位置との距離を算出し、算出した距離が最も近い通過点を、目標経路上における現在の車両位置とする。また、車両位置姿勢予測部240は、IMU40から入力された角度θに基づいて、現在の車両位置から自律走行車両1が移動する方向(走行方向)を算出する。図4(b)では、通過点P2を、目標経路上の現在位置とし、図4(b)の右方向を走行方向とした場合を示している。   The vehicle position / orientation prediction unit 240 compares the current vehicle position (X, Y) input from the GPS 30 with the target route information (Px, Py), and calculates the current position on the target route of the autonomous vehicle 1. . The calculation of the current position on the target route is, for example, based on the calculated coordinates of the current vehicle position and the coordinates of the positions of all the passing points in the target route information. And the passing point with the closest calculated distance is set as the current vehicle position on the target route. Further, the vehicle position / orientation prediction unit 240 calculates the direction (traveling direction) in which the autonomous traveling vehicle 1 moves from the current vehicle position based on the angle θ input from the IMU 40. FIG. 4B shows a case where the passing point P2 is the current position on the target route, and the right direction in FIG. 4B is the traveling direction.

続いて、車両位置姿勢予測部240は、車速パルス検出部50から入力された現在の平均速度Vと目標経路情報(Pv)とが同じ速度である場合には、自律走行車両1が、現在の平均速度Vで目標経路上を走行したと仮定し、現在の時間から次に撮影する時間までの時間差Δtの時間で自律走行車両1が走行する走行距離(例えば、VΔt)を算出する。そして、現在位置(P2)から通過点をたどって、算出した走行距離を走行したときの通過点の座標を予測位置とする。また、その予測位置における自律走行車両1の姿勢を予測姿勢とする。図4(c)では、地点Pの位置を、次に撮影する時間における目標経路上の位置とした場合を示している。   Subsequently, when the current average speed V input from the vehicle speed pulse detection unit 50 and the target route information (Pv) are the same speed, the vehicle position / orientation prediction unit 240 determines that the autonomous traveling vehicle 1 Assuming that the vehicle traveled on the target route at the average speed V, the travel distance (for example, VΔt) traveled by the autonomous vehicle 1 during the time difference Δt from the current time to the next shooting time is calculated. Then, the passing point is traced from the current position (P2), and the coordinates of the passing point when traveling the calculated traveling distance are set as the predicted position. Moreover, let the attitude | position of the autonomous vehicle 1 in the predicted position be a predicted attitude. FIG. 4C shows a case where the position of the point P is a position on the target route at the next shooting time.

なお、車速パルス検出部50から入力された現在の平均速度Vと目標経路情報(Pv)とが同じ速度でない場合には、現在の平均速度Vと目標経路情報(Pv)との速度差に基づいて、時間差Δt後の自律走行車両1の速度を算出する。そして、自律走行車両1が、算出した速度で目標経路上を走行したと仮定して、時間差Δtの時間で自律走行車両1が走行する走行距離を算出する。   If the current average speed V input from the vehicle speed pulse detection unit 50 and the target route information (Pv) are not the same speed, it is based on the speed difference between the current average speed V and the target route information (Pv). Thus, the speed of the autonomous vehicle 1 after the time difference Δt is calculated. Then, assuming that the autonomous traveling vehicle 1 traveled on the target route at the calculated speed, the traveling distance traveled by the autonomous traveling vehicle 1 in the time difference Δt is calculated.

次に、本実施形態の方向制御装置における方向制御の処理手順について説明する。図5は、本実施形態の方向制御装置における方向制御の処理手順を示したフローチャートである。   Next, a processing procedure of direction control in the direction control device of this embodiment will be described. FIG. 5 is a flowchart showing a processing procedure of direction control in the direction control device of the present embodiment.

まず、ステップS100において、車両制御部20は、GPS30から入力された車両位置情報、IMU40から入力された姿勢情報、および車速パルス検出部50から入力された走行速度情報に基づいて、自律走行車両1の現在情報を算出する。続いて、ステップS200において、車両制御部20は、算出した現在情報に基づいて、目標経路に対する偏差を算出する。続いて、ステップS300において、車両制御部20は、算出した目標経路に対する偏差に基づいて、車両制御量を算出する。   First, in step S100, the vehicle control unit 20 determines the autonomous traveling vehicle 1 based on the vehicle position information input from the GPS 30, the attitude information input from the IMU 40, and the travel speed information input from the vehicle speed pulse detection unit 50. The current information of is calculated. Subsequently, in step S200, the vehicle control unit 20 calculates a deviation from the target route based on the calculated current information. Subsequently, in step S300, the vehicle control unit 20 calculates a vehicle control amount based on the calculated deviation from the target route.

続いて、ステップS400において、カメラ制御量算出部200は、車両制御部20に設定された監視カメラ10の注視位置情報、GPS30から入力された車両位置情報、IMU40から入力された姿勢情報、車速パルス検出部50から入力された走行速度情報、および目標経路情報に基づいて、カメラ制御量を算出する。なお、ステップS400においてカメラ制御量の算出に用いられるGPS30からの車両位置情報、IMU40からの姿勢情報、および車速パルス検出部50からの走行速度情報に代わって、ステップS100で算出した現在情報を用いることもできる。   Subsequently, in step S400, the camera control amount calculation unit 200 sets the gaze position information of the monitoring camera 10 set in the vehicle control unit 20, the vehicle position information input from the GPS 30, the attitude information input from the IMU 40, and the vehicle speed pulse. The camera control amount is calculated based on the traveling speed information and the target route information input from the detection unit 50. Note that the current information calculated in step S100 is used in place of the vehicle position information from the GPS 30, the attitude information from the IMU 40, and the travel speed information from the vehicle speed pulse detection unit 50, which are used to calculate the camera control amount in step S400. You can also.

続いて、ステップS500において、車両制御部20は、算出した車両制御量に応じた制御値をブレーキ/アクセルアクチュエータ70およびステアリングアクチュエータ80に出力する。これにより、自律走行車両1は、目標経路上を走行する。また、カメラ制御量算出部200は、算出したカメラ制御量に応じた制御値を駆動部11に出力する。これにより、駆動部11が水平面内または垂直面内で回転し、次の撮影位置において監視カメラ10が監視対象を監視するための注視点の方向に向けられる。   Subsequently, in step S500, the vehicle control unit 20 outputs a control value corresponding to the calculated vehicle control amount to the brake / accelerator actuator 70 and the steering actuator 80. Thereby, the autonomous traveling vehicle 1 travels on the target route. Further, the camera control amount calculation unit 200 outputs a control value corresponding to the calculated camera control amount to the drive unit 11. Accordingly, the drive unit 11 rotates in a horizontal plane or a vertical plane, and the monitoring camera 10 is directed in the direction of the point of sight for monitoring the monitoring target at the next shooting position.

続いて、ステップS600において、車両制御部20は、自律走行車両1が目的地に到着したか否かを判断し、目的地に到着した場合は、処理を完了する。また、ステップS600において、自律走行車両1が、目的地に到着していない場合は、ステップS100に戻って、自律走行車両1の走行制御、および監視カメラ10の撮影方向制御を繰り返す。なお、自律走行車両1が監視範囲内を周回する場合は、自律走行車両1の目的地は存在しないため、ステップS600における目的地に到着したか否かの判断は、常に目的地に到着していないと判断され、ステップS100〜ステップS500の処理が繰り返される。   Subsequently, in step S600, the vehicle control unit 20 determines whether or not the autonomously traveling vehicle 1 has arrived at the destination, and completes the process when it has arrived at the destination. If the autonomous traveling vehicle 1 has not arrived at the destination in step S600, the process returns to step S100, and the traveling control of the autonomous traveling vehicle 1 and the shooting direction control of the monitoring camera 10 are repeated. Note that when the autonomous traveling vehicle 1 circulates within the monitoring range, the destination of the autonomous traveling vehicle 1 does not exist, so the determination as to whether or not the destination has arrived at step S600 has always arrived at the destination. It is determined that there is not, and the processing from step S100 to step S500 is repeated.

上記に述べたとおり、カメラ制御量算出部200に追加された監視カメラ10の方向を補正する機能によって、監視カメラ10が撮影する方向を制御することができる。より具体的には、車両位置姿勢予測部240によって、事前に自律走行車両1の走行(位置・姿勢)を予測し、姿勢変化量算出部250、補正制御量算出部260、および加算部270によって、事前に目標制御量を補正する。これにより、自律走行車両1の走行経路が急に変わった場合でも、事前に監視カメラ10を撮影する方向に向けておくことができる。   As described above, the direction in which the monitoring camera 10 captures an image can be controlled by the function of correcting the direction of the monitoring camera 10 added to the camera control amount calculation unit 200. More specifically, the travel (position / posture) of the autonomous vehicle 1 is predicted in advance by the vehicle position / posture prediction unit 240, and the posture change amount calculation unit 250, the correction control amount calculation unit 260, and the addition unit 270 The target control amount is corrected in advance. Thereby, even when the traveling route of the autonomous traveling vehicle 1 changes suddenly, the surveillance camera 10 can be directed in the direction of photographing in advance.

ここで、本実施形態の方向制御装置における方向制御の動作例について説明する。図6は、本実施形態の方向制御装置におけるカメラ方向制御の一例を示した図である。図6(a)は、予め設定された走行経路上を自律走行車両1が走行した場合の監視カメラ10の方向制御を示した図である。また、図6(b)は、予め設定された走行経路が変更された場合の監視カメラ10の方向制御を示した図である。   Here, an operation example of direction control in the direction control device of the present embodiment will be described. FIG. 6 is a diagram illustrating an example of camera direction control in the direction control device of the present embodiment. FIG. 6A is a diagram illustrating the direction control of the monitoring camera 10 when the autonomous traveling vehicle 1 travels on a preset travel route. FIG. 6B is a diagram showing the direction control of the monitoring camera 10 when a preset travel route is changed.

図6(a)に示すように、自律走行車両1が目標経路上の地点Aから地点Bに移動した場合、地点Aにおいて、予め設定された監視対象の注視点を監視するために、自律走行車両1の進行方向に対して、角度θだけ回転されていた監視カメラ10の方向が、自律走行車両1が地点Bに移動することに伴って、さらに角度Δθだけ回転する。 As shown in FIG. 6 (a), when the autonomous traveling vehicle 1 moves from the point A on the target route to the point B, the autonomous traveling 1 is monitored at the point A in order to monitor a preset gaze point to be monitored. The direction of the monitoring camera 10 that has been rotated by the angle θ with respect to the traveling direction of the vehicle 1 further rotates by the angle Δθ B as the autonomous traveling vehicle 1 moves to the point B.

また、図6(b)に示すように、目標経路上の地点をA走行していた自律走行車両1の走行経路が変更され、回避経路上の地点Cに移動した場合、地点Aにおいて、予め設定された監視対象の注視点を監視するために、自律走行車両1の進行方向に対して、角度θだけ回転されていた監視カメラ10の方向が、自律走行車両1が地点Cに移動することに伴って、さらに角度Δθだけ回転する。 In addition, as shown in FIG. 6B, when the travel route of the autonomous vehicle 1 that has traveled A on the target route is changed and moved to the point C on the avoidance route, The direction of the monitoring camera 10 that has been rotated by the angle θ relative to the traveling direction of the autonomous traveling vehicle 1 moves the autonomous traveling vehicle 1 to the point C in order to monitor the set gaze point of the monitoring target. Accordingly, it further rotates by an angle Δθ C.

図6(a)および図6(b)からわかるように、自律走行車両1が走行する走行経路によって、監視カメラ10を監視対象に向ける角度θが異なる。本実施形態の方向制御装置では、自律走行車両1の走行経路に応じて、現在の地点Aから次に監視カメラ10が撮影する地点(地点Bまたは地点C)を予測することにより、監視カメラ10を、常に監視対象の方向に向けることができる。   As can be seen from FIG. 6A and FIG. 6B, the angle θ at which the monitoring camera 10 is directed to the monitoring object differs depending on the travel route on which the autonomous traveling vehicle 1 travels. In the direction control device of the present embodiment, the monitoring camera 10 is predicted by predicting the next point (the point B or the point C) taken by the monitoring camera 10 from the current point A according to the travel route of the autonomous vehicle 1. Can always be directed in the direction of the monitoring target.

なお、図6においては、説明をしやすくする観点から、監視カメラ10が監視対象を撮影する地点を、地点Aと地点B、または地点Aと地点Cとした場合について説明したが、上述のように、本実施形態の方向制御装置における監視カメラ10の撮影方向の制御は、例えば、CPUなどで処理を行う際の制御周期のタイミングで制御されるため、監視カメラ10を、常に監視対象の方向に向けることができる。すなわち、監視カメラ10が、ある間隔を持って断続的に撮影するのではなく、常に連続して撮影している場合であっても、常に監視対象の方向に監視カメラ10を向けることができる。   In FIG. 6, from the viewpoint of facilitating the explanation, the case where the points where the monitoring camera 10 captures the monitoring target is point A and point B or point A and point C has been described. In addition, since the control of the shooting direction of the monitoring camera 10 in the direction control device of the present embodiment is controlled, for example, at the timing of the control cycle when the processing is performed by the CPU or the like, the monitoring camera 10 is always monitored. Can be directed to. In other words, the monitoring camera 10 can always point the monitoring camera 10 in the direction of the monitoring target even when the monitoring camera 10 does not shoot intermittently with a certain interval but always shoots continuously.

上記に述べたとおり、本発明を実施するための最良の形態によれば、自律走行車両などの移動体の移動経路に基づいて、予め設定された監視対象(注視点)を監視する、移動体に搭載された監視装置の向きを、監視対象の方向に向けることができる。また、移動体の移動経路が急に変更された場合でも、同様に監視装置を監視対象の方向に向けることができる。これにより、監視装置の監視範囲内から監視対象が外れることなく、監視装置の向きを、常に監視する監視対象の方向に向けることができる。   As described above, according to the best mode for carrying out the present invention, a mobile object that monitors a preset monitoring target (gaze point) based on the movement route of the mobile object such as an autonomous vehicle. The direction of the monitoring device mounted on the can be directed to the direction of the monitoring target. Further, even when the moving path of the moving body is suddenly changed, the monitoring device can be similarly directed in the direction of the monitoring target. Thereby, the direction of the monitoring device can be directed to the direction of the monitoring target that is always monitored without deviating from the monitoring target within the monitoring range of the monitoring device.

なお、本実施形態においては、監視カメラ10を自律走行車両1に搭載した例について説明したが、例えば、予め設定された経路に従って自律的に飛行するヘリコプターや航空機などの飛行体に搭載した監視装置に適用することもできる。   In this embodiment, the example in which the monitoring camera 10 is mounted on the autonomous vehicle 1 has been described. However, for example, a monitoring device mounted on a flying object such as a helicopter or an aircraft that flies autonomously according to a preset route. It can also be applied to.

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。   The embodiment of the present invention has been described above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes various modifications within the scope of the present invention. It is.

1・・・自律走行車両
10・・・監視カメラ
11・・・駆動部
20・・・車両制御部
200・・・カメラ制御量算出部
210・・・目標カメラ姿勢算出部
220・・・加算部
230・・・目標制御量算出部
240・・・車両位置姿勢予測部
250・・・姿勢変化量算出部
260・・・補正制御量算出部
270・・・加算部
30・・・GPS
40・・・IMU
50・・・車速パルス検出部
60・・・レーザレーダ
70・・・ブレーキ/アクセルアクチュエータ
80・・・ステアリングアクチュエータ
90・・・無線LAN
DESCRIPTION OF SYMBOLS 1 ... Autonomous traveling vehicle 10 ... Surveillance camera 11 ... Drive part 20 ... Vehicle control part 200 ... Camera control amount calculation part 210 ... Target camera attitude | position calculation part 220 ... Addition part 230 ... target control amount calculation unit 240 ... vehicle position / orientation prediction unit 250 ... posture change amount calculation unit 260 ... correction control amount calculation unit 270 ... addition unit 30 ... GPS
40 ... IMU
DESCRIPTION OF SYMBOLS 50 ... Vehicle speed pulse detection part 60 ... Laser radar 70 ... Brake / accelerator actuator 80 ... Steering actuator 90 ... Wireless LAN

Claims (6)

予め定められた経路の情報に従って自律的に移動する移動体に搭載された監視装置の向きを、予め定められた監視対象が位置する方向に向ける方向制御装置であって、
前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を目標の方向に向けるための目標制御量を算出する目標制御量算出手段と、
前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または移動中における障害物の検知により臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、前記移動体の目標経路上の次の位置を予測し、該予測した前記移動体の目標経路上の前記次の位置の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を、次の目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手段によって算出された目標制御量を補正する目標制御量補正手段と、
を備える、
ことを特徴とする方向制御装置。
A direction control device that directs the direction of a monitoring device mounted on a mobile body that moves autonomously according to information on a predetermined route in a direction in which a predetermined monitoring target is located,
Target control amount calculation means for calculating a target control amount for directing the monitoring device in a target direction based on information on the current position, posture, and speed of the moving body and information on the position of the monitoring target When,
An input target indicating information on the current position, posture, and speed of the moving object, and a preset traveling route of the moving object or an avoidance route temporarily calculated by detecting an obstacle while moving Based on the route information, predicting the next position on the target path of the moving body, and predicting the next position information on the target path of the moving body, and the position information of the monitoring target Based on the calculation, a correction control amount for directing the monitoring device in the direction of the next target is calculated, and the target control amount calculated by the target control amount calculation means is calculated based on the calculated correction control amount. Target control amount correcting means for correcting;
Comprising
A direction control device characterized by that.
前記目標制御量算出手段は、前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、制御周期に基づいた現在のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための目標制御量を算出し、
前記目標制御量補正手段は、前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または障害物の検知に基づいて臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、制御周期に基づいた次のタイミングにおける前記移動体の目標経路上の位置を予測し、該予測した前記次のタイミングにおける前記移動体の目標経路上の位置の情報と、前記監視対象の位置の情報とに基づいて、前記次のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手段によって算出された目標制御量を補正する
ことを特徴とする請求項1に記載の方向制御装置。
The target control amount calculation means, based on information on the current position, posture, and speed of the moving body, and information on the position of the monitoring target, the monitoring device at the current timing based on a control cycle, Calculating a target control amount for directing the monitoring target in the direction of the target to be monitored;
The target control amount correction unit is configured to detect an avoidance route that is temporarily calculated based on information on a current position, posture, and speed of the moving body and detection of a preset traveling route or an obstacle of the moving body. The position of the moving body on the target route at the next timing based on the control cycle is predicted on the basis of the information on the input target route indicating either, and the target of the moving body at the predicted next timing Based on the position information on the route and the position information of the monitoring target, calculate a correction control amount for directing the monitoring device in the target direction for monitoring the monitoring target at the next timing; The direction control device according to claim 1, wherein the target control amount calculated by the target control amount calculation unit is corrected based on the calculated correction control amount.
前記目標制御量補正手段は、
前記移動体の現在の位置、姿勢、および速度と、入力した前記移動体の目標経路の情報とに基づいて、前記次のタイミングにおける前記移動体の目標経路上の位置および姿勢を予測し、
前記予測された前記移動体が移動した後の位置および姿勢と、前記監視対象の位置とに基づいて、前記監視装置の姿勢の変化量を算出し、
前記算出された前記監視装置の姿勢の変化量に基づいて、前記次のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための補正制御量を算出する、
ことを特徴とする請求項2に記載の方向制御装置。
The target control amount correction means includes
Based on the current position, posture, and speed of the moving body and the input information on the target path of the moving body, predicting the position and posture of the moving body on the target route at the next timing;
Based on the predicted position and posture after the moving body has moved and the position of the monitoring target, the amount of change in the posture of the monitoring device is calculated,
Based on the calculated amount of change in the attitude of the monitoring device, a correction control amount for directing the monitoring device in a target direction for monitoring the monitoring target at the next timing is calculated.
The direction control device according to claim 2.
前記目標制御量補正手段は、
前記移動体の経路および速度が変更されたときには、前記移動体の現在の位置、姿勢、および速度と、前記変更された経路とに基づいて、前記次のタイミングにおける前記移動体の位置および姿勢を予測する、
ことを特徴とする請求項3に記載の方向制御装置。
The target control amount correction means includes
When the path and speed of the moving body are changed, the position and attitude of the moving body at the next timing are determined based on the current position, posture, and speed of the moving body and the changed path. Predict,
The direction control device according to claim 3.
予め定められた経路の情報に従って自律的に移動する移動体に搭載された監視装置の向きを、予め定められた監視対象が位置する方向に向ける方向制御方法であって、
前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を目標の方向に向けるための目標制御量を算出する目標制御量算出手順と、
前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または障害物の検知に基づいて臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、前記移動体の目標経路上の次の位置を予測し、該予測した前記移動体の目標経路上の前記次の位置の情報と、前記監視対象の位置の情報とに基づいて、前記監視装置を、次の目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手順によって算出された目標制御量を補正する目標制御量補正手順と、
を備える、
ことを特徴とする方向制御方法。
A direction control method for directing the direction of a monitoring device mounted on a mobile body that moves autonomously according to information on a predetermined route in a direction in which a predetermined monitoring target is located,
Target control amount calculation procedure for calculating a target control amount for directing the monitoring device in a target direction based on information on the current position, posture, and speed of the moving body and information on the position of the monitoring target When,
An input target route indicating information on the current position, posture, and speed of the moving body, and a preset traveling route of the moving body or an avoidance route temporarily calculated based on detection of an obstacle On the basis of the information on the mobile object, the next position on the target path of the mobile object is predicted, and the information on the next position on the target path of the mobile object and the position information on the monitoring target are Based on this, the correction control amount for directing the monitoring device in the next target direction is calculated, and the target control amount calculated by the target control amount calculation procedure is corrected based on the calculated correction control amount. Target control amount correction procedure to be performed,
Comprising
A direction control method characterized by the above.
前記目標制御量算出手順において、前記移動体の現在の位置、姿勢、および速度の情報と、前記監視対象の位置の情報とに基づいて、制御周期に基づいた現在のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための目標制御量を算出し、
前記目標制御量補正手順において、前記移動体の現在の位置、姿勢、および速度の情報と、前記移動体の予め設定された走行経路または障害物の検知に基づいて臨時で算出された回避経路の何れかを示す入力した目標経路の情報とに基づいて、制御周期に基づいた次のタイミングにおける前記移動体の目標経路上の位置を予測し、該予測した前記次のタイミングにおける前記移動体の目標経路上の位置の情報と、前記監視対象の位置の情報とに基づいて、前記次のタイミングにおいて前記監視装置を、前記監視対象を監視する目標の方向に向けるための補正制御量を算出し、前記算出された補正制御量に基づいて、前記目標制御量算出手順によって算出された目標制御量を補正する
ことを特徴とする請求項5に記載の方向制御方法。
In the target control amount calculation procedure, based on the current position, posture, and speed information of the moving body and the position information of the monitoring target, the monitoring device at the current timing based on the control cycle, Calculating a target control amount for directing the monitoring target in the direction of the target to be monitored;
In the target control amount correction procedure, the information on the current position, posture, and speed of the moving body and the avoidance path calculated on a temporary basis based on the detection of the preset traveling path or obstacle of the moving body. The position of the moving body on the target route at the next timing based on the control cycle is predicted on the basis of the information on the input target route indicating either, and the target of the moving body at the predicted next timing Based on the position information on the route and the position information of the monitoring target, calculate a correction control amount for directing the monitoring device in the target direction for monitoring the monitoring target at the next timing; The direction control method according to claim 5, wherein the target control amount calculated by the target control amount calculation procedure is corrected based on the calculated correction control amount.
JP2009263835A 2009-11-19 2009-11-19 Direction control device and direction control method Active JP5506339B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009263835A JP5506339B2 (en) 2009-11-19 2009-11-19 Direction control device and direction control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009263835A JP5506339B2 (en) 2009-11-19 2009-11-19 Direction control device and direction control method

Publications (2)

Publication Number Publication Date
JP2011109509A JP2011109509A (en) 2011-06-02
JP5506339B2 true JP5506339B2 (en) 2014-05-28

Family

ID=44232491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009263835A Active JP5506339B2 (en) 2009-11-19 2009-11-19 Direction control device and direction control method

Country Status (1)

Country Link
JP (1) JP5506339B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9963511B2 (en) 2011-12-22 2018-05-08 Hoffmann-La Roche Inc. Expression vector organization, novel production cell generation methods and their use for the recombinant production of polypeptides
JP2015225450A (en) * 2014-05-27 2015-12-14 村田機械株式会社 Autonomous traveling vehicle, and object recognition method in autonomous traveling vehicle
JP2016088325A (en) * 2014-11-06 2016-05-23 三菱重工業株式会社 Travel direction monitoring device, method of monitoring travel direction, and program
JP6694279B2 (en) * 2016-01-21 2020-05-13 株式会社ダイヘン Route teaching device and moving body
JP6972528B2 (en) * 2016-10-03 2021-11-24 日産自動車株式会社 Self-position estimation method, mobile vehicle travel control method, self-position estimation device, and mobile vehicle travel control device
JP6911739B2 (en) * 2017-12-13 2021-07-28 トヨタ自動車株式会社 Driving support device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915474B2 (en) * 1990-03-27 1999-07-05 マツダ株式会社 Travel control device for mobile vehicles
JP2920352B2 (en) * 1995-02-10 1999-07-19 川崎重工業株式会社 Traveling control method and apparatus for mobile object

Also Published As

Publication number Publication date
JP2011109509A (en) 2011-06-02

Similar Documents

Publication Publication Date Title
JP5506339B2 (en) Direction control device and direction control method
US9758239B2 (en) System and method for controlling an unmanned air vehicle
US10656661B2 (en) Methods and apparatus of tracking moving targets from air vehicles
US9996084B2 (en) System and method of controlling vision device for tracking target based on motion commands
WO2017166766A1 (en) Information processing method, and electronic device and computer storage medium
CA2832956C (en) System and method for controlling an unmanned aerial vehicle
KR101049906B1 (en) Autonomous mobile apparatus and method for avoiding collisions of the same
US20080195316A1 (en) System and method for motion estimation using vision sensors
KR102219843B1 (en) Estimating location method and apparatus for autonomous driving
WO2020061857A1 (en) Autofocusing camera and systems
EP3788451B1 (en) Controlling a vehicle using a remotely located laser and an on-board camera
WO2019031168A1 (en) Mobile body and method for control of mobile body
WO2021206888A1 (en) Vision-cued random-access lidar system and method for localization and navigation of a moving platform
EP3276306B1 (en) Navigating an unmanned aerial vehicle
JP5275152B2 (en) Traveling direction control device and moving body
JP2021111153A (en) System and method for controlling vehicle, and program
JP6614607B2 (en) Remote control system and method
JP6850643B2 (en) Autonomous movement control device, moving body, autonomous movement control method and program
JP7195883B2 (en) unmanned mobile and control method for unmanned mobile
WO2021246170A1 (en) Information processing device, information processing system and method, and program
US20180081372A1 (en) Conveying system with an automatic tethering function
JP2019202642A (en) Travel control device for vehicle
JP5214539B2 (en) Autonomous traveling robot, follow-up system using autonomous traveling robot, and follow-up method
KR20160056083A (en) System and method for positioning
JP6227950B2 (en) Sensor orientation control method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20131028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140318

R151 Written notification of patent or utility model registration

Ref document number: 5506339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151