JP2008070236A - Mobile robot and remote operation system - Google Patents

Mobile robot and remote operation system Download PDF

Info

Publication number
JP2008070236A
JP2008070236A JP2006249308A JP2006249308A JP2008070236A JP 2008070236 A JP2008070236 A JP 2008070236A JP 2006249308 A JP2006249308 A JP 2006249308A JP 2006249308 A JP2006249308 A JP 2006249308A JP 2008070236 A JP2008070236 A JP 2008070236A
Authority
JP
Japan
Prior art keywords
mobile robot
vent
detection unit
sensor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006249308A
Other languages
Japanese (ja)
Inventor
Seiji Murakami
誠治 村上
Shin Miyaji
伸 宮治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006249308A priority Critical patent/JP2008070236A/en
Publication of JP2008070236A publication Critical patent/JP2008070236A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Gyroscopes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To detect highly accurately a direction to which a mobile robot faces. <P>SOLUTION: This mobile robot that moves on the underfloor ground in an underfloor space divided into a plurality of sections, is equipped with an integrated type sensor (an angular velocity sensor 141, a rotation angle calculating part 104) for calculating the rotation angle on the underfloor ground of the mobile robot, a ventilation port detecting part (side part distance sensor 142, passage detecting part 106, approach angle calculating part 107) for detecting information on a ventilation port, provided between mutually adjacent sections among the plurality of sections, and a direction detecting part (direction detecting part 105) for detecting the direction to which the mobile robot is faced in the underfloor space, based on information on the rotation angle and the ventilation port. The direction detecting part corrects the accumulated errors of the integration type sensor, by using the information regarding the ventilation port. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、複数の区画に分割された床下空間内を移動する移動ロボット、この移動ロボットを用いた遠隔操作システムに関する。   The present invention relates to a mobile robot that moves in an underfloor space divided into a plurality of sections, and a remote operation system using the mobile robot.

近年、建造物などのリフォームや防災に関する関心が高まってきており、建造物の点検を行う機会が増加している。特に、建造物の床下(以下、単に「床下」という)については、人目に触れにくい一方で、建造物の基幹部分であるため、点検のニーズが高いと考えられる。   In recent years, interest in renovation of buildings and disaster prevention has increased, and the opportunity to inspect buildings has increased. In particular, under the floor of a building (hereinafter simply referred to as “under the floor”), it is difficult to touch the human eye, but since it is a basic part of the building, there is a high need for inspection.

しかし、床下は、一般的に、非常に狭い空間であり、衛生状態も悪いため、作業員による目視点検が困難である。このため、カメラを搭載し、撮像データを操作端末へ送信しつつ、床下を点検(撮像)するロボットの開発が進んでいる。   However, the floor is generally a very narrow space and poor hygiene, making it difficult for a worker to visually check. For this reason, development of a robot equipped with a camera and inspecting (imaging) the underfloor while transmitting imaging data to an operation terminal is progressing.

また、通常、床下内の地図(基礎伏図と呼ばれる設計図)は、移動ロボット及び遠隔操作システムには組み込まれていないので、ユーザは移動ロボットからの撮像データを地図と照らし合わせながら移動ロボットを遠隔操作することになる。   In addition, since the map under the floor (design drawing called the basic floor plan) is not incorporated in the mobile robot and the remote control system, the user checks the mobile robot while checking the image data from the mobile robot against the map. Remote control will be performed.

しかし、床下内の風景が単調であることから、移動ロボットの向いている方向を極めて見失い易い。移動ロボットを床下内で効率よく移動させるためには、移動ロボットの位置や向いている方向を検出する機能が重要である。   However, since the scenery under the floor is monotonous, it is very easy to lose sight of the direction the mobile robot is facing. In order to move the mobile robot efficiently under the floor, the function of detecting the position and the direction of the mobile robot is important.

ただし、床下では、GPS(Global Positioning System)衛星からの電波を受信困難であるために、GPSは不適である。更に、鉄筋による地磁気の乱れから、方位磁石も利用できないという、床下特有の問題がある。   However, GPS is not suitable under the floor because it is difficult to receive radio waves from a GPS (Global Positioning System) satellite. Furthermore, there is a problem peculiar to the underfloor in that a compass can not be used due to the disturbance of geomagnetism due to reinforcing bars.

このような事情から、検査対象空間内にペイント又はテープなどを設け、ライントレーサーによってこれらをセンシングすることで、ロボットを自律移動させる手法が提案されている(特許文献1参照)。   Under such circumstances, there has been proposed a technique for autonomously moving the robot by providing paint or tape in the inspection target space and sensing them with a line tracer (see Patent Document 1).

また、画像処理を行って自律移動のためのデータとしたり、レーザー光を2つのCCDカメラで捉えて三角測量によって対象物の位置計測をしたりするロボットが提案されている(特許文献2参照)。   In addition, a robot has been proposed that performs image processing to obtain data for autonomous movement, and measures the position of an object by triangulation by capturing laser light with two CCD cameras (see Patent Document 2). .

更に、方向検出用にエンコーダを設ける構成や、壁との距離を計測して壁面に沿って移動したり、家屋に塗布した発光塗料を補助的に検出したりするロボットが提案されている(特許文献3参照)。
特開2004−125773号公報 特開平11−137148号公報 特許第2594880号公報
Furthermore, a configuration has been proposed in which an encoder is provided for direction detection, and a robot that measures the distance to the wall and moves along the wall surface, or detects the luminescent paint applied to the house in an auxiliary manner (patent) Reference 3).
JP 2004-125773 A JP-A-11-137148 Japanese Patent No. 2594880

上述した特許文献1においては、ロボットがトレースするためのペイント又はテープなどをあらかじめ設置する必要がある。また、ペイント又はテープなどを設置したとしても、床下では地表が露出していることが多く、ペイント又はテープなどを恒久的に維持することは困難である。   In Patent Document 1 described above, it is necessary to previously install a paint or tape for tracing by the robot. Even when paint or tape is installed, the ground surface is often exposed under the floor, and it is difficult to maintain the paint or tape permanently.

特許文献2においては、ロボットが自己の位置や進行方向を検出するための具体的な技術は開示していないので、移動ロボットの位置や向いている方向を高精度に検出できない可能性がある。   Since Patent Document 2 does not disclose a specific technique for the robot to detect its own position and direction of travel, there is a possibility that the position and direction of the mobile robot cannot be detected with high accuracy.

特許文献3においては、エンコーダを使用するために、段差、砂利、コンクリ、炭などにより、クローラがスリップすることがあり、エンコーダ値に大幅な誤差が生じる。このため、高精度な位置検出及び方向検出が困難である。また、床下内には束と呼ばれる支柱が数多く立ち、ロボットの移動経路が限定されるので、壁との距離を計測して壁面に沿って移動することも困難である。更に、家屋に発光塗料を塗布することは、上述した特許文献1と同様の問題が生じる。   In Patent Document 3, since an encoder is used, the crawler may slip due to a step, gravel, concrete, charcoal, etc., and a large error occurs in the encoder value. For this reason, highly accurate position detection and direction detection are difficult. In addition, a lot of columns called bundles stand under the floor, and the movement path of the robot is limited. Therefore, it is difficult to measure the distance from the wall and move along the wall surface. Furthermore, applying the light-emitting paint to the house causes the same problem as in Patent Document 1 described above.

このように、従来のロボットでは、移動ロボットの位置や向いている方向を検出する機能に問題があり、ロボットの向いている位置や方向を容易且つ高精度に検出することが困難であった。   As described above, the conventional robot has a problem in the function of detecting the position and direction of the mobile robot, and it is difficult to easily and accurately detect the position and direction of the robot.

一方で、ロボットの位置を検出するよりも、ロボットの向いている方向を検出できたる方が、下記の(1)〜(3)の理由から有効である。   On the other hand, rather than detecting the position of the robot, it is more effective for the following reasons (1) to (3) that the direction in which the robot is facing can be detected.

(1)床下は区画単位で分割されており、どの区画にロボットが存在するか程度であればユーザが判断できる。   (1) The underfloor is divided in units of sections, and the user can determine the extent to which the robot is present in which section.

(2)区画単位では、ロボットの視界を完全に遮る物はほとんどなく、移動目標の方向が分かれば有視界で到達できる。   (2) In the section unit, there is almost nothing that completely blocks the robot's field of view, and if the direction of the movement target is known, it can be reached in the field of view.

(3)主な移動目標は通気口であるが、どの通気口も形状が類似するために区別し難い。しかし、通気口は各区画に2〜3箇所程度であり、ロボットの向いている方向が分かれば判別可能である。   (3) Although the main movement target is a vent, since all the vents are similar in shape, they are difficult to distinguish. However, there are about two to three vent holes in each section, and can be determined if the direction the robot is facing is known.

上記問題点に鑑み、本発明は、移動ロボットの向いている方向を高精度に検出可能な移動ロボット及び遠隔操作システムを提供することを目的とする。   In view of the above problems, an object of the present invention is to provide a mobile robot and a remote control system that can detect the direction in which the mobile robot is facing with high accuracy.

上記目的を達成するために、本発明の特徴は、複数の区画に分割された床下空間内にて床下地面上を移動する移動ロボットであって、移動ロボットの床下地面上での回動角を算出する積算型センサ(角速度センサ141、回動角算出部104)と、複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部(側部距離センサ142、通過検出部106、進入角度算出部107)と、上記回動角と上記通気口に関する情報とに基づき、床下空間内で移動ロボットの向いている方向を検出する方向検出部(方向検出部105)とを備え、方向検出部は、上記通気口に関する情報を用いて、積算型センサの累積誤差を補正する移動ロボットであることを要旨とする。   In order to achieve the above object, a feature of the present invention is a mobile robot that moves on a floor base surface in an underfloor space divided into a plurality of sections, wherein the rotation angle of the mobile robot on the floor base surface is set. An integration type sensor (angular velocity sensor 141, rotation angle calculation unit 104) to be calculated, and a vent detection unit (side distance sensor 142) for detecting information related to vents provided between adjacent sections among the plurality of sections. , A passage detection unit 106, an approach angle calculation unit 107), and a direction detection unit (direction detection unit 105) that detects a direction in which the mobile robot is facing in the underfloor space based on the rotation angle and the information on the vent hole. The direction detecting unit is a mobile robot that corrects the accumulated error of the integrating sensor using the information on the vent.

ここで、「回動角」とは、例えば、移動ロボットの前後軸と、床下空間に定義された基準軸とのなす角度を意味し、床下地面に対する移動ロボットの相対的な方向を意味する。「積算型センサ」には、例えばジャイロセンサやエンコーダ(ロータリエンコーダ)などが使用できる。また、「通気口」とは、例えば、隣接する区画間の基礎に設けられた開口部であり、空気又は作業員などの通り道を意味する。「通気口に関する情報」とは、通気口の位置、大きさ、範囲、形状などの情報を含む。これらの情報は、カメラや距離センサなどで得ることができる。位置の情報は、例えば、距離センサで得ることができるほか、移動ロボットが通気口をまたいだ(通過した)ことで検知したり、カメラ映像やフォーカス距離値から検知できる。通気口の大きさ、範囲、形状の情報は、例えば、移動ロボットが通気口を通過する際に、距離センサで測定するほか、カメラ映像からも得ることができる。   Here, the “rotation angle” means, for example, an angle formed by the longitudinal axis of the mobile robot and a reference axis defined in the underfloor space, and means a relative direction of the mobile robot with respect to the floor surface. For the “integrating sensor”, for example, a gyro sensor, an encoder (rotary encoder), or the like can be used. The “vent hole” is, for example, an opening provided on a foundation between adjacent sections, and means a passage for air or a worker. “Information on the vent” includes information such as the position, size, range, and shape of the vent. Such information can be obtained by a camera, a distance sensor, or the like. The position information can be obtained by, for example, a distance sensor, detected when the mobile robot crosses (passes through) the vent, or can be detected from a camera image or a focus distance value. The information on the size, range, and shape of the vent can be obtained from, for example, a camera image as well as being measured by a distance sensor when the mobile robot passes through the vent.

このような特徴によれば、移動ロボットの床下地面上での回動角と、複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報とを併用して、床下空間内で移動ロボットの向いている方向を検出する構成としている。回動角から移動ロボットの向いている方向を大まかに常時検出しつつ、通気口に関する情報から移動ロボットの向いている方向を高精度に検出するので、移動ロボットの向いている方向を高精度に検出可能となる。また、通気口に関する情報を用いて積算型センサの累積誤差を補正するので、床下という特殊な環境下であっても積算型センサの誤差を補正可能となる。   According to such a feature, the mobile robot moves in the underfloor space by using both the rotation angle on the floor base surface of the mobile robot and the information about the vents provided between the adjacent sections among the plurality of sections. It is configured to detect the direction in which the robot is facing. While detecting the direction the mobile robot is facing from the rotation angle at all times, the direction the mobile robot is facing is detected with high accuracy from the information on the air vents. It can be detected. In addition, since the accumulated error of the integrating sensor is corrected using the information related to the vents, the error of the integrating sensor can be corrected even in a special environment under the floor.

上記の特徴に係る移動ロボットにおいて、通気口検出部は、移動ロボットの側方又は上方に向けて距離計測を行う距離センサ(側部距離センサ142又は上部距離センサ145)と、距離計測の結果に基づき、移動ロボットが通気口を通過したことを検出する通過検出部(通過検出部106)と、距離計測の結果に基づき、通気口に対する移動ロボットの進入角度を算出する進入角度算出部(進入角度算出部107)とを備え、方向検出部は、移動ロボットが通気口を通過したタイミングにて、上記進入角度を用いて累積誤差を補正することが好ましい。   In the mobile robot according to the above feature, the vent detection unit includes a distance sensor (side distance sensor 142 or upper distance sensor 145) that measures distance toward the side or upward of the mobile robot, and a distance measurement result. Based on the passage detection unit (passage detection unit 106) that detects that the mobile robot has passed through the vent, and based on the result of distance measurement, the entrance angle calculation unit (entrance angle) that calculates the approach angle of the mobile robot with respect to the vent. Preferably, the direction detection unit corrects the accumulated error using the approach angle at a timing when the mobile robot passes through the vent.

本発明の他の特徴は、複数の区画に分割された床下空間内の床下地面上を移動する移動ロボットと、移動ロボットを遠隔操作する操作端末とを具備する遠隔操作システムであって、移動ロボットの床下地面上での回動角を算出する積算型センサ(角速度センサ141、回動角算出部104)と、複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部(側部距離センサ142、通過検出部106、進入角度算出部107)と、移動ロボット又は操作端末は、上記回動角と上記通気口に関する情報とに基づき、床下空間内で移動ロボットの向いている方向を検出する方向検出部(方向検出部105)とを備え、方向検出部は、上記通気口に関する情報を用いて、積算型センサの累積誤差を補正することを要旨とする。   Another feature of the present invention is a remote operation system including a mobile robot that moves on a floor base surface in an underfloor space divided into a plurality of sections, and an operation terminal that remotely controls the mobile robot. A sensor for calculating a rotation angle on the floor surface of the floor (angular velocity sensor 141, rotation angle calculation unit 104), and information on a vent provided between adjacent sections among the plurality of sections. The vent detection unit (the side distance sensor 142, the passage detection unit 106, the approach angle calculation unit 107) and the mobile robot or the operation terminal move in the underfloor space based on the rotation angle and the information on the vent. A direction detection unit (direction detection unit 105) that detects a direction in which the robot is facing, and the direction detection unit corrects an accumulated error of the integration type sensor using information on the vent. The gist.

本発明によれば、移動ロボットの向いている方向を高精度に検出可能な移動ロボット及び遠隔操作システムを提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the mobile robot and remote control system which can detect the direction which the mobile robot is facing with high precision can be provided.

次に、図面を参照して、本発明の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。   Next, an embodiment of the present invention will be described with reference to the drawings. In the description of the drawings in the following embodiments, the same or similar parts are denoted by the same or similar reference numerals.

(遠隔操作システムの全体構成例)
先ず、本実施形態に係る遠隔操作システムの全体構成例について説明する。図1は、本実施形態に係る遠隔操作システムの全体構成図である。
(Example of overall configuration of remote control system)
First, an example of the entire configuration of the remote control system according to the present embodiment will be described. FIG. 1 is an overall configuration diagram of a remote control system according to the present embodiment.

本実施形態に係る遠隔操作システムは、移動ロボット1と、無線通信によって移動ロボット1を遠隔操作する操作端末2とを有する。操作端末2としては、例えばノートPCが使用できる。   The remote operation system according to the present embodiment includes a mobile robot 1 and an operation terminal 2 that remotely operates the mobile robot 1 by wireless communication. For example, a notebook PC can be used as the operation terminal 2.

移動ロボット1は、操作端末2の制御下で、床下の床下地面上を移動して床下を撮像する。具体的には、移動ロボット1は、床下内を撮像し、撮像して得られた撮像データを操作端末2へ送信する。また、操作端末2は、移動ロボット1から受信した撮像データや、移動ロボット1の向いている方向(以下、単に「移動ロボット1の方向」という)をリアルタイムに表示する。   The mobile robot 1 moves on the floor base surface under the floor under the control of the operation terminal 2 and images the floor. Specifically, the mobile robot 1 images the inside of the floor and transmits image data obtained by the imaging to the operation terminal 2. Further, the operation terminal 2 displays in real time the imaging data received from the mobile robot 1 and the direction in which the mobile robot 1 is facing (hereinafter simply referred to as “the direction of the mobile robot 1”).

操作端末2は、ユーザ入力に応じて、移動ロボット1を操作する遠隔操作コマンドを移動ロボット1へ送信し、移動ロボット1を遠隔操作する。この遠隔操作コマンドには、移動に関するコマンドや、撮像に関するコマンドなどが存在する。   The operation terminal 2 transmits a remote operation command for operating the mobile robot 1 to the mobile robot 1 in response to a user input, thereby remotely operating the mobile robot 1. This remote operation command includes a command related to movement, a command related to imaging, and the like.

なお、図1においては、移動ロボット1及び操作端末2が建造物内に存在する場合を例示しているが、操作端末2は、建造物の外部から移動ロボット1を遠隔操作することも可能である。   Although FIG. 1 illustrates the case where the mobile robot 1 and the operation terminal 2 exist in the building, the operation terminal 2 can also remotely operate the mobile robot 1 from outside the building. is there.

(床下環境の一例)
次に、床下環境の一例について説明する。図2は、床下環境の一例を示す図である。
(Example of underfloor environment)
Next, an example of an underfloor environment will be described. FIG. 2 is a diagram illustrating an example of an underfloor environment.

床下は、高さ32cm〜37cm程度の空間であり、基礎により長方形の区画に区切られている。なお、移動ロボット1が床下点検時に確認すべき内容としては、小動物の死骸や、基礎のクラックなどがある。区画間には通気口と呼ばれる高さ30cm、幅60cm程度の開口部が存在(1区画当たり2箇所程度)する。   The floor is a space with a height of about 32 cm to 37 cm, and is divided into rectangular sections by a foundation. The contents to be confirmed by the mobile robot 1 at the time of underfloor inspection include small animal dead bodies and foundation cracks. Between the compartments, there are openings of about 30 cm in height and 60 cm in width called vents (about two places per compartment).

移動ロボット1は、床下点検時にはこの通気口を通過して隣の区画へと移動する。また、ケーブルやパイプなどが、床下天井からぶら下がっていたり、床下地面を這い回っていたりする。   The mobile robot 1 passes through this vent and moves to the next section during an underfloor inspection. Also, cables, pipes, etc. are hanging from the ceiling under the floor or crawling around the floor surface.

更に、基礎近くには配管が存在し、束と呼ばれる細い柱があらゆる場所に存在する。束を固定するための束基礎と呼ばれる5cm程度の高さのコンクリ台が存在する。なお、床下地面がコンクリである場合には、床下地面に束が直接固定されており、束基礎が存在しない場合もある。   In addition, there are pipes near the foundation, and there are thin pillars called bundles everywhere. There is a concrete stand with a height of about 5 cm called a bundle foundation for fixing the bundle. In addition, when the floor base surface is concrete, the bundle is directly fixed to the floor base surface, and the bundle foundation may not exist.

移動ロボット1が床下地面上を移動する際には、地面の凹凸による走行振動や、鉄筋による地磁気の乱れの影響を受けるが、移動ロボット1は、これらの影響に関わらず、自己の向いている方向を検出可能なように構成されている。   When the mobile robot 1 moves on the floor surface, it is affected by running vibration due to unevenness of the ground and turbulence of the geomagnetism due to the reinforcing bars, but the mobile robot 1 is suitable for itself regardless of these effects. It is configured so that the direction can be detected.

(移動ロボットの構成例)
次に、移動ロボット1の構成例について説明する。
(Configuration example of mobile robot)
Next, a configuration example of the mobile robot 1 will be described.

(1)移動ロボットの外観例
図3(a)は移動ロボット1の側面視を示す図であり、図3(b)は移動ロボット1の上面視を示す図であり、図3(c)は移動ロボット1の正面視を示す図である。
(1) Example of Appearance of Mobile Robot FIG. 3A is a diagram showing a side view of the mobile robot 1, FIG. 3B is a diagram showing a top view of the mobile robot 1, and FIG. 2 is a diagram showing a front view of the mobile robot 1. FIG.

移動ロボット1は、床下内において、床下地面Sr上を移動する。具体的には、移動ロボット1は、前輪11aと、後輪11bと、クローラ12と、撮像ユニット13と、前側部距離センサ142aと、後側部距離センサ142bとを備える。   The mobile robot 1 moves on the floor base surface Sr within the floor. Specifically, the mobile robot 1 includes a front wheel 11a, a rear wheel 11b, a crawler 12, an imaging unit 13, a front side distance sensor 142a, and a rear side distance sensor 142b.

前輪11a又は後輪11bは、クローラ12を回転させる駆動輪である。また、左クローラ12lと右クローラ12rとは独立して駆動可能であり、左右輪独立駆動型の移動機構を構成している。したがって、移動ロボット1は、超信地旋回(その場旋回)により方向転換可能である。   The front wheel 11 a or the rear wheel 11 b is a drive wheel that rotates the crawler 12. Further, the left crawler 12l and the right crawler 12r can be driven independently, and form a left and right wheel independent drive type moving mechanism. Therefore, the mobile robot 1 can change the direction by super-revolution (in-situ turn).

クローラ12は、前輪11a及び後輪11bに掛け渡されており、床下地面Srの凹凸などを吸収する。   The crawler 12 is stretched over the front wheel 11a and the rear wheel 11b, and absorbs unevenness of the floor base surface Sr.

撮像ユニット13は、床下地面Srと平行及び垂直な面内で、回動可能に構成されており、床下内を撮像するカメラ131を有している。具体的には、撮像ユニット13は、カメラ131を左右方向(パン方向)に回動させるとともに、カメラ131を上下方向(チルト方向)に回動させる。   The imaging unit 13 is configured to be rotatable in a plane parallel to and perpendicular to the floor base surface Sr, and includes a camera 131 that captures an image of the inside of the floor. Specifically, the imaging unit 13 rotates the camera 131 in the left-right direction (pan direction) and rotates the camera 131 in the up-down direction (tilt direction).

前側部距離センサ142a及び後側部距離センサ142bは、例えば光学距離センサ又は超音波距離センサなどであり、移動ロボット1の両側面に設けられ、移動ロボット1と移動ロボット1の側方に存在する物との間の距離を計測する。本実施形態では、床下内の通気口を検出するために、後側部距離センサ142bを使用する。   The front side distance sensor 142 a and the rear side distance sensor 142 b are, for example, an optical distance sensor or an ultrasonic distance sensor, and are provided on both sides of the mobile robot 1 and are present on the sides of the mobile robot 1 and the mobile robot 1. Measure the distance between objects. In the present embodiment, the rear side distance sensor 142b is used to detect the vents in the underfloor.

(2)移動ロボットの機能構成例
図4は、移動ロボット1の構成例を示す機能ブロック図である。
(2) Functional Configuration Example of Mobile Robot FIG. 4 is a functional block diagram showing a configuration example of the mobile robot 1.

移動ロボット1は、撮像ユニット13と、移動機構120と、センサ14と、制御部100と、方向情報記憶部151と、無線通信部161とを備える。   The mobile robot 1 includes an imaging unit 13, a moving mechanism 120, a sensor 14, a control unit 100, a direction information storage unit 151, and a wireless communication unit 161.

撮像ユニット13は、床下内の被写体を撮像する。具体的には、撮像ユニット13は、カメラ131と、チルト機構132と、パン機構133と、ズーム機構134と、フォーカス機構135と、照明装置136とを備える。   The imaging unit 13 images a subject under the floor. Specifically, the imaging unit 13 includes a camera 131, a tilt mechanism 132, a pan mechanism 133, a zoom mechanism 134, a focus mechanism 135, and an illumination device 136.

カメラ131は例えばCCDカメラであり、カメラ131から得られた撮像データは、制御部100及び無線通信部161を介して操作端末2に送信される。チルト機構132は、カメラ131をチルト方向に回動させる。パン機構133は、カメラ131をパン方向に回動させる。ズーム機構134は、例えばカメラ131の光学ズーム率を変更する。フォーカス機構135は、カメラ131をオートフォーカス制御する。照明装置136は床下内を照明する。   The camera 131 is, for example, a CCD camera, and image data obtained from the camera 131 is transmitted to the operation terminal 2 via the control unit 100 and the wireless communication unit 161. The tilt mechanism 132 rotates the camera 131 in the tilt direction. The pan mechanism 133 rotates the camera 131 in the pan direction. The zoom mechanism 134 changes the optical zoom rate of the camera 131, for example. The focus mechanism 135 performs autofocus control on the camera 131. The lighting device 136 illuminates the inside of the floor.

移動機構120は、床下地面上を移動するためのものであり、クローラ12やモータ121などを備える。   The moving mechanism 120 is for moving on the floor base surface, and includes a crawler 12 and a motor 121.

無線通信部161は、例えば無線LAN又はブルートゥースなどの近距離無線通信方式に準拠した構成を有し、操作端末2と無線通信を行う。   The wireless communication unit 161 has a configuration conforming to a short-range wireless communication system such as a wireless LAN or Bluetooth, and performs wireless communication with the operation terminal 2.

センサ14は、角速度センサ141と、側部距離センサ142と、移動距離センサ143とを備える。   The sensor 14 includes an angular velocity sensor 141, a side distance sensor 142, and a movement distance sensor 143.

角速度センサ141は例えばジャイロセンサであり、移動ロボット1が床下地面上を回動する際の角速度を検出する。側部距離センサ142には、上述した前側部距離センサ142a及び後側部距離センサ142bが含まれる。移動距離センサ143としては、クローラ12l,12rを回転させる各車輪の回動角を検出するロータリエンコーダが使用できる。   The angular velocity sensor 141 is, for example, a gyro sensor, and detects an angular velocity when the mobile robot 1 rotates on the floor base surface. The side distance sensor 142 includes the aforementioned front side distance sensor 142a and rear side distance sensor 142b. As the movement distance sensor 143, a rotary encoder that detects the rotation angle of each wheel that rotates the crawlers 121 and 12r can be used.

制御部100は、撮像制御部101と、移動制御部102と、通信制御部103と、回動角算出部104と、方向検出部105と、通過検出部106と、進入角度算出部107とを備える。   The control unit 100 includes an imaging control unit 101, a movement control unit 102, a communication control unit 103, a rotation angle calculation unit 104, a direction detection unit 105, a passage detection unit 106, and an approach angle calculation unit 107. Prepare.

撮像制御部101は、操作端末2から受信した撮像コマンドに応じて撮像ユニット13を制御する。移動制御部102は、操作端末2から受信した移動コマンドに応じて移動機構120を制御する。通信制御部103は、無線通信部161を用いて操作端末2と無線通信を実行する。   The imaging control unit 101 controls the imaging unit 13 according to the imaging command received from the operation terminal 2. The movement control unit 102 controls the movement mechanism 120 according to the movement command received from the operation terminal 2. The communication control unit 103 performs wireless communication with the operation terminal 2 using the wireless communication unit 161.

回動角算出部104は、角速度センサ141が検出した角速度を積分(単位時間毎に積算)することによって、移動ロボット1の回動角を算出する。このように、角速度センサ141及び回動角算出部104は、角速度の積算値によって、移動ロボット1の方向を検出するための積算型センサとして機能する。   The rotation angle calculation unit 104 calculates the rotation angle of the mobile robot 1 by integrating (integrating every unit time) the angular velocity detected by the angular velocity sensor 141. Thus, the angular velocity sensor 141 and the rotation angle calculation unit 104 function as an integration type sensor for detecting the direction of the mobile robot 1 based on the integrated value of the angular velocity.

また、回動角算出部104が算出した回動角は、移動ロボット1の方向を示す方向情報γ’として方向情報記憶部151に記憶される。なお、一般的に、ジャイロセンサなどの角速度センサ141が検出する角速度には、ノイズや信号電圧の温度ドリフトなどに伴う誤差が含まれている。したがって、角速度の積算によって誤差が累積的に蓄積される。累積的に蓄積される誤差を「累積誤差」と称する。   The rotation angle calculated by the rotation angle calculation unit 104 is stored in the direction information storage unit 151 as direction information γ ′ indicating the direction of the mobile robot 1. In general, the angular velocity detected by the angular velocity sensor 141 such as a gyro sensor includes an error due to noise, a temperature drift of a signal voltage, or the like. Therefore, errors are accumulated cumulatively by the integration of angular velocities. The accumulated error is referred to as “cumulative error”.

通過検出部106は、側部距離センサ142による距離計測結果に応じて、移動ロボット1が通気口を通過したことを検出する。進入角度算出部107は、側部距離センサ142による側方距離計測結果と、移動距離センサ143による移動距離計測結果とに基づき、通気口に対する移動ロボット1の進入角度を算出する。通過検出部106による通過検出処理、及び進入角度算出部107による進入角度算出処理の詳細については後述する。このように、側部距離センサ142、通過検出部106、及び進入角度算出部107は、通気口に関する情報を検出するための通気口検出部として機能する。   The passage detection unit 106 detects that the mobile robot 1 has passed through the vent according to the distance measurement result by the side distance sensor 142. The approach angle calculation unit 107 calculates the approach angle of the mobile robot 1 with respect to the air vent based on the lateral distance measurement result by the side distance sensor 142 and the travel distance measurement result by the travel distance sensor 143. Details of the passage detection process by the passage detection unit 106 and the approach angle calculation process by the approach angle calculation unit 107 will be described later. Thus, the side distance sensor 142, the passage detection unit 106, and the approach angle calculation unit 107 function as a vent detection unit for detecting information related to the vent.

方向検出部105は、回動角算出部104が算出した回動角と、上記通気口検出部が検出した通気口に関する情報とに基づき、移動ロボット1の方向を検出する。具体的には、方向検出部105は、移動ロボット1が通気口を通過したタイミングにて、進入角度算出部107が算出した進入角度を用いて、方向情報記憶部151に記憶されている方向情報γ’を更新する。この結果、累積誤差が補正され、移動ロボット1の正確な方向情報γ’が得られる。   The direction detection unit 105 detects the direction of the mobile robot 1 based on the rotation angle calculated by the rotation angle calculation unit 104 and information on the vent detected by the vent detection unit. Specifically, the direction detection unit 105 uses the approach angle calculated by the approach angle calculation unit 107 at the timing when the mobile robot 1 passes through the vent hole, and stores direction information stored in the direction information storage unit 151. Update γ '. As a result, the accumulated error is corrected, and accurate direction information γ ′ of the mobile robot 1 is obtained.

なお、移動ロボット1には、図示を省略するバッテリが搭載されている。このバッテリは、移動ロボット1の動作に用いる電力を蓄積可能なバッテリであって、移動ロボット1に電力を供給する。例えば、バッテリは、リチウム電池などの一次電池、リチウムイオン電池やニッケル水素電池などの二次電池である。   The mobile robot 1 is equipped with a battery (not shown). This battery is a battery capable of storing electric power used for the operation of the mobile robot 1 and supplies electric power to the mobile robot 1. For example, the battery is a primary battery such as a lithium battery, or a secondary battery such as a lithium ion battery or a nickel metal hydride battery.

(方向検出動作)
次に、移動ロボット1による方向検出動作について説明する。移動ロボット1による方向検出動作の説明の前に、図5を参照して、移動ロボット1の方向について説明する。移動ロボット1の方向は、上述したように、移動ロボット1の回動角(ヨー角)を基に検出される。回動角は、移動ロボット1の前後軸と、床下空間に定義された基準軸とのなす角度であり、床下地面に対する移動ロボットの相対的な方向である。一方、移動ロボット1の方向は、床下内において、移動ロボット1の前方がどの方向を向いているかを表している。
(Direction detection operation)
Next, the direction detection operation by the mobile robot 1 will be described. Prior to the description of the direction detection operation by the mobile robot 1, the direction of the mobile robot 1 will be described with reference to FIG. As described above, the direction of the mobile robot 1 is detected based on the rotation angle (yaw angle) of the mobile robot 1. The rotation angle is an angle formed by the longitudinal axis of the mobile robot 1 and a reference axis defined in the underfloor space, and is a relative direction of the mobile robot with respect to the floor ground surface. On the other hand, the direction of the mobile robot 1 indicates which direction the front of the mobile robot 1 is facing in the floor.

移動ロボット1の前方がどの方向を向いているかを検出するために、図6に示すように、床下空間に座標軸X,Yを定義する。また、図6(a)に示すように、移動ロボット1の前後軸が区画の一辺(座標軸X)と平行になるように設置して、移動ロボット1の移動を開始させる。   In order to detect which direction the front of the mobile robot 1 is facing, coordinate axes X and Y are defined in the underfloor space as shown in FIG. Also, as shown in FIG. 6A, the mobile robot 1 is installed so that the front and rear axes of the mobile robot 1 are parallel to one side of the section (coordinate axis X), and the mobile robot 1 starts to move.

図6(b)に示すように、移動開始直後では、移動ロボット1の実際の方向γと移動ロボット1の方向情報γ’とは略一致している。その後、図6(c)に示すように、時間経過とともに移動ロボット1の方向情報γ’にて累積誤差が増大し、移動ロボット1の実際の方向γと移動ロボット1の方向情報γ’との誤差が大きくなる。   As shown in FIG. 6B, immediately after the start of movement, the actual direction γ of the mobile robot 1 and the direction information γ ′ of the mobile robot 1 substantially coincide. Thereafter, as shown in FIG. 6C, the accumulated error increases in the direction information γ ′ of the mobile robot 1 with time, and the actual direction γ of the mobile robot 1 and the direction information γ ′ of the mobile robot 1 The error increases.

図6(d)は、移動ロボット1が通気口1を通過した際の状態を示している。ここで、通気口1は、座標軸Y方向に通過可能に設けられており、移動ロボット1の方向は座標軸Y方向であるとみなすことができる。したがって、通気口1を通過時に、簡易的に、移動ロボット1が座標軸Y方向を向いていると判断できる。   FIG. 6 (d) shows a state when the mobile robot 1 passes through the vent hole 1. Here, the vent hole 1 is provided so as to be able to pass in the coordinate axis Y direction, and the direction of the mobile robot 1 can be regarded as the coordinate axis Y direction. Therefore, when passing through the vent hole 1, it can be easily determined that the mobile robot 1 is facing the coordinate axis Y direction.

更に、移動ロボット1が、通気口1に対する進入角度αを算出することによって、更に高精度に移動ロボット1の方向を検出可能となる。図6(d)においては、“90°−α”の値が移動ロボット1の正確な方向である。   Furthermore, the mobile robot 1 can detect the direction of the mobile robot 1 with higher accuracy by calculating the approach angle α with respect to the vent hole 1. In FIG. 6D, the value “90 ° −α” is the correct direction of the mobile robot 1.

このように、本実施形態では、床下地面と平行な平面視において各区画が矩形であることに着目して、移動ロボット1の方向を容易且つ高精度に推定可能としている。   Thus, in the present embodiment, the direction of the mobile robot 1 can be estimated easily and with high accuracy by paying attention to the fact that each section is rectangular in plan view parallel to the floor base surface.

(通過検出動作及び進入角度算出動作)
次に、移動ロボット1による通過検出動作及び進入角算出動作について説明する。図7は、床下地面と平行な平面視において、移動ロボット1が通気口を通過する様子を示す図である。図8は、移動ロボット1が通気口を通過する際の、側部距離センサ142(左右の後側部距離センサ142b)の検出距離を示している。以下においては、移動ロボット1の左側に設けられる後側部距離センサを「左側部距離センサ」と呼び、移動ロボット1の右側に設けられる後側部距離センサを「右側部距離センサ」と呼ぶ。
(Passing detection operation and approach angle calculation operation)
Next, the passage detection operation and the approach angle calculation operation by the mobile robot 1 will be described. FIG. 7 is a diagram illustrating a state in which the mobile robot 1 passes through the vent hole in a plan view parallel to the floor base surface. FIG. 8 shows the detection distance of the side distance sensor 142 (left and right rear side distance sensor 142b) when the mobile robot 1 passes through the vent. Hereinafter, the rear side distance sensor provided on the left side of the mobile robot 1 is referred to as a “left side distance sensor”, and the rear side distance sensor provided on the right side of the mobile robot 1 is referred to as a “right side distance sensor”.

ここでは、移動ロボット1が、通過検出動作時及び進入角度算出動作時に、通気口の左右側面の各点a,b,c,dのうち、移動ロボット1の進行方向上で奥側の点b,dを利用する一例を説明する。これは、床下地面と通気口の下面との間に段差がある場合に、通過動作の後半で検出した方が、地面凹凸の影響が少ない、すなわち、点a,cよりも点b,dを利用した方が検出精度が良いためである。   Here, of the points a, b, c, and d on the left and right side surfaces of the vent, the mobile robot 1 has a point b on the far side in the traveling direction of the vent when the passage detection operation and the approach angle calculation operation are performed. , D will be described. This is because when there is a step between the floor base surface and the lower surface of the vent hole, the detection by the latter half of the passing operation is less affected by the ground unevenness, that is, the points b and d are less than the points a and c. This is because the use accuracy is better.

したがって、通過検出動作時においては、右側部距離センサ及び左側部距離センサの検出距離L1及びL2が急激に長くなったかに応じて、移動ロボット1が通気口を通過したことが検出される。   Therefore, during the passage detection operation, it is detected that the mobile robot 1 has passed through the vent depending on whether the detection distances L1 and L2 of the right side distance sensor and the left side distance sensor have become abruptly long.

次に、進入角度αは、通気口の開口方向に対する移動ロボット1の進行方向のなす角であり、進入角度αの検出には、間接検出、直接検出の2つの方法が使用できる。   Next, the approach angle α is an angle formed by the moving direction of the mobile robot 1 with respect to the opening direction of the vent, and two methods of indirect detection and direct detection can be used to detect the approach angle α.

間接検出では、図7に示すように、次の式(1)により進入角度αが算出される。   In indirect detection, as shown in FIG. 7, the approach angle α is calculated by the following equation (1).

α=ATAN(L3/L4) ・・・(1)
ここで、“L3”は、図7において、移動ロボット1の前後軸上での点bと点dとの間の距離(長さ)を示し、“L4”は、移動ロボット1の左右軸上での点bと点dとの間の距離(長さ)を示している。
α = ATAN (L3 / L4) (1)
Here, “L3” indicates the distance (length) between the point b and the point d on the front-rear axis of the mobile robot 1 in FIG. 7, and “L4” is on the left-right axis of the mobile robot 1 The distance (length) between the point b and the point d in FIG.

また、“L4”は、左側部距離センサ及び左側部距離センサのそれぞれの検出距離と、移動ロボット1の幅とを足すことで得ることができる。ここでは、移動ロボット1の左右方向の中心位置と点bとの間の距離を“L1”とし、移動ロボット1の左右方向の中心位置と点dとの間の距離を“L2”とする。この結果、式(1)は、
α=ATAN(L3/L1+L2) ・・・(2)
と変換できる。“L3”は、クローラ12の回転量、又は移動ロボット1の移動速度と時間によって算出することができる。移動ロボット1の移動速度と時間により“L3”を算出する場合には、前側部距離センサと後側部距離センサとのタイミング差で測定しても良い。
Further, “L4” can be obtained by adding the respective detection distances of the left side distance sensor and the left side distance sensor and the width of the mobile robot 1. Here, the distance between the center position in the left-right direction of the mobile robot 1 and the point b is “L1”, and the distance between the center position in the left-right direction of the mobile robot 1 and the point d is “L2”. As a result, equation (1) becomes
α = ATAN (L3 / L1 + L2) (2)
Can be converted. “L3” can be calculated from the rotation amount of the crawler 12 or the moving speed and time of the mobile robot 1. When “L3” is calculated based on the moving speed and time of the mobile robot 1, it may be measured by the timing difference between the front side distance sensor and the rear side distance sensor.

一方、直接検出では、図8(b)に示すように、進入角度αが角度βと等しいことを利用して進入角度αが算出される。   On the other hand, in the direct detection, as shown in FIG. 8B, the approach angle α is calculated using the fact that the approach angle α is equal to the angle β.

(方向検出処理の概略処理フロー例)
次に、移動ロボットにおける方向検出処理フローについて説明する。図9は、移動ロボットにおける方向検出処理フロー例を示すフローチャートである。
(Example of schematic processing flow of direction detection processing)
Next, the direction detection processing flow in the mobile robot will be described. FIG. 9 is a flowchart illustrating an example of a direction detection process flow in the mobile robot.

ステップS101において、移動ロボット1が、座標軸X(X軸)と平行になるようにして、床下に投入される。詳細には、移動ロボット1は、移動ロボット1の方向が、ある区画の壁面に対して平行であると目視で確認された方向に向けて設置される。   In step S101, the mobile robot 1 is placed under the floor so as to be parallel to the coordinate axis X (X axis). Specifically, the mobile robot 1 is installed in a direction in which the direction of the mobile robot 1 is visually confirmed as being parallel to the wall surface of a certain section.

ステップS102において、方向検出部105は、移動ロボット1の方向γ’を“0”に初期化する。   In step S102, the direction detection unit 105 initializes the direction γ ′ of the mobile robot 1 to “0”.

ステップS103において、通過検出部106は、移動ロボット1が通気口を通過したかを判定する。移動ロボット1が通気口を通過した場合には、ステップS104の処理に進む。一方、移動ロボット1が通気口を通過していない場合には、ステップS105の処理に進む。   In step S103, the passage detection unit 106 determines whether the mobile robot 1 has passed through the vent. If the mobile robot 1 has passed through the vent, the process proceeds to step S104. On the other hand, if the mobile robot 1 has not passed through the vent, the process proceeds to step S105.

ステップS104において、進入角度算出部107は、通気口に対する移動ロボット1の進入角度αを算出する。   In step S104, the approach angle calculation unit 107 calculates the approach angle α of the mobile robot 1 with respect to the vent.

ステップS105においては、方向検出部105は、角速度センサ141からの角速度情報を積分して、移動ロボット1の方向情報γ’を得る。   In step S <b> 105, the direction detection unit 105 integrates angular velocity information from the angular velocity sensor 141 to obtain direction information γ ′ of the mobile robot 1.

(方向検出処理の詳細処理フロー例)
次に、移動ロボット1における方向検出処理フローについて説明する。図9は、移動ロボット1における方向検出処理フロー例を示すフローチャートである。
(Detailed processing flow example of direction detection processing)
Next, a direction detection process flow in the mobile robot 1 will be described. FIG. 9 is a flowchart illustrating an example of a direction detection process flow in the mobile robot 1.

ステップS201において、通過検出部106は、右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなったかを判定する。具体的には、検出距離L1又はL2の単位時間当たりの増加量が、あらかじめ設定された閾値を超えると、検出距離L1又はL2が急激に長くなったと判定される。検出距離L1又はL2が急激に長くなったと判定された場合には、ステップS202の処理に進む。   In step S201, the passage detection unit 106 determines whether the detection distance L1 or L2 of the right side distance sensor or the left side distance sensor has increased abruptly. Specifically, when the increase amount per unit time of the detection distance L1 or L2 exceeds a preset threshold value, it is determined that the detection distance L1 or L2 has become abruptly longer. If it is determined that the detection distance L1 or L2 has increased abruptly, the process proceeds to step S202.

ステップS202において、通過検出部106は、検出距離L1又はL2が急激に長くなったことで、移動ロボット1が通気口を通過する可能性ありと判断する。なお、ステップS202は、ステップS201にて検出距離L1又はL2が急激に長くなったと判定されるのとほぼ同時に実行される。   In step S202, the passage detection unit 106 determines that there is a possibility that the mobile robot 1 may pass through the vent hole because the detection distance L1 or L2 has become abruptly longer. Note that step S202 is executed almost simultaneously with the determination that the detection distance L1 or L2 has increased abruptly in step S201.

ステップS203において、通過検出部106は、移動ロボット1が通気口を通過する可能性ありと判断されてから、移動ロボット1の移動距離が一定の距離以上になったかを判定する。移動ロボット1の移動距離が一定の距離以上になったと判定された場合には、ステップS201の処理に戻る。一方、移動ロボット1の移動距離が一定の距離未満であると判定された場合には、ステップS204の処理に進む。   In step S <b> 203, the passage detection unit 106 determines whether the moving distance of the mobile robot 1 has become a certain distance or more after it is determined that the mobile robot 1 may pass through the vent. If it is determined that the moving distance of the mobile robot 1 has become a certain distance or more, the process returns to step S201. On the other hand, if it is determined that the moving distance of the mobile robot 1 is less than a certain distance, the process proceeds to step S204.

ステップS204において、通過検出部106は、右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなったかを判定する。この処理では、ステップS201にて、右側部距離センサの検出距離が急激に長くなったと判定されている場合には、左側部距離センサの検出距離が急激に長くなったか否かが判定される。また、ステップS201にて、左側部距離センサの検出距離が急激に長くなったと判定されている場合には、右側部距離センサの検出距離が急激に長くなったか否かが判定される。なお、検出距離L1又はL2が急激に長くなったかの判定は、ステップS201と同様にして行われる。右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなったと判定された場合には、ステップS205の処理に進む。一方、右側部距離センサ又は左側部距離センサの検出距離L1又はL2が急激に長くなっていないと判定された場合には、ステップS203の処理に戻る。   In step S204, the passage detection unit 106 determines whether or not the detection distance L1 or L2 of the right side distance sensor or the left side distance sensor has increased abruptly. In this process, if it is determined in step S201 that the detection distance of the right side distance sensor has suddenly increased, it is determined whether or not the detection distance of the left side distance sensor has suddenly increased. If it is determined in step S201 that the detection distance of the left side distance sensor has suddenly increased, it is determined whether or not the detection distance of the right side distance sensor has suddenly increased. Note that the determination of whether the detection distance L1 or L2 has increased abruptly is performed in the same manner as in step S201. If it is determined that the detection distance L1 or L2 of the right-side distance sensor or the left-side distance sensor has suddenly increased, the process proceeds to step S205. On the other hand, if it is determined that the detection distance L1 or L2 of the right side distance sensor or the left side distance sensor is not abruptly increased, the process returns to step S203.

ステップS205において、通過検出部106は、移動ロボット1が通気口を通過したと判断する。移動ロボット1が通気口を通過したと判断されると、ステップS206の処理に進む。   In step S205, the passage detection unit 106 determines that the mobile robot 1 has passed through the vent. If it is determined that the mobile robot 1 has passed through the vent, the process proceeds to step S206.

ステップS206において、進入角度算出部107は、通気口に対する移動ロボット1の進入角度αを算出する。   In step S206, the approach angle calculation unit 107 calculates the approach angle α of the mobile robot 1 with respect to the vent.

ステップS207において、進入角度算出部107は、移動ロボット1が、軸Xに平行な通気口に進入したかを判定する。具体的には、方向情報記憶部に記憶されている方向情報γ’が、90°又は−90°付近である場合には、移動ロボット1が軸Xに平行な通気口に進入したと判定されて、ステップS208の処理に進む。一方、方向情報記憶部に記憶されている方向情報γ’が、90°又は−90°付近でない場合には、移動ロボット1が軸Yに平行な通気口に進入したと判定されて、ステップS209の処理に進む。   In step S207, the approach angle calculation unit 107 determines whether the mobile robot 1 has entered a vent hole parallel to the axis X. Specifically, when the direction information γ ′ stored in the direction information storage unit is near 90 ° or −90 °, it is determined that the mobile robot 1 has entered the vent hole parallel to the axis X. The process proceeds to step S208. On the other hand, if the direction information γ ′ stored in the direction information storage unit is not near 90 ° or −90 °, it is determined that the mobile robot 1 has entered the vent hole parallel to the axis Y, and step S209 is performed. Proceed to the process.

ステップS208においては、方向検出部105は、ステップS206で算出された進入角度αと、軸Xに平行な通気口の角度(つまり90°又は−90°)を用いて方向情報γ’を補正する。図6の例では、“90°−α”の値が、補正後の方向情報γ’として方向情報記憶部151に記憶される。   In step S208, the direction detection unit 105 corrects the direction information γ ′ using the approach angle α calculated in step S206 and the angle of the vent parallel to the axis X (that is, 90 ° or −90 °). . In the example of FIG. 6, the value “90 ° −α” is stored in the direction information storage unit 151 as the corrected direction information γ ′.

ステップS209においては、方向検出部105は、ステップS206で算出された進入角度αと、軸Yに平行な通気口の角度(つまり0°又は−180°)を用いて方向情報γ’を補正する。補正後の方向情報γ’は、方向情報記憶部151に記憶される。   In step S209, the direction detection unit 105 corrects the direction information γ ′ by using the approach angle α calculated in step S206 and the angle of the vent parallel to the axis Y (that is, 0 ° or −180 °). . The corrected direction information γ ′ is stored in the direction information storage unit 151.

(作用・効果)
以上詳細に説明したように、本実施形態によれば、移動ロボット1の回動角と通気口に関する情報とを用いて、床下空間内で移動ロボット1の方向を検出することで容易且つ高精度に移動ロボット1の方向を検出することができる。また、通気口に関する情報を用いて積算型センサの累積誤差を補正するので、床下という特殊な環境下であってもジャイロセンサなどの誤差を補正可能となる。
(Action / Effect)
As described above in detail, according to the present embodiment, the direction of the mobile robot 1 is detected in the underfloor space using the rotation angle of the mobile robot 1 and the information related to the air vents, thereby easily and accurately. The direction of the mobile robot 1 can be detected. Further, since the accumulated error of the integrating sensor is corrected using the information related to the vents, the error of the gyro sensor or the like can be corrected even in a special environment under the floor.

(第1変形例)
上述した実施形態においては、側部距離センサにより通気口を検出する構成について説明した。本発明の実施形態の第1変形例では、図12に示すように、移動ロボット1の上部に設けられた上部距離センサ145l,145rにより、通気口を検出する。上部距離センサ145l,145rは、移動ロボット1の左右両端部の前側に実装されている。あるいは、側部距離センサと上部距離センサとを併用する構成としてもよい。
(First modification)
In the above-described embodiment, the configuration in which the vent is detected by the side distance sensor has been described. In the first modification of the embodiment of the present invention, the vent is detected by upper distance sensors 145l and 145r provided on the upper portion of the mobile robot 1, as shown in FIG. The upper distance sensors 145 l and 145 r are mounted on the front side of the left and right ends of the mobile robot 1. Alternatively, the side distance sensor and the upper distance sensor may be used in combination.

(第2変形例)
上述した実施形態においては、移動ロボット1自身が、自己の方向を検出する構成について説明した。本発明の実施形態の第2変形例として、移動ロボット1ではなく、操作端末2側で、移動ロボット1の方向を検出する構成について説明する。
(Second modification)
In the above-described embodiment, the configuration in which the mobile robot 1 itself detects its own direction has been described. As a second modification of the embodiment of the present invention, a configuration in which the direction of the mobile robot 1 is detected not on the mobile robot 1 but on the operation terminal 2 side will be described.

本変形例に係る操作端末2は、図12に示すように、入力部21と、表示部22と、方向情報記憶部23と、制御部200と、無線通信部24とを備える。   As illustrated in FIG. 12, the operation terminal 2 according to the present modification includes an input unit 21, a display unit 22, a direction information storage unit 23, a control unit 200, and a wireless communication unit 24.

入力部21は、例えばキーボード又はマウス等により構成され、ユーザ入力を受け付ける。無線通信部24は、例えば無線LAN又はブルートゥース等の近距離無線通信方式に準拠した構成を有し、移動ロボット1側の無線通信部161と無線通信を実行する。表示部22は、撮像データやセンサ情報などを表示する。   The input unit 21 is configured by a keyboard or a mouse, for example, and accepts user input. The wireless communication unit 24 has a configuration conforming to a short-range wireless communication method such as a wireless LAN or Bluetooth, and performs wireless communication with the wireless communication unit 161 on the mobile robot 1 side. The display unit 22 displays imaging data, sensor information, and the like.

制御部200は、通信制御部201と、コマンド制御部202と、表示制御部203と、方向検出部204と、通過検出部205と、進入角度算出部206とを備える。   The control unit 200 includes a communication control unit 201, a command control unit 202, a display control unit 203, a direction detection unit 204, a passage detection unit 205, and an approach angle calculation unit 206.

通信制御部201は、無線通信部24を用いて移動ロボット1と通信を行う。コマンド制御部202は、入力部21が受け付けたユーザ入力に応じて、移動ロボット1に送信するコマンドを制御する。表示制御部203は、無線通信部24が移動ロボット1から受信したデータ、例えば撮像データ及びセンサ情報を表示部22上に表示させる。   The communication control unit 201 communicates with the mobile robot 1 using the wireless communication unit 24. The command control unit 202 controls a command transmitted to the mobile robot 1 in accordance with a user input received by the input unit 21. The display control unit 203 causes the display unit 22 to display data received by the wireless communication unit 24 from the mobile robot 1, for example, imaging data and sensor information.

通過検出部205は、移動ロボット1から受信した、左側部距離センサ及び右側部距離センサの検出距離に基づいて、移動ロボット1が通気口を通過したことを検出する。進入角度算出部206は、移動ロボット1から受信した、左側部距離センサ及び右側部距離センサの検出距離や、移動距離センサ143の検出距離などに基づいて、移動ロボット1が通気口を通過したことを検出する。方向検出部105は、移動ロボット1から受信した回動角の情報や、進入角度算出部206が算出した進入角度の情報に基づき、移動ロボット1の方向を検出して、方向情報を方向情報記憶部23に格納する。   The passage detection unit 205 detects that the mobile robot 1 has passed through the vent based on the detection distances of the left side distance sensor and the right side distance sensor received from the mobile robot 1. Based on the detection distance of the left side distance sensor and the right side distance sensor, the detection distance of the movement distance sensor 143 and the like received from the mobile robot 1, the approach angle calculation unit 206 indicates that the mobile robot 1 has passed through the vent. Is detected. The direction detection unit 105 detects the direction of the mobile robot 1 based on the rotation angle information received from the mobile robot 1 and the approach angle information calculated by the approach angle calculation unit 206, and stores the direction information as direction information. Stored in the unit 23.

(その他の実施形態)
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなる。
(Other embodiments)
As mentioned above, although this invention was described by embodiment, it should not be understood that the description and drawing which form a part of this indication limit this invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.

上述した実施形態では、通気口に対する移動ロボット1の進入角度により方向情報を更新する一例を説明した。しかし、精度は劣るが、移動ロボット1が通気口を通過した場合に壁面と直角であるとみなして、方向情報を更新する構成であっても良い。   In the embodiment described above, an example in which the direction information is updated based on the approach angle of the mobile robot 1 with respect to the vent hole has been described. However, although the accuracy is inferior, the configuration may be such that when the mobile robot 1 passes through the vent, it is considered to be perpendicular to the wall surface and the direction information is updated.

また、上述した実施形態では、積算型センサの一例としてジャイロセンサを挙げたが、これに限定されるものではない。例えば、積算型センサは、移動ロボット1に設けられた左右のクローラの回転数(又は、左右のクローラを駆動するモータの回転数)をデジタル値で検出するロータリエンコーダであってもよい。   Moreover, although the gyro sensor was mentioned as an example of the integration type sensor in the above-described embodiment, the present invention is not limited to this. For example, the integrating sensor may be a rotary encoder that detects the number of rotations of the left and right crawlers provided in the mobile robot 1 (or the number of rotations of the motor that drives the left and right crawlers) as a digital value.

さらに、上述した実施形態では、床下地面Srと平行な平面視において閉空間が長方形であるが、これに限定されるものではない。例えば、床下地面Srと平行な平面視において、各区画は正三角形などの形状であってもよい。   Furthermore, in the above-described embodiment, the closed space is rectangular in a plan view parallel to the floor base surface Sr, but is not limited thereto. For example, in a plan view parallel to the floor base surface Sr, each section may have a shape such as an equilateral triangle.

上述した実施形態では、移動ロボット1の方向検出に、後側部距離センサを使用する一例について説明したが、前側部距離センサを使用しても良い。   In the above-described embodiment, an example in which the rear side distance sensor is used for detecting the direction of the mobile robot 1 has been described, but a front side distance sensor may be used.

前側部距離センサを使用した場合には、障害物センサとして併用することができ、障害物を早く発見できる。具体的には、移動ロボット1からの映像越しに遠隔操作が行われるが、車体側面は死角となっていることが多く、旋回時に障害物に衝突することがある。対策として障害物センサを設けることが公知であるが、通気口センサを障害物センサに兼用する場合、進行方向前部にあるほうが、障害物をより早く発見できる。   When the front side distance sensor is used, it can be used together as an obstacle sensor, and an obstacle can be found quickly. Specifically, the remote operation is performed through the video from the mobile robot 1, but the side surface of the vehicle body is often a blind spot and may collide with an obstacle when turning. Although it is known to provide an obstacle sensor as a countermeasure, when the vent hole sensor is also used as an obstacle sensor, the obstacle can be found more quickly in the front part in the traveling direction.

ただし、前側部距離センサを使用した場合には、後側部距離センサの場合と比較して、通気口進入角度を検出する精度が悪化する。具体的には、通気口に段差があった場合、地面凹凸の影響で、通気口通過中に移動ロボット1の向きが変わる可能性がある。通気口への進入角度検出には、通過序盤で検出するより、通過終盤で検出したほうが、地面凹凸の影響を受けにくく、検出精度が向上する。   However, when the front side distance sensor is used, the accuracy of detecting the vent entrance angle is deteriorated as compared with the case of the rear side distance sensor. Specifically, when there is a step in the vent, there is a possibility that the direction of the mobile robot 1 changes while passing through the vent due to the influence of ground irregularities. In the detection of the angle of entry into the vent, detection at the end of passage is less affected by ground irregularities than detection at the beginning of passage, and detection accuracy is improved.

また、通気口に関する情報の一部が、基礎伏図などから既知の場合には、移動ロボット及び遠隔操作システムに設定しておくことで、検出精度を高めたり、計算やセンサを簡略化することができる。検出精度を高める方法としては、例えば、通気口の幅が既知の場合は、移動距離を使用せずに進入角度αを算出することができる。   In addition, if some of the information related to vents is already known from the basic plan, etc., it can be set in the mobile robot and remote control system to improve detection accuracy and simplify calculations and sensors. Can do. As a method for increasing the detection accuracy, for example, when the width of the vent is known, the approach angle α can be calculated without using the movement distance.

具体的には、通気口の幅(図7の例では点bと点dの間の距離)が既知である場合、通気口の幅をL5とすると、進入角度αは、
α=acos(L4/L5) ・・・(3)
によって算出可能である。つまり、L3が不要となり、L3を求めるための移動距離センサ143などを無くすことが可能となる。
Specifically, when the width of the vent hole (the distance between the points b and d in the example of FIG. 7) is known, if the width of the vent hole is L5, the entry angle α is
α = acos (L4 / L5) (3)
Can be calculated. That is, L3 becomes unnecessary, and it is possible to eliminate the movement distance sensor 143 for obtaining L3.

このように本発明は、ここでは記載していない様々な実施形態などを包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。   As described above, it should be understood that the present invention includes various embodiments that are not described herein. Therefore, the present invention is limited only by the invention specifying matters in the scope of claims reasonable from this disclosure.

本発明の実施形態に係る遠隔操作システムの全体構成図である。1 is an overall configuration diagram of a remote control system according to an embodiment of the present invention. 本発明の実施形態に係る移動ロボットが点検する床下の環境の一例を示す図である。It is a figure which shows an example of the environment under the floor which the mobile robot which concerns on embodiment of this invention inspects. 図3(a)は移動ロボットの側面視を示す図であり、図3(b)は移動ロボットの上面視を示す図であり、図3(c)は移動ロボットの正面視を示す図である。3A is a diagram showing a side view of the mobile robot, FIG. 3B is a diagram showing a top view of the mobile robot, and FIG. 3C is a diagram showing a front view of the mobile robot. . 本発明の実施形態に係る移動ロボットの機能構成例を示す機能ブロック図である。It is a functional block diagram which shows the function structural example of the mobile robot which concerns on embodiment of this invention. 本発明の実施形態に係る移動ロボットの向いている方向を説明するための図である。It is a figure for demonstrating the direction which the mobile robot which concerns on embodiment of this invention has faced. 本発明の実施形態に係る移動ロボットによる方向検出動作を説明するための図である。It is a figure for demonstrating the direction detection operation | movement by the mobile robot which concerns on embodiment of this invention. 本発明の実施形態に係る移動ロボットによる通気口への進入角度検出動作を説明するための図である(その1)。It is a figure for demonstrating the approach angle detection operation | movement to the vent hole by the mobile robot which concerns on embodiment of this invention (the 1). 本発明の実施形態に係る移動ロボットによる通気口への進入角度検出動作を説明するための図である(その2)。It is a figure for demonstrating the approach angle detection operation | movement to the vent hole by the mobile robot which concerns on embodiment of this invention (the 2). 本発明の実施形態に係る移動ロボットにおける方向検出処理の概略処理フロー例を示すフローチャートである。It is a flowchart which shows the example of a schematic process flow of the direction detection process in the mobile robot which concerns on embodiment of this invention. 本発明の実施形態に係る移動ロボットにおける方向検出処理の詳細処理フロー例を示すフローチャートである。It is a flowchart which shows the example of a detailed process flow of the direction detection process in the mobile robot which concerns on embodiment of this invention. 本発明の実施形態の第1変形例に係る移動ロボットを説明するための図である。It is a figure for demonstrating the mobile robot which concerns on the 1st modification of embodiment of this invention. 本発明の実施形態の第2変形例に係る操作端末の機能構成例を示す機能ブロック図である。It is a functional block diagram which shows the function structural example of the operating terminal which concerns on the 2nd modification of embodiment of this invention.

符号の説明Explanation of symbols

1…移動ロボット、2…操作端末、11a…前輪、11b…後輪、12…クローラ、12l…左クローラ、12r…右クローラ、13…撮像ユニット、14…センサ、21…入力部、22…表示部、23…方向情報記憶部、24…無線通信部、100…制御部、101…撮像制御部、102…移動制御部、103…通信制御部、104…回動角算出部、105…方向検出部、106…通過検出部、107…進入角度算出部、120…移動機構、121…モータ、131…カメラ、132…チルト機構、133…パン機構、134…ズーム機構、135…フォーカス機構、136…照明装置、141…角速度センサ、142…側部距離センサ、142a…前側部距離センサ、142b…後側部距離センサ、143…移動距離センサ、145…上部距離センサ、151…方向情報記憶部、161…無線通信部、200…制御部、201…通信制御部、202…コマンド制御部、203…表示制御部、204…方向検出部、205…通過検出部、206…進入角度算出部   DESCRIPTION OF SYMBOLS 1 ... Mobile robot, 2 ... Operation terminal, 11a ... Front wheel, 11b ... Rear wheel, 12 ... Crawler, 12l ... Left crawler, 12r ... Right crawler, 13 ... Imaging unit, 14 ... Sensor, 21 ... Input part, 22 ... Display , 23 ... direction information storage unit, 24 ... wireless communication unit, 100 ... control unit, 101 ... imaging control unit, 102 ... movement control unit, 103 ... communication control unit, 104 ... rotation angle calculation unit, 105 ... direction detection , 106 ... Passing detection unit, 107 ... Approach angle calculation unit, 120 ... Movement mechanism, 121 ... Motor, 131 ... Camera, 132 ... Tilt mechanism, 133 ... Pan mechanism, 134 ... Zoom mechanism, 135 ... Focus mechanism, 136 ... Illuminating device, 141 ... angular velocity sensor, 142 ... side distance sensor, 142a ... front side distance sensor, 142b ... rear side distance sensor, 143 ... movement distance sensor, 145 ... top Distance sensor 151 ... Direction information storage unit 161 ... Wireless communication unit 200 ... Control unit 201 ... Communication control unit 202 ... Command control unit 203 ... Display control unit 204 ... Direction detection unit 205 ... Pass detection unit 206 ... Approach angle calculation unit

Claims (3)

複数の区画に分割された床下空間内にて床下地面上を移動する移動ロボットであって、
前記移動ロボットの前記床下地面上での回動角を算出する積算型センサと、
前記複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部と、
前記回動角と前記通気口に関する情報とに基づき、前記床下空間内で前記移動ロボットの向いている方向を検出する方向検出部と
を備え、前記方向検出部は、前記通気口に関する情報を用いて、前記積算型センサの累積誤差を補正することを特徴とする移動ロボット。
A mobile robot that moves on the floor surface in an underfloor space divided into a plurality of sections,
An integrating sensor for calculating a rotation angle of the mobile robot on the floor base surface;
A vent detection unit for detecting information related to vents provided between adjacent sections among the plurality of sections;
A direction detection unit that detects a direction in which the mobile robot is facing in the underfloor space based on the rotation angle and the information on the vent, and the direction detection unit uses the information on the vent A mobile robot characterized by correcting an accumulated error of the integrating sensor.
前記通気口検出部は、
前記移動ロボットの側方又は上方に向けて距離計測を行う距離センサと、
前記距離計測の結果に基づき、前記移動ロボットが前記通気口を通過したことを検出する通過検出部と、
前記距離計測の結果に基づき、前記通気口に対する前記移動ロボットの進入角度を算出する進入角度算出部とを備え、
前記方向検出部は、前記前記移動ロボットが前記通気口を通過したタイミングにて、前記進入角度を用いて前記累積誤差を補正することを特徴とする請求項1に記載の移動ロボット。
The vent detection unit is
A distance sensor for measuring distance toward the side or above the mobile robot;
Based on the result of the distance measurement, a passage detection unit that detects that the mobile robot has passed through the vent;
An approach angle calculator that calculates an approach angle of the mobile robot with respect to the vent based on the result of the distance measurement;
The mobile robot according to claim 1, wherein the direction detection unit corrects the accumulated error using the approach angle at a timing when the mobile robot passes through the vent.
複数の区画に分割された床下空間内の床下地面上を移動する移動ロボットと、前記移動ロボットを遠隔操作する操作端末とを具備する遠隔操作システムであって、
前記移動ロボットの前記床下地面上での回動角を算出する積算型センサと、
前記複数の区画のうち互いに隣接する区画間に設けられた通気口に関する情報を検出する通気口検出部と、
前記移動ロボット又は前記操作端末は、前記回動角と前記通気口に関する情報とに基づき、前記床下空間内で前記移動ロボットの向いている方向を検出する方向検出部と
を備え、前記方向検出部は、前記通気口に関する情報を用いて、前記積算型センサの累積誤差を補正することを特徴とする遠隔操作システム。
A remote operation system comprising a mobile robot that moves on a floor ground surface in an underfloor space divided into a plurality of sections, and an operation terminal that remotely operates the mobile robot,
An integrating sensor for calculating a rotation angle of the mobile robot on the floor base surface;
A vent detection unit for detecting information related to vents provided between adjacent sections among the plurality of sections;
The mobile robot or the operation terminal includes a direction detection unit that detects a direction in which the mobile robot is facing in the underfloor space based on the rotation angle and the information on the vent hole, and the direction detection unit. Is a remote control system that corrects a cumulative error of the integrating sensor using information on the vent.
JP2006249308A 2006-09-14 2006-09-14 Mobile robot and remote operation system Withdrawn JP2008070236A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006249308A JP2008070236A (en) 2006-09-14 2006-09-14 Mobile robot and remote operation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006249308A JP2008070236A (en) 2006-09-14 2006-09-14 Mobile robot and remote operation system

Publications (1)

Publication Number Publication Date
JP2008070236A true JP2008070236A (en) 2008-03-27

Family

ID=39291944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006249308A Withdrawn JP2008070236A (en) 2006-09-14 2006-09-14 Mobile robot and remote operation system

Country Status (1)

Country Link
JP (1) JP2008070236A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101064317B1 (en) * 2009-05-21 2011-09-14 김진완 Drive apparatus of line tracer
WO2012172741A1 (en) 2011-06-13 2012-12-20 パナソニック株式会社 Noise pattern acquisition device and position detection apparatus provided therewith
KR101488421B1 (en) * 2013-05-15 2015-01-30 전동훈 Auto-driving type safety tripod
US9047759B2 (en) 2010-11-25 2015-06-02 Panasonic Intellectual Property Corporation Of America Communication device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101064317B1 (en) * 2009-05-21 2011-09-14 김진완 Drive apparatus of line tracer
US9047759B2 (en) 2010-11-25 2015-06-02 Panasonic Intellectual Property Corporation Of America Communication device
US9142122B2 (en) 2010-11-25 2015-09-22 Panasonic Intellectual Property Corporation Of America Communication device for performing wireless communication with an external server based on information received via near field communication
US9262913B2 (en) 2010-11-25 2016-02-16 Panasonic Intellectual Property Corporation Of America Communication device
WO2012172741A1 (en) 2011-06-13 2012-12-20 パナソニック株式会社 Noise pattern acquisition device and position detection apparatus provided therewith
US8996298B2 (en) 2011-06-13 2015-03-31 Panasonic Intellectual Property Corporation Of America Noise pattern acquisition device and position detection apparatus provided therewith
KR101488421B1 (en) * 2013-05-15 2015-01-30 전동훈 Auto-driving type safety tripod

Similar Documents

Publication Publication Date Title
US11865708B2 (en) Domestic robotic system
US9372117B2 (en) Optical ground tracking apparatus, systems, and methods
JP4643436B2 (en) Own vehicle position determination device
CN104380137B (en) Come the method for indirect distance measuring and hand-held distance-measuring equipment by the angle-determining function that image assists
KR101703177B1 (en) Apparatus and method for recognizing position of vehicle
US20140313321A1 (en) Optical ground tracking apparatus, systems, and methods
JP2009031884A (en) Autonomous mobile body, map information creation method in autonomous mobile body and moving route specification method in autonomous mobile body
KR101076803B1 (en) Map constructing method of inhouse robot and start position determining method thereof
JP2018185767A (en) Environment maintenance robot, and control program of the same
CN110597265A (en) Recharging method and device for sweeping robot
JP2007240380A (en) Intra-tunnel position detector
JP2005062083A (en) Survey system having function of position error correction
JP5122693B1 (en) In-vehicle survey system
KR101475196B1 (en) Apparatus for measuring position of robot
JP2008070236A (en) Mobile robot and remote operation system
JP2004317237A (en) Surveying apparatus
JP2008276731A (en) Routing apparatus for autonomous mobile unit
JP2019205066A (en) Camera adjustment device
JP2009032179A (en) Mobile robot and remote operation system
JP5087360B2 (en) Inspection system
hyeuk Lee et al. Elbow detection for localization of a mobile robot inside pipeline using laser pointers
KR101255024B1 (en) Relative localization system and method using ultrasonic sensor
JP2008077514A (en) Mobile robot and remote operation system
JP2009294713A (en) Checking system, controller, checking method, and control program
US20150330054A1 (en) Optical Sensing a Distance from a Range Sensing Apparatus and Method

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Effective date: 20080118

Free format text: JAPANESE INTERMEDIATE CODE: A7423

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20080201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081113

A761 Written withdrawal of application

Effective date: 20090708

Free format text: JAPANESE INTERMEDIATE CODE: A761