JP7014133B2 - Information gathering system, information gathering method, self-propelled robot, information processing device and program - Google Patents

Information gathering system, information gathering method, self-propelled robot, information processing device and program Download PDF

Info

Publication number
JP7014133B2
JP7014133B2 JP2018211469A JP2018211469A JP7014133B2 JP 7014133 B2 JP7014133 B2 JP 7014133B2 JP 2018211469 A JP2018211469 A JP 2018211469A JP 2018211469 A JP2018211469 A JP 2018211469A JP 7014133 B2 JP7014133 B2 JP 7014133B2
Authority
JP
Japan
Prior art keywords
information
self
robot
timing
propelled robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018211469A
Other languages
Japanese (ja)
Other versions
JP2020077324A (en
Inventor
孝浩 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018211469A priority Critical patent/JP7014133B2/en
Priority to PCT/JP2019/041662 priority patent/WO2020095696A1/en
Publication of JP2020077324A publication Critical patent/JP2020077324A/en
Application granted granted Critical
Publication of JP7014133B2 publication Critical patent/JP7014133B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • G08C15/06Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path successively, i.e. using time division

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Description

この発明は情報収集システムに関し、より詳しくは、自走式ロボットを用いて情報を収集する情報収集システムに関する。また、この発明は、そのような情報収集システムのための情報収集方法、自走式ロボット、情報処理装置およびプログラムに関する。 The present invention relates to an information collection system, and more particularly to an information collection system that collects information using a self-propelled robot. The invention also relates to information gathering methods, self-propelled robots, information processing devices and programs for such information gathering systems.

例えば非特許文献1(“モバイルロボットLDシリーズ”、[online]、2017年3月14日、オムロン株式会社、[平成30年8月31日検索]、インターネット< URL https://www.fa.omron.co.jp/products/family/3664/ >)に開示されているように、ユーザ(使用者)によって目標地点が設定されると、出発地点から走行を開始し障害物を避けながら自ら経路を選んで目標地点まで走行する自走式ロボットが知られている。 For example, Non-Patent Document 1 (“Mobile Robot LD Series”, [online], March 14, 2017, OMRON Corporation, [Search on August 31, 2018], Internet <URL https://www.fa. As disclosed in omron.co.jp/products/family/3664/>), when the target point is set by the user, the vehicle starts running from the starting point and travels on its own while avoiding obstacles. A self-propelled robot that travels to a target point by selecting is known.

“モバイルロボットLDシリーズ”、[online]、2017年3月14日、オムロン株式会社、[平成30年8月31日検索]、インターネット< URL https://www.fa.omron.co.jp/products/family/3664/ >"Mobile Robot LD Series", [online], March 14, 2017, OMRON Corporation, [Search on August 31, 2018], Internet <URL https://www.fa.omron.co.jp/ products / family / 3664 / >

ここで、そのような自走式ロボットに種々の計測機器(レーザスキャナ、撮像装置など)を搭載して、上記自走式ロボットが選んだ経路上で上記計測機器が計測したデータを収集したいとのニーズがある。 Here, we would like to mount various measuring devices (laser scanner, imaging device, etc.) on such a self-propelled robot and collect the data measured by the measuring device on the path selected by the self-propelled robot. There is a need for.

しかしながら、従来例の自走式ロボットでは、この自走式ロボットの走行に関する内部状態(例えば、走行用モータのエンコーダ値など)と、搭載された計測機器による計測データとが、関連付けられる仕様になっていないという問題がある。 However, in the conventional self-propelled robot, the specifications are such that the internal state of the self-propelled robot (for example, the encoder value of the traveling motor) and the measurement data by the mounted measuring device are associated with each other. There is a problem that it is not.

そこで、この発明の課題は、自走式ロボットの走行に関する内部状態と、搭載された計測機器による計測データとを、関連付けて解析できる情報収集システムを提供することにある。また、この発明の課題は、そのような情報収集システムのための情報収集方法、自走式ロボット、情報処理装置およびプログラムを提供することにある。 Therefore, an object of the present invention is to provide an information collecting system capable of associating and analyzing an internal state of a self-propelled robot running and measurement data by a mounted measuring device. An object of the present invention is to provide an information collecting method, a self-propelled robot, an information processing apparatus and a program for such an information collecting system.

上記課題を解決するため、この開示の情報収集システムは、
自走式ロボットと、上記自走式ロボットに搭載された計測機器と、上記自走式ロボットから離間して設けられ、上記計測機器によって計測された計測データを処理する情報処理装置とを含む情報収集システムであって、
上記自走式ロボットは、この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信する情報送信部を備え、
上記計測機器は、上記計測データを上記情報処理装置に送信する計測データ送信部を備え、
上記情報処理装置は、
上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信する第1情報受信部と、
上記計測機器から上記計測データを受信する第2情報受信部と、
上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する処理を行う蓄積処理部と、
を備えることを特徴とする。
In order to solve the above problems, the information collection system of this disclosure is
Information including a self-propelled robot, a measuring device mounted on the self-propelled robot, and an information processing device provided separately from the self-propelled robot and processing measurement data measured by the measuring device. It ’s a collection system,
The self-propelled robot has an information transmission unit that transmits to the information processing apparatus the robot internal information representing the internal state of the self-propelled robot and the first timing information representing the timing of the self-propelled robot running. Prepare,
The measuring device includes a measurement data transmission unit that transmits the measurement data to the information processing apparatus.
The above information processing device
A first information receiving unit that receives the robot internal information and the first timing information from the self-propelled robot, and
A second information receiving unit that receives the measurement data from the measuring device,
A storage processing unit that performs a process of associating the robot internal information stored in time series with the measurement data and storing the measurement data in the storage unit based on the time when the first timing information is received.
It is characterized by having.

本明細書で、「自走式ロボット」とは、ユーザによって目標地点が設定されると、出発地点から走行を開始し障害物を避けながら自ら経路を選んで目標地点まで走行するロボットを指す。 As used herein, the term "self-propelled robot" refers to a robot that, when a target point is set by a user, starts traveling from the starting point, selects a route by itself while avoiding obstacles, and travels to the target point.

また、「ロボット内部情報」とは、自走式ロボットの走行に関するイベントである移動開始、停止、経路変更、動作条件などの自走式ロボットの状態、または、自走式ロボット内部のセンサ値、エンコーダ値などに関する情報を指す。 The "robot internal information" is the state of the self-propelled robot such as movement start, stop, route change, operating condition, etc., which is an event related to the running of the self-propelled robot, or the sensor value inside the self-propelled robot. Refers to information related to encoder values and the like.

また、「第1タイミング情報」とは、自走式ロボットの走行に関する各イベント(移動開始、停止、経路変更、動作条件取得、センサ値取得、エンコーダ値取得など)の発生タイミングを表す情報を指す。 Further, the "first timing information" refers to information indicating the occurrence timing of each event (movement start, stop, route change, operation condition acquisition, sensor value acquisition, encoder value acquisition, etc.) related to the running of the self-propelled robot. ..

また、「計測機器」とは、例えば、3Dレーザスキャナ、環境センサ、撮像装置など計測動作を実行可能な機器を指す。その場合、「計測データ」とは、上記計測機器によって計測されたデータ(物理量(3D座標データ、温度など)、画像など)を指す。 Further, the “measuring device” refers to a device capable of performing a measurement operation, such as a 3D laser scanner, an environment sensor, and an image pickup device. In that case, the "measurement data" refers to data (physical quantity (3D coordinate data, temperature, etc.), image, etc.) measured by the measuring device.

また、「情報処理装置」は、典型的には、上記自走式ロボットの外部に設けられたデータロガー、無線または有線通信機能を備えた汎用コンピュータ装置などによって構成されるが、上記自走式ロボットに内蔵されてもよい。 Further, the "information processing device" is typically composed of a data logger provided outside the self-propelled robot, a general-purpose computer device having a wireless or wired communication function, and the like, but the self-propelled device. It may be built into the robot.

この開示の情報収集システムでは、上記自走式ロボットの情報送信部は、この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信する。上記計測機器の計測データ送信部は、上記計測データを上記情報処理装置に送信する。上記情報処理装置の第1情報受信部は、上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信する。上記情報処理装置の第2情報受信部は、上記計測機器から上記計測データを受信する。上記情報処理部装置の蓄積処理部は、上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する処理を行う。したがって、ユーザは、自走式ロボットの走行に関する内部状態と、搭載された計測機器による計測データとを、関連付けて解析できる。 In the information collection system of the present disclosure, the information transmission unit of the self-propelled robot has the robot internal information representing the internal state of the self-propelled robot and the first timing information of the timing of the self-propelled robot. Is transmitted to the above information processing apparatus. The measurement data transmission unit of the measuring device transmits the measurement data to the information processing apparatus. The first information receiving unit of the information processing apparatus receives the robot internal information and the first timing information from the self-propelled robot. The second information receiving unit of the information processing apparatus receives the measurement data from the measuring device. The storage processing unit of the information processing unit device performs a process of associating the robot internal information stored in time series with the measurement data and storing them in the storage unit based on the time when the first timing information is received. .. Therefore, the user can analyze the internal state of the self-propelled robot in relation to the running and the measurement data by the mounted measuring device in association with each other.

一実施形態の情報収集システムは、
上記情報処理装置は、
上記計測機器が計測を実行すべきタイミングを表す第2タイミング情報を上記計測機器に送信するタイミング情報送信部と、
上記第2タイミング情報を送信した時刻を記憶する第2タイミング記憶部とを備え、
上記計測機器は、上記第2タイミング情報を受信する第3情報受信部を備え、
上記第2タイミング情報が表すタイミングに応じて計測を行って、上記計測データを取得することを特徴とする。
The information collection system of one embodiment is
The above information processing device
A timing information transmission unit that transmits second timing information indicating the timing at which the measuring device should execute measurement to the measuring device, and
It is provided with a second timing storage unit that stores the time when the second timing information is transmitted.
The measuring device includes a third information receiving unit that receives the second timing information.
It is characterized in that measurement is performed according to the timing represented by the second timing information and the measurement data is acquired.

この一実施形態の情報収集システムでは、上記情報処理装置のタイミング情報送信部は、上記計測機器が計測を実行すべきタイミングを表す第2タイミング情報を上記計測機器に送信する。上記情報処理装置の第2タイミング記憶部は、上記第2タイミング情報を送信した時刻を記憶する。上記計測機器の第3情報受信部は、上記第2タイミング情報を受信する。上記第2タイミング情報が表すタイミングに応じて計測を行って、上記計測データを取得する。したがって、上記情報処理装置から上記計測機器に計測を実行すべきタイミングを表す第2タイミング情報を送信した時刻が特定できる。その結果、第2タイミング情報と計測データとの関連付けを行うことができる。 In the information collecting system of this embodiment, the timing information transmission unit of the information processing apparatus transmits the second timing information indicating the timing at which the measuring device should execute the measurement to the measuring device. The second timing storage unit of the information processing apparatus stores the time when the second timing information is transmitted. The third information receiving unit of the measuring device receives the second timing information. The measurement is performed according to the timing represented by the second timing information, and the measurement data is acquired. Therefore, it is possible to specify the time when the second timing information indicating the timing at which the measurement should be executed is transmitted from the information processing device to the measuring device. As a result, the second timing information can be associated with the measurement data.

別の局面では、この開示の情報収集方法は、
自走式ロボットと、上記自走式ロボットに搭載された計測機器と、上記自走式ロボットから離間して設けられ、上記計測機器によって計測された計測データを処理する情報処理装置とを用いる情報収集方法であって、
上記自走式ロボットの情報送信部が、この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信するとともに、上記計測機器の計測データ送信部が、上記計測データを上記情報処理装置に送信し、
上記情報処理装置の第1情報受信部が、上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信するとともに、上記情報処理装置の第2情報受信部が、上記計測機器から上記計測データを受信し、
上記情報処理部装置の蓄積処理部が、上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する
ことを特徴とする。

In another aspect, the information gathering method of this disclosure is
Information using a self-propelled robot, a measuring device mounted on the self-propelled robot, and an information processing device provided separately from the self-propelled robot and processing measurement data measured by the measuring device. It ’s a collection method,
The information transmission unit of the self-propelled robot transmits to the information processing apparatus the robot internal information indicating the internal state of the self-propelled robot and the first timing information indicating the timing of the traveling of the self-propelled robot. At the same time, the measurement data transmission unit of the measurement device transmits the measurement data to the information processing apparatus.
The first information receiving unit of the information processing device receives the robot internal information and the first timing information from the self-propelled robot, and the second information receiving unit of the information processing device receives the robot internal information and the first timing information from the measuring device. Receive measurement data,
The storage processing unit of the information processing unit device is characterized in that the storage processing unit stores the robot internal information stored in time series and the measurement data in the storage unit based on the time when the first timing information is received. And.

この開示の情報収集方法では、ユーザは、自走式ロボットの走行に関する内部状態と、搭載された計測機器による計測データとを、関連付けて解析できる。 In the information collecting method of this disclosure, the user can analyze the internal state of the self-propelled robot in relation to the running and the measurement data by the mounted measuring device in association with each other.

さらに、別の局面では、この開示の自走式ロボットは、
上記情報収集システムに用いられる自走式ロボットであって、
この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信する情報送信部を備えたことを特徴とする。
In addition, in another aspect, the self-propelled robots in this disclosure are
A self-propelled robot used in the above information gathering system.
It is characterized by including an information transmission unit that transmits the robot internal information indicating the internal state of the self-propelled robot running and the first timing information representing the timing of the running of the self-propelled robot to the information processing apparatus. ..

この開示の自走式ロボットでは、自走式ロボットの走行に関する内部状態を情報処理装置に送信することができる。その結果、ユーザは、情報処理装置において、自走式ロボットの走行に関する内部状態と、搭載された計測機器による計測データとを、関連付けて解析できる。 In the self-propelled robot of this disclosure, the internal state regarding the running of the self-propelled robot can be transmitted to the information processing apparatus. As a result, the user can analyze the internal state of the self-propelled robot in relation to the running of the self-propelled robot and the measurement data by the mounted measuring device in the information processing apparatus in association with each other.

さらに、別の局面では、この開示の情報処理装置は、
上記情報収集システムにおける情報処理装置であって、
上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信する第1情報受信部と、
上記計測機器から上記計測データを受信する第2情報受信部と、
上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する処理を行う蓄積処理部とを備えることを特徴とする。
In yet another aspect, the information processing apparatus of this disclosure is:
An information processing device in the above information collection system.
A first information receiving unit that receives the robot internal information and the first timing information from the self-propelled robot, and
A second information receiving unit that receives the measurement data from the measuring device,
It is characterized by including a storage processing unit that performs a process of associating the robot internal information stored in time series with the measurement data and storing the measurement data in the storage unit based on the time when the first timing information is received. ..

この開示の情報処理装置では、上記情報処理装置の第1情報受信部は、上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信する。上記情報処理装置の第2情報受信部は、上記計測機器から上記計測データを受信する。上記情報処理部装置の蓄積処理部は、上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する処理を行う。したがって、ユーザは、自走式ロボットの走行に関する内部状態と、搭載された計測機器による計測データとを、関連付けて解析できる。 In the information processing apparatus of this disclosure, the first information receiving unit of the information processing apparatus receives the robot internal information and the first timing information from the self-propelled robot. The second information receiving unit of the information processing apparatus receives the measurement data from the measuring device. The storage processing unit of the information processing unit device performs a process of associating the robot internal information stored in time series with the measurement data and storing them in the storage unit based on the time when the first timing information is received. .. Therefore, the user can analyze the internal state of the self-propelled robot in relation to the running and the measurement data by the mounted measuring device in association with each other.

さらに、別の局面では、この開示のプログラムは、
上記情報処理装置に情報収集方法を実行させるプログラムであって、
上記情報収集方法は、
上記第1情報受信部によって、上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信するとともに、上記第2情報受信部によって、上記計測機器から上記計測データを受信し、
上記蓄積処理部によって、上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する
ことを特徴とする。
In addition, in another aspect, this disclosure program
A program that causes the above information processing device to execute an information collection method.
The above information collection method is
The first information receiving unit receives the robot internal information and the first timing information from the self-propelled robot, and the second information receiving unit receives the measurement data from the measuring device.
The storage processing unit is characterized in that the robot internal information stored in time series and the measurement data are associated with each other and stored in the storage unit based on the time when the first timing information is received.

この開示のプログラムを上記情報処理装置に実行させることによって、上記情報収集方法を実施することができる。 By causing the information processing apparatus to execute the program of this disclosure, the information collecting method can be implemented.

以上より明らかなように、この開示の情報収集システム、自走式ロボット、情報処理装置および情報収集方法では、ユーザは、自走式ロボットの走行に関する内部情報と、搭載された計測機器による計測データとを、関連付けて解析できる。また、この開示のプログラムをコンピュータに実行させることによって、情報処理装置における上記情報収集方法を実施することができる。 As is clear from the above, in the information collecting system, the self-propelled robot, the information processing device, and the information collecting method of this disclosure, the user can use the internal information regarding the running of the self-propelled robot and the measurement data by the on-board measuring device. Can be associated and analyzed. Further, by causing the computer to execute the program of this disclosure, the above-mentioned information collecting method in the information processing apparatus can be implemented.

この発明の一実施形態の情報収集システムのブロック構成を示す図である。It is a figure which shows the block structure of the information gathering system of one Embodiment of this invention. 上記情報収集システムに含まれた自走式ロボットのハードウェア構成を示す図である。It is a figure which shows the hardware composition of the self-propelled robot included in the said information gathering system. 図3(A)は、上記情報収集システムに含まれたレーザスキャナのハードウェア構成を示す図である。図3(B)は、上記情報収集システムに含まれた撮像装置のハードウェア構成を示す図である。FIG. 3A is a diagram showing a hardware configuration of a laser scanner included in the information acquisition system. FIG. 3B is a diagram showing a hardware configuration of an image pickup apparatus included in the information collection system. 上記情報収集システムに含まれた情報処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the information processing apparatus included in the said information gathering system. 上記情報処理装置の演算部が実行する情報収集処理(情報収集方法)のフローを示す図である。It is a figure which shows the flow of the information collection process (information collection method) executed by the arithmetic unit of the information processing apparatus. 上記情報収集システムが実行する例示的な時間経過に伴う情報収集処理動作を示す図である。It is a figure which shows the information gathering processing operation with the passage of time, which is performed by the said information gathering system. 図7(A)は、上記情報処理装置が時刻t0,t2で自走式ロボットから受信するロボット内部情報を示すタイムチャートである。図7(B)は、上記情報収集装置が、時刻T0,T2で自走式ロボットから受信する第1タイミング情報である同期トリガ信号を示すタイムチャートである。図7(C)は、上記情報処理装置が時刻t1で撮像装置から受信する計測データである画像データ、時刻t3で撮像装置から受信する計測データである画像データを示すタイムチャートである。図7(D)は、上記情報処理装置が、時刻T1,T3で送信する第2タイミング情報を示すタイムチャートである。FIG. 7A is a time chart showing robot internal information received from the self-propelled robot at times t0 and t2 by the information processing apparatus. FIG. 7B is a time chart showing a synchronization trigger signal which is the first timing information received from the self-propelled robot at times T0 and T2 by the information collecting device. FIG. 7C is a time chart showing image data which is measurement data received from the image pickup apparatus at time t1 and image data which is measurement data received from the image pickup apparatus at time t3. FIG. 7D is a time chart showing the second timing information transmitted by the information processing apparatus at times T1 and T3.

以下、この開示の実施の形態を、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of this disclosure will be described in detail with reference to the drawings.

(情報収集システムの構成)
図1は、この発明の一実施形態の情報収集システムのブロック構成を模式的に示している。この情報収集システムは、大別して、自走式ロボット200と、この自走式ロボット200に搭載された計測機器500と、情報処理装置100とを備えている。
(Configuration of information collection system)
FIG. 1 schematically shows a block configuration of an information collection system according to an embodiment of the present invention. This information collection system is roughly divided into a self-propelled robot 200, a measuring device 500 mounted on the self-propelled robot 200, and an information processing device 100.

自走式ロボット200は、図2に示すように、ハードウェアとして、この例では、演算部201と、モータ制御演算部202と、モータ駆動部203と、車輪を駆動するモータM1,M2,…,Mmと、各モータに付設されたエンコーダEN1,EN2,…,ENmと、センサSE1,SE2,…,SEmと、同期トリガ信号送信部205と、送信部204とを備えている。図1中に示すように、この例では、プログラムされた演算部201によって、ロボット状態データ生成部220と、同期トリガ信号生成部221と、送信処理部223とが構成されている。この例では、自走式ロボット200は、オムロン株式会社製モバイルロボットLDシリーズが用いられる。 As shown in FIG. 2, the self-propelled robot 200 has, as hardware, in this example, a calculation unit 201, a motor control calculation unit 202, a motor drive unit 203, motors M1, M2, ... , Mm, encoders EN1, EN2, ..., ENm attached to each motor, sensors SE1, SE2, ..., SEm, a synchronous trigger signal transmission unit 205, and a transmission unit 204. As shown in FIG. 1, in this example, the programmed arithmetic unit 201 comprises a robot state data generation unit 220, a synchronization trigger signal generation unit 221 and a transmission processing unit 223. In this example, as the self-propelled robot 200, the mobile robot LD series manufactured by OMRON Corporation is used.

ロボット状態データ生成部220は、ロボット内部情報RIを生成する。この例では、ロボット状態データ生成部220は、図2中に示すように、モータ制御演算部202およびモータ駆動部203を用いて、ロボット内部情報RIとして自走式ロボット200の走行に関するイベントである移動開始、停止、経路変更、動作条件などの自走式ロボット200の状態データを生成する。また、ロボット状態データ生成部220は、センサSE1~SEm、エンコーダEN1~ENmを用いて、ロボット内部情報RIとして自走式ロボット200内部のセンサ値、エンコーダ値などに関する自走式ロボット200の状態データを生成する。これら生成されたロボット内部情報RIは、この例では、ロボット内部情報RIとして、送信処理部223によって、送信部204を介して、後述する情報処理装置100の受信部106へ送信される。 The robot state data generation unit 220 generates robot internal information RI. In this example, as shown in FIG. 2, the robot state data generation unit 220 is an event related to the running of the self-propelled robot 200 as the robot internal information RI by using the motor control calculation unit 202 and the motor drive unit 203. Generates state data of the self-propelled robot 200 such as movement start, stop, route change, and operating conditions. Further, the robot state data generation unit 220 uses the sensors SE1 to SEm and the encoders EN1 to ENm to provide state data of the self-propelled robot 200 regarding sensor values, encoder values, etc. inside the self-propelled robot 200 as robot internal information RI. To generate. In this example, the generated robot internal information RI is transmitted by the transmission processing unit 223 to the reception unit 106 of the information processing apparatus 100 described later via the transmission unit 204 as the robot internal information RI.

同期トリガ信号生成部221は、第1タイミング情報である自走式ロボット200の走行に関する各イベントの発生タイミングを表す情報を生成する。この例では、同期トリガ信号生成部221は、図2中に示すように、モータ制御演算部202、モータ駆動部203、センサSE1~SEm、エンコーダEN1~ENmを用いて、自走式ロボット200の走行に関する各イベント(移動開始、停止、経路変更、動作条件取得、センサ値取得、エンコーダ値取得など)の発生タイミングを表す情報を生成する。第1タイミング情報は、この例では、同期トリガ信号STとして、送信処理部223によって、同期トリガ信号送信部205を介して、後述する情報処理装置100の受信部106へ送信される。 The synchronous trigger signal generation unit 221 generates information indicating the occurrence timing of each event related to the running of the self-propelled robot 200, which is the first timing information. In this example, as shown in FIG. 2, the synchronous trigger signal generation unit 221 uses the motor control calculation unit 202, the motor drive unit 203, the sensors SE1 to SEm, and the encoders EN1 to ENm to form the self-propelled robot 200. Generates information indicating the occurrence timing of each event related to driving (movement start, stop, route change, operating condition acquisition, sensor value acquisition, encoder value acquisition, etc.). In this example, the first timing information is transmitted as the synchronization trigger signal ST by the transmission processing unit 223 to the reception unit 106 of the information processing apparatus 100 described later via the synchronization trigger signal transmission unit 205.

図1中に示すように、計測機器500は、この例では、レーザスキャナ300と、撮像装置400とを備えている。計測機器500は、レーザスキャナ300、撮像装置400に限られない。計測動作を実行可能な機器であれば如何なるものでもよい。 As shown in FIG. 1, the measuring device 500 includes a laser scanner 300 and an image pickup device 400 in this example. The measuring device 500 is not limited to the laser scanner 300 and the image pickup device 400. Any device can be used as long as it can perform measurement operations.

レーザスキャナ300は、図3(A)に示すように、ハードウェアとして、送受光学系302と、制御部301と、送信部303と、受信部304とを備えている。レーザスキャナ300は、図1中に示すように、この例では、プログラムされた制御部301によって、3D座標データ生成部310と、同期信号入力部311と、送信処理部312と、受信処理部313とが構成されている。 As shown in FIG. 3A, the laser scanner 300 includes a transmission / reception optical system 302, a control unit 301, a transmission unit 303, and a reception unit 304 as hardware. As shown in FIG. 1, in this example, the laser scanner 300 has a 3D coordinate data generation unit 310, a synchronization signal input unit 311, a transmission processing unit 312, and a reception processing unit 313 by a programmed control unit 301. And are configured.

レーザスキャナ300が備える受信部304は、受信処理部313によって、パルス数(Pulse Per Second)信号PPSを後述する情報処理装置100の送信部107から受信する。信号入力部311は、パルス数信号PPSによってレーザスキャナ300内部のタイムスタンプの累積誤差を校正する。3D座標データ生成部310は3D座標データの取得を指令する。3D座標データ生成部310は、送受光学系302を制御する。送受光学系302は、レーザの投光部を回転させて一定範囲をスキャンする。これにより、3D座標データ生成部310は、照射されたレーザによって、対象物の3D座標データ(位置情報)を取得する。送信部303は、送信処理部312によって、取得された計測データである3D座標データD3Dを後述する情報処理装置100の受信部106へ送信する。 The reception unit 304 included in the laser scanner 300 receives the pulse number (Pulse Per Second) signal PPS from the transmission unit 107 of the information processing apparatus 100 described later by the reception processing unit 313. The signal input unit 311 calibrates the cumulative error of the time stamp inside the laser scanner 300 by the pulse number signal PPS. The 3D coordinate data generation unit 310 commands the acquisition of 3D coordinate data. The 3D coordinate data generation unit 310 controls the transmission / reception optical system 302. The transmission / reception optical system 302 rotates the projection unit of the laser to scan a certain range. As a result, the 3D coordinate data generation unit 310 acquires the 3D coordinate data (position information) of the object by the irradiated laser. The transmission unit 303 transmits the 3D coordinate data D3D, which is the measurement data acquired by the transmission processing unit 312, to the reception unit 106 of the information processing apparatus 100, which will be described later.

撮像装置400は、図3(B)に示すように、ハードウェアとして、撮像部402と、制御部401と、送信部403と、受信部404とを備えている。撮像装置400は、図1中に示すように、この例では、プログラムされた制御部401によって、画像データ生成部410と、同期信号生成部411と、送信処理部413と、同期信号入力部412と、受信処理部414とが構成されている。 As shown in FIG. 3B, the image pickup apparatus 400 includes an image pickup unit 402, a control unit 401, a transmission unit 403, and a reception unit 404 as hardware. As shown in FIG. 1, in this example, the image pickup apparatus 400 has an image data generation unit 410, a synchronization signal generation unit 411, a transmission processing unit 413, and a synchronization signal input unit 412 by a programmed control unit 401. And the reception processing unit 414 are configured.

撮像装置400が備える受信部404は、受信処理部414によって、シャッタ信号SSを後述する情報処理装置100の送信部107から受信する。同期信号入力部412は、シャッタ信号SSに同期して画像データ生成部410に画像データDIの取得を指令する。画像データ生成部410は、撮像部402を制御する。撮像部402は、CCD(Charge Coupled Device)からなり、対象物の画像を撮像する。これにより、画像データ生成部410は、対象物の画像データDIを取得する。送信部403は、送信処理部413によって、取得された計測データである画像データDIを後述する情報処理装置100の受信部106へ送信する。また、撮像装置400の同期信号生成部411は、撮像部402が撮像したタイミングを表す信号を生成する。この例では、同期信号生成部411は、露光信号ESを生成する。送信部403は、送信処理部413によって、生成された露光信号ESを後述する情報処理装置100の受信部106へ送信する。 The reception unit 404 included in the image pickup device 400 receives the shutter signal SS from the transmission unit 107 of the information processing device 100, which will be described later, by the reception processing unit 414. The synchronization signal input unit 412 instructs the image data generation unit 410 to acquire the image data DI in synchronization with the shutter signal SS. The image data generation unit 410 controls the image pickup unit 402. The image pickup unit 402 is composed of a CCD (Charge Coupled Device) and captures an image of an object. As a result, the image data generation unit 410 acquires the image data DI of the object. The transmission unit 403 transmits the image data DI, which is the measurement data acquired by the transmission processing unit 413, to the reception unit 106 of the information processing apparatus 100, which will be described later. Further, the synchronization signal generation unit 411 of the image pickup apparatus 400 generates a signal indicating the timing of the image taken by the image pickup unit 402. In this example, the synchronization signal generation unit 411 generates the exposure signal ES. The transmission unit 403 transmits the generated exposure signal ES by the transmission processing unit 413 to the reception unit 106 of the information processing apparatus 100 described later.

情報処理装置100は、図4に示すように、ハードウェアとして、演算部101と、表示部102と、入力部103と、メモリ104と、データ記憶装置105と、受信部106と、送信部107とを備えている。情報処理装置100は、図1中に示すように、この例では、プログラムされた演算部101によって、データ蓄積処理部114と、タイムスタンプ押印処理部111と、タイムスタンプ蓄積処理部112と、データ整合処理部113と、実行タイミング生成部110と、受信処理部115,117,119と、送信処理部116,118とが構成されている。データ蓄積処理部114と、データ整合処理部113と、タイムスタンプ押印処理部111と、タイムスタンプ蓄積処理部112とは、蓄積処理部を構成している。受信処理部119は第1情報受信部を構成している。これらの各部の動作については、後述する図5の情報収集制御のフローの中で説明する。 As shown in FIG. 4, the information processing apparatus 100 has a calculation unit 101, a display unit 102, an input unit 103, a memory 104, a data storage device 105, a reception unit 106, and a transmission unit 107 as hardware. And have. As shown in FIG. 1, in this example, the information processing apparatus 100 uses a programmed calculation unit 101 to provide a data storage processing unit 114, a time stamp stamping processing unit 111, a time stamp storage processing unit 112, and data. The matching processing unit 113, the execution timing generation unit 110, the reception processing units 115, 117, 119, and the transmission processing units 116, 118 are configured. The data storage processing unit 114, the data matching processing unit 113, the time stamp stamping processing unit 111, and the time stamp storage processing unit 112 constitute a storage processing unit. The reception processing unit 119 constitutes a first information receiving unit. The operation of each of these parts will be described in the information collection control flow of FIG. 5 described later.

演算部101は、ソフトウェア(コンピュータプログラム)によって動作するCPU(中央演算処理ユニット)を含み、後述の情報収集方法に従う処理や、その他の各種処理を実行する。 The arithmetic unit 101 includes a CPU (central processing unit) operated by software (computer program), and executes processing according to an information collection method described later and various other processing.

入力部103は、この例では、キー入力スイッチ及び設定スイッチからなり、ユーザ(操作者)からの指示及びデータなどを入力または設定するために用いられる。 In this example, the input unit 103 includes a key input switch and a setting switch, and is used for inputting or setting instructions and data from a user (operator).

表示部102は、この例では、LCD(Liquid Crystal Display)からなり、演算部101からの制御信号に従って、数値等の表示を行う。 In this example, the display unit 102 is composed of an LCD (Liquid Crystal Display), and displays numerical values and the like according to a control signal from the calculation unit 101.

メモリ104は、この例では、非一時的にデータを記憶し得るEEPROM(電気的に書き換え可能な不揮発性メモリ)、及び、一時的にデータを記憶し得るRAM(ランダム・アクセス・メモリ)を含んでいる。このメモリ104には、演算部101を制御するためのソフトウェア(コンピュータプログラム)が格納されている。 In this example, the memory 104 includes an EEPROM (electrically rewritable non-volatile memory) capable of storing data non-temporarily and a RAM (random access memory) capable of temporarily storing data. I'm out. Software (computer program) for controlling the arithmetic unit 101 is stored in the memory 104.

データ記憶装置105は、この例では、HDD(Hard Disk Drive)等の補助記憶装置を含んでいる。また、この例では、データ記憶装置105には、ロボット内部情報RIとして、自走式ロボット200の走行に関するイベントである移動開始、停止、経路変更、動作条件などの自走式ロボット200の状態、または、自走式ロボット200内部のセンサ値、エンコーダ値などに関する情報などが時系列に記憶される。また、計測データとして、計測機器500によって計測されたデータ(物理量(3D座標データ、温度など)、画像データなど)が時系列に記憶される。また、自走式ロボット200の走行に関する各イベント(移動開始、停止、経路変更、動作条件取得、センサ値取得、エンコーダ値取得など)の発生タイミングを表す情報に関するタイムスタンプ、情報処理装置100が生成する実行タイミング情報に関するタイムスタンプがこれら情報共に記憶される。また、時系列に記憶されたロボット内部情報RIと計測データとは、関連付けて記憶される。これらの記憶内容については、後に詳述する。 In this example, the data storage device 105 includes an auxiliary storage device such as an HDD (Hard Disk Drive). Further, in this example, in the data storage device 105, as the robot internal information RI, the state of the self-propelled robot 200 such as movement start, stop, route change, operation condition, etc., which are events related to the running of the self-propelled robot 200, Alternatively, information regarding the sensor value, encoder value, etc. inside the self-propelled robot 200 is stored in time series. Further, as the measurement data, data measured by the measuring device 500 (physical quantity (3D coordinate data, temperature, etc.), image data, etc.) is stored in time series. Further, the information processing apparatus 100 generates a time stamp related to information indicating the occurrence timing of each event (movement start, stop, route change, operation condition acquisition, sensor value acquisition, encoder value acquisition, etc.) related to the running of the self-propelled robot 200. The time stamp related to the execution timing information to be processed is stored together with this information. Further, the robot internal information RI stored in time series and the measurement data are stored in association with each other. These stored contents will be described in detail later.

受信部106は、演算部101によって制御されて外部の装置からの情報を受信して演算部101に受け渡す。この例では、受信部106は、自走式ロボット200と、レーザスキャナ300と、撮像装置400から情報(同期トリガ信号ST、ロボット内部情報RI、3D座標データD3D、画像データDI、露光信号ES)を受信する。 The receiving unit 106 is controlled by the arithmetic unit 101 to receive information from an external device and pass it to the arithmetic unit 101. In this example, the receiving unit 106 is information from the self-propelled robot 200, the laser scanner 300, and the image pickup device 400 (synchronous trigger signal ST, robot internal information RI, 3D coordinate data D3D, image data DI, exposure signal ES). To receive.

送信部107は、演算部101によって制御されて所定の情報を外部の装置に送信する。この例では、送信部107は、計測機器500であるレーザスキャナ300と、撮像装置400へ情報(パルス数信号PPS、シャッタタイミングを表すシャッタ信号SS)を送信する。 The transmission unit 107 is controlled by the calculation unit 101 to transmit predetermined information to an external device. In this example, the transmission unit 107 transmits information (pulse number signal PPS, shutter signal SS representing shutter timing) to the laser scanner 300, which is the measuring device 500, and the image pickup device 400.

(情報収集システムの動作)
図5は、ロボット内部情報または計測データをタイミング情報に整合させるために、情報収集システムが実行する情報収集方法の処理フローを示している。
(Operation of information collection system)
FIG. 5 shows a processing flow of an information collection method executed by the information collection system in order to match the robot internal information or measurement data with the timing information.

まず、図5のステップS1に示すように、ユーザの入力部103を通した指示に応じて、情報処理装置100は演算部101を受信処理部119として働かせて、自走式ロボット200が生成するタイミング情報を受信する。この例では、図4中に示すように、情報処理装置100は、同期トリガ信号STを受信部106を介して演算部101に取り込む。 First, as shown in step S1 of FIG. 5, the information processing apparatus 100 operates the arithmetic unit 101 as the reception processing unit 119 in response to the instruction through the input unit 103 of the user, and the self-propelled robot 200 is generated. Receive timing information. In this example, as shown in FIG. 4, the information processing apparatus 100 captures the synchronization trigger signal ST into the calculation unit 101 via the reception unit 106.

次に、図5のステップS2に示すように、情報処理装置100は、演算部101をタイムスタンプ押印処理部111として働かせて、演算部101に取り込んだ同期トリガ信号STにタイムスタンプを押印する。その際、タイムスタンプが押印された同期トリガ信号STはタイムスタンプと共にタイムスタンプ蓄積処理部112によってデータ記憶装置105に記憶される。 Next, as shown in step S2 of FIG. 5, the information processing apparatus 100 causes the calculation unit 101 to act as the time stamp stamping processing unit 111, and stamps the time stamp on the synchronization trigger signal ST captured in the calculation unit 101. At that time, the synchronization trigger signal ST stamped with the time stamp is stored in the data storage device 105 by the time stamp storage processing unit 112 together with the time stamp.

次に、図5のステップS3に示すように、情報処理装置100は、受信部106を介して自走式ロボット200が生成するロボット内部情報RIを受信する。また、計測機器であるレーザスキャナ300から計測データである3D座標データD3Dを受信する場合には、情報処理装置100は、受信部106を介してレーザスキャナ300から3D座標データD3Dを受信する。また、撮像装置400から計測データである画像データDIを受信する場合には、情報処理装置100は、受信部106を介して計測機器である撮像装置400から画像データDIを受信する。 Next, as shown in step S3 of FIG. 5, the information processing apparatus 100 receives the robot internal information RI generated by the self-propelled robot 200 via the receiving unit 106. Further, when receiving the 3D coordinate data D3D which is the measurement data from the laser scanner 300 which is a measuring device, the information processing apparatus 100 receives the 3D coordinate data D3D from the laser scanner 300 via the receiving unit 106. Further, when receiving the image data DI which is the measurement data from the image pickup apparatus 400, the information processing apparatus 100 receives the image data DI from the image pickup apparatus 400 which is a measurement device via the receiving unit 106.

次に、図5のステップS4に示すように、情報処理装置100は、演算部101をデータ蓄積処理部114として働かせて、ロボット内部情報RIをデータ記憶装置105に時系列に記憶する。また、レーザスキャナ300から3D座標データD3Dを受信する場合には、同様に、情報処理装置100は、3D座標データD3Dをデータ記憶装置105に時系列に記憶する。撮像装置400から画像データDIを受信する場合には、同様に、情報処理装置100は、画像データDIをデータ記憶装置105に時系列に記憶する。 Next, as shown in step S4 of FIG. 5, the information processing device 100 operates the calculation unit 101 as the data storage processing unit 114, and stores the robot internal information RI in the data storage device 105 in time series. Further, when receiving the 3D coordinate data D3D from the laser scanner 300, the information processing apparatus 100 similarly stores the 3D coordinate data D3D in the data storage device 105 in time series. When receiving the image data DI from the image pickup apparatus 400, the information processing apparatus 100 similarly stores the image data DI in the data storage apparatus 105 in time series.

次に、図5のステップS5に示すように、情報処理装置100は、演算部101をデータ整合処理部113として働かせて、ロボット内部情報RIを記憶した時刻が同期トリガ信号STのタイムスタンプの時刻直後であるか否か判断する。この例では、予め定められた期間内に、ロボット内部情報RIを記憶した時刻と、同期トリガ信号STのタイムスタンプの時刻とが存在するか否かによって判断する。ロボット内部情報RIを記憶した時刻がタイムスタンプの時刻直後でないとき(ステップS5でNO)、ステップS5を繰り返す。ロボット内部情報RIを記憶した時刻が同期トリガ信号STのタイムスタンプの時刻直後であるとき(ステップS5でYES)、ステップS6に進む。また、情報処理装置100は、3D座標データD3Dを記憶した時刻がタイムスタンプの時刻直後であるか否か判断する。計測データDがタイムスタンプの時刻直後でないとき(ステップS5でNO)、ステップS5を繰り返す。計測データDがタイムスタンプの時刻直後であるとき(ステップS5でYES)、ステップS6に進む。また、情報処理装置100は、撮像装置400から受信した画像データDIについても、同様に、画像データDIを記憶した時刻が実行タイミングのタイムスタンプの時刻直後であるか否か判断する。 Next, as shown in step S5 of FIG. 5, the information processing apparatus 100 operates the arithmetic unit 101 as the data matching processing unit 113, and the time when the robot internal information RI is stored is the time of the time stamp of the synchronization trigger signal ST. Determine if it is immediately after. In this example, it is determined by whether or not the time when the robot internal information RI is stored and the time of the time stamp of the synchronization trigger signal ST exist within a predetermined period. When the time when the robot internal information RI is stored is not immediately after the time of the time stamp (NO in step S5), step S5 is repeated. When the time when the robot internal information RI is stored is immediately after the time of the time stamp of the synchronization trigger signal ST (YES in step S5), the process proceeds to step S6. Further, the information processing apparatus 100 determines whether or not the time when the 3D coordinate data D3D is stored is immediately after the time of the time stamp. When the measurement data D is not immediately after the time of the time stamp (NO in step S5), step S5 is repeated. When the measurement data D is immediately after the time of the time stamp (YES in step S5), the process proceeds to step S6. Further, the information processing apparatus 100 also determines whether or not the time when the image data DI is stored is immediately after the time stamp of the execution timing for the image data DI received from the image pickup apparatus 400.

次に、図5のステップS6に示すように、情報処理装置100は、演算部101をデータ整合処理部113として働かせて、ロボット内部情報RIを同期トリガ信号STに整合させ、ロボット内部情報RIを同期トリガ信号STに関連付けてデータ記憶装置105に記憶する。また、情報処理装置100は、レーザスキャナ300または撮像装置400から受信した3D座標データD3Dまたは画像データDIについても、同様に、3D座標データD3Dまたは画像データDIを実行タイミングに整合させ、3D座標データD3Dまたは画像データDIを実行タイミングに関連付けてデータ記憶装置105に記憶する。 Next, as shown in step S6 of FIG. 5, the information processing apparatus 100 causes the arithmetic unit 101 to operate as the data matching processing unit 113 to match the robot internal information RI with the synchronization trigger signal ST, and the robot internal information RI. It is stored in the data storage device 105 in association with the synchronization trigger signal ST. Further, the information processing apparatus 100 also aligns the 3D coordinate data D3D or the image data DI with the execution timing for the 3D coordinate data D3D or the image data DI received from the laser scanner 300 or the image pickup apparatus 400, and the 3D coordinate data. The D3D or the image data DI is stored in the data storage device 105 in association with the execution timing.

情報処理装置100は、ユーザの入力部103を通した終了指示を受けるまで、ステップS1からステップS6の処理を繰り返す。 The information processing apparatus 100 repeats the processes of steps S1 to S6 until it receives an end instruction through the user's input unit 103.

この例では、情報処理装置は、リアルタイムに、ロボット内部情報RIを同期トリガ信号STに整合させ、ロボット内部情報RIを同期トリガ信号STに関連付けてデータ記憶装置に記憶したが、これに限られるものではない。ロボット内部情報RIを同期トリガSTに整合させ、ロボット内部情報RIを同期トリガ信号STに関連付けてデータ記憶装置に記憶する処理は、すべての同期トリガ信号STおよびロボット内部情報RIを受信して記憶した後に行ってもよい。また、3D座標データD3D、または画像データDIについても、同様に、すべての3D座標データD3D、または画像データDIを受信して記憶した後に、整合処理を行ってもよい。 In this example, the information processing device matches the robot internal information RI with the synchronous trigger signal ST in real time, associates the robot internal information RI with the synchronous trigger signal ST, and stores it in the data storage device, but the present invention is limited to this. is not it. The process of matching the robot internal information RI with the synchronous trigger ST, associating the robot internal information RI with the synchronous trigger signal ST, and storing it in the data storage device receives and stores all the synchronous trigger signal ST and the robot internal information RI. You may go later. Similarly, for the 3D coordinate data D3D or the image data DI, the matching process may be performed after receiving and storing all the 3D coordinate data D3D or the image data DI.

(情報収集システムの動作例)
図6は、自走式ロボットを用いた走行開始からの時間経過に伴う情報収集処理動作を例示的に示している。時刻T0では、自走ロボットは、走行を開始し、時刻T1では、計測機器は計測データDI1を取得する。時刻T2では、自走ロボットは、軌道を修正し、時刻T3では、計測機器は計測データDI3を取得する。各時刻での情報収集処理動作については、図7のタイムチャートの中で説明する。
(Operation example of information collection system)
FIG. 6 schematically shows an information collection processing operation with the passage of time from the start of traveling using a self-propelled robot. At time T0, the self-propelled robot starts running, and at time T1, the measuring device acquires the measurement data DI1. At time T2, the self-propelled robot corrects the trajectory, and at time T3, the measuring device acquires the measurement data DI3. The information collection processing operation at each time will be described in the time chart of FIG.

図7(A)は、情報処理装置が時刻t0,t2で自走式ロボットから受信するロボット内部情報RI0,RI2を示す。図7(B)は、情報収集装置が、時刻T0,T2で自走式ロボット200から受信する同期トリガ信号ST0,ST2を示す。図7(C)は、情報処理装置が時刻t1,t3で撮像装置から受信する画像データDI1,DI3を示す。図7(D)は、情報処理装置が、時刻T1,T3で送信する第2タイミング情報であるシャッタ信号SS1,SS3を示す。 FIG. 7A shows robot internal information RI0 and RI2 received by the information processing apparatus from the self-propelled robot at times t0 and t2. FIG. 7B shows synchronization trigger signals ST0 and ST2 received by the information collecting device from the self-propelled robot 200 at times T0 and T2. FIG. 7C shows image data DI1 and DI3 received by the information processing apparatus from the image pickup apparatus at times t1 and t3. FIG. 7D shows shutter signals SS1 and SS3, which are second timing information transmitted by the information processing apparatus at times T1 and T3.

図7(B)に示すように、情報処理装置は、時刻T0において、自走式ロボットが走行を開始した時、同期トリガ信号ST0として、「走行開始」を自走式ロボットから受信する。また、図7(A)に示すように、情報処理装置は、ロボット内部情報RI0を自走式ロボットから受信する。情報処理装置は、自走式ロボットから送られた同期トリガ信号ST0にタイムスタンプとして時刻T0を押印する。また、情報処理装置は、自走式ロボットから受信したロボット内部情報RI0をデータ記憶装置に取り込み、その時刻をt0として記憶する。情報処理装置は、ロボット内部情報RI0を記憶した時刻t0が同期トリガ信号ST0のタイムスタンプの時刻T0直後であるか否か判断する。この例では、ロボット内部情報RI0を記憶した時刻t0は、同期トリガ信号ST0のタイムスタンプの時刻T0の直後であると判断する。これにより、情報処理装置は、ロボット内部情報RI0を同期トリガ信号ST0に整合させ、ロボット内部情報RI0を同期トリガ信号ST0に関連付けてデータ記憶装置に記憶する。したがって、ロボット内部情報RI0は、同期トリガ信号ST0に関連付けられる。 As shown in FIG. 7B, when the self-propelled robot starts traveling at time T0, the information processing apparatus receives "starting traveling" from the self-propelled robot as a synchronous trigger signal ST0. Further, as shown in FIG. 7A, the information processing apparatus receives the robot internal information RI0 from the self-propelled robot. The information processing apparatus stamps the time T0 as a time stamp on the synchronization trigger signal ST0 sent from the self-propelled robot. Further, the information processing device takes in the robot internal information RI0 received from the self-propelled robot into the data storage device, and stores the time as t0. The information processing apparatus determines whether or not the time t0 in which the robot internal information RI0 is stored is immediately after the time T0 of the time stamp of the synchronization trigger signal ST0. In this example, it is determined that the time t0 in which the robot internal information RI0 is stored is immediately after the time T0 in the time stamp of the synchronization trigger signal ST0. As a result, the information processing device matches the robot internal information RI0 with the synchronous trigger signal ST0, associates the robot internal information RI0 with the synchronous trigger signal ST0, and stores it in the data storage device. Therefore, the robot internal information RI0 is associated with the synchronization trigger signal ST0.

次に、図7(D)に示すように、時刻T1において、情報処理装置は、実行タイミング情報として、シャッタ信号SS1を計測機器の撮像装置に送信する。その際、情報処理装置は、シャッタ信号SS1を送信した時刻T1にタイムスタンプとして時刻T1を押印する。また、図7(C)に示すように、情報処理装置は、画像データDI1を撮像装置から受信する。情報処理装置は、撮像装置から受信した画像データDI1をデータ記憶装置に取り込み、その時刻をt1として記憶する。情報処理装置は、画像データDI1を記憶した時刻t1がシャッタ信号SS1のタイムスタンプの時刻T1直後であるか否か判断する。この例では、画像データDI1を記憶した時刻t1は、シャッタ信号SS1のタイムスタンプの時刻T1の直後であると判断する。これにより、情報処理装置は、画像データDI1をシャッタ信号SS1に整合させ、画像データDI1をシャッタ信号SS1に関連付けてデータ記憶装置に記憶する。したがって、画像データDI1は、シャッタ信号SS1に関連付けられる。 Next, as shown in FIG. 7D, at time T1, the information processing apparatus transmits the shutter signal SS1 as execution timing information to the imaging apparatus of the measuring device. At that time, the information processing apparatus stamps the time T1 as a time stamp at the time T1 at which the shutter signal SS1 is transmitted. Further, as shown in FIG. 7C, the information processing apparatus receives the image data DI1 from the image pickup apparatus. The information processing device takes in the image data DI1 received from the image pickup device into the data storage device, and stores the time as t1. The information processing apparatus determines whether or not the time t1 in which the image data DI1 is stored is immediately after the time T1 of the time stamp of the shutter signal SS1. In this example, it is determined that the time t1 in which the image data DI1 is stored is immediately after the time T1 in the time stamp of the shutter signal SS1. As a result, the information processing apparatus matches the image data DI1 with the shutter signal SS1 and stores the image data DI1 in the data storage apparatus in association with the shutter signal SS1. Therefore, the image data DI1 is associated with the shutter signal SS1.

次に、図7(B)に示すように、情報処理装置は、時刻T2において、自走式ロボットは軌道変更した時、同期トリガ信号ST2として、「軌道変更」を自走式ロボットから受信する。また、図7(A)に示すように、情報処理装置は、ロボット内部情報RI2を自走式ロボットから受信する。情報処理装置は、自走式ロボットから送られた同期トリガ信号ST2にタイムスタンプとして時刻T2を押印する。また、情報処理装置は、自走式ロボットから送信されたロボット内部情報RI2をデータ記憶装置に取り込み、その時刻をt2として記憶する。情報処理装置は、ロボット内部情報RI2を記憶した時刻t2が同期トリガ信号ST2のタイムスタンプの時刻T2直後であるか否か判断する。この例では、ロボット内部情報RI2を記憶した時刻t2は、同期トリガ信号ST2のタイムスタンプの時刻T2の直後であると判断する。これにより、情報処理装置は、ロボット内部情報RI2を同期トリガ信号ST2に整合させ、ロボット内部情報RI2を同期トリガ信号ST2に関連付けてデータ記憶装置に記憶する。したがって、ロボット内部情報RI2は、同期トリガ信号ST2に関連付けられる。 Next, as shown in FIG. 7B, when the self-propelled robot changes its trajectory at time T2, the information processing apparatus receives "orbit change" from the self-propelled robot as a synchronous trigger signal ST2. .. Further, as shown in FIG. 7A, the information processing apparatus receives the robot internal information RI2 from the self-propelled robot. The information processing apparatus stamps the time T2 as a time stamp on the synchronization trigger signal ST2 sent from the self-propelled robot. Further, the information processing device takes in the robot internal information RI2 transmitted from the self-propelled robot into the data storage device, and stores the time as t2. The information processing apparatus determines whether or not the time t2 in which the robot internal information RI2 is stored is immediately after the time T2 of the time stamp of the synchronization trigger signal ST2. In this example, it is determined that the time t2 in which the robot internal information RI2 is stored is immediately after the time T2 in the time stamp of the synchronization trigger signal ST2. As a result, the information processing device matches the robot internal information RI2 with the synchronous trigger signal ST2, associates the robot internal information RI2 with the synchronous trigger signal ST2, and stores it in the data storage device. Therefore, the robot internal information RI2 is associated with the synchronization trigger signal ST2.

次に、図7(D)に示すように、時刻T3において、情報処理装置は、実行タイミング情報として、シャッタ信号SS3を計測機器の撮像装置に送信する。その際、情報処理装置は、シャッタ信号SS3を送信した時刻T3にタイムスタンプとして時刻T3を押印する。また、図7(C)に示すように、情報処理装置は、画像データDI3を撮像装置から受信する。情報処理装置は、撮像装置から受信した画像データDI3をデータ記憶装置に取り込み、その時刻をt3として記憶する。情報処理装置は、画像データDI3を記憶した時刻t3がシャッタ信号SS3のタイムスタンプの時刻T3直後であるか否か判断する。この例では、画像データDI3を記憶した時刻t3は、シャッタ信号SS3のタイムスタンプの時刻T3の直後であると判断する。これにより、情報処理装置は、画像データDI3をシャッタ信号SS3に整合させ、画像データDI3をシャッタ信号SS3に関連付けてデータ記憶装置に記憶する。したがって、画像データDI3は、シャッタ信号SS3に関連付けられる。 Next, as shown in FIG. 7D, at time T3, the information processing apparatus transmits the shutter signal SS3 as the execution timing information to the imaging apparatus of the measuring device. At that time, the information processing apparatus stamps the time T3 as a time stamp at the time T3 at which the shutter signal SS3 is transmitted. Further, as shown in FIG. 7C, the information processing apparatus receives the image data DI3 from the image pickup apparatus. The information processing device takes in the image data DI3 received from the image pickup device into the data storage device, and stores the time as t3. The information processing apparatus determines whether or not the time t3 in which the image data DI3 is stored is immediately after the time T3 of the time stamp of the shutter signal SS3. In this example, it is determined that the time t3 in which the image data DI3 is stored is immediately after the time T3 of the time stamp of the shutter signal SS3. As a result, the information processing apparatus matches the image data DI3 with the shutter signal SS3, associates the image data DI3 with the shutter signal SS3, and stores the image data DI3 in the data storage apparatus. Therefore, the image data DI3 is associated with the shutter signal SS3.

以上のように、情報処理装置によって、ロボット内部情報RI0,RI2は、同期トリガ信号ST0,ST2に関連付けられる。また、画像データDI1,DI3は、シャッタ信号SS1,SS3に関連付けられる。その結果、ユーザは、自走式ロボットの走行に関するロボット内部情報RI0,RI2と、搭載された計測機器による計測データである画像データDI1,DI3を、関連付けて解析できる。 As described above, the robot internal information RI0 and RI2 are associated with the synchronization trigger signals ST0 and ST2 by the information processing device. Further, the image data DI1 and DI3 are associated with the shutter signals SS1 and SS3. As a result, the user can analyze the robot internal information RI0 and RI2 regarding the running of the self-propelled robot in association with the image data DI1 and DI3 which are the measurement data by the mounted measuring device.

なお、上述の情報収集方法を、ソフトウェア(コンピュータプログラム)として、CD(コンパクトディスク)、DVD(デジタル万能ディスク)、フラッシュメモリなどの非一時的(non-transitory)にデータを記憶可能な記録媒体に記録してもよい。このような記録媒体に記録されたソフトウェアを、パーソナルコンピュータ、PDA(パーソナル・デジタル・アシスタンツ)、スマートフォン、PLC(プログラマブルロジックコントローラ)などの実質的なコンピュータ装置にインストールすることによって、それらのコンピュータ装置に、上述の情報収集方法を実行させることができる。 The above-mentioned information collection method is used as software (computer program) on a recording medium that can store data non-transitory, such as a CD (compact disc), DVD (digital universal disc), or flash memory. You may record it. By installing the software recorded on such a recording medium on a substantial computer device such as a personal computer, PDA (Personal Digital Assistance), smartphone, PLC (Programmable Logic Controller), etc., the computer device can be used. , The above-mentioned information gathering method can be executed.

また、上述の例では、自走式ロボットの外部に情報処理装置が配置されたが、これに限られるものではない。例えば、自走式ロボットの内部に設けられた演算部に、情報処理装置を並列に組み込んでもよい。この場合、ユーザは、自走式ロボットを用いた作業終了後にデータ記憶装置を回収して、自走式ロボットの走行に関する内部状態と、搭載された計測機器による計測データとを、関連付けて解析することが可能となる。 Further, in the above example, the information processing device is arranged outside the self-propelled robot, but the present invention is not limited to this. For example, an information processing device may be incorporated in parallel in a calculation unit provided inside a self-propelled robot. In this case, the user collects the data storage device after the work using the self-propelled robot is completed, and analyzes the internal state of the self-propelled robot running and the measurement data by the mounted measuring device in association with each other. It becomes possible.

以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。上述した複数の実施の形態は、それぞれ単独で成立し得るものであるが、実施の形態同士の組みあわせも可能である。また、異なる実施の形態の中の種々の特徴も、それぞれ単独で成立し得るものであるが、異なる実施の形態の中の特徴同士の組みあわせも可能である。 The above embodiment is an example, and various modifications can be made without departing from the scope of the present invention. The plurality of embodiments described above can be established independently, but combinations of the embodiments are also possible. Further, although various features in different embodiments can be established independently, it is also possible to combine features in different embodiments.

1 情報収集システム
100 情報処理装置
200 自走式ロボット
300 レーザスキャナ
400 撮像装置
500 計測機器
1 Information collection system 100 Information processing equipment 200 Self-propelled robot 300 Laser scanner 400 Imaging equipment 500 Measuring equipment

Claims (6)

自走式ロボットと、上記自走式ロボットに搭載された計測機器と、上記自走式ロボットから離間して設けられ、上記計測機器によって計測された計測データを処理する情報処理装置とを含む情報収集システムであって、
上記自走式ロボットは、この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信する情報送信部を備え、
上記計測機器は、上記計測データを上記情報処理装置に送信する計測データ送信部を備え、
上記情報処理装置は、
上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信する第1情報受信部と、
上記計測機器から上記計測データを受信する第2情報受信部と、
上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する処理を行う蓄積処理部と、
を備えることを特徴とする情報収集システム。
Information including a self-propelled robot, a measuring device mounted on the self-propelled robot, and an information processing device provided separately from the self-propelled robot and processing measurement data measured by the measuring device. It ’s a collection system,
The self-propelled robot has an information transmission unit that transmits to the information processing apparatus the robot internal information representing the internal state of the self-propelled robot and the first timing information representing the timing of the self-propelled robot running. Prepare,
The measuring device includes a measurement data transmission unit that transmits the measurement data to the information processing apparatus.
The above information processing device
A first information receiving unit that receives the robot internal information and the first timing information from the self-propelled robot, and
A second information receiving unit that receives the measurement data from the measuring device,
A storage processing unit that performs a process of associating the robot internal information stored in time series with the measurement data and storing the measurement data in the storage unit based on the time when the first timing information is received.
An information gathering system characterized by being equipped with.
請求項1の情報収集集システムにおいて、
上記情報処理装置は、
上記計測機器が計測を実行すべきタイミングを表す第2タイミング情報を上記計測機器に送信するタイミング情報送信部と、
上記第2タイミング情報を送信した時刻を記憶する第2タイミング記憶部とを備え、
上記計測機器は、上記第2タイミング情報を受信する第3情報受信部を備え、
上記第2タイミング情報が表すタイミングに応じて計測を行って、上記計測データを取得することを特徴とする情報収集システム。
In the information collection system of claim 1,
The above information processing device
A timing information transmission unit that transmits second timing information indicating the timing at which the measuring device should execute measurement to the measuring device, and
It is provided with a second timing storage unit that stores the time when the second timing information is transmitted.
The measuring device includes a third information receiving unit that receives the second timing information.
An information collection system characterized in that measurement is performed according to the timing represented by the second timing information and the measurement data is acquired.
自走式ロボットと、上記自走式ロボットに搭載された計測機器と、上記自走式ロボットから離間して設けられ、上記計測機器によって計測された計測データを処理する情報処理装置とを用いる情報収集方法であって、
上記自走式ロボットの情報送信部が、この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信するとともに、上記計測機器の計測データ送信部が、上記計測データを上記情報処理装置に送信し、
上記情報処理装置の第1情報受信部が、上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信するとともに、上記情報処理装置の第2情報受信部が、上記計測機器から上記計測データを受信し、
上記情報処理置の蓄積処理部が、上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する
ことを特徴とする情報収集方法。
Information using a self-propelled robot, a measuring device mounted on the self-propelled robot, and an information processing device provided separately from the self-propelled robot and processing measurement data measured by the measuring device. It ’s a collection method,
The information transmission unit of the self-propelled robot transmits to the information processing apparatus the robot internal information indicating the internal state of the self-propelled robot and the first timing information indicating the timing of the traveling of the self-propelled robot. At the same time, the measurement data transmission unit of the measurement device transmits the measurement data to the information processing apparatus.
The first information receiving unit of the information processing device receives the robot internal information and the first timing information from the self-propelled robot, and the second information receiving unit of the information processing device receives the robot internal information and the first timing information from the measuring device. Receive measurement data,
The storage processing unit of the information processing apparatus is characterized in that the robot internal information stored in time series and the measurement data are associated with each other and stored in the storage unit based on the time when the first timing information is received. Information gathering method.
請求項1に記載の上記情報収集システムに用いられる自走式ロボットであって、
この自走式ロボットの走行に関する内部状態を表すロボット内部情報およびこの自走式ロボットの走行に関するタイミングを表す第1タイミング情報を上記情報処理装置に送信する情報送信部を備えたことを特徴とする自走式ロボット。
A self-propelled robot used in the above information gathering system according to claim 1.
It is characterized by including an information transmission unit that transmits the robot internal information indicating the internal state of the self-propelled robot traveling and the first timing information representing the timing of the traveling of the self-propelled robot to the information processing apparatus. Self-propelled robot.
請求項1に記載の上記情報収集システムにおける情報処理装置であって、
上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信する第1情報受信部と、
上記計測機器から上記計測データを受信する第2情報受信部と、
上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する処理を行う蓄積処理部とを備えることを特徴とする情報処理装置。
The information processing device in the above information collection system according to claim 1.
A first information receiving unit that receives the robot internal information and the first timing information from the self-propelled robot, and
A second information receiving unit that receives the measurement data from the measuring device,
It is characterized by including a storage processing unit that performs a process of associating the robot internal information stored in time series with the measurement data and storing the measurement data in the storage unit based on the time when the first timing information is received. Information processing device.
請求項5に記載の上記情報処理装置に情報収集方法を実行させるプログラムであって、
上記情報収集方法は、
上記第1情報受信部によって、上記自走式ロボットから上記ロボット内部情報および上記第1タイミング情報を受信するとともに、上記第2情報受信部によって、上記計測機器から上記計測データを受信し、
上記蓄積処理部によって、上記第1タイミング情報を受信した時刻に基づいて、時系列に記憶された上記ロボット内部情報と上記計測データとを関連付けて記憶部に蓄積する
ことを特徴とするプログラム。
A program for causing the information processing apparatus according to claim 5 to execute an information collection method.
The above information collection method is
The first information receiving unit receives the robot internal information and the first timing information from the self-propelled robot, and the second information receiving unit receives the measurement data from the measuring device.
A program characterized in that the storage processing unit associates the robot internal information stored in time series with the measurement data and stores them in the storage unit based on the time when the first timing information is received.
JP2018211469A 2018-11-09 2018-11-09 Information gathering system, information gathering method, self-propelled robot, information processing device and program Active JP7014133B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018211469A JP7014133B2 (en) 2018-11-09 2018-11-09 Information gathering system, information gathering method, self-propelled robot, information processing device and program
PCT/JP2019/041662 WO2020095696A1 (en) 2018-11-09 2019-10-24 Information collection system, information collection method, self-propelled robot, information processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018211469A JP7014133B2 (en) 2018-11-09 2018-11-09 Information gathering system, information gathering method, self-propelled robot, information processing device and program

Publications (2)

Publication Number Publication Date
JP2020077324A JP2020077324A (en) 2020-05-21
JP7014133B2 true JP7014133B2 (en) 2022-02-01

Family

ID=70611797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018211469A Active JP7014133B2 (en) 2018-11-09 2018-11-09 Information gathering system, information gathering method, self-propelled robot, information processing device and program

Country Status (2)

Country Link
JP (1) JP7014133B2 (en)
WO (1) WO2020095696A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023109442A (en) * 2022-01-27 2023-08-08 オムロン株式会社 Information processing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015129425A1 (en) 2014-02-25 2015-09-03 村田機械株式会社 Autonomous platform car
JP2017045480A (en) 2016-11-25 2017-03-02 シャープ株式会社 Object search system and object search device
JP2018139154A (en) 2018-06-14 2018-09-06 東芝ライフスタイル株式会社 Traveling body apparatus
JP2018151163A (en) 2017-03-09 2018-09-27 キヤノン株式会社 Measurement apparatus, processing apparatus and article manufacturing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015129425A1 (en) 2014-02-25 2015-09-03 村田機械株式会社 Autonomous platform car
JP2017045480A (en) 2016-11-25 2017-03-02 シャープ株式会社 Object search system and object search device
JP2018151163A (en) 2017-03-09 2018-09-27 キヤノン株式会社 Measurement apparatus, processing apparatus and article manufacturing method
JP2018139154A (en) 2018-06-14 2018-09-06 東芝ライフスタイル株式会社 Traveling body apparatus

Also Published As

Publication number Publication date
WO2020095696A1 (en) 2020-05-14
JP2020077324A (en) 2020-05-21

Similar Documents

Publication Publication Date Title
US10137574B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CA3031151C (en) A method for operating a condition monitoring system of a vibrating machine and a condition monitoring system
JP6852729B2 (en) Plant management system, plant management method, plant management equipment, and plant management program
JP6622765B2 (en) Robot system
US20180210407A1 (en) Control device, control program, and control system
JP6856236B2 (en) Systems, terminals, server devices, programs and methods
JP2018159981A (en) Control system, control apparatus, control program, and control method
JP6200794B2 (en) Monitor device
JP2018051721A (en) Abnormality detection device, abnormality detection method, and program
JP7014133B2 (en) Information gathering system, information gathering method, self-propelled robot, information processing device and program
JP2019198928A (en) Thermal displacement correction device
JP6956347B2 (en) Trace data acquisition system, trace data acquisition method, and program
JP7185495B2 (en) REDUCER SYSTEM, METHOD OF CORRECTION OF COMMAND VALUE TO DRIVE UNIT, METHOD OF GENERATING CORRECTION DATA, AND METHOD OF MANUFACTURING REDUCER SYSTEM
JP7063229B2 (en) Controllers and control programs
JP2019100353A (en) Control system, machine learning apparatus, maintenance assistance apparatus, data generating method, and maintenance assisting method
WO2017126131A1 (en) Storage device, control device, display device, and storage method
JP4479660B2 (en) Clock skew correction system, clock skew correction method, and clock skew correction program
JP2018124818A (en) Storage device, mobile robot, memory method and memory program
US20210181709A1 (en) Data collection system and motor controller
JP2014107838A5 (en)
KR20190105518A (en) Robot control apparatus, and method and program for creating record
JP5435804B2 (en) Camera for FA equipment
US20200272133A1 (en) Computer System and Facility Monitoring Method
CN111586087A (en) Communication system, communication method, and program
JP6949272B1 (en) Mobile system and position estimation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103