JP7371577B2 - Mobile robot, server device, and transportation method - Google Patents
Mobile robot, server device, and transportation method Download PDFInfo
- Publication number
- JP7371577B2 JP7371577B2 JP2020100000A JP2020100000A JP7371577B2 JP 7371577 B2 JP7371577 B2 JP 7371577B2 JP 2020100000 A JP2020100000 A JP 2020100000A JP 2020100000 A JP2020100000 A JP 2020100000A JP 7371577 B2 JP7371577 B2 JP 7371577B2
- Authority
- JP
- Japan
- Prior art keywords
- destination
- mobile robot
- content information
- unit
- loaded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 230000032258 transport Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 27
- 230000010365 information processing Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G35/00—Mechanical conveyors not otherwise provided for
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Description
本発明は、移動ロボット、サーバ装置、及び運搬方法に関する。 The present invention relates to a mobile robot, a server device, and a transportation method.
特許文献1には、積載物の積み込みを自動で行い、積載物の有無をセンサで検出し、運搬する移動ロボットが記載されている。
しかしながら、特許文献1に記載の移動ロボットでは、積載物の有無の確認ができるものの、積載物の内容が確認できないため、積載物の内容に応じて運搬する目的地を決定することができない。
However, in the mobile robot described in
本発明の目的は、積載物の内容に応じて運搬する目的地を決定することが可能な移動ロボット、サーバ装置、及び運搬方法を提供することにある。 An object of the present invention is to provide a mobile robot, a server device, and a transportation method that can determine the destination of transportation depending on the contents of the loaded object.
上記目的を達成するための本発明の一態様に係る移動ロボットは、積載物を積載する積載部と、前記積載部に積載された前記積載物の内容を示す内容情報を取得する取得部と、前記取得部によって取得された前記内容情報に基づき決定された目的地に前記積載物を運搬する運搬部と、を備える、ものとする。この一態様によれば、移動ロボットにおいて積載物の内容を取得することができるため、積載物の内容に応じて運搬する目的地を決定することが可能になる。 A mobile robot according to one aspect of the present invention for achieving the above object includes: a loading section for loading a loaded object; an acquisition section for acquiring content information indicating the content of the loaded object loaded on the loading section; and a transport section that transports the loaded object to a destination determined based on the content information acquired by the acquisition section. According to this aspect, since the contents of the load can be acquired in the mobile robot, the destination to be transported can be determined according to the contents of the load.
また、前記取得部は、前記積載物を撮像する撮像装置を有し、前記撮像装置で撮像した画像に基づき前記内容情報を取得する、ように構成することができる。これにより、ユーザが積載物を確認可能なシステムを構築できるようになる。 Further, the acquisition unit may be configured to include an imaging device that images the loaded object, and to acquire the content information based on the image captured by the imaging device. This makes it possible to build a system that allows the user to check the loaded items.
また、前記取得部は、前記積載物の積載されている位置を取得する位置センサを有し、前記位置センサで検知された位置に基づき前記内容情報を取得する、ように構成することができる。これにより、容易に内容情報を取得することができるようになる。 Further, the acquisition unit may be configured to include a position sensor that acquires the position of the loaded object, and acquire the content information based on the position detected by the position sensor. This makes it possible to easily obtain content information.
また、前記取得部は、前記積載物の重量を取得する重量センサを有し、前記重量センサで検知された情報に基づき前記内容情報を取得する、ように構成することができる。これにより、容易に内容情報を取得することができるようになる。 Further, the acquisition unit may be configured to include a weight sensor that acquires the weight of the loaded object, and acquire the content information based on information detected by the weight sensor. This makes it possible to easily obtain content information.
また、前記積載部は、積載対象となる種類の積載物のそれぞれを載置する載置領域を有し、前記取得部は、物体の存在が確認された前記載置領域に対応する種類を示す情報を前記内容情報として取得する、ように構成することができる。これにより、内容情報の取得を容易且つ正確に行うことができるようになる。 Further, the loading unit has a loading area in which each of the types of loaded objects to be loaded is placed, and the acquiring unit indicates the type corresponding to the loading area in which the presence of the object is confirmed. The information can be configured to be acquired as the content information. This makes it possible to easily and accurately obtain content information.
また、前記移動ロボットは、前記取得部で取得された前記内容情報をユーザ端末に送信する送信部と、前記ユーザ端末から指定された目的地を示す目的地情報を受信する受信部と、をさらに備え、前記運搬部は、前記目的地情報が示す目的地に前記積載物を運搬する、ように構成することができる。これにより、ユーザ端末側から内容情報に応じて目的地を決定して指示することができるようになる。
若しくは、前記移動ロボットは、前記取得部で取得された前記内容情報に基づき、前記積載物の目的地を決定する決定部をさらに備え、前記運搬部は、前記決定部で決定された目的地に前記積載物を運搬する、ように構成することができる。これにより、移動ロボット単体でも内容情報に基づく目的地の決定を行うことができるようになる。
The mobile robot further includes a transmitter that transmits the content information acquired by the acquirer to a user terminal, and a receiver that receives destination information indicating a designated destination from the user terminal. The transport unit may be configured to transport the loaded object to a destination indicated by the destination information. This allows the user terminal to determine and instruct the destination according to the content information.
Alternatively, the mobile robot further includes a determining unit that determines the destination of the loaded object based on the content information acquired by the acquiring unit, and the transport unit determines the destination determined by the determining unit. The load may be transported. This makes it possible for a single mobile robot to determine a destination based on content information.
また、前記移動ロボットは、前記取得部で取得された前記内容情報を、前記移動ロボットによる積載物の運搬状況を管理するサーバ装置に送信する送信部をさらに備える、ように構成することができる。これにより、サーバ装置側で容易に運搬状況を管理することができるようになる。 Furthermore, the mobile robot may further include a transmitting unit that transmits the content information acquired by the acquiring unit to a server device that manages the transportation status of the loaded object by the mobile robot. This makes it possible to easily manage the transportation status on the server device side.
本発明の他の態様に係るサーバ装置は、上記の移動ロボットから前記内容情報を受信する受信部と、前記受信部で受信した前記内容情報に基づき、前記移動ロボットによる積載物の運搬状況を管理する制御部と、ユーザ端末からの要求に応じて前記運搬状況を送信する送信部と、を備える、ものとする。この一態様によれば、移動ロボットにおいて取得した積載物の内容を含めて運搬状況を、ユーザ端末から閲覧可能に管理できるため、積載物の内容に応じて運搬スケジュールを決定することが可能になる。 A server device according to another aspect of the present invention includes a receiving unit that receives the content information from the mobile robot, and manages a transportation status of a load by the mobile robot based on the content information received by the receiving unit. and a transmitter that transmits the transportation status in response to a request from a user terminal. According to this aspect, the transportation status, including the contents of the load acquired by the mobile robot, can be managed in a viewable manner from the user terminal, making it possible to determine the transportation schedule according to the contents of the load. .
本発明の他の態様に係る運搬方法は、移動ロボットで積載物を運搬する運搬方法であって、前記移動ロボットに備えられた取得部が、前記移動ロボットの積載領域に積載された積載物の内容を示す内容情報を取得する取得ステップと、前記移動ロボットが、前記取得ステップで取得された前記内容情報に基づき決定された目的地を設定する設定ステップと、前記移動ロボットが、前記積載物を前記目的地に運搬する運搬ステップと、を備える、ものとする。この一態様によれば、移動ロボットにおいて積載物の内容を取得することができるため、積載物の内容に応じて運搬する目的地を決定することが可能になる。 A transportation method according to another aspect of the present invention is a transportation method in which a mobile robot transports a loaded object, wherein an acquisition unit included in the mobile robot acquires a load loaded in a loading area of the mobile robot. an acquisition step of acquiring content information indicating the content; a setting step in which the mobile robot sets a destination determined based on the content information acquired in the acquisition step; and a setting step in which the mobile robot sets the destination determined based on the content information acquired in the acquisition step; and a step of transporting the vehicle to the destination. According to this aspect, since the contents of the load can be acquired in the mobile robot, the destination to be transported can be determined according to the contents of the load.
前記移動ロボットは、積載対象となる種類の積載物のそれぞれを載置する載置領域を有し、前記取得ステップは、物体の存在が確認された前記載置領域に対応する種類を示す情報を前記内容情報として取得する、ように構成することができる。これにより、内容情報の取得を容易且つ正確に行うことができるようになる。 The mobile robot has a placement area in which each of the types of objects to be loaded is placed, and the acquisition step includes information indicating the type corresponding to the placement area in which the presence of the object is confirmed. The content information may be acquired as the content information. This makes it possible to easily and accurately obtain content information.
前記運搬方法は、前記取得ステップで取得された前記内容情報をユーザ端末に送信する送信ステップと、前記ユーザ端末から指定された目的地を示す目的地情報を受信する受信ステップと、をさらに備え、前記運搬ステップは、前記目的地情報が示す目的地に前記積載物を運搬する、ように構成することができる。これにより、ユーザ端末側から内容情報に応じて目的地を決定して指示することができるようになる。
若しくは、前記運搬方法は、前記移動ロボットが、前記取得ステップで取得された前記内容情報に基づき、前記積載物の目的地を決定する決定ステップをさらに備える、ように構成することができる。これにより、移動ロボット単体でも内容情報に基づく目的地の決定を行うことができるようになる。
The transportation method further includes a transmitting step of transmitting the content information acquired in the acquiring step to a user terminal, and a receiving step of receiving destination information indicating a designated destination from the user terminal, The transporting step may be configured to transport the loaded object to a destination indicated by the destination information. This allows the user terminal to determine and instruct the destination according to the content information.
Alternatively, the transportation method may further include a determining step in which the mobile robot determines a destination of the loaded object based on the content information acquired in the acquiring step. This makes it possible for a single mobile robot to determine a destination based on content information.
本発明によれば、積載物の内容に応じて運搬する目的地を決定することが可能な移動ロボット、サーバ装置、及び運搬方法を提供することができる。 According to the present invention, it is possible to provide a mobile robot, a server device, and a transportation method that can determine the destination of transportation depending on the content of the loaded object.
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。以下、図面を参照しながら実施の形態について説明する。 Hereinafter, the present invention will be explained through embodiments of the invention, but the claimed invention is not limited to the following embodiments. Furthermore, not all of the configurations described in the embodiments are essential as means for solving the problem. Embodiments will be described below with reference to the drawings.
<実施の形態>
図1は、本実施の形態に係る移動ロボットを備えた移動システムの一構成例を示すブロック図である。
<Embodiment>
FIG. 1 is a block diagram showing an example of the configuration of a mobile system including a mobile robot according to the present embodiment.
図1に示すように、本実施の形態に係る移動ロボット1は、積載物を積載する積載部11と、積載部11に積載された積載物の内容を示す内容情報を取得する取得部12と、取得部12によって取得された内容情報に基づき決定された目的地に積載物を運搬する運搬部13と、を備える。
As shown in FIG. 1, the
取得部12は、内容情報の取得のためのカメラ等のセンサを備えることができ、センサからの出力に基づき内容情報を決定することができる。センサの具体例については後述するが、ここではカメラ(撮像装置)を例示して説明する。
The
取得部12がカメラを有する場合、カメラで積載物を撮像して得た画像を内容情報とすることができ、以下ではこの例を挙げて説明する。このように、取得部12は、積載物を撮像するカメラ撮像した画像に基づき、内容情報を取得することができる。ここで、取得部12は、その画像からさらに画像解析を実行してその解析結果に基づき積載物の種類を特定し、その種類を示す情報を内容情報とすることもできる。
When the
運搬部13は、運搬のための移動を行う移動部であり、例えば車輪とそれを駆動するモータ等の駆動機構とを備えることができる。但し、運搬部13は、これに限ったものではなく、例えばレール上を移動するような移動機構を備えることもできる。また、運搬部13は、移動のルートを確認するためのカメラ等のセンサを備えることもでき、これにより物理的なレールを設けなくても、床面に予め描かれたラインに沿った移動、及び/又は周囲の障害物が存在しない空間内での移動を行うことが可能となる。
The
また、内容情報に基づく目的地の決定は、例えば、情報処理装置2側で行うことができる。ここで、内容情報と目的地とは1対1の関係であってもよいが1対多の関係であってもよい。つまり、1種類の内容情報に対し目的地が一意に決まってもよいし、1種類の内容情報に対し複数の目的地が決まり、別途その中から目的地が選択されるようにしてもよい。
Further, the destination can be determined based on the content information, for example, on the
さらに、移動ロボット1は、その全体を制御する制御部10と、外部の情報処理装置2と通信する通信部14と、を備えることができる。制御部10が、取得部12における内情情報の判定などを行う機能を担うように構成することもでき、その場合の取得部12の他の構成要素である判定材料の情報を取得するセンサ等から判定材料の情報を入力することになる。また、制御部10は、運搬部13における運搬先(目的地)及びそこへのルートを決定して運搬部13に指示する機能を担うように構成することもできる。
Furthermore, the
制御部10は、例えば、CPU(Central Processing Unit)等のプロセッサ、作業用メモリ、及び不揮発性の記憶装置などによって、或いは集積回路(Integrated Circuit)によって実現されることができる。この記憶装置にプロセッサによって実行される制御用のプログラムを格納しておき、プロセッサがそのプログラムを作業用メモリに読み出して実行することで、制御部10の機能を果たすことができる。
The
通信部14は、取得部12で取得された内容情報(この例では画像)をユーザ端末に送信する送信部の一例であり、そのユーザ端末から指定された目的地を示す目的地情報を受信する受信部の一例でもある。ユーザ端末は、情報処理装置2で例示した端末装置であり、遠隔地に居るユーザが使用する端末装置である。無論、ユーザ端末は移動ロボット1に近接した位置に存在する場合もある。
The
そして、運搬部13は、通信部14で受信した目的地情報が示す目的地にその積載物を運搬するように構成することができる。目的地への移動ルートは、通信部14でユーザ端末から受信するか、或いは内部に記憶されたルート情報などから決定することができる。さらに、移動ロボット1は、運搬した積載物を目的地の所定の箇所に移すロボットアームのような転載機構(図示せず)を備えることもでき、これにより移動ロボット1側だけで運搬だけでなく転載も可能となる。
The
情報処理装置2は、上記の決定、その決定に基づく移動ロボット1への動作指令などを行うために利用されることができる。情報処理装置2は、その全体を制御する制御部20、移動ロボット1との通信を行う通信部24、及び各種情報を記憶する記憶部25を備えることができ、その他図示しない表示部や操作部を備えることができる。制御部20は、制御部10と同様にプロセッサ、作業用メモリ、及び記憶装置などによって、或いは集積回路によって実現されることができる。通信部14,24の間の通信は有線又は無線の通信のいずれで実現してもよいが、移動ロボット1の移動の自由度の点から無線通信を採用することが好ましい。
The
上記の決定、その決定に基づく移動ロボット1への動作指令などは、主に制御部20が主体となって行うことができる。制御部20は、通信部24を介して受信した内容情報に基づき、目的地を決定し、その目的地への移動を指示する動作指令を、通信部24を介して内容情報の送信元の移動ロボット1に送信する。
The above-mentioned determination and operation commands to the
制御部20は、目的地の決定を予め定められたルール(例えば記憶部25に記憶された対応付けテーブル)に基づき決定することができる。或いは、制御部20は、表示部に内容情報の例である画像を表示させることでユーザに積載物を把握させて、ユーザに複数の目的地の中から操作部で選択させ、その選択結果に従い決定することもできる。1種類の内容情報に対し目的地が一意に決まる場合でもその確認のためにその目的地を表示させ、ユーザからの了承操作を得ることもできる。また、制御部20は、対応付けテーブルに基づき1種類の内容情報に対し複数の目的地が定まる場合には、定まった複数の目的地(複数の目的地候補)の中からユーザに目的地を選択させることもできる。
The
以上のように、移動ロボット1は、積載物の内容が確認可能なセンサ等を有する取得部12を搭載することで、積載物の内容に応じて目的地を決定することができる。この決定は、上述したようにユーザ端末としての情報処理装置2からの遠隔指示により実施することができるが、代替例として後述するように自動的に移動ロボット1の内部で実施することもできる。このように、本実施の形態に係る移動ロボット1によれば、積載物の内容に応じて運搬する目的地を決定することが可能になる。
As described above, the
この効果について補足する。荷物の有無のみ確認でき荷物の内容(種類等)の判別ができない比較例の移動ロボットでは、目的地やルートに制限がある。より具体的には比較例に係る移動ロボットでは、荷物の種類に応じた目的地変更が不可能で稼働率が低くなり、また、間違った荷物でも運んでしまう。本実施の形態に係る移動ロボット1では、このような比較例とは異なり、目的地やルートが予め限られておらずその場で決定できるため、積載物の運搬がスムーズにでき、稼働率も高くなり、誤送も防止することができる。
I would like to add some additional information about this effect. The mobile robot of the comparative example, which can only confirm the presence or absence of luggage but cannot determine the content (type, etc.) of the luggage, has limitations on destinations and routes. More specifically, in the mobile robot according to the comparative example, it is not possible to change the destination according to the type of baggage, resulting in a low operating rate, and the mobile robot also carries the wrong baggage. In the
次に、図2~図5を参照しながら、図1の移動システムの具体例及び応用例について説明する。図2は移動ロボット1の具体例を示す正面図で、図3は移動ロボット1の積載部11の一例を示す上面図である。
Next, specific examples and application examples of the mobile system shown in FIG. 1 will be described with reference to FIGS. 2 to 5. FIG. 2 is a front view showing a specific example of the
図2で例示するように、移動ロボット1は、取得部12の一部の例としてのカメラ12aと、積載部11の一部又は全部として3つの載置ボックス11a,11b,11cと、運搬部13の一部としてのタイヤ13aと、を備えることができる。カメラ12aは、図示したように、積載部11の全体又はそのできるだけ多くの範囲を撮影できるように支柱12bの上部に備えておくことができる。
As illustrated in FIG. 2, the
図3で例示するように、載置ボックス11a,11b,11cは、積載対象となる種類の積載物のそれぞれを載置する載置領域の例であり、荷物の種類により置き場が決まる専用治具の例である。ここでは3つの載置領域を例示しているが、その数はこれに限らず、また、同じ種類の積載物に対応する載置領域を複数設けてもよい。各載置ボックスは、積載対象となる種類の積載物のそれぞれに合った形状に構成することが好ましく、これにより、積載物の傷付きを防止することができるだけでなく、カメラ12aによって撮影される積載物の角度も一定にしておくことができる。
As illustrated in FIG. 3, the
そして、取得部12は、カメラ12aにより物体の存在が確認された載置領域に対応する種類を示す情報を内容情報として取得する。例えば、取得部12は、互いに異なる種類に対応する載置ボックス11a,11bにのみ物体の存在が確認された場合、その2つのボックスに対応する2種類の積載物が積載されていることを示す情報を、内容情報として取得することができる。このような構成を採用することにより、内容情報の取得を容易且つ正確に行うことができるようになる。
The
また、移動ロボット1は、図2では図示しないが、通信部14で例示した送信部及び受信部を備えることができる。この例における送信部は、内容情報として画像を送信する撮像結果送信機器であり、この例における受信部は動作指令をユーザ端末から受信する動作指令受信機器である。
Furthermore, although not shown in FIG. 2, the
上述したユーザ端末として機能させる情報処理装置2は、例えば、タブレット(タブレット端末)、スマートフォン等の携帯電話機、スマートウォッチやメガネ型デバイス等のウェアラブルデバイス、その他、汎用PC(Personal Computer)などが挙げられる。情報処理装置2は、遠隔地で撮影指令を出し、撮像結果を把握し、動作指令を出すように構成することができ、そのための受信部及び送信部を備えることができる。この例における受信部は、内容情報として画像を受信する撮像結果受信機器である。この例における送信部は、機能的に分けて説明すると、カメラ12aでの撮影を指示する指令を送信する撮影指令送信機器と、運搬(移動)のための動作指令を送信する動作指令送信機器と、を有すると言える。
Examples of the
図4は、情報処理装置2の一例であるタブレットの具体例を示す上面図で、図5は、情報処理装置2の他の例であるスマートウォッチの表示画面の遷移例を示す図である。
FIG. 4 is a top view showing a specific example of a tablet that is an example of the
図4に示すように、ユーザ端末として機能するタブレット4は、表示部40を備えることができる。表示部40には、カメラ12aの撮影範囲を操作し撮影を指示するための十字決定ボタン41、カメラ12aで撮影された画像の表示領域42、及び目的地リストを表示する領域43を含むGUI(Graphical User Interface)を表示させることができる。十字決定ボタン41は、撮影範囲を操作する十字ボタンと、撮影指示(内容情報取得のための撮影指示であり、取得指示)を移動ロボット1に送信する決定ボタンと、を含む。表示領域42には、画像とその画像の取得日時(決定ボタン押下前であれば現時刻)を画像に重畳させて表示させておくことが好ましい。領域43には目的地リストとして地点A、地点B、地点Cを含む例を挙げているがこれに限らず、内容情報によって地点は変わることがある。
As shown in FIG. 4, the
また、このGUIには、現在の移動ロボット1の存在する場所(地点)を示す領域44、タブレット4と移動ロボット1との間の通信状態を表示する領域45なども含むことが好ましい。対象となる移動ロボット1は複数であってもよい。領域45では、通信状態として、例えば、待機中、正常稼働、非常停止、通信中(通信完了割合)などの情報を表示させることができる。
The GUI preferably also includes an
情報処理装置2としてスマートウォッチのような小さい画面を有する装置を採用した場合には、それに合ったGUIを表示させるとよい。図5に示すように、スマートウォッチの表示部に表示させるGUIとしては、初期状態として、例えば初期画面用の画像50を表示させておくことができる。画像50には通信状態や電池残量を示す情報とともに、積み込み中であることを示す情報(A→Aは地点Aに止まっていることを示す)を含むことができ、選択可能な操作ボタンも含む。
When a device with a small screen such as a smart watch is adopted as the
この操作ボタンが選択(タッチ操作)された場合、ロボット操作ボタン及び画像取得ボタン及び決定ボタンが選択可能な画像51に遷移させることができる。画像51において画像取得ボタンが選択され決定ボタンが選択された場合、画像取得中である旨を示す画像52に遷移させることができる。画像52には、異常処置(異常時の処理)を行う場合には長押しを促す文章を含めることができる。その後、画像の取得が完了した場合には、取得した画像(ワーク画像)を含む画像53に遷移させることができる。このワーク画像は、ユーザが確認後、例えば横にフリック操作することで削除可能とすることができ、削除された場合には初期の画像50に遷移させることができる。
When this operation button is selected (touch operation), a transition can be made to an
画像51においてロボット操作ボタンが選択されて決定ボタンが選択された場合、複数の移動先の一覧の中から選択するための選択画像(移動指示画像)54に遷移させることができる。画像54において、画面上に収まりきらない場合には指でスライド操作させるなどして表示させる選択候補を変更するようにしておけばよい。この選択画像54に表示された移動先一覧の中からユーザが1つの移動先をタッチした場合、その移動先(目的地)へ移動ロボット1を移動してもよいか否かを確認する確認画像55に遷移させることができる。確認画像55にはYES、NOが表示されており、NOの場合、1つ前の画像54に戻り、YESの場合、移動中であることを示す画像56に遷移させることができる。画像56にも、異常処置を行う場合には長押しを促すような文章を含めることができる。そして、移動ロボット1が選択された目的地に到着した段階で到着した旨を通知する画像を表示させるか、或いは振動による通知を行うか、その双方を行うことで、ユーザは到着したことを知ることができる。その後、初期の画像50に遷移させるとよい。
When the robot operation button is selected and the enter button is selected in the
次に、移動ロボット1を備えた移動システムにおいて実施されることが可能な、本実施の形態に係る運搬方法(以下、本方法)について説明する。本方法は、移動ロボット1で積載物を運搬する運搬方法であって、次に説明する取得ステップ、設定ステップ、及び運搬ステップを備えることができる。上記取得ステップは、移動ロボット1に備えられた取得部12が、移動ロボット1の積載領域に積載された積載物の内容を示す内容情報を取得する。上記設定ステップは、移動ロボット1(例えば制御部10)が、取得ステップで取得された内容情報に基づき決定された目的地を設定する。上記運搬ステップは、移動ロボット1の運搬部13が、その積載物を上記目的地に運搬する。
Next, a transportation method according to the present embodiment (hereinafter referred to as the present method) that can be implemented in a mobile system including the
具体的な処理の一例について図6及び図7を参照しながら説明する。図6は、図1の移動システムにおける移動ロボットの移動の様子の一例を示す図である。図7は、図1の移動システムにおける処理例を説明するためのフロー図である。なお、運搬方法はここで説明する例に限らず、上述した移動システムの様々な応用例を適用した方法を採用することができる。 An example of a specific process will be described with reference to FIGS. 6 and 7. FIG. 6 is a diagram showing an example of how a mobile robot moves in the movement system of FIG. 1. FIG. 7 is a flow diagram for explaining an example of processing in the mobile system of FIG. 1. Note that the transportation method is not limited to the example described here, and methods applying various application examples of the above-mentioned transportation system can be adopted.
ここで説明する例は、1又は複数の移動ロボット1とタブレット等の1又は複数のユーザ端末2aとサーバ装置2bとで移動システムを構築した例である。この場合、移動ロボット1の通信部14は、取得部12で取得された内容情報を、移動ロボット1による積載物の運搬状況を管理するサーバ装置(図示せず)に送信する送信部の一例として機能させることもできる。サーバ装置2bの構造は情報処理装置2と同様とすることができ、プログラムとしてサーバプログラムを搭載しておくことができる。これにより、サーバ装置2bでの運搬状況の管理を容易に且つ自動的に行うことが可能となる。
The example described here is an example in which a mobile system is constructed by one or more
サーバ装置2bは、移動ロボット1から内容情報を受信する受信部と、受信部で受信した内容情報に基づき、移動ロボット1による積載物の運搬状況を管理する制御部と、ユーザ端末からの要求に応じて運搬状況を送信する送信部と、を備えることができる。情報処理装置2がサーバ装置である場合で例示すると、制御部は制御部20で例示でき、受信部及び送信部は通信部24で例示でき、運搬状況を記憶しておく記憶部は記憶部25で例示できる。運搬状況はデータベース形式などで記憶されることができる。
The server device 2b includes a receiving unit that receives content information from the
このようなサーバ装置2bを備えることで、移動ロボット1において取得した積載物の内容を含めて運搬状況を、ユーザ端末から閲覧可能に管理できるため、積載物の内容に応じて運搬スケジュールを決定することが可能になる。ユーザ端末を使用するユーザは、運搬を含む作業工程がどの程度まで終わっているのかなどをユーザ端末からサーバ装置にアクセスして確認しながら、今後の作業のスケジューリングを行うことができる。
By providing such a server device 2b, it is possible to manage the transportation status including the contents of the loaded object acquired by the
上述のような移動システムにおいて、ユーザ端末2aを用いてユーザが移動ロボット1でのカメラ12aの操作を行い、撮像命令を行う(ステップS1)。ここでは、カメラ12aの画角に積載物が全て収まっていた場合には決定ボタンを選択し、そうでない場合には十字ボタンを操作して(場合によっては拡大/縮小ボタンも用意)全て収まるようにした状態で決定ボタンを選択する。
In the mobile system as described above, a user operates the
この撮像命令を受けた移動ロボット1は、積載物の撮影を行い、撮影した画像をユーザ端末2aに送信する(ステップS2)。この撮影が上記取得ステップの一例となる。ユーザ端末2aは、その画像を受信してユーザ端末2aに表示させ、ユーザからの地点指定操作を待ち、地点指定操作がなされた場合に、その地点を目的地とした目的地情報(目的地指定指示)を移動ロボット1に送信する(ステップS3)。ユーザはユーザ端末2aで画像を見て目的地を判断して地点指定操作を行うことになる。移動ロボット1は、受信した目的地情報に従い、目的地を設定して(ステップS4)、その目的地に積載物を運搬する(ステップS5)。ステップS4が上記設定ステップの一例となり、ステップS5が上記運搬ステップの一例となる。
The
このような制御により、例えば、図6で例示すると次のような運搬が可能となる。つまり、載置ボックス11a,11bに積載物が存在した場合で、それぞれが地点B、地点Cで用いる積載物であった場合には、載置ボックス11aの積載物を地点Aから地点Bに運搬した後、載置ボックス11bの積載物を地点Cに運搬することができる。或いは、地点Bへの運搬終了後、ユーザ指定により撮影から実行し地点Cへの運搬を行ってもよい。また、全ての積載物の運搬が終了した後は、地点Aへ移動ロボット1を戻す操作をユーザが行うことで地点Aへ移動ロボット1を戻すことができる。或いは、全ての積載物の運搬が終了したことをトリガとして撮像した地点である地点Aに自動的に戻すようにしてもよい。
With such control, for example, as illustrated in FIG. 6, the following transportation becomes possible. In other words, if there is a loaded object in the
また、一連の運搬が終了した時点で、或いは1つの積載物の運搬が完了した時点で、移動ロボット1又はユーザ端末2aは、内容情報又はそれを含む運搬した情報をサーバ装置2bに送信し、サーバ装置2bがその情報に基づき運搬状況を更新する。これにより、ユーザ端末2aから最新の運搬状況を閲覧しながらその後の作業のスケジューリングを行うことができる。
Furthermore, at the time when a series of conveyances are completed or when the conveyance of one load is completed, the
以上、本実施の形態に係る移動ロボット1によれば、図1を参照しながら説明した効果に加え、多種の積載物を複数の目的地に運搬することができるため、移動ロボット1の稼働率を向上させることができる。
As described above, according to the
(代替例)
上述した実施の形態に係る移動システム及びそれに含まれる各装置は、例示した形状や構造や制御例のものに限ったものではなく、各部の機能が果たせればよい。
(alternative example)
The movement system according to the embodiment described above and each device included therein are not limited to the illustrated shapes, structures, and control examples, but may be sufficient as long as each part can fulfill its functions.
例えば、取得部12は、積載物の積載されている位置を取得する位置センサを有し、位置センサで検知された位置に基づき内容情報を取得することもできる。この位置センサは、距離センサとすることもでき、距離の変化により位置を特定することができる。特に、載置領域を設けた場合に、物体の有無を検知する距離センサ等のセンサをそれぞれの載置領域に設置しておけば、このような内容情報の取得のための位置センサとして機能させることが容易になる。
For example, the
また、取得部12は、積載物の重量を取得する重量センサを有し、重量センサで検知された情報(重さ又は重量の増加など)に基づき内容情報を取得することもできる。特に載置領域を設けた場合に、物体の有無を重量の増加の有無で検知するセンサをそれぞれの載置領域に設置しておけば、このような内容情報の取得のための重量センサとして機能させることが容易になる。但し、積載対象の積載物が予め定まった1又は複数の種類であった場合、積載部11の全体の重量を検知する重量センサを搭載するだけで、素因数分解を用いた演算により積載物とその個数とを内容情報として取得することもできる。
The
また、取得部12は、カメラ、位置センサ、重量センサなどの複数のセンサを設ける場合、設けたセンサのそれぞれから得られた複数の情報に基づき、総合的に内容情報を判定して出力することもできる。
Further, when a plurality of sensors such as a camera, a position sensor, a weight sensor, etc. are provided, the
また、移動ロボット1は、取得部12で取得された内容情報に基づき、積載物の目的地を決定する決定部をさらに備えることができる。この決定部は例えば制御部10に備えることができる。そして、運搬部13は、この決定部で決定された目的地に積載物を運搬するようにする。これにより、移動ロボット単体でも内容情報に基づく目的地の決定を自動的に行うことができるようになり、多種の積載物を複数の目的地に自動的に運搬できるため、移動ロボット1の稼働率をより向上させることができる。また、この決定部を上記実施の形態の例と併せて採用する場合、例えば、内容情報に応じてユーザ端末に選択を促すか移動ロボット1が自身で決定するかを選択してもよい。
Furthermore, the
また、上述した移動ロボット、ユーザ端末、サーバ装置は、いずれも、例えば次のようなハードウェア構成を有することができる。図8は、装置のハードウェア構成の一例を示す図である。 Furthermore, the mobile robot, user terminal, and server device described above can all have, for example, the following hardware configuration. FIG. 8 is a diagram showing an example of the hardware configuration of the device.
実施の形態で説明した移動ロボット、ユーザ端末、サーバ装置のいずれかである装置100は、いずれも、プロセッサ101、メモリ102、及びインタフェース103を有することができる。装置100が移動ロボット1である場合、インタフェース103は、運搬部13とのインタフェース、取得部12に設けたセンサとのインタフェース、及び通信部14に相当する通信インタフェースを含むことができる。装置100がユーザ端末やサーバ装置である場合、インタフェース103は、通信部24に相当する通信インタフェースや記憶部25とのインタフェースなどを含むことができる。
The
プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPUなどであってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。実施の形態で説明した移動ロボット、ユーザ端末、サーバ装置の各装置における機能は、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで、インタフェース103を介して必要な情報をやり取りしながら実行することにより実現される。このプログラムは、各実施の形態で説明したようなプログラムとすることができる。その他の応用例については上述した通りであり、その説明を省略する。
The
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、この例は、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。この半導体メモリとしては、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)などが挙げられる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program can be stored and provided to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media includes various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg, floppy disks, magnetic tape, hard disk drives), magneto-optical recording media (eg, magneto-optical disks). Furthermore, this example includes CD-ROM (Read Only Memory), CD-R, CD-R/W, and semiconductor memory. Examples of this semiconductor memory include mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, and RAM (Random Access Memory). The program may also be provided to the computer on various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
1 移動ロボット
2 情報処理装置
2a ユーザ端末
2b サーバ装置
4 タブレット
10 制御部
11 積載部
11a,11b,11c 載置ボックス
12 取得部
13 運搬部
14 通信部
20 情報処理装置の制御部
24 情報処理装置の通信部
25 記憶部
100 装置
101 プロセッサ
102 メモリ
103 インタフェース
1
Claims (6)
前記積載部に積載された前記積載物の内容を示す内容情報を取得する取得部と、
前記取得部によって取得された前記内容情報に基づき決定された目的地を設定目的地として設定する設定部と、
前記設定部で設定された前記設定目的地に前記積載物を運搬する運搬部と、
を備え、
前記積載部は、積載対象となる種類の積載物のそれぞれを載置する載置領域を有し、
前記取得部は、前記積載物を撮像する撮像装置を有し、前記撮像装置で撮像した画像に基づき、物体の存在が確認された前記載置領域に対応する種類を示す情報を前記内容情報として取得し、
前記設定部は、予め定められた対応付けテーブルを参照して、前記取得部で前記内容情報として取得された前記種類を示す情報に対応する目的地が複数存在した場合、候補として複数の目的地を示す情報をユーザ端末に送信し、前記ユーザ端末から指定された目的地を示す目的地情報を受信し、前記設定目的地として前記目的地情報が示す目的地を設定する、
移動ロボット。 a loading section for loading a load;
an acquisition unit that acquires content information indicating the content of the loaded items loaded on the loading unit;
a setting unit that sets the destination determined based on the content information acquired by the acquisition unit as a set destination;
a transport unit that transports the loaded object to the set destination set by the setting unit ;
Equipped with
The loading section has a loading area in which each type of load to be loaded is placed,
The acquisition unit includes an image capturing device that captures an image of the loaded object, and based on the image captured by the image capturing device, information indicating a type corresponding to the placement area where the presence of the object is confirmed is used as the content information. Acquired,
The setting unit refers to a predetermined correspondence table and selects a plurality of destinations as candidates when there are a plurality of destinations corresponding to the information indicating the type acquired as the content information by the acquisition unit. transmitting information indicating the specified destination to a user terminal, receiving destination information indicating the specified destination from the user terminal, and setting the destination indicated by the destination information as the set destination;
mobile robot.
請求項1に記載の移動ロボット。 The setting unit refers to the association table and, if there is one destination corresponding to the information indicating the type acquired as the content information by the acquisition unit, sets the destination to the setting purpose. set as the
The mobile robot according to claim 1.
請求項1又は2に記載の移動ロボット。 further comprising a transmitter that transmits the content information acquired by the acquirer to a server device that manages the transportation status of the loaded object by the mobile robot;
The mobile robot according to claim 1 or 2 .
前記受信部で受信した前記内容情報に基づき、前記移動ロボットによる積載物の運搬状況を管理する制御部と、
前記ユーザ端末からの要求に応じて前記運搬状況を送信する送信部と、
を備えたサーバ装置。 a receiving unit that receives the content information from the mobile robot according to claim 3 ;
a control unit that manages the transportation status of the loaded object by the mobile robot based on the content information received by the reception unit;
a transmitter that transmits the transportation status in response to a request from the user terminal;
A server device equipped with
前記移動ロボットに備えられた取得部が、前記移動ロボットの積載領域に積載された積載物の内容を示す内容情報を取得する取得ステップと、
前記移動ロボットが、前記取得ステップで取得された前記内容情報に基づき決定された目的地を設定目的地として設定する設定ステップと、
前記移動ロボットが、前記積載物を前記設定ステップで設定された前記設定目的地に運搬する運搬ステップと、
を備え、
前記積載領域は、積載対象となる種類の積載物のそれぞれを載置する載置領域を有し、
前記取得部は、前記積載物を撮像する撮像装置を有し、
前記取得ステップは、前記撮像装置で撮像した画像に基づき、物体の存在が確認された前記載置領域に対応する種類を示す情報を前記内容情報として取得し、
前記設定ステップは、予め定められた対応付けテーブルを参照して、前記取得ステップで前記内容情報として取得された前記種類を示す情報に対応する目的地が複数存在した場合、候補として複数の目的地を示す情報をユーザ端末に送信し、前記ユーザ端末から指定された目的地を示す目的地情報を受信し、前記設定目的地として前記目的地情報が示す目的地を設定する、
運搬方法。 A transportation method for transporting a load using a mobile robot,
an acquisition step in which an acquisition unit included in the mobile robot acquires content information indicating contents of a load loaded in a loading area of the mobile robot;
a setting step in which the mobile robot sets the destination determined based on the content information obtained in the obtaining step as a set destination ;
a transporting step in which the mobile robot transports the loaded object to the set destination set in the setting step ;
Equipped with
The loading area has a loading area in which each type of load to be loaded is placed,
The acquisition unit includes an imaging device that images the loaded object,
The acquiring step acquires, as the content information, information indicating a type corresponding to the placement area in which the presence of the object is confirmed, based on the image captured by the imaging device;
The setting step refers to a predetermined correspondence table, and if there are a plurality of destinations corresponding to the information indicating the type acquired as the content information in the acquisition step, the plurality of destinations are selected as candidates. transmitting information indicating the specified destination to a user terminal, receiving destination information indicating the specified destination from the user terminal, and setting the destination indicated by the destination information as the set destination;
Transportation method.
請求項5に記載の運搬方法。 The transportation method according to claim 5.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020100000A JP7371577B2 (en) | 2020-06-09 | 2020-06-09 | Mobile robot, server device, and transportation method |
CN202110340983.3A CN113772347A (en) | 2020-06-09 | 2021-03-30 | Mobile robot, server device, and transportation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020100000A JP7371577B2 (en) | 2020-06-09 | 2020-06-09 | Mobile robot, server device, and transportation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196620A JP2021196620A (en) | 2021-12-27 |
JP7371577B2 true JP7371577B2 (en) | 2023-10-31 |
Family
ID=78835594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020100000A Active JP7371577B2 (en) | 2020-06-09 | 2020-06-09 | Mobile robot, server device, and transportation method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7371577B2 (en) |
CN (1) | CN113772347A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190098263A1 (en) | 2015-04-06 | 2019-03-28 | Position Imaging, Inc. | Modular shelving systems for package tracking |
JP2019523193A (en) | 2016-04-15 | 2019-08-22 | ザ コカ・コーラ カンパニーThe Coca‐Cola Company | Shelf inventory management system and method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01310407A (en) * | 1988-06-08 | 1989-12-14 | Daifuku Co Ltd | Conveying device using self-travelling vehicle |
JP3601737B2 (en) * | 1996-03-30 | 2004-12-15 | 技術研究組合医療福祉機器研究所 | Transfer robot system |
WO2015059739A1 (en) * | 2013-10-21 | 2015-04-30 | 株式会社日立製作所 | Transport management device, transport system, and transport management program |
CN107065861A (en) * | 2017-02-24 | 2017-08-18 | 珠海金萝卜智动科技有限公司 | Robot collection intelligence is carried, is loaded and unloaded on integral method and apparatus |
JP2019059004A (en) * | 2017-09-28 | 2019-04-18 | セイコーエプソン株式会社 | Robot system |
JP6904246B2 (en) * | 2017-12-27 | 2021-07-14 | トヨタ自動車株式会社 | Mobile system and control method of mobile system |
CN109279244A (en) * | 2018-09-10 | 2019-01-29 | 安徽灵翔智能机器人技术有限公司 | It is a kind of can autonomous barcode scanning identification storage transfer robot |
CN110550579B (en) * | 2019-09-10 | 2021-05-04 | 灵动科技(北京)有限公司 | Automatic guide forklift |
CN111168687B (en) * | 2020-03-11 | 2021-09-14 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | Service robot control method and service robot |
-
2020
- 2020-06-09 JP JP2020100000A patent/JP7371577B2/en active Active
-
2021
- 2021-03-30 CN CN202110340983.3A patent/CN113772347A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190098263A1 (en) | 2015-04-06 | 2019-03-28 | Position Imaging, Inc. | Modular shelving systems for package tracking |
JP2019523193A (en) | 2016-04-15 | 2019-08-22 | ザ コカ・コーラ カンパニーThe Coca‐Cola Company | Shelf inventory management system and method |
Also Published As
Publication number | Publication date |
---|---|
CN113772347A (en) | 2021-12-10 |
JP2021196620A (en) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6261197B2 (en) | Display control apparatus, display control method, and program | |
JP2019513653A (en) | Unmanned aerial vehicle system and method interacting with specifically intended objects | |
CN105310706A (en) | Radiographic imaging system, radiographic imaging device, handheld information terminal device and radiographic imaging method | |
JP7192631B2 (en) | Information processing system and information processing method | |
CN115134519B (en) | Remote operation system, remote operation mobile body, remote operation method, and computer-readable medium | |
US11048345B2 (en) | Image processing device and image processing method | |
JP6888349B2 (en) | Accumulation management device, integration management method, program, integration management system | |
JP7371577B2 (en) | Mobile robot, server device, and transportation method | |
US20210157300A1 (en) | Conveyance control system, conveyance control program, and conveyance control method | |
JP6791082B2 (en) | Monitoring system | |
US20220221872A1 (en) | Information processing device, information processing method, and program | |
KR20140011786A (en) | A vehicle cargo management system | |
JP7416072B2 (en) | Conveyance system, control device, and conveyance method | |
JP7394331B2 (en) | Delivery support system, delivery support method, and mobile information terminal | |
JP2022068480A (en) | Load management device, load management method, and program | |
KR20220094915A (en) | Task Guidance Apparatus for Use in In-door Cargo Transport | |
CN112529489A (en) | Task state processing method, device and system | |
JPWO2019188989A1 (en) | Guidance control device and guidance control method, guidance control system, program | |
JP5872652B1 (en) | Equipment status confirmation system | |
JP2006111415A (en) | Location indicator, and location management system | |
KR20160060374A (en) | Mobile terminal and method for controlling the same | |
JP5967020B2 (en) | Worship facilities | |
JP6249408B2 (en) | Dispensing support system | |
US20210090148A1 (en) | Notification system and notification program | |
US11556976B2 (en) | Server apparatus, mobile shop, and information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7371577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |