JP2020165684A - Detection device and mobile device - Google Patents

Detection device and mobile device Download PDF

Info

Publication number
JP2020165684A
JP2020165684A JP2019063678A JP2019063678A JP2020165684A JP 2020165684 A JP2020165684 A JP 2020165684A JP 2019063678 A JP2019063678 A JP 2019063678A JP 2019063678 A JP2019063678 A JP 2019063678A JP 2020165684 A JP2020165684 A JP 2020165684A
Authority
JP
Japan
Prior art keywords
light
light receiving
distance
hole
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019063678A
Other languages
Japanese (ja)
Other versions
JP7329943B2 (en
Inventor
幸一 立石
Koichi Tateishi
幸一 立石
慎二 飯島
Shinji Iijima
慎二 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2019063678A priority Critical patent/JP7329943B2/en
Publication of JP2020165684A publication Critical patent/JP2020165684A/en
Application granted granted Critical
Publication of JP7329943B2 publication Critical patent/JP7329943B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

To make it possible to detect a position of a hole of an object present in a detection region without using a mechanical rotation mechanism.SOLUTION: A detection device 1 comprises: a light projection unit 102 for projecting light to a detection region; a lens for collecting light projected by the light projection unit 102 and then reflected in the detection region; an image sensor having a plurality of photodetectors for receiving the light collected by the lens for each of the photodetectors; a distance operation unit 104 for calculating a distance to an object 10 present in the detection region by a TOF method for each light reception position where the photodetector is located based on a light reception result by the image sensor; and a hole position operation unit for calculating a position of a hole 1001 of the object 10 based on the distance for each light reception position calculated by the distance operation unit 104.SELECTED DRAWING: Figure 1

Description

この発明は、検出領域に存在する物体が有する穴の位置を検出する検出装置及び移動装置に関する。 The present invention relates to a detection device and a moving device that detect the position of a hole in an object existing in the detection area.

フォークリフトでパレットを持ち上げて搬送を行う場合、作業者は、目視で、パレットが有する穴の位置にフォークの位置を合わせ、フォークを穴に挿入している。
また従来から、フォークリフト機能付きのＡＧＶ（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）も知られている。このＡＧＶでは、パレットが所定の位置及び向きで置かれていることを前提とし、自動で、パレットが有する穴の位置にフォークの位置を合わせ、フォークを穴に挿入している。 When the pallet is lifted by a forklift for transportation, the operator visually aligns the fork with the position of the hole of the pallet and inserts the fork into the hole.
Further, conventionally, an AGV (Automated Guided Vehicle) with a forklift function is also known. In this AGV, on the premise that the pallet is placed at a predetermined position and orientation, the position of the fork is automatically adjusted to the position of the hole of the pallet, and the fork is inserted into the hole.

しかしながら、従来のフォークリフトでは操作に技術を要するため、未熟な作業者が操作を行った場合に、操作ミスの発生する可能性が高くなる。
また、フォークリフト機能付きのＡＧＶでは、パレットが所定の位置及び向きで置かれていることを前提としている。そのため、何らかの原因でパレットの位置又は向きがずれている場合、このＡＧＶはフォークを穴に挿入できず、フォークがパレット自体に衝突してバンパーセンサ等により停止してしまう。そのため、このＡＧＶでは、停止時間によるロスタイムの増加が懸念される。 However, since the conventional forklift requires skill for operation, there is a high possibility that an operation error will occur when an inexperienced operator performs the operation.
Further, in the AGV with a forklift function, it is assumed that the pallets are placed in a predetermined position and orientation. Therefore, if the position or orientation of the pallet is deviated for some reason, the AGV cannot insert the fork into the hole, and the fork collides with the pallet itself and stops due to the bumper sensor or the like. Therefore, in this AGV, there is a concern that the loss time will increase due to the downtime.

一方、従来から、検出領域に存在する物体の位置を検出するエリアセンサ（測域センサ）が知られている（例えば特許文献１参照）。そして、このエリアセンサをフォークに取付け可能であれば、パレットが有する穴の位置を検出可能とも考えられる。 On the other hand, conventionally, an area sensor (range sensor) that detects the position of an object existing in the detection region has been known (see, for example, Patent Document 1). If this area sensor can be attached to the fork, it is considered that the position of the hole of the pallet can be detected.

特許５５９８８３１号Patent No. 55988831

しかしながら、エリアセンサでは、レーザ光を反射するミラーを回転させるメカニカルな回転機構を有している。そのため、エリアセンサは外形が大きく、エリアセンサをフォークに取付けることはできない。 However, the area sensor has a mechanical rotation mechanism that rotates a mirror that reflects laser light. Therefore, the outer shape of the area sensor is large, and the area sensor cannot be attached to the fork.

この発明は、上記のような課題を解決するためになされたもので、メカニカルな回転機構を用いずに、検出領域に存在する物体が有する穴の位置を検出可能な検出装置を提供することを目的としている。 The present invention has been made to solve the above-mentioned problems, and to provide a detection device capable of detecting the position of a hole of an object existing in a detection region without using a mechanical rotation mechanism. I am aiming.

この発明に係る検出装置は、光を検出領域に投光する投光部と、投光部により投光されて検出領域で反射された光を集光するレンズと、複数の受光素子を有し、レンズにより集光された光を当該受光素子毎に受光するイメージセンサと、イメージセンサによる受光結果に基づいて、ＴＯＦ方式により、検出領域に存在する物体までの距離を、受光素子が位置する受光位置毎に算出する距離演算部と、距離演算部により算出された受光位置毎の距離に基づいて、物体が有する穴の位置を算出する穴位置演算部とを備えたことを特徴とする。 The detection device according to the present invention includes a light projecting unit that projects light into a detection region, a lens that collects light that is projected by the light projecting unit and reflected in the detection region, and a plurality of light receiving elements. Based on the image sensor that receives the light collected by the lens for each light receiving element and the light receiving result by the image sensor, the light receiving element is located at the distance to the object existing in the detection area by the TOF method. It is characterized by including a distance calculation unit that calculates for each position and a hole position calculation unit that calculates the position of a hole of an object based on the distance for each light receiving position calculated by the distance calculation unit.

この発明によれば、上記のように構成したので、メカニカルな回転機構を用いずに、検出領域に存在する物体が有する穴の位置を検出可能となる。 According to the present invention, since it is configured as described above, it is possible to detect the position of a hole of an object existing in the detection region without using a mechanical rotation mechanism.

実施の形態１に係る検出装置の構成例を示す図である。It is a figure which shows the configuration example of the detection apparatus which concerns on Embodiment 1. FIG. 図２Ａ、図２Ｂは、実施の形態１におけるセンサヘッドの構成例を示す図であり、図２Ａはセンサヘッドの内部構造の一例を示す図であり、図２Ｂはセンサヘッドの外観の一例を示す図である。2A and 2B are diagrams showing a configuration example of the sensor head according to the first embodiment, FIG. 2A is a diagram showing an example of the internal structure of the sensor head, and FIG. 2B shows an example of the appearance of the sensor head. It is a figure. 実施の形態１に係る検出装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the detection apparatus which concerns on Embodiment 1. FIG. 実施の形態１における投光部及び受光部の動作例を示すタイミングチャートである。It is a timing chart which shows the operation example of the light emitting part and the light receiving part in Embodiment 1. FIG. 図５Ａ、図５Ｂは、実施の形態１における距離演算部及び位置演算部の動作例を説明するための図であり、図５Ａは受光位置と受光時刻との関係の一例を示す図であり、図５Ｂは受光位置と距離との関係の一例を示す図である。5A and 5B are diagrams for explaining an operation example of the distance calculation unit and the position calculation unit in the first embodiment, and FIG. 5A is a diagram showing an example of the relationship between the light receiving position and the light receiving time. FIG. 5B is a diagram showing an example of the relationship between the light receiving position and the distance. 図６Ａ〜図６Ｃは、実施の形態１における穴方向演算部の動作例を説明する図であり、図６Ａは穴方向の算出対象となる物体を示す図であり、図６Ｂは物体が検出装置に対して平行である場合での受光位置と距離との関係の一例を示す図であり、図６Ｂは物体が検出装置に対して斜めである場合での受光位置と距離との関係の一例を示す図である。6A to 6C are diagrams for explaining an operation example of the hole direction calculation unit in the first embodiment, FIG. 6A is a diagram showing an object to be calculated for the hole direction, and FIG. 6B is a diagram showing an object for which the object is a detection device. FIG. 6B is a diagram showing an example of the relationship between the light receiving position and the distance when the object is parallel to the detection device, and FIG. 6B is an example of the relationship between the light receiving position and the distance when the object is oblique to the detection device. It is a figure which shows. 図７Ａ、図７Ｂは、実施の形態２に係る移動装置の構成例を示す図であり、図７Ａは移動装置の動作例を説明する図であり、図７Ｂは移動装置が有するフォークの先端側の構成を示す断面図である。7A and 7B are diagrams showing a configuration example of the mobile device according to the second embodiment, FIG. 7A is a diagram for explaining an operation example of the mobile device, and FIG. 7B is a fork tip side of the mobile device. It is sectional drawing which shows the structure of.

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
検出装置１は、検出領域に存在する物体１０が有する穴１００１を検出する。この検出装置１は、産業用（工業用）のセンサとして用いられる。この検出装置１は、図１に示すように、計測制御部１０１、投光部１０２、受光部１０３、距離演算部１０４、位置演算部１０５、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０６、入出力部１０７、通信部１０８、表示部１０９及び操作部１１０を備えている。また、検出装置１は、投光部１０２が投光して検出領域で反射された光を受光部１０３が受光する反射型に構成されている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1.
The detection device 1 detects the hole 1001 of the object 10 existing in the detection area. This detection device 1 is used as an industrial (industrial) sensor. As shown in FIG. 1, the detection device 1 includes a measurement control unit 101, a light projecting unit 102, a light receiving unit 103, a distance calculation unit 104, a position calculation unit 105, an MPU (Micro Processing Unit) 106, an input / output unit 107, and the like. It includes a communication unit 108, a display unit 109, and an operation unit 110. Further, the detection device 1 is configured as a reflection type in which the light receiving unit 103 receives the light projected by the light emitting unit 102 and reflected in the detection region.

なお、投光部１０２及び受光部１０３は、計測部１１１を構成する。また図２では、計測制御部１０１、投光部１０２、受光部１０３、距離演算部１０４、位置演算部１０５及びＭＰＵ１０６が、センサヘッド１１２に搭載されている。図２に示すセンサヘッド１１２の前面には、フィルタ１１２１が設けられている。なお図２では、計測制御部１０１、距離演算部１０４及び位置演算部１０５の図示を省略している。
また、入出力部１０７、通信部１０８、表示部１０９及び操作部１１０は、インタフェース部１１３を構成する。 The light projecting unit 102 and the light receiving unit 103 form a measuring unit 111. Further, in FIG. 2, the measurement control unit 101, the light projecting unit 102, the light receiving unit 103, the distance calculation unit 104, the position calculation unit 105, and the MPU 106 are mounted on the sensor head 112. A filter 1121 is provided on the front surface of the sensor head 112 shown in FIG. Note that in FIG. 2, the measurement control unit 101, the distance calculation unit 104, and the position calculation unit 105 are not shown.
Further, the input / output unit 107, the communication unit 108, the display unit 109, and the operation unit 110 form an interface unit 113.

計測制御部１０１は、ＭＰＵ１０６を介して入力された制御情報に基づいて、制御信号を生成する。制御信号は、イメージセンサ１０３３での光の受光動作に応じて、投光部１０２での光の投光タイミングを制御する信号である。この計測制御部１０１により生成された制御信号は、投光部１０２に出力される。 The measurement control unit 101 generates a control signal based on the control information input via the MPU 106. The control signal is a signal that controls the light projection timing of the light projection unit 102 according to the light reception operation of the image sensor 1033. The control signal generated by the measurement control unit 101 is output to the light projecting unit 102.

投光部１０２は、計測制御部１０１からの制御信号に従い、パルス状の光を検出領域に投光する。なお、投光部１０２が投光する光のビーム形状は、予め設定されている。図２では、投光部１０２は、回路基板である投光基板（不図示）１０２１と、光を発光する発光素子１０２２と、発光素子１０２２の前面に配置された絞りであるアパーチャー１０２３と、発光素子１０２２により発光されてアパーチャー１０２３を通過した光を拡散するディヒューザー１０２４とから構成されている。また、投光部１０２により投光される光の幅及び投光周期は、想定される物体１０までの距離又は移動速度等により決まる。また、投光部１０２は、投光する光を変調してもよい。 The light projecting unit 102 projects pulsed light onto the detection region in accordance with the control signal from the measurement control unit 101. The beam shape of the light projected by the light projecting unit 102 is preset. In FIG. 2, the light emitting unit 102 includes a light emitting board (not shown) 1021 which is a circuit board, a light emitting element 1022 that emits light, an aperture 1023 which is an aperture arranged in front of the light emitting element 1022, and light emitting light. It is composed of a diffuser 1024 that emits light from the element 1022 and diffuses the light that has passed through the aperture 1023. Further, the width of the light projected by the light projecting unit 102 and the projecting period are determined by the assumed distance to the object 10 or the moving speed. Further, the light projecting unit 102 may modulate the light to be projected.

受光部１０３は、投光部１０２により投光されて検出領域で反射された光を受光する。図２では、受光部１０３は、回路基板である受光基板（不図示）１０３１と、レンズ１０３２と、イメージセンサ１０３３とから構成されている。 The light receiving unit 103 receives the light projected by the light projecting unit 102 and reflected in the detection region. In FIG. 2, the light receiving unit 103 is composed of a light receiving board (not shown) 1031 which is a circuit board, a lens 1032, and an image sensor 1033.

レンズ１０３２は、投光部１０２により投光されて検出領域で反射された光を集光する。このレンズ１０３２は、非テレセントリックレンズである。 The lens 1032 collects the light projected by the light projecting unit 102 and reflected in the detection region. This lens 1032 is a non-telecentric lens.

イメージセンサ１０３３は、複数の受光素子を有し、レンズ１０３２により集光された光を当該受光素子毎に受光する。以下では、イメージセンサ１０３３はリニアタイプであり、複数の受光素子が一次元方向に配列されているものとする。リニアタイプのイメージセンサ１０３３は、産業用のセンサに求められる高速応答に対応可能である。このイメージセンサ１０３３による受光結果を示す情報は、距離演算部１０４に出力される。
なお、イメージセンサ１０３３は、上記受光結果を示す情報として、例えば、投光部１０２により光が投光された時刻（投光時刻）を基準として、各受光素子で光を受光した時刻（受光時刻）である遅れ時間を示す情報を出力してもよい。また、投光部１０２が光を変調している場合には、イメージセンサ１０３３は、上記受光結果を示す情報として、例えば、投光部１０２により投光された光と各受光素子で受光された光との位相差を示す情報を出力してもよい。 The image sensor 1033 has a plurality of light receiving elements, and receives the light collected by the lens 1032 for each of the light receiving elements. In the following, it is assumed that the image sensor 1033 is a linear type and a plurality of light receiving elements are arranged in a one-dimensional direction. The linear type image sensor 1033 can support the high-speed response required for industrial sensors. The information indicating the light receiving result by the image sensor 1033 is output to the distance calculation unit 104.
The image sensor 1033 uses, for example, the time when the light is received by each light receiving element (light receiving time) as the information indicating the light receiving result, based on the time when the light is projected by the light projecting unit 102 (light emitting time). ) May output information indicating the delay time. When the light projecting unit 102 modulates the light, the image sensor 1033 receives the light projected by the light projecting unit 102 and each light receiving element as information indicating the light receiving result. Information indicating the phase difference with light may be output.

距離演算部１０４は、イメージセンサ１０３３による受光結果に基づいて、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式により、イメージセンサ１０３３から物体１０までの距離を、受光素子が位置する受光位置毎に算出する。この距離演算部１０４により算出された受光位置毎の距離を示す情報（距離情報）は、位置演算部１０５及びＭＰＵ１０６に出力される。 The distance calculation unit 104 calculates the distance from the image sensor 1033 to the object 10 for each light receiving position where the light receiving element is located, by the TOF (Time Of Flight) method based on the light receiving result by the image sensor 1033. Information (distance information) indicating the distance for each light receiving position calculated by the distance calculation unit 104 is output to the position calculation unit 105 and the MPU 106.

位置演算部１０５は、距離演算部１０４により算出された受光位置毎の距離に基づいて、イメージセンサ１０３３に結像された物体１０の像の位置を算出する。この位置演算部１０５により算出された物体１０の像の位置を示す情報（位置情報）は、ＭＰＵ１０６に出力される。 The position calculation unit 105 calculates the position of the image of the object 10 imaged on the image sensor 1033 based on the distance for each light receiving position calculated by the distance calculation unit 104. Information (position information) indicating the position of the image of the object 10 calculated by the position calculation unit 105 is output to the MPU 106.

ＭＰＵ１０６は、距離演算部１０４により算出された受光位置毎の距離及び位置演算部１０５により算出された物体１０の像の位置に基づいて、物体１０が有する穴１００１の位置を算出する。この際、ＭＰＵ１０６は、イメージセンサ１０３３に結像された物体１０の像の位置、イメージセンサ１０３３から物体１０までの距離、及び、レンズ１０３２の焦点距離に基づいて、物体１０が有する穴１００１の位置を算出する。このＭＰＵ１０６により算出された物体１０が有する穴１００１の位置を示す情報は、インタフェース部１１３に出力される。 The MPU 106 calculates the position of the hole 1001 of the object 10 based on the distance for each light receiving position calculated by the distance calculation unit 104 and the position of the image of the object 10 calculated by the position calculation unit 105. At this time, the MPU 106 determines the position of the hole 1001 of the object 10 based on the position of the image of the object 10 imaged on the image sensor 1033, the distance from the image sensor 1033 to the object 10, and the focal length of the lens 1032. Is calculated. The information indicating the position of the hole 1001 of the object 10 calculated by the MPU 106 is output to the interface unit 113.

なお、位置演算部１０５及びＭＰＵ１０６は、「距離演算部１０４により算出された受光位置毎の距離に基づいて、物体１０が有する穴１００１の位置を算出する穴位置演算部」を構成する。 The position calculation unit 105 and the MPU 106 form a "hole position calculation unit that calculates the position of the hole 1001 of the object 10 based on the distance for each light receiving position calculated by the distance calculation unit 104".

また、計測制御部１０１、距離演算部１０４及び位置演算部１０５は、システムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路、又はメモリ等に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により実現される。 Further, the measurement control unit 101, the distance calculation unit 104, and the position calculation unit 105 are realized by a processing circuit such as a system LSI (Large Scale Integration), a CPU (Central Processing Unit) that executes a program stored in a memory, or the like. Will be done.

入出力部１０７は、検出装置１に対する各種設定の入力を行い、制御情報を生成してＭＰＵ１０６に出力する。この制御情報には、例えば、投光部１０２による光の投光を指示するトリガ信号、又は、投光部１０２でレーザ光を用いる場合にはレーザ光の停止を指示する停止信号等が含まれる。
また、入出力部１０７は、ＭＰＵ１０６から入力された情報の出力を行う。この際、入出力部１０７は、例えば、アナログ出力を行ってもよいし、閾値判定を行って閾値を超えた場合にオン出力を行ってもよい。 The input / output unit 107 inputs various settings to the detection device 1, generates control information, and outputs the control information to the MPU 106. This control information includes, for example, a trigger signal instructing the light projection by the light projecting unit 102, a stop signal instructing the stop of the laser light when the laser light is used in the light projecting unit 102, and the like. ..
Further, the input / output unit 107 outputs the information input from the MPU 106. At this time, the input / output unit 107 may perform analog output, for example, or may perform on output when the threshold value is determined and the threshold value is exceeded.

通信部１０８は、イーサネット（登録商標）等のネットワークを介して外部装置と通信を行い、例えばＭＰＵ１０６から入力された情報を外部装置に送信する。
表示部１０９は、各種の動作表示を行う。また、表示部１０９は、ＭＰＵ１０６から入力された情報を表示する。例えば、表示部１０９は、物体１０が有する穴１００１の位置を表示する場合に、受光部１０３の光軸上を零点とし、穴１００１が光軸からどのくらい離れた場所に位置しているかを数値で表示する。
操作部１１０は、ユーザ操作を受付け、例えば、表示部１０９の表示切替え又は検出装置１に対する各種設定等を行う。 The communication unit 108 communicates with an external device via a network such as Ethernet (registered trademark), and transmits information input from, for example, the MPU 106 to the external device.
The display unit 109 displays various operations. In addition, the display unit 109 displays the information input from the MPU 106. For example, when displaying the position of the hole 1001 of the object 10, the display unit 109 sets the zero point on the optical axis of the light receiving unit 103 and numerically indicates how far the hole 1001 is from the optical axis. indicate.
The operation unit 110 accepts user operations and, for example, switches the display of the display unit 109 or makes various settings for the detection device 1.

次に、実施の形態１に係る検出装置１の動作例について、図３を参照しながら説明する。
検出装置１の動作例では、図３に示すように、まず、投光部１０２は、計測制御部１０１からの制御信号に従い、パルス状の光を検出領域に投光する（ステップＳＴ１）。この投光部１０２により投光された光は、検出領域に存在する物体１０により反射され、レンズ１０３２を介してイメージセンサ１０３３に入射される。なお、検出領域に壁等の背景が存在する場合には、投光部１０２により投光された光は当該背景でも反射され、レンズ１０３２を介してイメージセンサ１０３３に入射される。 Next, an operation example of the detection device 1 according to the first embodiment will be described with reference to FIG.
In the operation example of the detection device 1, as shown in FIG. 3, first, the light projecting unit 102 projects pulsed light onto the detection region according to the control signal from the measurement control unit 101 (step ST1). The light projected by the light projecting unit 102 is reflected by the object 10 existing in the detection region and is incident on the image sensor 1033 via the lens 1032. When a background such as a wall exists in the detection region, the light projected by the light projecting unit 102 is also reflected by the background and is incident on the image sensor 1033 via the lens 1032.

次いで、イメージセンサ１０３３は、入射された光を受光素子毎に受光する（ステップＳＴ２）。図４に示すように、イメージセンサ１０３３の各受光素子（Ｐｉｘｅｌ Ｎｏ．０〜Ｎｏ．ｎ）での光（受光パルス）の受光タイミングは、投光部１０２による光（投光パルス）の投光タイミングに対し、物体１０との間の距離に応じて遅れる。なお以下では、イメージセンサ１０３３は、上記受光結果を示す情報として、各受光素子での受光時刻（遅れ時間）を示す情報を出力するものとする。このイメージセンサ１０３３により例えば図５Ａに示すような受光位置と受光時刻との関係が得られる。 Next, the image sensor 1033 receives the incident light for each light receiving element (step ST2). As shown in FIG. 4, the light receiving timing of the light (light receiving pulse) at each light receiving element (Pixel No. 0 to No. n) of the image sensor 1033 is the light projected by the light projecting unit 102 (light emitting pulse). The timing is delayed according to the distance to the object 10. In the following, the image sensor 1033 shall output information indicating the light receiving time (delay time) of each light receiving element as the information indicating the light receiving result. With this image sensor 1033, for example, the relationship between the light receiving position and the light receiving time as shown in FIG. 5A can be obtained.

次いで、距離演算部１０４は、イメージセンサ１０３３による受光結果に基づいて、ＴＯＦ方式により、物体１０までの距離を、受光素子が位置する受光位置毎に算出する（ステップＳＴ３）。 Next, the distance calculation unit 104 calculates the distance to the object 10 for each light receiving position where the light receiving element is located by the TOF method based on the light receiving result by the image sensor 1033 (step ST3).

この際、距離演算部１０４は、まず、イメージセンサ１０３３による受光結果に基づいて、下式（１）より、受光位置毎に、受光素子で受光した光が反射された位置（反射点）までの距離を算出する。式（１）において、ｄｉはｉ番目の受光素子で受光した光の反射点までの距離を示し、ｃは光の速度を示し、ｔｄｉはｉ番目の受光素子での受光時刻を示している。
ｄｉ＝ｃ×ｔｄｉ／２ （１） At this time, the distance calculation unit 104 first, based on the light reception result by the image sensor 1033, from the following equation (1), reaches the position (reflection point) where the light received by the light receiving element is reflected for each light receiving position. Calculate the distance. In the formula (1), d i represents the distance to the reflection point of the light received by the i th light receiving element, c is indicates the speed of light, t di is shows the light receiving time at the i-th light receiving element There is.
d i = c × t di / 2 (1)

ここで、式（１）により得られる受光位置から反射点までの距離は、受光部１０３の光軸に対してθｉだけ傾いた方向の距離である。なお、θｉは、レンズ１０３２上の光軸位置とｉ番目の受光位置とを結ぶ線分と、光軸との成す角度であり、既知である。そこで、距離演算部１０４は、受光位置毎に、θｉを用いて、算出した反射点までの距離を、受光部１０３の光軸に平行（略平行の意味を含む）な距離に変換する。 Here, the distance from the light receiving position obtained by the equation (1) to the reflection point is the distance in the direction inclined by θ i with respect to the optical axis of the light receiving unit 103. Note that θ i is a known angle formed by a line segment connecting the optical axis position on the lens 1032 and the i-th light receiving position and the optical axis. Therefore, the distance calculation unit 104 converts the calculated distance to the reflection point into a distance parallel to the optical axis of the light receiving unit 103 (including the meaning of substantially parallel) by using θ i for each light receiving position.

そして、距離演算部１０４は、受光位置毎に、上記変換により得られた反射点までの距離から、物体１０までの距離を得る。ここで、距離演算部１０４は、上記変換により得られた反射点までの距離のうち、イメージセンサ１０３３から背景までの距離に相当するものは除外する。この距離演算部１０４により例えば図５Ｂに示すような距離情報が得られる。 Then, the distance calculation unit 104 obtains the distance to the object 10 from the distance to the reflection point obtained by the above conversion for each light receiving position. Here, the distance calculation unit 104 excludes the distance to the reflection point obtained by the above conversion, which corresponds to the distance from the image sensor 1033 to the background. The distance calculation unit 104 can obtain distance information as shown in FIG. 5B, for example.

次いで、位置演算部１０５は、距離演算部１０４により得られた距離情報に基づいて、イメージセンサ１０３３に結像された物体１０の像の位置を算出する（ステップＳＴ４）。この際、位置演算部１０５は、像の両エッジの位置を算出する。 Next, the position calculation unit 105 calculates the position of the image of the object 10 imaged on the image sensor 1033 based on the distance information obtained by the distance calculation unit 104 (step ST4). At this time, the position calculation unit 105 calculates the positions of both edges of the image.

次いで、ＭＰＵ１０６は、距離演算部１０４により得られた距離情報及び位置演算部１０５により得られた位置情報に基づいて、物体１０が有する穴１００１の位置を算出する（ステップＳＴ５）。 Next, the MPU 106 calculates the position of the hole 1001 of the object 10 based on the distance information obtained by the distance calculation unit 104 and the position information obtained by the position calculation unit 105 (step ST5).

この際、ＭＰＵ１０６は、下式（２）より、物体１０が有する穴１００１の位置を算出する。式（２）において、ｘ１は物体１０が有する穴１００１の位置を示し、ｘ２は物体１０が有する穴１００１の像の位置（受光位置）を示している。物体１０が有する穴１００１の像の位置は、位置演算部１０５により算出された像の両エッジの位置の間の任意の位置である。また、ｄは物体１０とイメージセンサ１０３３との間の距離を示し、ｆはレンズ１０３２とイメージセンサ１０３３との間の距離（焦点距離）を示している。なお、式（２）における｛（ｄ−ｆ）／ｆ｝は光学系の倍率である。
ｘ１＝｛（ｄ−ｆ）／ｆ｝×ｘ２ （２） At this time, the MPU 106 calculates the position of the hole 1001 of the object 10 from the following equation (2). In the formula (2), x 1 indicates the position of the hole 1001 of the object 10, and x 2 indicates the position of the image of the hole 1001 of the object 10 (light receiving position). The position of the image of the hole 1001 possessed by the object 10 is an arbitrary position between the positions of both edges of the image calculated by the position calculation unit 105. Further, d indicates the distance between the object 10 and the image sensor 1033, and f indicates the distance (focal length) between the lens 1032 and the image sensor 1033. Note that {(df) / f} in the equation (2) is the magnification of the optical system.
x 1 = {(df) / f} x x 2 (2)

ここで、実施の形態１に係る検出装置１は、センサ（投光部１０２及び受光部１０３）と検出領域とが対向配置された反射型に構成されている。これにより、実施の形態１に係る検出装置１は、検出領域の片側にのみセンサを設置すればよく、また、投光部１０２と受光部１０３との間での光軸合わせが不要となり、透過型を用いた場合に対して設置条件が緩くなる。また、実施の形態１に係る検出装置１は、検出範囲が広くなる。また、実施の形態１に係る検出装置１は、イメージセンサ１０３３と物体１０との間の距離が算出できるため、非テレセントリックレンズを用いても物体１０が有する穴１００１の位置を算出でき、従来構成に対して低コスト化が実現できる。 Here, the detection device 1 according to the first embodiment is configured as a reflection type in which the sensor (light emitting unit 102 and light receiving unit 103) and the detection region are arranged to face each other. As a result, in the detection device 1 according to the first embodiment, the sensor needs to be installed only on one side of the detection region, and the optical axis alignment between the light emitting unit 102 and the light receiving unit 103 becomes unnecessary, and the light is transmitted. Installation conditions are looser than when using a mold. Further, the detection device 1 according to the first embodiment has a wide detection range. Further, since the detection device 1 according to the first embodiment can calculate the distance between the image sensor 1033 and the object 10, the position of the hole 1001 of the object 10 can be calculated even by using a non-telecentric lens, which is a conventional configuration. However, cost reduction can be realized.

また、従来のエリアセンサは、レーザ光を反射するミラーを回転させるメカニカルな回転機構を有している。これに対し、実施の形態１に係る検出装置１は、上記のような回転機構は用いていない。そのため、実施の形態１に係る検出装置１は、小型化が可能であり、また、振動及び衝撃に対する耐性が高くなる。 Further, the conventional area sensor has a mechanical rotation mechanism for rotating a mirror that reflects laser light. On the other hand, the detection device 1 according to the first embodiment does not use the rotation mechanism as described above. Therefore, the detection device 1 according to the first embodiment can be miniaturized and has high resistance to vibration and impact.

以上のように、この実施の形態１によれば、検出装置１は、光を検出領域に投光する投光部１０２と、投光部１０２により投光されて検出領域で反射された光を集光するレンズ１０３２と、複数の受光素子を有し、レンズ１０３２により集光された光を当該受光素子毎に受光するイメージセンサ１０３３と、イメージセンサ１０３３による受光結果に基づいて、ＴＯＦ方式により、検出領域に存在する物体１０までの距離を、受光素子が位置する受光位置毎に算出する距離演算部１０４と、距離演算部１０４により算出された受光位置毎の距離に基づいて、物体１０が有する穴１００１の位置を算出する穴位置演算部とを備えた。これにより、実施の形態１に係る検出装置１は、メカニカルな回転機構を用いずに、検出領域に存在する物体１０が有する穴１００１の位置を検出可能となる。 As described above, according to the first embodiment, the detection device 1 emits the light projecting unit 102 that projects light into the detection area and the light that is projected by the light projecting unit 102 and reflected in the detection area. A lens 1032 that collects light, an image sensor 1033 that has a plurality of light receiving elements and receives the light collected by the lens 1032 for each light receiving element, and a TOF method based on the light receiving result by the image sensor 1033. The object 10 has the distance to the object 10 existing in the detection region based on the distance calculation unit 104 that calculates the distance to the object 10 existing in the detection region for each light receiving position where the light receiving element is located and the distance for each light receiving position calculated by the distance calculation unit 104. A hole position calculation unit for calculating the position of the hole 1001 is provided. As a result, the detection device 1 according to the first embodiment can detect the position of the hole 1001 of the object 10 existing in the detection region without using the mechanical rotation mechanism.

また、検出装置１は、距離演算部１０４により算出された受光位置毎の距離に基づいて、物体１０が有する穴の方向を算出する穴方向演算部を備えていてもよい。すなわち、上記受光位置毎の距離から、物体１０における穴が形成された端面及び穴の内壁面のうちの少なくとも一方の面のイメージセンサ１０３３の受光面に対する傾きを算出可能であり、この傾きからイメージセンサ１０３３の受光面に対する物体１０の傾きを算出可能であるため、穴方向演算部は穴の方向を算出可能である。 Further, the detection device 1 may include a hole direction calculation unit that calculates the direction of the hole of the object 10 based on the distance for each light receiving position calculated by the distance calculation unit 104. That is, from the distance for each light receiving position, the inclination of at least one of the end surface on which the hole is formed and the inner wall surface of the hole in the object 10 with respect to the light receiving surface of the image sensor 1033 can be calculated, and the image can be calculated from this inclination. Since the inclination of the object 10 with respect to the light receiving surface of the sensor 1033 can be calculated, the hole direction calculation unit can calculate the direction of the hole.

例えば、図６Ａに示される物体１０に対し、穴方向演算部が穴の方向を算出する場合を考える。図６Ａに示される物体１０はパレット等であり、穴が形成された端面の幅が狭い。この場合、図６Ｂに示すように、穴方向演算部は、上記端面のイメージセンサ１０３３の受光面に対する傾きを算出できず、穴の方向を算出できない場合がある。このような場合には、図６Ｂに示すように、穴方向演算部は、穴の内壁面のイメージセンサ１０３３の受光面に対する傾きを算出し、その傾きから穴の方向を算出する。なお図６Ｃは、物体１０が検出装置１（イメージセンサ１０３３の受光面）に対して斜めに位置する場合を示している。 For example, consider a case where the hole direction calculation unit calculates the direction of the hole with respect to the object 10 shown in FIG. 6A. The object 10 shown in FIG. 6A is a pallet or the like, and the width of the end face on which the hole is formed is narrow. In this case, as shown in FIG. 6B, the hole direction calculation unit may not be able to calculate the inclination of the end surface of the image sensor 1033 with respect to the light receiving surface, and may not be able to calculate the direction of the hole. In such a case, as shown in FIG. 6B, the hole direction calculation unit calculates the inclination of the inner wall surface of the hole with respect to the light receiving surface, and calculates the direction of the hole from the inclination. Note that FIG. 6C shows a case where the object 10 is positioned obliquely with respect to the detection device 1 (light receiving surface of the image sensor 1033).

実施の形態２．
実施の形態２では、実施の形態１に係る検出装置１が、一対のフォーク２０１を有する移動装置２に適用された場合を示す。移動装置２としては、フォークリフト又はフォークリフト機能付きのＡＧＶが挙げられる。 Embodiment 2.
The second embodiment shows a case where the detection device 1 according to the first embodiment is applied to a mobile device 2 having a pair of forks 201. Examples of the moving device 2 include a forklift or an AGV with a forklift function.

図７は実施の形態２に係る移動装置２の構成例を示す図である。図７では、移動装置２のうちの一対のフォーク２０１のみを図示している。
移動装置２は、一対のフォーク２０１を有し、パレット１０ａ（物体１０）を持ち上げて搬送を行う。なお、パレット１０ａは、１つの側面に対して一対の穴１００１を有している。なお、フォーク２０１の幅及び厚み、一対のフォーク２０１の配置間隔、パレット１０ａが有する穴１００１の幅及び厚み、並びに、一対の穴１００１の配置間隔は、規格等により事前に把握可能である。また、フォーク２０１は、先端側が、先に向かい細くなるテーパ状に構成されている。 FIG. 7 is a diagram showing a configuration example of the mobile device 2 according to the second embodiment. In FIG. 7, only the pair of forks 201 of the moving device 2 is shown.
The moving device 2 has a pair of forks 201, and lifts and conveys the pallet 10a (object 10). The pallet 10a has a pair of holes 1001 on one side surface. The width and thickness of the forks 201, the arrangement interval of the pair of forks 201, the width and thickness of the holes 1001 of the pallet 10a, and the arrangement interval of the pair of holes 1001 can be grasped in advance by a standard or the like. Further, the fork 201 has a tapered shape in which the tip side is tapered toward the tip.

また、フォーク２０１の先端側内部には、検出装置１が取付けられている。検出装置１は、実施の形態１に示した検出装置１であり、検出領域に存在するパレット１０ａが有する穴１００１の位置を検出する。なお、検出装置１は、メカニカルな回転機構を有していないため、従来のエリアセンサに対して小型化可能であり、フォーク２０１の先端側内部に取付け可能である。 Further, the detection device 1 is mounted inside the tip side of the fork 201. The detection device 1 is the detection device 1 shown in the first embodiment, and detects the position of the hole 1001 in the pallet 10a existing in the detection area. Since the detection device 1 does not have a mechanical rotation mechanism, it can be miniaturized with respect to the conventional area sensor, and can be mounted inside the tip side of the fork 201.

なお図７Ａでは、検出装置１が、一対のフォーク２０１のうちの一方のみに取付けられた場合を示している。しかしながら、これに限らず、検出装置１は、一対のフォーク２０１のうちの両方に取付けられていてもよい。これにより、例えば、一方の検出装置１が故障した場合でも、他方の検出装置１で穴１００１の位置の検出を実施可能となる。 Note that FIG. 7A shows a case where the detection device 1 is attached to only one of the pair of forks 201. However, not limited to this, the detection device 1 may be attached to both of the pair of forks 201. As a result, for example, even if one of the detection devices 1 fails, the position of the hole 1001 can be detected by the other detection device 1.

そして、実施の形態２に係る移動装置２では、フォーク２０１の先端側内部に検出装置１を設けることで、パレット１０ａが有する穴１００１の位置を検出可能となり、フォーク２０１と穴１００１との相対的なずれ量を容易に把握可能となる。 Then, in the moving device 2 according to the second embodiment, by providing the detection device 1 inside the tip side of the fork 201, the position of the hole 1001 of the pallet 10a can be detected, and the relative between the fork 201 and the hole 1001 can be detected. The amount of deviation can be easily grasped.

また、検出装置１が物体１０が有する穴の方向を算出可能な場合には、移動装置２はフォーク２０１の挿入方向を適切に調整可能となる。 Further, when the detection device 1 can calculate the direction of the hole of the object 10, the moving device 2 can appropriately adjust the insertion direction of the fork 201.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, it is possible to freely combine the embodiments, modify any component of each embodiment, or omit any component in each embodiment. ..

１ 検出装置
２ 移動装置
１０ 物体
１０ａ パレット
１０１ 計測制御部
１０２ 投光部
１０３ 受光部
１０４ 距離演算部
１０５ 位置演算部
１０６ ＭＰＵ
１０７ 入出力部
１０８ 通信部
１０９ 表示部
１１０ 操作部
１１１ 計測部
１１２ センサヘッド
１１３ インタフェース部
２０１ フォーク
１００１ 穴
１０２１ 投光基板
１０２２ 発光素子
１０２３ アパーチャー
１０２４ ディヒューザー
１０３１ 受光基板
１０３２ レンズ
１０３３ イメージセンサ
１１２１ フィルタ 1 Detection device 2 Moving device 10 Object 10a Pallet 101 Measurement control unit 102 Light emitting unit 103 Light receiving unit 104 Distance calculation unit 105 Position calculation unit 106 MPU
107 Input / output unit 108 Communication unit 109 Display unit 110 Operation unit 111 Measuring unit 112 Sensor head 113 Interface unit 201 Fork 1001 Hole 1021 Light emitting board 1022 Light emitting element 1023 Aperture 1024 Diffuser 1031 Light receiving board 1032 Lens 1033 Image sensor 1121 Filter

Claims (6)

光を検出領域に投光する投光部と、
前記投光部により投光されて前記検出領域で反射された光を集光するレンズと、
複数の受光素子を有し、前記レンズにより集光された光を当該受光素子毎に受光するイメージセンサと、
前記イメージセンサによる受光結果に基づいて、ＴＯＦ方式により、前記検出領域に存在する物体までの距離を、前記受光素子が位置する受光位置毎に算出する距離演算部と、
前記距離演算部により算出された受光位置毎の距離に基づいて、前記物体が有する穴の位置を算出する穴位置演算部とを備えた
ことを特徴とする検出装置。 A light projecting unit that projects light into the detection area,
A lens that collects the light that is projected by the light projecting unit and reflected in the detection area.
An image sensor having a plurality of light receiving elements and receiving light collected by the lens for each light receiving element.
A distance calculation unit that calculates the distance to an object existing in the detection region for each light receiving position where the light receiving element is located by the TOF method based on the light receiving result by the image sensor.
A detection device including a hole position calculation unit that calculates the position of a hole possessed by the object based on the distance for each light receiving position calculated by the distance calculation unit. 前記穴位置演算部は、前記イメージセンサに結像された前記物体の像の位置、当該イメージセンサから当該物体までの距離、及び、前記レンズの焦点距離に基づいて、前記穴の位置を算出する
ことを特徴とする請求項１記載の検出装置。 The hole position calculation unit calculates the position of the hole based on the position of the image of the object imaged on the image sensor, the distance from the image sensor to the object, and the focal length of the lens. The detection device according to claim 1, wherein the detection device is characterized by the above. 前記距離演算部により算出された受光位置毎の距離に基づいて、前記物体が有する穴の方向を算出する穴方向演算部を備えた
ことを特徴とする請求項１又は請求項２記載の検出装置。 The detection device according to claim 1 or 2, further comprising a hole direction calculation unit that calculates the direction of a hole possessed by the object based on the distance for each light receiving position calculated by the distance calculation unit. .. 前記受光素子は、一次元方向に配列された
ことを特徴とする請求項１から請求項３のうちの何れか１項記載の検出装置。 The detection device according to any one of claims 1 to 3, wherein the light receiving elements are arranged in a one-dimensional direction. 前記レンズは、非テレセントリックレンズである
ことを特徴とする請求項１から請求項４のうちの何れか１項記載の検出装置。 The detection device according to any one of claims 1 to 4, wherein the lens is a non-telecentric lens. 一対のフォークと、
前記フォークのうちの少なくとも一方における先端側内部に取付けられた検出装置とを備え、
前記検出装置は、
光を検出領域に投光する投光部と、
前記投光部により投光されて前記検出領域で反射された光を集光するレンズと、
複数の受光素子を有し、前記レンズにより集光された光を当該受光素子毎に受光するイメージセンサと、
前記イメージセンサによる受光結果に基づいて、ＴＯＦ方式により、前記検出領域に存在するパレットまでの距離を、前記受光素子が位置する受光位置毎に算出する距離演算部と、
前記距離演算部により算出された受光位置毎の距離に基づいて、パレットが有する穴の位置を算出する穴位置演算部とを備えた
ことを特徴とする移動装置。 A pair of forks and
A detection device mounted inside the tip side of at least one of the forks is provided.
The detection device
A light projecting unit that projects light into the detection area,
A lens that collects the light that is projected by the light projecting unit and reflected in the detection area.
An image sensor having a plurality of light receiving elements and receiving light collected by the lens for each light receiving element.
A distance calculation unit that calculates the distance to the pallet existing in the detection region for each light receiving position where the light receiving element is located by the TOF method based on the light receiving result by the image sensor.
A moving device including a hole position calculation unit that calculates the position of a hole of the pallet based on the distance for each light receiving position calculated by the distance calculation unit.
JP2019063678A 2019-03-28 2019-03-28 Detection device and movement device Active JP7329943B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019063678A JP7329943B2 (en) 2019-03-28 2019-03-28 Detection device and movement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019063678A JP7329943B2 (en) 2019-03-28 2019-03-28 Detection device and movement device

Publications (2)

Publication Number Publication Date
JP2020165684A true JP2020165684A (en) 2020-10-08
JP7329943B2 JP7329943B2 (en) 2023-08-21

Family

ID=72717212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019063678A Active JP7329943B2 (en) 2019-03-28 2019-03-28 Detection device and movement device

Country Status (1)

Country Link
JP (1) JP7329943B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071434A1 (en) 2020-09-30 2022-04-07 住友化学株式会社 Heterocyclic compound and harmful arthropod-controlling composition containing same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087793A (en) * 2000-09-07 2002-03-27 Toshiba Fa Syst Eng Corp Pallet carrying device
JP2011507429A (en) * 2007-12-18 2011-03-03 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． Record 3D video of a scene
JP2017151652A (en) * 2016-02-23 2017-08-31 村田機械株式会社 Object state specification method, object state specification apparatus, and conveyance vehicle
JP2018179599A (en) * 2017-04-05 2018-11-15 村田機械株式会社 Recessed part detection device, carrier device, and recessed part detection device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087793A (en) * 2000-09-07 2002-03-27 Toshiba Fa Syst Eng Corp Pallet carrying device
JP2011507429A (en) * 2007-12-18 2011-03-03 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． Record 3D video of a scene
JP2017151652A (en) * 2016-02-23 2017-08-31 村田機械株式会社 Object state specification method, object state specification apparatus, and conveyance vehicle
JP2018179599A (en) * 2017-04-05 2018-11-15 村田機械株式会社 Recessed part detection device, carrier device, and recessed part detection device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022071434A1 (en) 2020-09-30 2022-04-07 住友化学株式会社 Heterocyclic compound and harmful arthropod-controlling composition containing same

Also Published As

Publication number Publication date
JP7329943B2 (en) 2023-08-21

Similar Documents

Publication Publication Date Title
US11125876B2 (en) Lidar system and method for ascertaining a system state of a lidar system
JP5472572B2 (en) Laser distance measuring device
CN103376091A (en) Electronic level
US20170167867A1 (en) Range finder
EP3812700B1 (en) Surveying instrument
JP6186863B2 (en) Ranging device and program
JP2020165684A (en) Detection device and mobile device
US7764358B2 (en) Distance measuring system
JP2019078682A (en) Laser distance measuring device, laser distance measuring method, and position adjustment program
TWI500950B (en) Optical displacement sensor
JP7316277B2 (en) sensor system
WO2019181512A1 (en) Detection device
JP2020165682A (en) Automatic mobile device
JPH07248374A (en) Distance measuring device
JP2011095103A (en) Distance-measuring apparatus
JP2020165676A (en) Detection system
JP2020165678A (en) Detection device
JPH11230699A (en) Target arrival position measuring apparatus for bullet
JP2020165674A (en) Detection device and detection system
JP2013090045A (en) Optical sensor
JP2021001752A (en) Distance detection system
WO2021059638A1 (en) Distance measurement device
JP5031652B2 (en) Automatic focus control device for surveying instrument
JP2006214894A (en) Remote control unit for survey machine with reflecting target
KR20200068965A (en) Sensor device for detecting object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7329943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150