JP5413773B2 - Flexible tactile sensor - Google Patents
Flexible tactile sensor Download PDFInfo
- Publication number
- JP5413773B2 JP5413773B2 JP2009149868A JP2009149868A JP5413773B2 JP 5413773 B2 JP5413773 B2 JP 5413773B2 JP 2009149868 A JP2009149868 A JP 2009149868A JP 2009149868 A JP2009149868 A JP 2009149868A JP 5413773 B2 JP5413773 B2 JP 5413773B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- light
- receiving element
- tactile sensor
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Force Measurement Appropriate To Specific Purposes (AREA)
Description
本発明は、柔軟触覚センサに関するものである。 The present invention relates to a flexible tactile sensor.
ロボット技術の新たなアプリケーションの場として、医療や福祉、リハビリテーションの分野での応用が注目されている。家事や介護が目的のロボットは、環境や人間に密着する機会が多いため、ロボットに柔軟な触覚機能が備わっていることが望ましい。また、ロボットが家事や介護という人と関わるタスクを行うことは、ロボットが人間の生活空間で人間と共存することを意味し、人とのコミュニケーション機能がロボットにも求められることになる。 Applications in the fields of medical care, welfare, and rehabilitation are attracting attention as a place for new applications of robot technology. Robots intended for housework and nursing care often have close contact with the environment and humans, so it is desirable that the robot has a flexible tactile function. In addition, when a robot performs a task related to a person such as housework or care, it means that the robot coexists with a person in a human living space, and a communication function with the person is also required for the robot.
本発明者等は、これまでに「柔軟肉質外装」について研究してきた（非特許文献１）。ここで「肉質」とは、柔軟で厚みのある材質に触覚を備え、人間の皮膚や肉のような役割を担うものを意味している。ロボットの表面が柔軟であれば、ある程度の接触があっても表面で衝撃を吸収し、故障するほどの衝撃に至りにくい。また、従来のロボットのように、外装が固いと人との密着状態を心理的にも物理的にも作りにくいという問題があったが、柔らかい素材で表面を覆えば、表面が接触する物体の形になじみ、密着状態を作りやすい。 The present inventors have so far studied “flexible meaty exterior” (Non-Patent Document 1). Here, “meat quality” means a material that has a tactile sensation in a flexible and thick material and plays a role like human skin or meat. If the surface of the robot is flexible, even if there is a certain amount of contact, the surface absorbs the impact and is unlikely to reach a level of failure. Also, as with conventional robots, there was a problem that it was difficult to create a close contact with humans both psychologically and physically if the exterior was hard, but if the surface was covered with a soft material, the surface touched Familiar with the shape, easy to make a close contact.
人間とロボットが、互いの状態を認識し、コミュニケーションを行うためには、ロボット自身の状態を人間に表示し、ロボットが人間の状態を認識している必要がある。人間とロボットが「感覚を共有する」という要素によって共存しやすくなるためには、ロボットが、人間の感覚を使って得られる情報を同じような情報を取得できることが望ましい。人間の皮膚・肉は３次元的な変形を認識しており、ロボットにも同様の触覚センシング能力を付与することが望ましい。 In order for humans and robots to recognize each other's state and communicate, it is necessary for the robot's own state to be displayed to the human being and for the robot to recognize the human state. In order for humans and robots to easily coexist by the element of “sharing sensations”, it is desirable that robots can acquire information similar to information obtained using human sensations. Human skin and flesh recognize three-dimensional deformation, and it is desirable to give the robot the same tactile sensing capability.
非特許文献１では、静電容量型３軸力覚センサをウレタンに埋め込む手法を提案している。しかしながら、上記力覚センサは、回路によって発生する熱の影響を受けやすく、また、センサ自体が硬いので柔軟肉質外装に埋め込んだ場合に、外装の表面を撫で付けた時や密着状態の時に違和感を生じやすく、また、強く押すとセンサ自体が故障してしまうおそれがある等の課題があった。 Non-Patent Document 1 proposes a method of embedding a capacitance type triaxial force sensor in urethane. However, the force sensor is easily affected by the heat generated by the circuit, and when the sensor itself is hard, when it is embedded in a flexible fleshy exterior, it feels uncomfortable when the exterior surface is boiled or in close contact. There is a problem that the sensor itself is liable to occur and the sensor itself may break down when pressed strongly.
センサ本体が柔軟な材料から形成されている圧力センサが特許文献１乃至３に開示されている。特許文献１に示される圧力検知方式は、光を散乱／反射する光散乱用弾性素材に対し、発光素子により光をあて、その散乱／反射した光の光量を、受光素子により計測する方式である。これは、光を散乱／反射する光散乱用弾性素材に圧力を与えると、変形により散乱／反射の量が変化するため、圧力量を計測できると言う原理に基づく。同様の原理に基づく触覚センサが特許文献２にも記載されている。 Patent Documents 1 to 3 disclose pressure sensors in which a sensor body is formed of a flexible material. The pressure detection method disclosed in Patent Document 1 is a method in which light is applied to a light scattering elastic material that scatters / reflects light, and the amount of the scattered / reflected light is measured by a light receiving element. . This is based on the principle that when a pressure is applied to a light scattering elastic material that scatters / reflects light, the amount of scattering / reflection changes due to deformation, so that the amount of pressure can be measured. A tactile sensor based on the same principle is also described in Patent Document 2.
特許文献１、特許文献２では、発光用光ファイバにより光を供給し、受光用光ファイバにより散乱光を取り出しているのに対して、特許文献３には、柔軟な圧力センサとして、ウレタンに発光素子、受光素子を埋め込むことで、ウレタンの変形に伴う光量の変化から接触圧を検出する技術が記載されている。より具体的には、圧力センサは、反射型フォトインタラプタを備えた配線基板の上面に、発泡ウレタンを載せた構造を備え、反射型フォトインタラプタは、ＬＥＤなどによる発光部、フォトトランジスタ等の受光部からなり、発光部の光が発泡ウレタンに散乱/反射され、受光部にてその反射光の強度を測定する。圧力を受けると発泡ウレタンの変形や密度の変化などにより、受光部の光量が変化し、圧力量を検知できる。反射型フォトインタラプタのＬＥＤ部分から発泡ウレタン内に放射された光は、発泡ウレタン内部で拡散する。このとき発泡ウレタンに荷重がかかると、発泡ウレタンの特性から光拡散領域が変化するので、反射型フォトインタラプタの受光部へ届く光量が変化する。発泡ウレタンの特性とは、発泡ウレタン表面にかかった荷重によって、発泡ウレタン内の光拡散領域が縮小するという性質である。つまり、受光量を計測することで、発泡ウレタン表面にかかる荷重を求めることができる。 In Patent Document 1 and Patent Document 2, light is supplied by a light-emitting optical fiber and scattered light is extracted by a light-receiving optical fiber, whereas in Patent Document 3, light is emitted to urethane as a flexible pressure sensor. A technique is described in which a contact pressure is detected from a change in the amount of light accompanying deformation of urethane by embedding an element and a light receiving element. More specifically, the pressure sensor has a structure in which urethane foam is placed on the upper surface of a wiring board provided with a reflective photointerrupter. The reflective photointerrupter includes a light emitting unit such as an LED and a light receiving unit such as a phototransistor. The light from the light emitting part is scattered / reflected by the urethane foam, and the intensity of the reflected light is measured at the light receiving part. When pressure is applied, the amount of light at the light receiving portion changes due to deformation of the urethane foam or changes in density, and the amount of pressure can be detected. Light emitted from the LED portion of the reflective photointerrupter into the foamed urethane diffuses inside the foamed urethane. At this time, if a load is applied to the urethane foam, the light diffusion region changes due to the characteristics of the urethane foam, so that the amount of light reaching the light receiving portion of the reflective photointerrupter changes. The characteristic of urethane foam is the property that the light diffusion region in the urethane foam is reduced by the load applied to the surface of the urethane foam. That is, the load applied to the foamed urethane surface can be obtained by measuring the amount of received light.
しかしながら、特許文献１乃至３に開示された触覚センサは、押し方向の一次元の変位を認識するものであり、これらの触覚センサをロボットに装着したとしても、ロボットに多軸変形感覚を付与することはできない。 However, the tactile sensors disclosed in Patent Documents 1 to 3 recognize a one-dimensional displacement in the pushing direction, and even if these tactile sensors are attached to the robot, they give a multi-axis deformation sensation to the robot. It is not possible.
本発明は、センサ自体が多軸の柔軟変形が可能で、かつ、その変形を検知できる触覚センサを提供することを目的とするものである。 An object of the present invention is to provide a tactile sensor capable of detecting multi-axis flexible deformation and capable of detecting the deformation.
本発明が採用した技術手段は、
光透過性弾性部材からなるセンサ本体と、
前記センサ本体内に光を照射する発光部と、
前記センサ本体内で散乱した光を受光する受光部と、
を備え、
前記受光部は、複数の受光素子からなり、各受光素子は互いに異なる配向を有すると共に前記センサ本体の弾性変形に応じて変位するように当該センサ本体に設けてあり、
前記センサ本体の弾性変形に応じて変位する各受光素子で取得される光量の変化から当該センサ本体の立体的変形を検知する、
柔軟触覚センサ、である。
１つの態様では、前記受光部は前記発光部から離間させて前記センサ本体に設けてある。受光素子と発光素子を離間させることで、少なくとも、発光素子数＜受光素子数とすることができ、発光素子の数を抑制して消費電力を抑えることができる。
１つの態様では、前記各受光素子は前記発光部に対して互いに異なる配向を有している。
The technical means adopted by the present invention are:
A sensor body made of a light-transmitting elastic member;
A light emitting unit that emits light into the sensor body;
A light receiving unit for receiving light scattered in the sensor body;
With
The light receiving portion is composed of a plurality of light receiving elements, and each light receiving element has a different orientation and is provided in the sensor body so as to be displaced according to elastic deformation of the sensor body,
Detecting the three-dimensional deformation of the sensor body from the change in the amount of light acquired by each light receiving element displaced according to the elastic deformation of the sensor body;
A flexible tactile sensor.
In one aspect, the light receiving part is provided in the sensor body so as to be separated from the light emitting part. By separating the light receiving elements and the light emitting elements, at least the number of light emitting elements <the number of light receiving elements can be set, and the number of light emitting elements can be suppressed to reduce power consumption.
In one aspect, each said light receiving element has a mutually different orientation with respect to the said light emission part.
センサ本体を形成する光透過性弾性部材は、１つの態様では、発泡ウレタンである。発泡ウレタンは、光散乱用弾性素材であり、透過や反射によって光を散乱させる弾性材である。
センサ本体を形成する光透過性弾性部材は、発泡ウレタンに限定されるものではなく、シリコーンゴム、シリコーンゴムスポンジ、シリコーンゲル、フォームラテックス、その他の発泡性の柔軟材料が用いられ得る。
In one embodiment, the light transmissive elastic member forming the sensor body is urethane foam. Urethane foam is an elastic material for light scattering, and is an elastic material that scatters light by transmission and reflection.
The light-transmitting elastic member that forms the sensor body is not limited to urethane foam, and silicone rubber, silicone rubber sponge, silicone gel, foam latex, and other foamable flexible materials can be used.
センサ本体の変形を良好に検出するためには受光素子の数は３つ以上ないし４つ以上であることが望ましく、後述する実施形態では、受光部は５つの受光素子から構成されている。また、受光部を構成する受光素子の数は、センサ本体及び受光素子の寸法や受光部の形状等によっても影響を受け得ることが当業者に理解される。例えば、より小型の受光素子を用いたり、あるいは、各受光素子を離間させて配置することでより多数（例えば、６つ以上）の受光素子を設けることも可能である。
受光素子は、典型的には、フォトダイオードないしフォトトランジスタである。また、小型のRGBカラーセンサを受光素子に用いて、可視光LEDを発光素子としてもよい。
In order to detect the deformation of the sensor body satisfactorily, it is desirable that the number of light receiving elements is three or more and four or more. In the embodiment described later, the light receiving unit is composed of five light receiving elements. Further, it will be understood by those skilled in the art that the number of light receiving elements constituting the light receiving unit can be influenced by the dimensions of the sensor body and the light receiving element, the shape of the light receiving unit, and the like. For example, it is possible to provide a larger number (for example, six or more) of light receiving elements by using smaller light receiving elements or by arranging the light receiving elements apart from each other.
The light receiving element is typically a photodiode or a phototransistor. Alternatively, a small RGB color sensor may be used as a light receiving element, and a visible light LED may be used as a light emitting element.
１つの態様では、各受光素子の受光面は、互いに異なる法線方向を備えている。１つの態様では、各受光素子の受光面の法線方向は、発光部の光軸方向に対して異なる角度で延出する。
１つの態様では、前記受光部は、センサ本体に外力が作用しない状態で、受光面の法線方向が発光部の光軸の方向と一致する少なくとも１つの受光素子と、受光面の法線が発光部の光軸に対して傾きを持つ１つまたは複数の受光素子と、を備えている。
In one aspect, the light receiving surface of each light receiving element has different normal directions. In one aspect, the normal direction of the light receiving surface of each light receiving element extends at a different angle with respect to the optical axis direction of the light emitting unit.
In one aspect, the light-receiving unit has at least one light-receiving element in which the normal direction of the light-receiving surface coincides with the direction of the optical axis of the light-emitting unit in a state where no external force acts on the sensor body, and the normal line of the light-receiving surface. And one or more light receiving elements having an inclination with respect to the optical axis of the light emitting unit.
１つの態様では、前記受光部は、センサ本体に外力が作用しない状態で、受光面の法線方向が発光部の光軸の方向と一致する第１受光素子と、受光面の法線が発光部の光軸に対して互いに異なる傾きを持つ第２受光素子、第３受光素子、第４受光素子、第５受光素子と、を備えている。
１つの態様では、前記第２受光素子、第３受光素子、第４受光素子、第５受光素子の各受光面の各法線は、前記第１受光素子の法線方向から見た時に、隣り合う法線が略９０度の角度で延出している。この態様では、底面の受光素子の他に、対向する受光素子対が２組あることになる。
In one aspect, the light receiving unit emits light from the first light receiving element in which the normal direction of the light receiving surface coincides with the direction of the optical axis of the light emitting unit in a state where no external force acts on the sensor body. A second light receiving element, a third light receiving element, a fourth light receiving element, and a fifth light receiving element having different inclinations with respect to the optical axis of the portion.
In one aspect, the normal lines of the light receiving surfaces of the second light receiving element, the third light receiving element, the fourth light receiving element, and the fifth light receiving element are adjacent to each other when viewed from the normal direction of the first light receiving element. The matching normal extends at an angle of approximately 90 degrees. In this aspect, in addition to the light receiving elements on the bottom surface, there are two pairs of light receiving elements facing each other.
１つの態様では、前記センサ本体は、対向する第１面と第２面を備えており、前記発光部が第１面に、前記受光部が第２面に配置されている。
この場合、センサ本体の側面は複数の垂直面から構成されてもよいし、あるいは１つの曲面から構成されてもよい。
ここで、対向するとは、必ずしも第１面と第２面とが平行状に延出すること意味するものではなく、第１面及び第２面が共に平面の場合の他に、例えば、第１面が平面で、第２面が湾曲面であり、両面が全体として対向するようなものも含む。
１つの態様では、前記受光部は前記第２面の中央に配置されている。
In one aspect, the sensor main body includes a first surface and a second surface that face each other, the light emitting unit being disposed on the first surface and the light receiving unit being disposed on the second surface.
In this case, the side surface of the sensor body may be composed of a plurality of vertical surfaces, or may be composed of one curved surface.
Here, the term “opposing” does not necessarily mean that the first surface and the second surface extend in parallel. In addition to the case where the first surface and the second surface are both flat, for example, the first surface The surface is a flat surface, the second surface is a curved surface, and both surfaces are opposed to each other as a whole.
In one aspect, the light receiving portion is disposed at the center of the second surface.
１つの態様では、前記センサ本体は、直方体であり、後述の実施形態ではセンサ本体は立方体である。
センサ本体の形状は、直方体に限定されるものではなく、円柱状、半球状（ドーム型）等のその他の形状であってもよい。
In one aspect, the sensor body is a rectangular parallelepiped, and in the embodiments described later, the sensor body is a cube.
The shape of the sensor body is not limited to a rectangular parallelepiped, and may be other shapes such as a columnar shape or a hemispherical shape (dome shape).
１つの態様では、前記受光部は、複数の面を備えた立体的な受光部基板を備え、前記各受光素子は、それぞれ前記受光部基板の各面に搭載されている。
典型的には、受光部基板の各面に１つの受光素子が搭載されており、面の数は受光素子の数に対応している。例えば、受光部が５つの受光素子を備える場合には、受光部基板は少なくとも５つの面を備えている。
各受光素子の受光面の法線方向は、各受光素子が搭載される受光部基板の各面の延出方向によって決定され得る。１つの態様では、受光素子の受光面の法線方向は、当該受光素子が搭載されている面の延出方向に対して鉛直する方向である。
１つの態様では、前記受光部基板は、底面と複数の側面とからなる。
１つの態様では、センサ本体に外力が作用しない状態において、前記底面は発光部の光軸に対して略９０度の角度（光軸が鉛直方向だとすると、底面は水平面となる）で延出しており、前記側面は発光部の光軸との間で９０度よりも大きく１８０度以下の角度（光軸が鉛直方向だとすると、側面は鉛直面となる）を形成するように延出している。
In one aspect, the light receiving unit includes a three-dimensional light receiving unit substrate having a plurality of surfaces, and each of the light receiving elements is mounted on each surface of the light receiving unit substrate.
Typically, one light receiving element is mounted on each surface of the light receiving unit substrate, and the number of surfaces corresponds to the number of light receiving elements. For example, when the light receiving unit includes five light receiving elements, the light receiving unit substrate includes at least five surfaces.
The normal direction of the light receiving surface of each light receiving element can be determined by the extending direction of each surface of the light receiving unit substrate on which each light receiving element is mounted. In one aspect, the normal direction of the light receiving surface of the light receiving element is a direction perpendicular to the extending direction of the surface on which the light receiving element is mounted.
In one aspect, the said light-receiving part board | substrate consists of a bottom face and several side surfaces.
In one aspect, in a state where no external force is applied to the sensor body, the bottom surface extends at an angle of approximately 90 degrees with respect to the optical axis of the light emitting unit (if the optical axis is in the vertical direction, the bottom surface is a horizontal plane). The side surface extends so as to form an angle of 90 degrees or more and 180 degrees or less with respect to the optical axis of the light emitting unit (when the optical axis is in the vertical direction, the side surface becomes a vertical surface).
１つの態様では、前記発光部及び前記受光部はフレキシブル基板に搭載されており、前記受光部基板は前記フレキシブル基板の部分である。
１つの態様では、前記フレキシブル基板は、センサ本体の外面に沿って設けてある。後述する実施形態では、フレキシブル基板は、センサ本体の外面に沿って埋設されている。
１つの態様では、前記フレキシブル基板は、発光部が搭載された第１領域と、受光部が搭載された第２領域（受光部基板）と、第１領域と第２領域を接続する細幅領域とからなる。
１つの態様では、前記第１領域には、マイクロプロセッサが搭載されている。
１つの態様では、前記第１領域には、１つまたは複数の端子が設けてある。
In one aspect, the light emitting unit and the light receiving unit are mounted on a flexible substrate, and the light receiving unit substrate is a portion of the flexible substrate.
In one aspect, the flexible substrate is provided along the outer surface of the sensor body. In an embodiment described later, the flexible substrate is embedded along the outer surface of the sensor body.
In one aspect, the flexible substrate includes a first region in which a light emitting unit is mounted, a second region in which a light receiving unit is mounted (light receiving unit substrate), and a narrow region that connects the first region and the second region. It consists of.
In one aspect, a microprocessor is mounted in the first area.
In one aspect, one or more terminals are provided in the first region.
１つの態様では、前記発光部は、複数の発光素子からなる。
１つの態様では、前記複数の発光素子の光軸は互いに平行している。
後述する実施形態では、センサ本体の第１面に沿って３つのLEDが対角線上に配置されている。３つのLEDの光軸はいずれも鉛直方向に延出している。
発光部が複数の発光素子を備える場合に、必ずしも全ての発光素子の光軸が同じ方向に延出している必要はない。光軸方向が部分的にあるいは全体として異なってもよい。
発光素子は典型的には赤外線LEDであるが、他のLEDでもよい。
１つの態様では、全ての発光素子は同じピーク波長を備えており、全ての受光素子の受光感度は当該ピーク波長に対応している。
In one aspect, the said light emission part consists of a some light emitting element.
In one aspect, the optical axes of the plurality of light emitting elements are parallel to each other.
In the embodiment described later, three LEDs are arranged diagonally along the first surface of the sensor body. The optical axes of the three LEDs all extend in the vertical direction.
When the light emitting unit includes a plurality of light emitting elements, it is not always necessary that the optical axes of all the light emitting elements extend in the same direction. The optical axis direction may be partially or entirely different.
The light emitting element is typically an infrared LED, but may be another LED.
In one aspect, all the light emitting elements have the same peak wavelength, and the light receiving sensitivity of all the light receiving elements corresponds to the peak wavelength.
１つの態様では、各発光素子と各受光素子とが組を構成しており、各発光素子は組毎に異なるピーク波長を備えており、各受光素子の受光感度のピーク波長は同じ組の発光素子のピーク波長に対応している。すなわち、同じ組の発光素子のピーク波長と受光素子の受光感度のピーク波長とを一致させる。典型的には発光素子と受光素子が同数であり、各発光素子と各受光素子とがペア（１対１）を構成する。各組は発光素子と受光素子のペア（１対１）に限定されるものではなく、発光素子：受光素子が、Ｎ（≧２）：１、１：Ｎ（≧２）、Ｍ（≧２）：Ｎ（≧２）でもよい。 In one aspect, each light emitting element and each light receiving element constitute a set, each light emitting element has a different peak wavelength for each set, and the peak wavelength of the light receiving sensitivity of each light receiving element is the same set of light emission. It corresponds to the peak wavelength of the element. That is, the peak wavelength of the same set of light emitting elements is matched with the peak wavelength of the light receiving sensitivity of the light receiving elements. Typically, there are the same number of light emitting elements and light receiving elements, and each light emitting element and each light receiving element constitute a pair (one to one). Each set is not limited to a pair of light emitting elements and light receiving elements (one to one), and light emitting elements: light receiving elements are N (≧ 2): 1, 1: N (≧ 2), M (≧ 2). ): N (≧ 2) may be used.
１つの態様では、前記発光部及び前記受光部は、複数の反射型フォトインタラプタから構成されており、前記フォトインタラプタは、各受光素子が互いに異なる配向を有すると共に前記センサ本体の弾性変形に応じて変位するように当該センサ本体に設けてある。
１つの態様では、前記複数のフォトインタラプタの各フォトインタラプタ（発光素子＋受光素子）は、複数の面を備えた立体的な基板の各面に搭載されている。
典型的には、基板の各面に１つのフォトインタラプタが搭載されており、面の数は受光素子の数に対応している。例えば、５つのフォトインタラプタが５つの面を備えた基板に搭載されている。
各フォトインタラプタの受光素子の受光面の法線方向は、各受光素子が搭載される受光部基板の各面の延出方向によって決定され得る。１つの態様では、受光素子の受光面の法線方向は、当該受光素子が搭載されている面の延出方向に対して鉛直する方向である。
１つの態様では、前記基板は、底面と複数の側面とからなる。
１つの態様では、前記フォトインタラプタはフレキシブル基板に搭載されており、前記基板は前記フレキシブル基板の部分である。
１つの態様では、前記フレキシブル基板は、センサ本体の外面に沿って設けてある。
１つの態様では、前記フレキシブル基板は、マイクロプロセッサ、１つまたは複数の端子が搭載された第１領域と、複数のフォトインタラプタが搭載された第２領域と、第１領域と第２領域を接続する細幅領域とからなる。
In one aspect, the light emitting unit and the light receiving unit are configured by a plurality of reflective photointerrupters, and the photointerrupters have different orientations of the respective light receiving elements and respond to elastic deformation of the sensor body. The sensor body is provided so as to be displaced.
In one aspect, each photo interrupter (light emitting element + light receiving element) of the plurality of photo interrupters is mounted on each surface of a three-dimensional substrate having a plurality of surfaces.
Typically, one photo interrupter is mounted on each surface of the substrate, and the number of surfaces corresponds to the number of light receiving elements. For example, five photo interrupters are mounted on a substrate having five surfaces.
The normal direction of the light receiving surface of the light receiving element of each photo interrupter can be determined by the extending direction of each surface of the light receiving unit substrate on which each light receiving element is mounted. In one aspect, the normal direction of the light receiving surface of the light receiving element is a direction perpendicular to the extending direction of the surface on which the light receiving element is mounted.
In one aspect, the substrate includes a bottom surface and a plurality of side surfaces.
In one aspect, the photo interrupter is mounted on a flexible substrate, and the substrate is a portion of the flexible substrate.
In one aspect, the flexible substrate is provided along the outer surface of the sensor body.
In one aspect, the flexible substrate connects a microprocessor, a first region in which one or more terminals are mounted, a second region in which a plurality of photo interrupters are mounted, and the first region and the second region. And a narrow area.
本発明が採用した他の技術手段は、
光透過性弾性部材からなるセンサ本体と、
前記センサ本体内に光を照射する発光部と、
前記センサ本体内で散乱した光を受光する受光部と、
を備え、
前記発光部は、複数の発光素子からなり、
前記受光部は、複数の受光素子からなり、
各発光素子と各受光素子とが組を構成しており、各発光素子は組毎に異なるピーク波長を備えており、各受光素子の受光感度のピーク波長は同じ組の発光素子のピーク波長に対応しており、
前記センサ本体の弾性変形に応じて各受光素子で取得される光量の変化から当該センサ本体の立体的変形を検知する、
柔軟触覚センサ、である。
センサ本体の弾性変形に応じて受光素子が変位したり、あるいは、センサ本体の弾性変形に応じて発光素子が変位することで当該発光素子に対する受光素子の相対的位置が変位したりすることで、各受光素子で取得される光量が変化する。
典型的には発光素子と受光素子が同数であり、各発光素子と各受光素子とがペア（１対１）を構成する。各組は発光素子と受光素子のペア（１対１）に限定されるものではなく、発光素子：受光素子が、Ｎ（≧２）：１、１：Ｎ（≧２）、Ｍ（≧２）：Ｎ（≧２）でもよい。
１つの態様では、各組がセンサ本体の特定の変形方向に関連付けられるように当該センサ本体に設けてある。例えば、複数の組（発光素子と受光素子）を、各組が互いに離隔するようにセンサ本体に設けることで、各組の受光素子が受光した光量の変化に基づいて、センサ本体の変形の３次元方向を推定することができる。
１つの態様では、前記複数の発光素子及び前記複数の受光素子は、センサ本体に間隔を設けて平行状に配置した発光素子マトリックスと受光素子マトリックスであり、対向する発光素子と受光素子が組（ペア）を構成している。このような発光素子マトリックスと受光素子マトリックスをセンサ本体全体に亘って設けることで、センサ本体に作用した力の圧力分布情報を得ることができる。得られた圧力分布情報から３次元方向の変位を計算することができる。
Other technical means adopted by the present invention are:
A sensor body made of a light-transmitting elastic member;
A light emitting unit that emits light into the sensor body;
A light receiving unit for receiving light scattered in the sensor body;
With
The light emitting unit is composed of a plurality of light emitting elements,
The light receiving unit is composed of a plurality of light receiving elements,
Each light emitting element and each light receiving element constitute a set, each light emitting element has a different peak wavelength for each set, and the peak wavelength of the light receiving sensitivity of each light receiving element is equal to the peak wavelength of the same set of light emitting elements. It corresponds,
Detecting the three-dimensional deformation of the sensor body from the change in the amount of light acquired by each light receiving element according to the elastic deformation of the sensor body;
A flexible tactile sensor.
The light receiving element is displaced according to the elastic deformation of the sensor body, or the light emitting element is displaced according to the elastic deformation of the sensor body, so that the relative position of the light receiving element with respect to the light emitting element is displaced, The amount of light acquired by each light receiving element changes.
Typically, there are the same number of light emitting elements and light receiving elements, and each light emitting element and each light receiving element constitute a pair (one to one). Each set is not limited to a pair of light emitting elements and light receiving elements (one to one), and light emitting elements: light receiving elements are N (≧ 2): 1, 1: N (≧ 2), M (≧ 2). ): N (≧ 2) may be used.
In one aspect, each set is provided in the sensor body so as to be associated with a specific deformation direction of the sensor body. For example, by providing a plurality of sets (light emitting elements and light receiving elements) in the sensor body so that the sets are spaced apart from each other, the deformation of the sensor body 3 based on the change in the amount of light received by each light receiving element. The dimension direction can be estimated.
In one aspect, the plurality of light emitting elements and the plurality of light receiving elements are a light emitting element matrix and a light receiving element matrix arranged in parallel with a space in the sensor body, and a pair of light emitting elements and light receiving elements facing each other ( Pair). By providing such a light emitting element matrix and a light receiving element matrix over the entire sensor body, it is possible to obtain pressure distribution information of a force acting on the sensor body. The displacement in the three-dimensional direction can be calculated from the obtained pressure distribution information.
１つの態様では、上記記載の触覚センサを１つまたは複数埋設してなる柔軟触覚センサシートが提供される。
１つの態様では、このような柔軟触覚センサシートはロボット用柔軟外装として用いられる。
１つの態様では、柔軟触覚センサシートは、接触面となる表面と、裏面と、を備え、前記触覚センサは裏面に形成された凹部に嵌め込まれている。
１つの態様では、柔軟触覚センサシートのシート本体は発泡ウレタンから形成されている。
In one aspect, a flexible tactile sensor sheet is provided in which one or more tactile sensors described above are embedded.
In one aspect, such a flexible tactile sensor sheet is used as a flexible exterior for a robot.
In one aspect, the flexible tactile sensor sheet includes a front surface as a contact surface and a back surface, and the tactile sensor is fitted in a recess formed on the back surface.
In one aspect, the sheet body of the flexible tactile sensor sheet is made of urethane foam.
本発明に係る柔軟触覚センサは、センサ自体が多軸の柔軟変形が可能で、かつ、その多軸の変形を認識することができる。
本発明に係る柔軟触覚センサは、自身の３次元の変形を検知可能であると共に、センサ自体も柔軟外装と一緒に柔らかく変形することが可能であるので、このような３次元変形感覚を備えた柔軟触覚センサを、柔軟シートに埋め込むことで、柔軟シートの立体的な変形を感知することができる触覚機能を備えた柔軟触覚センサシートを提供することができる。
本発明に係る柔軟触覚センサは、柔軟であるので柔軟シートに埋め込んだ時に自然な手触りを提供すると共に、衝撃に強く、壊れにくい。
互いに間隔を設けて柔軟シートに埋設した複数の柔軟触覚センサには補間性があるので、センサ間に不感帯を作りにくい構造の柔軟触覚センサシートを提供することができる。
このような柔軟触覚センサシートは、好適には、ロボット用の柔軟外装として用いることができる。３次元変形検出可能な柔軟肉質外装をロボットの表面に装着することで、なで・つねりといった表面の変形を感じ、人間のような皮膚感覚を持った動作生成が可能となる。日常生活支援を目的としたロボットが柔軟で触覚のある外装を持ち環境や人に密着した仕事を行う可能性のある場面は多いと考えられ、人とロボットの関係性が距離的にも感覚的にも近くなるのに役立つ。
本発明に係る柔軟触覚センサは、発光部と受光部を用いるものであり、静電容量型３軸力覚センサ等の従来の力覚センサに比べて、熱の影響を受けにくい。
The flexible tactile sensor according to the present invention is capable of multi-axis flexible deformation and can recognize the multi-axis deformation.
Since the flexible tactile sensor according to the present invention can detect its own three-dimensional deformation, and the sensor itself can be softly deformed together with the flexible exterior, it has such a three-dimensional deformation feeling. By embedding the flexible tactile sensor in the flexible sheet, a flexible tactile sensor sheet having a tactile function capable of sensing three-dimensional deformation of the flexible sheet can be provided.
Since the flexible tactile sensor according to the present invention is flexible, it provides a natural touch when embedded in a flexible sheet, is resistant to impacts, and is not easily broken.
Since the plurality of flexible tactile sensors embedded in the flexible sheet at intervals are interpolated, it is possible to provide a flexible tactile sensor sheet having a structure in which it is difficult to form a dead zone between the sensors.
Such a flexible tactile sensor sheet can be preferably used as a flexible exterior for a robot. By attaching a flexible fleshy exterior capable of detecting three-dimensional deformation to the surface of the robot, it is possible to feel the deformation of the surface such as stroking and twisting, and to generate a motion with a human skin sensation. It is thought that there are many scenes where robots intended for daily life support have a flexible and tactile exterior and may perform work closely related to the environment and people, and the relationship between humans and robots is also sensuous in distance Also helpful to be close.
The flexible tactile sensor according to the present invention uses a light emitting unit and a light receiving unit, and is less susceptible to heat than a conventional force sensor such as a capacitive three-axis force sensor.
[Ａ]埋込型柔軟触覚センサ
本発明の１つの実施形態は、多軸変形感覚のための埋込型柔軟触覚センサに係り、柔軟触覚センサを埋め込んだ柔軟肉質外装をロボットに装着することで、ロボットに人間の皮膚・肉のような３次元変形感覚、すなわち深部多軸変形感覚、を付与するものである。ここで「深部」とは、柔軟肉質外装の表面上や表面に接する面にセンサを取り付けるのではなく、埋め込むことによって肉質の内部に変形感覚を設けるという意味である。以下に、柔軟で３次元変形検出可能な触覚センサを提案し、柔軟肉質外装に埋め込んで変形検出の検証を行う。
[A] Implantable flexible tactile sensor One embodiment of the present invention relates to an implantable flexible tactile sensor for multi-axial deformation sensation, and by attaching a flexible fleshy exterior embedded with a flexible tactile sensor to a robot. The robot is given a three-dimensional deformation sensation like human skin / meat, that is, a deep multi-axis deformation sensation. Here, “deep part” means that a sensor is not attached to the surface of the flexible fleshy exterior or the surface in contact with the surface, but a sense of deformation is provided inside the flesh by embedding. Below, we propose a tactile sensor that is flexible and capable of detecting three-dimensional deformation, and is embedded in a flexible fleshy exterior to verify deformation detection.
[Ａ−１]柔軟触覚センサの基本構成
図１、図２に示すように、１つの実施形態では、柔軟触覚センサは、発泡ウレタンから形成されたセンサ本体に発光部、受光部を埋設することでキューブ型に形成されている。１つの態様では、発光部は１つあるいは複数の発光素子から構成され、受光部は複数の受光素子から構成される。１つの態様では、発光素子はLEDであり、受光素子はフォトダイオードである。
[A-1] Basic Configuration of Flexible Tactile Sensor As shown in FIGS. 1 and 2, in one embodiment, the flexible tactile sensor has a light emitting unit and a light receiving unit embedded in a sensor body formed of foamed urethane. It is formed into a cube shape. In one aspect, the light emitting part is composed of one or a plurality of light emitting elements, and the light receiving part is composed of a plurality of light receiving elements. In one aspect, the light emitting element is an LED and the light receiving element is a photodiode.
センサ本体は、上面と、下面と、４つの側面から略立方体状の形状を備えており、下面に位置して３つのLEDからなる発光部が設けられ、上面に位置して、受光部が設けてある。受光部は、５つの受光素子を側面と底面の５面に配置してなるボックス（受光ボックスと呼ぶ）である。各受光素子は発光部に対して互いに異なる配向を有している。 The sensor body has a substantially cubic shape from the top, bottom, and four side surfaces, and is provided with a light-emitting part consisting of three LEDs located on the bottom, and a light-receiving part located on the top. It is. The light receiving unit is a box (referred to as a light receiving box) in which five light receiving elements are arranged on the side surface and the bottom surface. Each light receiving element has a different orientation with respect to the light emitting portion.
図３に柔軟触覚センサの変形の様子を示す。受光ボックスの各面からの矢印は各受光素子の受光面の法線方向を示している。各受光素子の受光面の法線方向は互いに異なっている。センサ本体に外力が作用することで、発泡ウレタンからなるセンサ本体が弾性変形し、各受光素子と発光部との相対的位置関係が変化する。すなわち、センサ本体の変形に伴って各受光素子が発光部に対して変位する。具体的には、各受光素子と発光部との間の距離が変化し、および/あるいは、各受光素子の受光面の法線方向が発光部に対して変化する。センサ本体の弾性変形に伴う各受光素子の変位に応じた受光素子の出力電圧の変化を読み取り、センサ本体の変形を検出する。 FIG. 3 shows how the flexible tactile sensor is deformed. The arrows from each surface of the light receiving box indicate the normal direction of the light receiving surface of each light receiving element. The normal direction of the light receiving surface of each light receiving element is different from each other. When an external force acts on the sensor main body, the sensor main body made of urethane foam is elastically deformed, and the relative positional relationship between each light receiving element and the light emitting portion changes. That is, each light receiving element is displaced with respect to the light emitting portion in accordance with the deformation of the sensor body. Specifically, the distance between each light receiving element and the light emitting part changes, and / or the normal direction of the light receiving surface of each light receiving element changes with respect to the light emitting part. The change of the output voltage of the light receiving element according to the displacement of each light receiving element accompanying the elastic deformation of the sensor body is read, and the deformation of the sensor body is detected.
センサ本体の弾性変形時に受光素子による光受容強度（出力電圧）が変化する要因としては、（１）受光面と発光部の光源との物理的距離が縮まることによって、受光面で受け取る光量が変化する、（２）ウレタンの圧縮により光拡散領域が縮小して散乱光の輝度が上昇する、（３）受光素子の変位によって、発光部に対する受光面の法線方向が変化して受光面で受け取る光量が変化する、が考えられる。実際には、センサ本体の弾性変形時にこれらの要因が組み合わさって各受光素子で取得される光量が変化するものと考えられる。センサ本体の変形の方向は各受光素子で取得される光量の変化と相関があり、各受光素子から出力される出力電圧の変化を用いることで、センサ本体の変形を検出する。 Factors that change the light receiving intensity (output voltage) of the light receiving element when the sensor body is elastically deformed are as follows: (1) The amount of light received by the light receiving surface changes as the physical distance between the light receiving surface and the light source of the light emitting unit decreases. (2) The light diffusion region is reduced by urethane compression and the brightness of the scattered light is increased. (3) The normal direction of the light receiving surface with respect to the light emitting portion is changed by the displacement of the light receiving element and is received by the light receiving surface. The amount of light may change. Actually, it is considered that the amount of light acquired by each light receiving element changes due to a combination of these factors when the sensor body is elastically deformed. The direction of deformation of the sensor body correlates with the change in the amount of light acquired by each light receiving element, and the deformation of the sensor body is detected by using the change in the output voltage output from each light receiving element.
[Ａ−２]センサ本体
図１、図２に示す埋込型柔軟触覚センサのセンサ本体は、一辺が20mmの立方体に設計されている。柔軟触覚センサの外形を立方体とすることで、柔軟外装に柔軟触覚センサを埋め込む際、センサが回転方向にずれることがない。立方体形状は、好ましい形態の１つに過ぎないものであり、立方体以外の直方体、円柱状、半球状（ドーム型）等の他の形状からセンサ本体を形成してもよい。柔軟触覚センサの外形寸法についても、一辺の長さ20mmは１つの例示に過ぎない。より小さいフォトトランジスタを選択することで受光ボックスの寸法を小さくして、柔軟触覚センサの外形をより小さく設計してもよい。
[A-2] Sensor body The sensor body of the embedded flexible tactile sensor shown in FIGS. 1 and 2 is designed to be a cube having a side of 20 mm. By making the outer shape of the flexible tactile sensor a cube, the sensor does not shift in the rotational direction when the flexible tactile sensor is embedded in the flexible exterior. The cube shape is only one of the preferred forms, and the sensor main body may be formed from other shapes such as a rectangular parallelepiped, a columnar shape, a hemispherical shape (dome shape) other than the cube. Regarding the outer dimensions of the flexible tactile sensor, the length of one side of 20 mm is merely an example. The size of the light receiving box may be reduced by selecting a smaller phototransistor, and the outer shape of the flexible tactile sensor may be designed to be smaller.
センサ本体は発泡ウレタンから形成されている。発泡ウレタンは弾性変形可能であると共に、光透過性・光散乱性の性質を備えている。ウレタンの発泡密度によって、赤外線LEDから発光される光の拡散度が変化する。一定の発泡が保証されていて、硬さを調整できる軟質ポリウレタンフォームを選定した。 The sensor body is made of urethane foam. The urethane foam is elastically deformable and has light transmitting and light scattering properties. Depending on the foam density of urethane, the degree of diffusion of light emitted from the infrared LED changes. A flexible polyurethane foam that can guarantee the constant foaming and can adjust the hardness was selected.
[Ａ−３]発光部
発光部の発光素子には、低背で高効率の波長880nmの赤外線LEDを用いた。図５左図に示すように、センサ本体の底面に位置して３個の赤外線LEDを互いに間隔を設けて斜め一列に配置した。赤外線LEDが受光ボックスの側面４個の受光素子に対して、４個とも同じ位置関係であるように底面の対角線上に斜め一列に配置した。すなわち、柔軟センサを４つの各側面を正面として見た時に、いずれの側面から見ても図８に示す位置関係となる。図８に示すように、各LEDの光軸は同じ方向（図示の態様では鉛直方向に）に延出している。赤外線LEDには指向半値角が160degのLEDを選定した。80〜100％の感度を保っている0〜50degの範囲内に受光ボックスが位置するよう配置した。
[A-3] Light-emitting part As the light-emitting element of the light-emitting part, a low-profile and high-efficiency infrared LED having a wavelength of 880 nm was used. As shown in the left diagram of FIG. 5, the three infrared LEDs located on the bottom surface of the sensor main body are arranged in a diagonal line at intervals. The infrared LEDs are arranged in a diagonal line on the diagonal line on the bottom so that the four light receiving elements on the side surface of the light receiving box have the same positional relationship. That is, when the flexible sensor is viewed from each of the four side surfaces, the positional relationship shown in FIG. As shown in FIG. 8, the optical axis of each LED extends in the same direction (in the illustrated embodiment, in the vertical direction). As the infrared LED, an LED having a directional half-value angle of 160 deg was selected. It arrange | positioned so that a light reception box may be located in the range of 0-50deg which has maintained the sensitivity of 80-100%.
LEDの配置については、センサ底面の面積及びLEDの寸法も関係し得るが、例えば、図５右図に示すような1〜５個の配置を取り得る。消費電流を抑えるためにはLEDの数は４個以下が望ましい。触覚センサの全身への分布を考えた場合には、約２００個以上の触覚センサを用いることになり、省電流が必要となる。LEDの数が３個ないし４個の場合に受光ボックスの底面と側面のフォトトランジスタの受光のバランスがとれ、変形に応じた信号変化が良好に測定できた。よって、柔軟触覚センサのプロトタイプにおいては、全体の消費電力を抑えるためにセンサ１つあたりの赤外線LEDの数を抑え、反応が良好であった３つ斜め一列の配置に決定した。 Regarding the arrangement of the LEDs, the area of the bottom surface of the sensor and the dimensions of the LEDs may also be related, but for example, 1 to 5 arrangements as shown in the right diagram of FIG. 5 can be taken. In order to reduce current consumption, the number of LEDs is preferably 4 or less. Considering the distribution of the tactile sensors throughout the body, about 200 or more tactile sensors are used, and current saving is required. When the number of LEDs was 3 or 4, the light reception of the phototransistors on the bottom and side of the light receiving box was balanced, and the signal change corresponding to the deformation could be measured well. Therefore, in the prototype of the flexible tactile sensor, the number of infrared LEDs per sensor was suppressed in order to reduce the overall power consumption, and the arrangement was determined to be three diagonal rows with good response.
[Ａ−４]受光部
受光部の受光素子として3.0×2.0×1.5mmのフォトトランジスタPS1101Wを用いた。受光部は、水平状の底面と、鉛直方向に対して傾斜状に延出する４つの傾斜側面とから逆角錐台状に形成されたベースと、ベースの各面に装着された受光素子とからなる。ベースは、底面と４つの斜面を備えた約6mm立方のナイロン粉末焼結RPで形成したボックスであり、ボックスの各面に受光素子が搭載された基板を貼り付けることで、底面と４つの側面の５面にそれぞれ受光素子を1個ずつ配置させた受光ボックスが形成される。図６の左図にフレキシブル基板の受光部分を拡大してなる展開図を、右図に受光ボックスを拡大した画像を示す。図６左図に示す受光部基板を立体的に折曲し、上記ボックスの各面に貼り付けることで、図６右図のような受光ボックスが得られる。
[A-4] Light receiving unit A phototransistor PS1101W of 3.0 × 2.0 × 1.5 mm was used as the light receiving element of the light receiving unit. The light receiving unit includes a base formed in an inverted truncated pyramid shape from a horizontal bottom surface and four inclined side surfaces extending in an inclined manner with respect to the vertical direction, and a light receiving element mounted on each surface of the base. Become. The base is a box made of approximately 6mm cubic nylon powder sintered RP with a bottom surface and four slopes. By attaching a substrate with a light receiving element on each side of the box, the bottom surface and four side surfaces A light receiving box in which one light receiving element is arranged on each of the five surfaces is formed. The left view of FIG. 6 shows a developed view in which the light receiving portion of the flexible substrate is enlarged, and the right view shows an enlarged image of the light receiving box. A light receiving box as shown in the right figure of FIG. 6 is obtained by three-dimensionally bending the light receiving part substrate shown in the left figure of FIG. 6 and pasting it on each surface of the box.
[Ａ−５]フレキシブル基板
柔軟触覚センサを構成する電子部品及び周辺回路はフレキシブル基板に搭載されている。図４左図に示すように、フレキシブル基板は、赤外線LEDが搭載された第１領域と、複数のフォトダイオードが搭載された第２領域（受光素子部分）と、第１領域と第２領域とを接続する細幅領域と、からなる。第１領域には、赤外線LEDの他にマイクロコンピュータ（C8051系）、変形方向による感度の違いを調整するための出力増幅を行うオペアンプ、マイクロコンピュータの動作電圧の調整を行なうレギュレータ、コネクタ、抵抗、コンデンサが搭載されている。触覚センサにおいて、フレキシブル基板の第１領域はセンサ本体の底面に位置しており、補強プレートにより補強されている。尚、センサ本体の底面に位置する基板をリジッドな基板から形成し、受光素子部分と細幅領域とからなるフレキシブル基板をこれに接続することで周辺回路を形成してもよい。
[A-5] Flexible substrate The electronic components and peripheral circuits constituting the flexible tactile sensor are mounted on the flexible substrate. As shown in the left diagram of FIG. 4, the flexible substrate includes a first region where infrared LEDs are mounted, a second region (light receiving element portion) where a plurality of photodiodes are mounted, a first region, and a second region. And a narrow area connecting the two. In the first area, in addition to the infrared LED, the microcomputer (C8051 system), the operational amplifier that performs output amplification to adjust the difference in sensitivity depending on the deformation direction, the regulator that adjusts the operating voltage of the microcomputer, the connector, the resistor, A capacitor is mounted. In the tactile sensor, the first region of the flexible substrate is located on the bottom surface of the sensor body and is reinforced by a reinforcing plate. The peripheral circuit may be formed by forming a substrate positioned on the bottom surface of the sensor body from a rigid substrate and connecting a flexible substrate including a light receiving element portion and a narrow width region thereto.
各フォトトランジスタで取得された電気信号はフレキシブル基板の配線を通ってマイクロコンピュータに送信される。マイクロコンピュータは、センサアナログ信号をA/D変換し、デジタル通信（I2C通信）を行う。マイクロコンピュータに他の機能（例えば、LEDの点滅制御）を付与してもよいことが当業者に理解される。 The electric signal acquired by each phototransistor is transmitted to the microcomputer through the wiring of the flexible substrate. The microcomputer A / D converts the sensor analog signal and performs digital communication (I2C communication). It will be understood by those skilled in the art that other functions (eg, LED blinking control) may be added to the microcomputer.
フレキシブル基板は、第１領域がセンサ本体の下面に位置し、第２領域がセンサ本体の上面に位置し、細幅領域がセンサ本体の側面に沿って高さ方向に延出するように折曲してセンサ本体に設けられる（図１、図７参照）。フレキシブル基板の第１領域はセンサ本体の弾性変形及び光の送受信を妨げることがなく、また、第１領域と第２領域とを連結する部分もフレキシブルであると共に細幅に形成されているので、センサ本体の弾性変形に与える影響は殆どなく、また、影響を与えたとしてもキャリブレーションで対応することができる。 The flexible substrate is bent so that the first region is located on the lower surface of the sensor body, the second region is located on the upper surface of the sensor body, and the narrow region extends in the height direction along the side surface of the sensor body. And provided in the sensor body (see FIGS. 1 and 7). The first region of the flexible substrate does not hinder the elastic deformation of the sensor body and the transmission and reception of light, and the portion connecting the first region and the second region is also flexible and formed with a narrow width. There is almost no influence on the elastic deformation of the sensor body, and even if it is affected, it can be dealt with by calibration.
センサ本体とフレキシブル基板とからなる触覚センサの成型について説明する。基板とウレタンを一体に成型するための型を作成する。フレキシブル基板において第１領域と第２領域とを繋ぐ細幅領域の両端部を折り曲げ、センサ本体の底面の３つの赤外線LEDの真ん中の垂直線上に受光ボックス底面の受光素子が位置するように固定し、ウレタンを流し込み発泡させて固める。 The molding of a tactile sensor composed of a sensor body and a flexible substrate will be described. Create a mold to integrally mold the substrate and urethane. Fold both ends of the narrow area connecting the first area and the second area on the flexible substrate, and fix it so that the light receiving element on the bottom of the light receiving box is positioned on the vertical line in the middle of the three infrared LEDs on the bottom of the sensor body. Pour urethane, foam and harden.
典型的な態様では、埋込型柔軟触覚センサは柔軟外装の面積に応じて多数分布させるものであり、ノイズが入りにくく、省配線なシステムである必要がある。そこでセンサデバイス間はSMBusで通信し、デイジーチェーン接続を行う。センサ基板にはC8051マイクロコンピュータ（Silicon Laboratories社製）を搭載し、センサ内でA/D変換を行い、データをSMBusのマスター（後述の中継基板に実装されたC8051マイコンがSMBusのマスター及びUSBのデバイスとして動作する。）に送信するようにした。ホストPCとの間は一般的なインターフェイスでドライバの扱いが容易であるUSBにより通信を行う。センサデバイスからのSMBusプロトコルの通信をUSB信号に変換して、中継する基板を開発した（図４右図）。そして、USBハブを通してホストPCとの通信を行う。この方式をとると、アナログ値を即座にデジタル値に変換するのでノイズが入りにくく、チェーン状にセンサを繋ぐことができるため省配線である。 In a typical embodiment, a large number of embedded flexible tactile sensors are distributed in accordance with the area of the flexible exterior, and it is necessary for the system to be less susceptible to noise and reduced in wiring. Therefore, the sensor devices communicate with each other via SMBus and daisy chain connection is established. The sensor board is equipped with a C8051 microcomputer (manufactured by Silicon Laboratories), performs A / D conversion in the sensor, and the data is transferred to the SMBus master (the C8051 microcomputer mounted on the relay board described later is the SMBus master and USB It works as a device.) It communicates with the host PC via USB, which is easy to handle with a general interface driver. A SMBus protocol communication from the sensor device was converted into a USB signal, and a relay board was developed (right figure in Fig. 4). And it communicates with the host PC through the USB hub. If this method is adopted, an analog value is immediately converted into a digital value, so that noise does not easily enter and the sensor can be connected in a chain shape, thus saving wiring.
[Ａ−５]発光部と受光部との位置関係
図８に発光部と受光部との位置関係を示す。発光部を構成する３つの赤外線LEDはいずれも鉛直方向の光軸を備えている。赤外線LEDの指向半値角は160degであり、80〜100％の感度を保っている0〜50degの範囲内に受光部が位置するよう配置した。受光ボックスの斜面の斜度は、フォトトランジスタの指向半値角が130degであり、80〜100％の感度を保っている0〜30deg付近で反応するよう底面の赤外線LEDとの距離を設定した。図示の態様では、受光素子、発光素子の半値角の範囲の領域で光量（電圧）の変化を検出するようにしている。
[A-5] Positional relation between light emitting part and light receiving part FIG. 8 shows a positional relation between the light emitting part and the light receiving part. All of the three infrared LEDs constituting the light emitting section have a vertical optical axis. The half-value angle of the infrared LED is 160 deg, and the light receiving portion is positioned within the range of 0 to 50 deg where the sensitivity of 80 to 100% is maintained. The inclination of the slope of the light receiving box was set to the distance from the infrared LED on the bottom so that the phototransistor had a directional half-value angle of 130 deg and reacted at around 0 to 30 deg, maintaining a sensitivity of 80 to 100%. In the illustrated embodiment, the change in the light amount (voltage) is detected in the range of the half-value angle of the light receiving element and the light emitting element.
センサ本体の変形の方向、すなわち、センサ本体に作用した力の方向、は各受光素子で取得される光量の変化と相関がある。センサ本体の上面に位置している受光ボックスと、LEDが位置するセンサ本体の下面との距離が近づくことで、受光ボックス底面のフォトダイオードの電圧値が変化し、押し方向の変形を検出する。そして、受光ボックスがウレタンの変形により回転し、受光ボックス側面のフォトダイオードがLEDの光を受光することで、側面方向への変位に関しても検出を行う。 The direction of deformation of the sensor body, that is, the direction of the force acting on the sensor body, has a correlation with the change in the amount of light acquired by each light receiving element. When the distance between the light receiving box located on the upper surface of the sensor main body and the lower surface of the sensor main body on which the LED is located approaches, the voltage value of the photodiode on the bottom surface of the light receiving box changes, and the deformation in the pushing direction is detected. Then, the light receiving box rotates due to the deformation of the urethane, and the photodiode on the side surface of the light receiving box receives the light of the LED, thereby detecting the displacement in the side surface direction.
より具体的に説明する。受光部が、底部の第１受光素子、ラベルA側の第２受光素子、ラベルB側の第３受光素子、ラベルC側の第４受光素子、ラベルD側の第５受光素子の５つの受光素子から形成されているとする（ラベルについては、図９、図１０参照。）。センサ本体の上面に下面に向かう垂直方向の力が作用した場合には、特に、第１受光素子の受光面とLEDとの物理的距離が縮まることによって、第１受光素子が受光する光量が他の４つの受光素子で受光される光量に比べて顕著に上昇する。 This will be described more specifically. The light receiving unit has five light receiving elements: a first light receiving element at the bottom, a second light receiving element on the label A side, a third light receiving element on the label B side, a fourth light receiving element on the label C side, and a fifth light receiving element on the label D side. It is assumed that it is formed from an element (see FIGS. 9 and 10 for labels). When a vertical force directed toward the lower surface acts on the upper surface of the sensor body, the amount of light received by the first light receiving element is reduced by reducing the physical distance between the light receiving surface of the first light receiving element and the LED. The amount of light received by the four light receiving elements increases significantly.
センサ本体にラベルA側を下方に向ける回転方向の力が作用した場合には、特に、第２受光素子の受光面とLEDとの物理的距離が縮まると共に、第２受光素子の受光面の法線方向が光軸に一致する方向に変位することによって、第２受光素子が受光する光量が対向する第４受光素子で受光される光量に比べて顕著に上昇する。同様に、センサ本体にラベルB側を下方に向ける回転方向の力が作用した場合には、特に、第３受光素子の受光面とLEDとの物理的距離が縮まると共に、第３受光素子の受光面の法線方向が光軸に一致する方向に変位することによって、第３受光素子が受光する光量が対向する第５受光素子で受光される光量に比べて顕著に上昇する。このように対向する受光素子で受光される光量の差分からセンサ本体に作用した力の方向を検出することができる。 When a force in the rotational direction that directs the label A side downward acts on the sensor body, in particular, the physical distance between the light receiving surface of the second light receiving element and the LED is reduced, and the method of the light receiving surface of the second light receiving element is reduced. By displacing the linear direction in a direction that coincides with the optical axis, the amount of light received by the second light receiving element is significantly increased compared to the amount of light received by the opposing fourth light receiving element. Similarly, when a rotational force is applied to the sensor main body so that the label B side is directed downward, the physical distance between the light receiving surface of the third light receiving element and the LED is reduced, and the light received by the third light receiving element is reduced. When the normal direction of the surface is displaced in a direction coinciding with the optical axis, the amount of light received by the third light receiving element is significantly increased compared to the amount of light received by the opposing fifth light receiving element. Thus, the direction of the force acting on the sensor body can be detected from the difference in the amount of light received by the opposing light receiving elements.
このように受光部の各受光素子によって取得される光量（電圧）の変化を観測することで、柔軟触覚センサにどのような力が作用したかを検出することができる。例えば、柔軟触覚センサに様々な方向の力を作用させた時の各受光素子の電圧の変化を実測することで、柔軟触覚センサの変形検出特性をデータベースとして用意することで、得られた各受光素子の電圧からセンサ本体の変形及び作用した力の方向を推定することができる。また、センサ個体間の差は、初期キャリブレーションを行うことで補正してもよい。 In this way, by observing a change in the amount of light (voltage) acquired by each light receiving element of the light receiving unit, it is possible to detect what force has acted on the flexible tactile sensor. For example, by measuring changes in the voltage of each light receiving element when forces in various directions are applied to the flexible tactile sensor, preparing the deformation detection characteristics of the flexible tactile sensor as a database, It is possible to estimate the deformation of the sensor body and the direction of the applied force from the voltage of the element. Further, the difference between the individual sensors may be corrected by performing an initial calibration.
[Ａ−６]補間性
本発明に係る力覚センサの特徴の１つとして補間性がある。開発したセンサを全身へ展開するには、数多くのセンサが必要となってくるが、大電流が必要となってくることが予想される。しかし、センサ数を少量に抑えすぎると不感帯ができてしまう。本発明の柔軟触覚センサはセンサ自体が変形して、３次元的な変形を測定するので、一定距離を設けても中間位置の外装の変形に引きずられて、周囲の変形が生じることを検知できるため、隣り合ったセンサ間に不感帯を作らないように配置することが可能であり、補間性を有している。
[A-6] Interpolability Interpolability is one of the features of the force sensor according to the present invention. To deploy the developed sensor throughout the body, a large number of sensors are required, but a large current is expected. However, if the number of sensors is suppressed to a small amount, a dead zone is generated. Since the flexible tactile sensor of the present invention deforms itself and measures a three-dimensional deformation, even if a certain distance is provided, it can be detected that the surrounding deformation is caused by being dragged by the deformation of the outer sheath at the intermediate position. Therefore, it can be arranged so as not to form a dead zone between adjacent sensors, and has an interpolation property.
［Ｂ］埋込型柔軟触覚センサの特性
［Ｂ−１］埋込型柔軟触覚センサの変形検出特性
埋込型柔軟触覚センサを変形させたときの変形検出について調べた。肉質柔軟外装に埋め込んだ柔軟触覚センサを単体で変形させる実験を行った。図９に測定の方法を示す。押し動作は、センサ上面に載置した平板を垂直に押し下げる動作であり、回転動作は、センサ上面に載置した平板を図９左図（上面図）、図１０のラベル名Ａ，Ｂ，Ｃ，Ｄの各面側を下方に回転させる動作である。
[B] Characteristics of the embedded flexible tactile sensor [B-1] Deformation detection characteristics of the embedded flexible tactile sensor The deformation detection when the embedded flexible tactile sensor was deformed was examined. An experiment was conducted to deform a flexible tactile sensor embedded in a fleshy flexible exterior. FIG. 9 shows the measurement method. The pushing operation is an operation of vertically pushing down the flat plate placed on the upper surface of the sensor, and the rotating operation is the left view of FIG. 9 (top view) of the flat plate placed on the upper surface of the sensor, and label names A, B, and C in FIG. , D to rotate each surface side downward.
センサの上面に平板を置き、0.5mm間隔で0.0から9.0mmまで垂直に押し下げ、受光ボックスの底面と側面の各受光素子で取得された電圧値の変化を調べた。図１１にグラフを示す。横軸は押し込んだ距離を、縦軸は受光ボックスの各面毎に測定した電圧値を示す。グラフ中のA、B、C、Dの記載は、図８のTop Viewの面配置に対応する受光素子を指す。垂直方向の変位の増加に従って、底部(Bottom)の受光素子による電圧が、他の側面の受光素子による電圧に比べて大きく増加していることがわかる。埋込型柔軟触覚センサが、垂直方向の変形を検出すること、再現性があることが確認され、垂直方向の押しを認識可能であることが示された。 A flat plate was placed on the top surface of the sensor and pushed vertically from 0.0 to 9.0 mm at 0.5 mm intervals, and changes in the voltage values obtained by the light receiving elements on the bottom and side surfaces of the light receiving box were examined. FIG. 11 shows a graph. The horizontal axis indicates the distance pushed in, and the vertical axis indicates the voltage value measured for each surface of the light receiving box. The descriptions of A, B, C, and D in the graph indicate the light receiving elements corresponding to the top view surface arrangement in FIG. It can be seen that as the vertical displacement increases, the voltage of the bottom light-receiving element greatly increases as compared to the voltage of the light-receiving elements on the other side surfaces. It was confirmed that the implantable flexible tactile sensor can detect deformation in the vertical direction and has reproducibility, and it has been shown that the push in the vertical direction can be recognized.
センサ上面に平板を置き、上面端に回転軸を設けて5deg間隔で0〜40degまで平板を回転させて、底面と側面の各センサの電圧値の変化を調べた。図１２乃至図１５にグラフを示す。この時、横軸は回転角度を、縦軸は受光ボックスの各面毎に測定した電圧値を示す。 A flat plate was placed on the upper surface of the sensor, a rotation axis was provided at the upper surface end, and the flat plate was rotated from 0 to 40 deg at intervals of 5 deg. The graphs are shown in FIGS. At this time, the horizontal axis represents the rotation angle, and the vertical axis represents the voltage value measured for each surface of the light receiving box.
各面側へ変形している際、同じ面側に配置した受光素子が他の面の受光素子よりも高い電圧値を検出していた。このことによって、５面への変位の計測に関して、押し込み方向の変位や各側面側への変位を受光素子の電圧値で判別することが可能であることを確認した。底面の受光素子による電圧が各側面側への変位毎に影響を受けて変化していたが、側面の受光素子による電圧の変化を比較することで、変形の方向を推定することができる。 During deformation to each surface side, the light receiving elements arranged on the same surface side detected higher voltage values than the light receiving elements on the other surfaces. As a result, it was confirmed that the displacement in the pushing direction and the displacement toward each side surface can be determined from the voltage value of the light receiving element with respect to the measurement of the displacement to the five surfaces. Although the voltage due to the light receiving element on the bottom surface is affected by the displacement to each side surface, the direction of deformation can be estimated by comparing the change in voltage due to the light receiving element on the side surface.
［Ｂ−２］フォースゲージを用いた力特性計測
フォースゲージでセンサの上面を垂直に押した際の、押し込み力と底面と側面のフォトトランジスタの電圧値の変化の関係について調べた。図１６にZ軸方向に静かに押し付けた際の電圧変化についてのグラフを示す。ウレタンの性質によると考えられるヒステリシスが若干あるものの、比較的線形に変化することが確認できる。したがって、電圧値から作用している力を推定することができる。押し込み力が1.0kgf付近でフォトトランジスタの最大電圧値を検出したため、1.0kgf以降の変化がほぼなくなっている。このような性質は軟質ポリウレタンフォームでの成型時に主剤と硬化剤の調合比を変化させることによって調整することが可能である。今回は1:0.3の割合でポリウレタンフォームを成型した。センサ単体を柔らかく変形しやすいように成型し、外装を硬めに成型することで、補間性が保たれ、変位計測の感度を上げることができると考える。
[B-2] Force Characteristic Measurement Using Force Gauge The relationship between the pushing force and the change in the voltage value of the phototransistors on the bottom and side surfaces when the upper surface of the sensor was pushed vertically with a force gauge was examined. FIG. 16 shows a graph of voltage change when pressed gently in the Z-axis direction. Although there is some hysteresis that is considered to be due to the properties of urethane, it can be confirmed that it changes relatively linearly. Therefore, the force acting from the voltage value can be estimated. Since the maximum voltage value of the phototransistor was detected when the pushing force was around 1.0 kgf, the change after 1.0 kgf was almost eliminated. Such properties can be adjusted by changing the mixing ratio of the main agent and the curing agent during molding with a flexible polyurethane foam. This time, polyurethane foam was molded at a ratio of 1: 0.3. By forming the sensor itself so that it is soft and easy to deform, and molding the exterior harder, it is possible to maintain interpolation and increase the sensitivity of displacement measurement.
［Ｂ−３］機械的強度計測実験
外装のウレタンの硬度を上げて、機械的強度の見積もりを得るための実験を行った。図２１にある柔軟肉質外装プロトタイプと同じ形状で主剤と硬化剤の比が1:0.5の柔軟肉質外装の中央に触覚センサを埋め込み、外装の上に錘を置くことで面圧を加え、センサが壊れるまで錘を加えていった。60kg付近で圧力を加えても壊れなかったが、65kg付近で故障した。20kg付近でフォトトランジスタの最大電圧に達し、以降力を加え続けていた間は垂直方向のセンシングは成されていなかったが、おもりを取り除いた後、センサとしての機能を失っていなかった。最近の等身大ヒューマノイドロボットの体重が30-60kg程度であることを考えると、ウレタン硬度を上げることで、センサ内部のフォトトランジスタと赤外線LEDが衝突しないようにすれば等身大のロボットの臀部や足裏といった、大きな力がかかる部分への装着の展開が可能である。
[B-3] Mechanical strength measurement experiment An experiment was conducted to increase the hardness of the urethane on the exterior and obtain an estimate of the mechanical strength. The tactile sensor is embedded in the center of the flexible fleshy exterior with the same shape as the flexible flesh exterior prototype in Fig. 21 and the ratio of the main agent to the curing agent is 1: 0.5, and the surface pressure is applied by placing a weight on the exterior. A weight was added until it broke. Although it did not break even when pressure was applied around 60 kg, it broke down around 65 kg. While the maximum voltage of the phototransistor was reached at around 20kg and the force was continuously applied thereafter, vertical sensing was not performed, but after removing the weight, the sensor function was not lost. Considering that the weight of a recent life-size humanoid robot is about 30-60kg, if the urethane hardness is increased so that the phototransistor inside the sensor does not collide with the infrared LED, the buttocks and legs of a life-size robot It is possible to deploy it to the part where a large force is applied, such as the back side.
［Ｂ−４］柔軟触覚肉質外装プロトタイプのモデル化と３次元変位認識実験
［Ｂ−４−１］柔軟肉質シートへの埋込実装
図１７に柔軟肉質外装にセンサを埋め込んだ状態の断面図を示す。外装表面への「押し・なで・つねり」の刺激を与えたときの変形の様子をそれぞれ図１８乃至図２０に示す。複数の柔軟触覚センサが埋設された柔軟肉質外装において、図１７（外力が作用しない状態）において、柔軟肉質外装の表面に外力が作用することで柔軟肉質外装内部の柔軟触覚センサが変形するが、図１８乃至図２０から明らかなように、作用する外力の方向によって各柔軟触覚センサは異なる変形を呈する。柔軟肉質外装に垂直方向に押す力が作用した場合に、内部の柔軟触覚センサの直上に力が作用した場合には、各柔軟触覚センサは図１８上図のような変形をし、２つの柔軟触覚センサの間に力が作用した場合には、各柔軟触覚センサは図１８上図のような変形をする。柔軟肉質外装の表面に沿ったなでる力が作用した場合には、内部の各柔軟触覚センサは図１９に示すような変形をする。柔軟肉質外装の表面をつねった場合には、内部の各柔軟触覚センサは図２０に示すような変形をする。
[B-4] Modeling of flexible tactile flesh exterior prototype and three-dimensional displacement recognition experiment [B-4-1] Embedding in flexible flesh sheet FIG. 17 is a cross-sectional view of the sensor embedded in the flexible flesh exterior. Show. FIG. 18 to FIG. 20 show deformation states when a stimulus of “pushing, stroking, and twisting” is given to the exterior surface. In the flexible fleshy exterior in which a plurality of soft tactile sensors are embedded, in FIG. 17 (in the state where no external force acts), the external force acts on the surface of the flexible flesh exterior, so that the flexible tactile sensor inside the flexible flesh exterior is deformed. As apparent from FIGS. 18 to 20, each flexible tactile sensor exhibits different deformations depending on the direction of the applied external force. When a force pressing in the vertical direction is applied to the flexible fleshy exterior, if a force is applied directly above the internal flexible tactile sensor, each flexible tactile sensor is deformed as shown in the upper diagram of FIG. When a force is applied between the tactile sensors, each flexible tactile sensor is deformed as shown in the upper diagram of FIG. When a stroking force is applied along the surface of the flexible fleshy exterior, each internal flexible tactile sensor deforms as shown in FIG. When the surface of the flexible fleshy exterior is pinched, the internal flexible tactile sensors are deformed as shown in FIG.
図１８乃至図２０に示す変形は１つの例示に過ぎず、柔軟触覚センサの寸法や埋設されたセンサ同士の間隔等によって異なる変形をし得ると考えられるが、柔軟肉質外装の表面に作用する力に相関して内部の各柔軟触覚センサは特異的に変形する。したがって、柔軟触覚センサが埋設された柔軟肉質外装において、柔軟肉質外装の表面に加えられた力とその時の各柔軟触覚センサの変形とをパターン化してデータベースとして格納しておくことで、各柔軟触覚センサの変形の組み合わせから柔軟肉質外装の表面に作用した外力の意味（なでる、つねる等）を推定することができる。各柔軟触覚センサの変形の方向については、各柔軟触覚センサの受光素子で検出された電圧の変化から取得することができる。 The deformation shown in FIG. 18 to FIG. 20 is merely an example, and it is considered that different deformations may be made depending on the dimensions of the flexible tactile sensor, the distance between the embedded sensors, etc., but the force acting on the surface of the flexible fleshy exterior Each of the internal flexible tactile sensors deforms specifically in relation to Therefore, in the flexible fleshy exterior in which the flexible tactile sensor is embedded, the force applied to the surface of the flexible flesh exterior and the deformation of each flexible tactile sensor at that time are patterned and stored as a database. The meaning of the external force acting on the surface of the flexible fleshy exterior can be estimated from the combination of sensor deformations (stroking, pinching, etc.). The direction of deformation of each flexible tactile sensor can be obtained from the change in voltage detected by the light receiving element of each flexible tactile sensor.
図２１に柔軟肉質外装のプロトタイプを示す。ウレタンシートに35.0mm間隔で3×3個の埋め込み穴を形成し、各穴に柔軟触覚センサを埋め込み、配線を行うことで柔軟肉質外装のプロトタイプを作成した。柔軟触覚センサを一定間隔で並べ、肉質外装と一体とすることでセンサ間の変形認識を補間する機能を得ることができる。今回はセンサ用のウレタンを主剤1:硬化剤0.3の比で造形し、外装用のウレタンを1:0.3、1:0.4、1:0.5で成型したもので実験を行った。センサ用ウレタンを柔らかく、外装用ウレタンを硬く成型することで、補間性を得やすい柔軟触覚外装をつくることが可能である。通信システムとしては、各センサ上のマイクロコンピュータでA/D変換を行い、デイジーチェーン接続可能なSMBus搭載基板を中継基板とし、省配線・低ノイズの通信システムを採用した。 FIG. 21 shows a prototype of a flexible fleshy exterior. A prototype of flexible fleshy exterior was created by forming 3 x 3 embedding holes in the urethane sheet at intervals of 35.0 mm, embedding a flexible tactile sensor in each hole, and wiring. By arranging the flexible tactile sensors at regular intervals and integrating them with the meaty exterior, a function of interpolating deformation recognition between the sensors can be obtained. This time, the urethane for the sensor was modeled at a ratio of main agent 1: hardener 0.3, and the urethane for exterior was molded with 1: 0.3, 1: 0.4, 1: 0.5, and the experiment was conducted. By forming the sensor urethane soft and the exterior urethane hard, it is possible to create a flexible tactile exterior that is easily interpolated. As a communication system, a microcomputer on each sensor performs A / D conversion, and a SMBus mounting board that can be connected in a daisy chain is used as a relay board.
［Ｂ−４−２］柔軟肉質外装の触覚処理のモデル化
柔軟触覚肉質外装のプロトタイプをモデル化し、柔軟肉質外装の触覚処理を行うことで、３次元の変位検出の可視化を行った。柔軟肉質外装の触覚処理とは、ビューア上のセンサに配置した棒と円の描画方法のことである。A〜D面の出力電圧に比例して各センサ中心の棒の傾きを設定することで、力の働く方向に向かって棒が倒れ、変形の状態を見ることができる。そして、センサ上面の５つの円の半径はセンサ内部の各受光素子の電圧値に比例しており、変位の大きい面側の円が拡大し、変形の度合いの分布を視覚的に確認することができる。このようにして、３次元変形認識のための幾何モデルを作成し、複数のセンサ間の変形検出の状況を一度に把握し、観察した。図２２、図２３、図２４に実際に外装のプロトタイプに触れている場面（「押し・つねり・こすり」の動作）と同時刻のモデルのビューアを示す。
[B-4-2] Modeling of tactile processing of flexible fleshy exterior The prototype of the soft tactile exterior was modeled and the tactile processing of the flexible flesh exterior was performed to visualize the three-dimensional displacement detection. The tactile processing of the flexible fleshy exterior is a method of drawing bars and circles arranged on sensors on the viewer. By setting the inclination of the bar at the center of each sensor in proportion to the output voltages on the A to D planes, the bar falls down in the direction in which the force works, and the state of deformation can be seen. The radius of the five circles on the upper surface of the sensor is proportional to the voltage value of each light receiving element inside the sensor, and the circle on the surface side with a large displacement expands, and the distribution of the degree of deformation can be visually confirmed. it can. In this way, a geometric model for three-dimensional deformation recognition was created, and the state of deformation detection among a plurality of sensors was grasped at a time and observed. FIG. 22, FIG. 23, and FIG. 24 show the viewer of the model at the same time as the scene where the exterior prototype is actually touched (the operation of “pushing / pinning / rubbing”).
まず、図２２では、外装表面を人差し指で押すとセンサに立てた棒が変形方向に傾き、変形が検出されたのが確認できた。次に、図２３では、外装表面をつねるようにつまんだ。つまむ動作の変形を認識しており、このときのセンサに立てた棒の傾き方は、押し動作とは反対方向の傾き方であり、動作の区別をつけることができる。最後に、図２４では、外装表面をゆっくりなでた。 First, in FIG. 22, it was confirmed that when the exterior surface was pushed with an index finger, the rod standing on the sensor was tilted in the deformation direction and the deformation was detected. Next, in FIG. 23, the outer surface is pinched so as to be pinched. The deformation of the pinching operation is recognized, and the tilting direction of the rod standing on the sensor at this time is the tilting direction in the opposite direction to the pressing operation, and the operation can be distinguished. Finally, in FIG. 24, the exterior surface was slowly stroked.
外装の変位を検出し、立てた棒が傾き角度を変えながら、手の位置に従って移り変わる様子が確認できた。これらの結果から、柔軟触覚肉質外装プロトタイプによって、押し動作だけでなく「なで・つねり」といった外部からの刺激を区別し得ることがわかった。また、指で押した部分の下はセンサが配置されていない場所もあったが、外装表面の変形が隣同士のセンサに伝わり、変形を検出していたので、補間性があることも確認できた。 The displacement of the exterior was detected, and it was confirmed that the standing bar changed according to the position of the hand while changing the tilt angle. From these results, it was found that the flexible tactile fleshy exterior prototype can distinguish not only the pushing motion but also external stimuli such as “snacks / pinning”. In addition, there was a place where the sensor was not placed under the part pressed by the finger, but the deformation of the exterior surface was transmitted to the adjacent sensors and the deformation was detected, so it can be confirmed that there is interpolation. It was.
このように、柔軟肉質外装にセンサを埋め込み、押し・つねり・なで動作の検出を行った。柔軟外装を持ったヒューマノイドロボットになで、つねりといった種類の３次元変形感覚は新しく、シート状の柔軟外装に埋め込む形をとることで硬い外装を持ったロボットにも簡単に取り付けることができる。なで・つねりといった摩擦の多い動作を行っても、センサ自体が柔軟であるため、外装表面からセンサの存在による違和感を覚えることはなく、自然な触り心地である。補間性に関しては、センサ単体を柔らかく、外装を硬く成型するなどの工夫でより良好に補間性を得ることができる。センサ自体が柔軟で変形するので外装の表面の変形に追従可能であり、センサ間に不感帯を作りにくい構造であるということは、センサ配置面積を広げてゆくときに非常に有効である。 In this way, the sensor was embedded in the flexible fleshy exterior, and the motion was detected by pushing, twisting and stroking. A humanoid robot with a flexible exterior has a new sense of three-dimensional deformation, such as twisting, and can be easily attached to a robot with a hard exterior by embedding it in a sheet-like flexible exterior. Even if a motion with a lot of friction such as stroking and twisting is performed, the sensor itself is flexible, so there is no sense of incongruity due to the presence of the sensor from the exterior surface, and the touch is natural. With regard to the interpolability, it is possible to obtain better interpolability by devising such as forming the sensor alone soft and the exterior hard. Since the sensor itself is flexible and deforms, it is possible to follow the deformation of the exterior surface and it is difficult to create a dead zone between the sensors, which is very effective when expanding the sensor placement area.
［Ｃ］その他の実施態様
［Ｃ−１］反射型フォトインタラプタ
上述の実施形態では、受光部と発光部とが離間したものを示したが、受光部及び発光部を反射型フォトインタラプタから構成してもよい。より具体的な態様例では、図１に示す受光ボックスの各面に設けた各受光素子、底面に設けた各発光素子に代えて、受光ボックスの各面にフォトインタラプタ（発光素子と受光素子を備えている）を設ける。
[C] Other Embodiments [C-1] Reflective Photointerrupter In the above-described embodiment, the light receiving unit and the light emitting unit are separated from each other. However, the light receiving unit and the light emitting unit are configured by a reflective photointerrupter. May be. In a more specific example, instead of the light receiving elements provided on each surface of the light receiving box and the light emitting elements provided on the bottom surface shown in FIG. 1, photo interrupters (light emitting elements and light receiving elements are provided on each surface of the light receiving box). Provided).
フォトインタラプタは、受光ボックスの各面に配置されることで異なる配向で３次元配置される。フォトインタラプタは、センサ本体に埋設されることで、センサ本体と一体成形されており、当該センサ本体の弾性変形に応じてフォトインタラプタの配向も変位する。各フォトインタラプタが互いに異なる配向を有しており、各フォトインタラプタ（発光素子および受光素子）の配向が一様ではないので、各方向への圧縮を反映した受光量になることが想定され、3次元変形パターンを取得できる。フォトインタラプタにおいては、受光素子と発光素子が隣接しているので、各受光素子で取得される受光量の変化は、ウレタンの圧縮により光拡散領域が縮小して散乱光の輝度が上昇することによるものである。 The photo interrupters are three-dimensionally arranged in different orientations by being arranged on each surface of the light receiving box. The photo interrupter is embedded in the sensor body and is integrally formed with the sensor body, and the orientation of the photo interrupter is also displaced according to the elastic deformation of the sensor body. Since each photo interrupter has a different orientation, and the orientation of each photo interrupter (light emitting element and light receiving element) is not uniform, it is assumed that the received light amount reflects the compression in each direction. Dimensional deformation patterns can be acquired. In the photo interrupter, since the light receiving element and the light emitting element are adjacent to each other, the change in the amount of received light obtained by each light receiving element is caused by the light diffusion region being reduced by the compression of urethane and the brightness of the scattered light being increased. Is.
［Ｃ−２］異なるピーク波長を備えた発光素子／受光素子
図１に示す実施形態では、受光素子、発光素子が全て同じ波長で最大値を取るようなものを用いている。これは、受光素子が底面から一様に同じ光を受け取るという仮定を置いている。図８に示すように、各受光素子は、全ての発光素子から光を受けることができ、受光できる範囲は広がるものの、どの発光素子から出射された光に対する受光かということは識別していない。
[C-2] Light-Emitting Element / Light-Receiving Element with Different Peak Wavelengths In the embodiment shown in FIG. 1, the light-receiving element and the light-emitting element all have the same value at the same wavelength. This assumes that the light receiving element receives the same light uniformly from the bottom surface. As shown in FIG. 8, each light receiving element can receive light from all the light emitting elements, and although the range in which light can be received widens, it does not identify which light emitting element receives the light.
これに対して、図２５に示すように、センサ本体の床面に配置した複数の発光素子を、互いに異なるピーク波長を備えた発光素子から構成し、受光側、すなわち、複数の受光素子も、各ピーク波長に対応する受光感度を備えた受光素子から構成する。発光素子と受光素子とは、同じピーク波長を備えた各発光素子と各受光素子とが組を構成するようにセンサ本体に配置される。典型的には発光素子と受光素子が同数であり、各発光素子と各受光素子とがペア（１対１）を構成するが、各組は発光素子と受光素子のペア（１対１）に限定されるものではない。例えば、３つの発光素子に対して５つの受光素子が対応するようにしてもよく、より具体的には、発光素子：受光素子の組を、１：２、１：２、１：１の３組としてもよい。 On the other hand, as shown in FIG. 25, the plurality of light emitting elements arranged on the floor surface of the sensor main body are configured from light emitting elements having different peak wavelengths, and the light receiving side, that is, the plurality of light receiving elements, The light receiving element is provided with a light receiving sensitivity corresponding to each peak wavelength. The light emitting element and the light receiving element are arranged in the sensor body so that each light emitting element and each light receiving element having the same peak wavelength constitute a set. Typically, the number of light emitting elements and light receiving elements is the same, and each light emitting element and each light receiving element form a pair (one to one), but each pair is a pair of light emitting elements and light receiving elements (one to one). It is not limited. For example, five light receiving elements may correspond to three light emitting elements. More specifically, the combinations of light emitting element: light receiving element are 1: 2, 1: 2, 1: 1. It is good also as a pair.
異なるピーク波長を備えた発光素子／受光素子を採用することで、センサ本体の各変形（受光素子の変位）が特定の発光素子と関連付けられるので、どの発光素子に近づいて得られた光量変化なのかがより特定的になる。その結果、各３次元変形に対するパターンをより区別しやすい形で取得することができ、センサ本体の３次元変形の検知精度を向上させることができる。 By adopting light-emitting / light-receiving elements with different peak wavelengths, each deformation of the sensor body (displacement of the light-receiving element) is associated with a specific light-emitting element. Is more specific. As a result, a pattern for each three-dimensional deformation can be acquired in a more easily distinguishable form, and the detection accuracy of the three-dimensional deformation of the sensor body can be improved.
また、異なるピーク波長を備えた発光素子／受光素子を採用することで、図１に示す発光部と受光部の位置を入れ替えた構成を採用することもできる。すなわち、図２６に示すように、受光ボックスの５面に相当する各面に発光素子を搭載し、底面に５つの受光素子を配置する。各発光素子は互いに異なるピーク波長を備えている。各発光素子と各受光素子はペアを構成しており、同じ組の発光素子のピーク波長と受光素子の受光感度のピーク波長は一致している。センサ本体の弾性変形に伴って発光素子が変位することで、発光素子に対する受光素子の相対的位置が変位して受光素子により受光される光量が変化する。センサ本体の変形の方向が特定のペア（発光素子と受光素子）に関連付けられており、どの受光素子によって受光された光量が変化するかによって、センサ本体の立体変形の検出が可能である。 Moreover, the structure which replaced the position of the light emission part and light reception part which are shown in FIG. 1 by employ | adopting the light emitting element / light receiving element provided with a different peak wavelength is also employable. That is, as shown in FIG. 26, a light emitting element is mounted on each surface corresponding to five surfaces of the light receiving box, and five light receiving elements are arranged on the bottom surface. Each light emitting element has a different peak wavelength. Each light emitting element and each light receiving element form a pair, and the peak wavelength of the same set of light emitting elements and the peak wavelength of the light receiving sensitivity of the light receiving elements are the same. When the light emitting element is displaced along with the elastic deformation of the sensor body, the relative position of the light receiving element with respect to the light emitting element is displaced, and the amount of light received by the light receiving element changes. The deformation direction of the sensor body is associated with a specific pair (light emitting element and light receiving element), and the three-dimensional deformation of the sensor body can be detected depending on which light receiving element changes the amount of light received.
受光素子と発光素子の位置を入れ替え、さらに、センサ本体における発光素子と受光素子の配置態様を変更することで、分布圧も同時に取ることもできる。例えば、底面部に３×３の受光素子マトリクスを作り、その上方に底面部と同じ３×３の発光素子を配置すれば、表面の変形により、発光素子マトリクスと底面（受光素子マトリクス）との位置が変位して、それに応じた光量が得られる。この時、この９種類の発光・受光素子のペアをそれぞれ異なる波長に対応するものとすることで、20mm×20mmの中での９箇所の圧力分布情報に変換できる。また、その分布圧から20mm×20mmの３次元方向の変位を計算できる。 By changing the positions of the light receiving element and the light emitting element and further changing the arrangement of the light emitting element and the light receiving element in the sensor main body, the distributed pressure can be taken simultaneously. For example, if a 3 × 3 light-receiving element matrix is formed on the bottom surface and the same 3 × 3 light-emitting elements as the bottom surface are disposed above the bottom surface, the surface deformation causes the light-emitting element matrix and the bottom surface (light-receiving element matrix) to be formed. The position is displaced, and the amount of light corresponding to that is obtained. At this time, it is possible to convert the nine types of light-emitting / light-receiving element pairs into information of pressure distribution at nine locations within 20 mm × 20 mm by corresponding to different wavelengths. Also, the displacement in the three-dimensional direction of 20 mm × 20 mm can be calculated from the distributed pressure.
［Ｃ−３］受光ボックス
受光ボックスを多面体の下半分として、より多様な方向の変化を同時に取得できるようにしてもよい。例えば、図２７に示すように、正１２面体の下６面の各面に６つの受光素子をそれぞれ貼り付ける。
[C-3] Light receiving box The light receiving box may be the lower half of the polyhedron so that changes in more various directions can be simultaneously acquired. For example, as shown in FIG. 27, six light receiving elements are attached to each of the lower six faces of the regular dodecahedron.
［Ｃ−４］熱の発生の抑制
本発明に係る柔軟触覚センサは、発光素子と受光素子を利用した構造をしているので、センサ本体を形成する発泡ウレタンが熱の影響を受けにくいが、熱の発生は回路の故障や劣化の原因として問題となり得る。したがって、ロボットに装着する場合には、熱の発散手段や熱の発生抑制手段を設けることが望ましい。熱の発生抑制手段としては、常時LEDを点灯させるのではなく、センサ本体に外力が作用した時にのみLEDを点灯させるようにマイクロコンピュータによって制御することが挙げられる。熱の発散手段としては、ヒートシンクが例示される。
[C-4] Suppression of heat generation Since the flexible tactile sensor according to the present invention has a structure using a light emitting element and a light receiving element, the urethane foam forming the sensor body is not easily affected by heat, The generation of heat can be a problem as a cause of circuit failure and degradation. Therefore, when mounting on a robot, it is desirable to provide heat dissipation means and heat generation suppression means. As a means for suppressing heat generation, it is possible to control the microcomputer so that the LED is turned on only when an external force is applied to the sensor body, instead of always turning on the LED. A heat sink is exemplified as the heat dissipating means.
本発明に係る柔軟触覚センサは、ロボットの表面に装着される柔軟肉質外装に埋め込むことで、３次元変形検出可能な柔軟肉質外装として利用可能である。ヒューマノイドに装着する際には、頬や鼻に取り付け、なでるとポジティブな反応を、つねると「痛い」などと音声を発し、ネガティブな反応を示すというように、ロボットの感情表現に利用することができると考える。臀部や足裏、太ももの裏などといった、環境や機構同士の衝突により故障しやすい部分に対し、緩衝的役割とセンシングの役割を持たせるという意味で、柔軟触覚肉質外装を取り付けるという対策は有効であると考えられる。 The flexible tactile sensor according to the present invention can be used as a flexible fleshy exterior capable of detecting three-dimensional deformation by being embedded in a soft flesh exterior attached to the surface of a robot. When worn on a humanoid, it can be attached to the cheeks or nose, and it can be used to express the emotions of the robot. I think I can. Measures to attach a flexible tactile fleshy exterior are effective in the sense of providing a buffering role and sensing role for parts that are prone to failure due to collisions between the environment and mechanisms such as the buttocks, soles, and thigh soles. It is believed that there is.
本発明に係るセンサは、ヒューマノイドロボットだけでなく、イスの背もたれやベッドなど、生活の中で人と密着する柔軟物に取り付け、センシングを行うといった利用も考えられる The sensor according to the present invention can be used not only for humanoid robots but also for sensing and attaching to flexible objects that are in close contact with humans such as chair backs and beds.
さらには、ジョイステック等の入力インターフェイスへの利用も考えられる。 Furthermore, it can be used for an input interface such as joystick.
Claims (22)
前記センサ本体内に光を照射する発光部と、
前記センサ本体内で散乱した光を受光する受光部と、
を備え、
前記受光部は、複数の受光素子からなり、各受光素子は互いに異なる配向を有すると共に前記センサ本体の弾性変形に応じて変位するように当該センサ本体に設けてあり、
前記センサ本体の弾性変形に応じて変位する各受光素子で取得される光量の変化から当該センサ本体の立体的変形を検知する、
柔軟触覚センサ。 A sensor body made of a light-transmitting elastic member;
A light emitting unit that emits light into the sensor body;
A light receiving unit for receiving light scattered in the sensor body;
With
The light receiving portion is composed of a plurality of light receiving elements, and each light receiving element has a different orientation and is provided in the sensor body so as to be displaced according to elastic deformation of the sensor body,
Detecting the three-dimensional deformation of the sensor body from the change in the amount of light acquired by each light receiving element displaced according to the elastic deformation of the sensor body;
Flexible tactile sensor.
前記フォトインタラプタは、各受光素子が互いに異なる配向を有すると共に前記センサ本体の弾性変形に応じて変位するように当該センサ本体に設けてある、
請求項１、２いずれかに記載の触覚センサ。 The light emitting unit and the light receiving unit are composed of a plurality of reflective photo interrupters,
The photo interrupter is provided in the sensor body so that the light receiving elements have different orientations and are displaced according to elastic deformation of the sensor body.
The tactile sensor according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009149868A JP5413773B2 (en) | 2009-06-24 | 2009-06-24 | Flexible tactile sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009149868A JP5413773B2 (en) | 2009-06-24 | 2009-06-24 | Flexible tactile sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011007557A JP2011007557A (en) | 2011-01-13 |
| JP5413773B2 true JP5413773B2 (en) | 2014-02-12 |
Family
ID=43564414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009149868A Expired - Fee Related JP5413773B2 (en) | 2009-06-24 | 2009-06-24 | Flexible tactile sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5413773B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014070985A (en) * | 2012-09-28 | 2014-04-21 | Denso Corp | Acting force detection apparatus |
| JP2018119980A (en) * | 2013-03-12 | 2018-08-02 | ストライカー・コーポレイション | Sensor assembly and method for measuring force and torque |
| JP2021179339A (en) * | 2020-05-12 | 2021-11-18 | 学校法人 福山大学 | Tactile sensor |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5722259B2 (en) * | 2011-10-11 | 2015-05-20 | タッチエンス株式会社 | Flexible tactile sensor |
| US9120233B2 (en) * | 2012-05-31 | 2015-09-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Non-contact optical distance and tactile sensing system and method |
| JP6633580B2 (en) * | 2017-08-02 | 2020-01-22 | ファナック株式会社 | Robot system and robot controller |
| US10668627B2 (en) | 2017-09-26 | 2020-06-02 | Toyota Research Institute, Inc. | Deformable sensors and methods for detecting pose and force against an object |
| DE102018123546A1 (en) | 2017-09-26 | 2019-03-28 | Toyota Research Institute, Inc. | DEFORMABLE SENSORS AND METHOD FOR DETECTING POSE AND POWER ON AN OBJECT |
| CN107860574B (en) * | 2017-12-22 | 2024-05-10 | 中国船舶重工集团公司第七一九研究所 | Intelligent detection shock absorber |
| JP2019166577A (en) * | 2018-03-22 | 2019-10-03 | ソニー株式会社 | Detection device, gripping mechanism control program and gripping mechanism control method |
| CN109739378B (en) * | 2018-12-18 | 2020-07-28 | 维沃移动通信有限公司 | Pressure detection device, screen assembly and mobile terminal |
| CN114034418A (en) * | 2021-08-02 | 2022-02-11 | 上海大学 | Plantar pressure sensing insole based on photoelectric sensing |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60209128A (en) * | 1984-04-02 | 1985-10-21 | Oki Electric Ind Co Ltd | Pressure sensor |
| JP2006189406A (en) * | 2005-01-07 | 2006-07-20 | Univ Waseda | Tactile sensor and force detection method |
| JP2007071564A (en) * | 2005-09-05 | 2007-03-22 | Institute Of Physical & Chemical Research | Optical tactile proximity sensor |
| JP4868347B2 (en) * | 2005-09-12 | 2012-02-01 | 国立大学法人 東京大学 | Tactile sensor module and tactile sensor mounting method |
| JP4955286B2 (en) * | 2006-03-07 | 2012-06-20 | ミネベア株式会社 | External force detection device |
| JP2008032522A (en) * | 2006-07-28 | 2008-02-14 | Nitta Ind Corp | Tactile sensor using optical fiber |
-
2009
- 2009-06-24 JP JP2009149868A patent/JP5413773B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014070985A (en) * | 2012-09-28 | 2014-04-21 | Denso Corp | Acting force detection apparatus |
| JP2018119980A (en) * | 2013-03-12 | 2018-08-02 | ストライカー・コーポレイション | Sensor assembly and method for measuring force and torque |
| JP2021179339A (en) * | 2020-05-12 | 2021-11-18 | 学校法人 福山大学 | Tactile sensor |
| JP7185319B2 (en) | 2020-05-12 | 2022-12-07 | 学校法人 福山大学 | tactile sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011007557A (en) | 2011-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5413773B2 (en) | Flexible tactile sensor | |
| JP5722259B2 (en) | Flexible tactile sensor | |
| Sugiura et al. | Detecting shape deformation of soft objects using directional photoreflectivity measurement | |
| Cirillo et al. | An artificial skin based on optoelectronic technology | |
| US11300397B2 (en) | Compliant force sensing system | |
| US20030163279A1 (en) | Virtual reality system locomotion interface utilizing a pressure-sensing mat | |
| US10671169B2 (en) | Tactile feedback generating apparatus and system for virtual object manipulation | |
| WO1993018475A1 (en) | Six degrees of freedom controller with tactile feedback | |
| WO1986003618A1 (en) | Tactile sensor devices | |
| CA2764614A1 (en) | Direct manual examination of remote patient with virtual examination functionality | |
| US20120056810A1 (en) | Data input device and sound generating device | |
| US20120256739A1 (en) | Operation apparatus | |
| Kadowaki et al. | Development of soft sensor exterior embedded with multi-axis deformable tactile sensor system | |
| Kim et al. | Small and lightweight tactile display (SaLT) and its application | |
| GB2291165A (en) | Haptic computer input device eg for virtual reality | |
| Cirillo et al. | A modular and low-cost artificial skin for robotic applications | |
| Faudzi et al. | Programmable system on chip distributed communication and control approach for human adaptive mechanical system | |
| WO2013021799A1 (en) | Sensor module and sensor system for soft object | |
| Maiolino et al. | Large scale capacitive skin for robots | |
| Mukai et al. | Fast and accurate tactile sensor system for a human-interactive robot | |
| Stiehl et al. | Applying a" somatic alphabet" approach to inferring orientation, motion, and direction in clusters of force sensing resistors | |
| KR20160080353A (en) | Tacktile sensor having 3D structures | |
| KR100545307B1 (en) | Optical mouse operable in 3 dimensional space | |
| Li | An Optical Sensor Design: Concurrent Multi-axis Force Measurement and Tactile Perception. | |
| US20240045536A1 (en) | Controller and computer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120522 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130725 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131101 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5413773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |