JP2016178614A - Information transmission device and information acquisition device - Google Patents

Information transmission device and information acquisition device Download PDF

Info

Publication number
JP2016178614A
JP2016178614A JP2015059401A JP2015059401A JP2016178614A JP 2016178614 A JP2016178614 A JP 2016178614A JP 2015059401 A JP2015059401 A JP 2015059401A JP 2015059401 A JP2015059401 A JP 2015059401A JP 2016178614 A JP2016178614 A JP 2016178614A
Authority
JP
Japan
Prior art keywords
information
light
light emission
pattern
emission pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015059401A
Other languages
Japanese (ja)
Other versions
JP6370733B2 (en
Inventor
功 吉野
Isao Yoshino
功 吉野
英治 尾形
Eiji Ogata
英治 尾形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oi Electric Co Ltd
Original Assignee
Oi Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oi Electric Co Ltd filed Critical Oi Electric Co Ltd
Priority to JP2015059401A priority Critical patent/JP6370733B2/en
Publication of JP2016178614A publication Critical patent/JP2016178614A/en
Application granted granted Critical
Publication of JP6370733B2 publication Critical patent/JP6370733B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Communication System (AREA)

Abstract

PROBLEM TO BE SOLVED: To convey information from an information transmission device to an information acquisition device by a simple configuration.SOLUTION: An information transmission device 10 includes a storage section 12, a control section 14, and a light-emitting panel 16. The control section 14 reads the positional information from the storage section 12, as the information for transmission, and controls the light-emitting panel 16 to emit light based on the positional information. In the light-emitting panel 16, a plurality of light sources are arranged two-dimensionally in the longitudinal direction and transverse direction, and the lighting and unlighting of each light source are controlled by the control section 14. A light-receiving device 20 captures the light radiated from the information transmission device 10, and acquires the positional information from the image data obtained by the capturing.SELECTED DRAWING: Figure 1

Description

本発明は、情報発信装置および情報取得装置に関し、特に、光源から発せられた光を用いて情報を伝達する技術の改良に関する。   The present invention relates to an information transmission device and an information acquisition device, and more particularly to an improvement in technology for transmitting information using light emitted from a light source.

スマートホン、パーソナルコンピュータ等の携帯機器が広く用いられている。携帯機器には、GPS等の衛星測位システムを用いた測位装置が搭載されているものがある。測位装置は、複数の人工衛星のそれぞれから送信された無線信号を受信して測位を行う。携帯機器は、測位によって求められた自らの位置をディスプレイに表示する。   Mobile devices such as smart phones and personal computers are widely used. Some portable devices are equipped with a positioning device using a satellite positioning system such as GPS. The positioning device receives a radio signal transmitted from each of a plurality of artificial satellites and performs positioning. The portable device displays its own position obtained by positioning on the display.

特開2002−290335号公報JP 2002-290335 A

地下街や大型の建物内では、通行人は自らの位置を把握することが困難な場合が多い。このような場合、携帯機器に搭載された測位装置を利用したいところである。しかし、人工衛星から送信された無線信号を受信する測位装置は、地下街や建物内で無線信号を受信することが困難となり、測位が不可能となることがある。また、無線信号が到達しない領域に中継装置を配置する技術があるが、設備が大掛かりとなるという問題がある。   In underground malls and large buildings, it is often difficult for passers-by to determine their location. In such a case, it is desired to use a positioning device mounted on a portable device. However, it is difficult for a positioning device that receives a radio signal transmitted from an artificial satellite to receive a radio signal in an underground shopping center or a building, and positioning may be impossible. Further, there is a technique of arranging a relay device in an area where a radio signal does not reach, but there is a problem that the facility becomes large.

上記の特許文献1には、光を用いて自由空間に情報を伝送する光空間伝送装置が記載されている。この光空間伝送装置は、高周波信号によって変調された光を送信する。光空間伝送装置を利用して中継装置を構成し、測位用の光信号を携帯機器に送信することも考えられる。しかし、光空間伝送装置および受光器に高周波回路が必要とされるため、設計が複雑となることがある。   Patent Document 1 described above describes an optical space transmission device that transmits light to free space using light. This optical space transmission device transmits light modulated by a high-frequency signal. It is also conceivable to configure a relay device using an optical space transmission device and transmit an optical signal for positioning to a portable device. However, since a high-frequency circuit is required for the optical space transmission device and the light receiver, the design may be complicated.

本発明は、無線通信が困難な状況下において、簡単な構成によって情報発信装置から情報取得装置に情報を伝えることを目的とする。   An object of the present invention is to transmit information from an information transmission device to an information acquisition device with a simple configuration in a situation where wireless communication is difficult.

本発明は、2次元配列された複数の光源と、各光源の発光制御を行う制御部と、を備え、 前記制御部は、発信用情報に応じて各光源の発光制御を行い、前記発信用情報を示す発光パターンを前記複数の光源に表示させることを特徴とする。   The present invention includes a plurality of light sources arranged two-dimensionally and a control unit that performs light emission control of each light source, wherein the control unit performs light emission control of each light source according to transmission information, and A light emission pattern indicating information is displayed on the plurality of light sources.

望ましくは、前記制御部は、前記発信用情報に応じた発光色で、各光源を点灯させる。   Desirably, the said control part lights each light source by the luminescent color according to the said information for transmission.

望ましくは、前記複数の光源が、複数の行をなすように2次元配列され、前記発光パターンは、前記複数の行から選ばれた2行からなる組を形成した場合の各組について、一方の行をなす各光源が、他方の行で対応する光源が点灯しているときに消灯し、その他方の行で対応する光源が消灯しているときに点灯するパターンである。   Preferably, the plurality of light sources are two-dimensionally arranged so as to form a plurality of rows, and the light emission pattern includes one set for each set in the case of forming a set of two rows selected from the plurality of rows. In this pattern, each light source in a row is turned off when the corresponding light source is turned on in the other row, and is turned on when the corresponding light source is turned off in the other row.

望ましくは、前記複数の光源が、複数の行をなすように2次元配列され、前記複数の行のそれぞれが、各光源の点灯および消灯に基づく複数桁の符号を示し、前記複数桁の符号のうちいずれかの桁の符号が誤り検出符号または誤り訂正符号である。   Preferably, the plurality of light sources are two-dimensionally arranged so as to form a plurality of rows, and each of the plurality of rows indicates a plurality of digits based on turning on and off of each light source. Any one of the codes is an error detection code or an error correction code.

また、本発明は、2次元配列された複数の光源から発せられた光を撮影する撮像部と、 前記撮像部によって得られた画像データから、前記複数の光源による発光パターンを認識するパターン認識部と、前記発光パターンに基づいて情報を取得する情報取得部と、を備え、前記発光パターンは、前記複数の光源のうち点灯するものを示すパターン、あるいは、前記複数の光源のうち点灯する光源についての発光色を示すパターンであることを特徴とする。   In addition, the present invention provides an imaging unit that captures light emitted from a plurality of light sources arranged two-dimensionally, and a pattern recognition unit that recognizes light emission patterns from the plurality of light sources from image data obtained by the imaging unit. And an information acquisition unit that acquires information based on the light emission pattern, wherein the light emission pattern is a pattern indicating what is lit among the plurality of light sources, or a light source that is lit among the plurality of light sources. It is a pattern which shows the luminescent color of this.

望ましくは、前記発光パターンにつき予め記憶された基準情報に基づいて、前記発光パターンの形状歪みを補正する歪み補正部を備え、前記情報取得部は、前記歪み補正部によって歪み補正処理が施された前記発光パターンに基づいて、情報を取得する。   Desirably, a distortion correction unit that corrects shape distortion of the light emission pattern based on reference information stored in advance for the light emission pattern is provided, and the information acquisition unit is subjected to distortion correction processing by the distortion correction unit. Information is acquired based on the light emission pattern.

望ましくは、前記複数の光源のうち一部の光源が特定の方位を示し、前記発光パターンに基づいて、前記特定の方位を認識する方位認識部を備える。   Preferably, a part of the plurality of light sources has a specific direction, and includes a direction recognition unit that recognizes the specific direction based on the light emission pattern.

望ましくは、前記複数の光源が、複数の行をなすように2次元配列され、前記複数の行のそれぞれが、各光源の点灯および消灯に基づく複数桁の符号を示し、前記複数桁の符号のうちいずれかの桁の符号が誤り検出符号または誤り訂正符号であり、前記情報取得部は、 前記発光パターンから前記複数桁の符号を認識し、誤り検出処理または誤り訂正処理を実行する。   Preferably, the plurality of light sources are two-dimensionally arranged so as to form a plurality of rows, and each of the plurality of rows indicates a plurality of digits based on turning on and off of each light source. Any one of the codes is an error detection code or an error correction code, and the information acquisition unit recognizes the plurality of digits from the light emission pattern and executes an error detection process or an error correction process.

本発明によれば、無線通信が困難な状況下においても、簡単な構成によって情報発信装置から情報取得装置に情報を伝えることができる。   According to the present invention, information can be transmitted from an information transmission device to an information acquisition device with a simple configuration even in a situation where wireless communication is difficult.

屋内測位システムの構成を示す図である。It is a figure which shows the structure of an indoor positioning system. 発光パネルの構成例を示す図である。It is a figure which shows the structural example of a light emission panel. 異なる3つの情報発光パターンの例を示す図である。It is a figure which shows the example of three different information light emission patterns. 画像データによって示される発光パネルの例を示す図である。It is a figure which shows the example of the light emission panel shown by image data.

図1には、本発明の実施形態に係る屋内測位システムの構成が示されている。屋内測位システムは、情報発信装置10および受光装置20を備える。情報発信装置10は、光によって情報を発信する機能と共に、照明装置としての機能を有する。情報発信装置10は、建造物内の天井18等に取り付けられ、情報発信装置10の位置情報を示す光を室内に向けて放射する。位置情報は、情報発信装置10が設置されている位置を緯度、経度および高度の座標成分からなる座標系等、地球において定義された座標系で表す。情報発信装置10は、建造物内に所定の間隔で複数個設けられてもよい。受光装置20は、タブレットコンピュータや、携帯電話機等に内蔵される。受光装置20は、情報取得装置として動作し、情報発信装置10から放射された光を撮影し、撮影によって得られた画像データから位置情報を取得する。   FIG. 1 shows the configuration of an indoor positioning system according to an embodiment of the present invention. The indoor positioning system includes an information transmitting device 10 and a light receiving device 20. The information transmission device 10 has a function as a lighting device as well as a function of transmitting information by light. The information transmission device 10 is attached to the ceiling 18 or the like in the building, and radiates light indicating the position information of the information transmission device 10 toward the room. The position information represents the position where the information transmission device 10 is installed in a coordinate system defined on the earth, such as a coordinate system composed of latitude, longitude, and altitude coordinate components. A plurality of information transmitting devices 10 may be provided in the building at a predetermined interval. The light receiving device 20 is built in a tablet computer, a mobile phone, or the like. The light receiving device 20 operates as an information acquisition device, images the light emitted from the information transmission device 10, and acquires position information from image data obtained by the imaging.

情報発信装置10は、記憶部12、制御部14、および発光パネル16を備える。記憶部12は位置情報を記憶している。制御部14は、発信用の情報として記憶部12から位置情報を読み込み、位置情報に基づいて発光パネル16を発光させる。発光パネル16は、複数の光源を縦方向および横方向に2次元配列したものであり、各光源の点灯または消灯が制御部14によって制御される。各光源には、例えば、発光ダイオードが用いられる。   The information transmission device 10 includes a storage unit 12, a control unit 14, and a light emitting panel 16. The storage unit 12 stores position information. The control unit 14 reads position information from the storage unit 12 as outgoing information, and causes the light emitting panel 16 to emit light based on the position information. The light-emitting panel 16 has a plurality of light sources arranged two-dimensionally in the vertical direction and the horizontal direction, and lighting or extinguishing of each light source is controlled by the control unit 14. For each light source, for example, a light emitting diode is used.

図2には、発光パネル16の構成例が示されている。発光パネル16では、横方向に10個の発光ダイオード36を含む行が、縦方向に10行だけ配列されている。すなわち、発光ダイオード36は、10行10列に2次元配列されている。図2には、行を識別する符号「1」〜「10」が発光パネル16の左側に付されている。また、列を識別する符号「a」〜「j」が発光パネル16の上側に付されている。以下の説明では、例えば、第b列第2行の発光ダイオードを、発光ダイオード(b,2)のように表す。図2は、ハッチングが施された発光ダイオードが点灯しており、ハッチングが施されていない発光ダイオードが消灯していることを示している。   FIG. 2 shows a configuration example of the light emitting panel 16. In the light-emitting panel 16, 10 rows including 10 light-emitting diodes 36 in the horizontal direction are arranged in the vertical direction. That is, the light emitting diodes 36 are two-dimensionally arranged in 10 rows and 10 columns. In FIG. 2, reference numerals “1” to “10” for identifying the rows are attached to the left side of the light-emitting panel 16. Further, symbols “a” to “j” for identifying the columns are attached to the upper side of the light emitting panel 16. In the following description, for example, the light-emitting diodes in the b-th column and the second row are represented as light-emitting diodes (b, 2). FIG. 2 shows that the light-emitting diodes that are hatched are turned on and the light-emitting diodes that are not hatched are turned off.

制御部14は、記憶部12から読み込んだ位置情報に関わらず、方位指標発光ダイオード(e,1)および(f,1)を除いた外周の発光ダイオードを点灯させる。すなわち、外周の発光ダイオードのうち方位指標発光ダイオード(e,1)および(f,1)のみを消灯させ、その他の外周の発光ダイオードを点灯させる。これによって、屋内測位システムに属する発光パネル16から情報が発信されていることが示されると共に、特定の方位が示される。例えば、図2の上方向が北となるように発光パネル16が天井に固定されている場合には、発光パネル16の中心から見て、消灯している2つの方位指標発光ダイオード(e,1)および(f,1)に向かう方位が北であることが示される。このように、外周の発光ダイオードは標識用の光源として外周発光パターンを示し、発光パネル16の存在と共に特定の方位を示す。なお、方位指標発光ダイオード(e,1)および(f,1)の位置には、発光ダイオードを配置しないものとしてもよい。   Regardless of the position information read from the storage unit 12, the control unit 14 turns on the light emitting diodes on the outer periphery excluding the orientation indicator light emitting diodes (e, 1) and (f, 1). That is, only the direction indicator light emitting diodes (e, 1) and (f, 1) among the light emitting diodes on the outer periphery are turned off, and the other light emitting diodes on the other outer periphery are turned on. Thereby, it is indicated that information is transmitted from the light emitting panel 16 belonging to the indoor positioning system, and a specific direction is indicated. For example, when the light-emitting panel 16 is fixed to the ceiling so that the upper direction in FIG. 2 is north, the two orientation indicator light-emitting diodes (e, 1) that are turned off when viewed from the center of the light-emitting panel 16. ) And (f, 1) are shown to be north. As described above, the peripheral light emitting diodes show the peripheral light emission pattern as a light source for signs, and show a specific orientation together with the presence of the light emitting panel 16. In addition, it is good also as what does not arrange | position a light emitting diode in the position of azimuth | direction indicator light emitting diodes (e, 1) and (f, 1).

制御部14は、位置情報に基づいて、外周の発光ダイオードよりも内側に位置する発光ダイオードを点灯させ、または消灯させる。すなわち、制御部14は、第2行〜第9行のそれぞれにおける第b列〜第i列に属する発光ダイオードを位置情報に応じて点灯または消灯させ、位置情報を示す情報発光パターンを表示させる。これらの情報表示用の発光ダイオードは、例えば、点灯している状態が2進数の1を表し、消灯している状態が2進数の0を表す。これによって、発光パネル16では次のように情報が示される。   Based on the position information, the control unit 14 turns on or off the light emitting diodes located inside the outer peripheral light emitting diodes. That is, the control unit 14 turns on or off the light emitting diodes belonging to the b-th column to the i-th column in each of the second to ninth rows according to the position information, and displays an information light emission pattern indicating the position information. In these information display light emitting diodes, for example, a lighted state represents a binary number 1 and a lighted state represents a binary number 0. As a result, information is displayed on the light-emitting panel 16 as follows.

第2行〜第9行のそれぞれの行では、両端の発光ダイオードを除いた8個の発光ダイオードによって、1byte(8bit)の情報が示される。   In each of the second row to the ninth row, information of 1 byte (8 bits) is indicated by eight light emitting diodes excluding the light emitting diodes at both ends.

また、第2行および第3行からなる組、第4行および第5行からなる組、第6行および第7行からなる組、ならびに、第8行および第9行からなる組の各組については、両端の発光ダイオードを除き、次のように点灯または消灯する。すなわち、一方の行に属するある発光ダイオードが点灯しているときに、他方の行でそれに隣接する発光ダイオードが消灯する。また、一方の行に属するある発光ダイオードが消灯しているときに、他方の行でそれに隣接する発光ダイオードが点灯する。これによって、2つの行からなる組の一方の行は、他方の行が示す点灯消灯パターンに対する反転パターンを示す。   Also, each set of a set consisting of the second row and the third row, a set consisting of the fourth row and the fifth row, a set consisting of the sixth row and the seventh row, and a set consisting of the eighth row and the ninth row Is turned on or off as follows, except for the light emitting diodes at both ends. That is, when a light emitting diode belonging to one row is turned on, a light emitting diode adjacent thereto is turned off in the other row. Further, when a light emitting diode belonging to one row is turned off, a light emitting diode adjacent thereto is turned on in the other row. Thus, one row of a set of two rows shows a reverse pattern with respect to the lighting / unlighting pattern indicated by the other row.

具体的には、第3行に属する各発光ダイオードは、第2行において隣接する発光ダイオードが点灯しているときは消灯し、第2行において隣接する発光ダイオードが消灯しているときは点灯する。また、第5行に属する各発光ダイオードは、第4行において隣接する発光ダイオードが点灯しているときは消灯し、第4行において隣接する発光ダイオードが消灯しているときは点灯する。その他の行の組についても同様である。   Specifically, each light emitting diode belonging to the third row is turned off when the adjacent light emitting diode in the second row is turned on, and turned on when the adjacent light emitting diode in the second row is turned off. . Each light emitting diode belonging to the fifth row is turned off when the adjacent light emitting diodes in the fourth row are turned on, and turned on when the adjacent light emitting diodes in the fourth row are turned off. The same applies to other sets of rows.

このように、2つの行からなる組の一方の行が、他方の行が示す点灯消灯パターンに対する反転パターンを示すことで、情報発光パターンが変化した場合であっても、発光パネル16全体から放射される光の強度が同一となる。また、組をなす2つの行が互いに反転パターンを示すことになるため、行を違えて隣接する発光ダイオードが同時に点灯、または、同時に消灯しているときは、その2つの発光ダイオードに対応する桁が誤りであることが示される。   In this way, one row of the set of two rows shows a reverse pattern with respect to the turn-on / off pattern indicated by the other row, so that even when the information light emission pattern is changed, the light emission from the entire light emitting panel 16 is emitted. The intensity of the emitted light is the same. In addition, since two rows forming a pair show an inversion pattern, when adjacent light emitting diodes are turned on at the same time or turned off at the same time, the digits corresponding to the two light emitting diodes are displayed. Is shown to be incorrect.

発光パネル16では、第2行および第3行からなる組、第4行および第5行からなる組、第6行および第7行からなる組、ならびに、第8行および第9行からなる組による情報発光パターンによって、4byteの情報が示される。したがって、第2行〜第9行のそれぞれにおける第b列〜第i列に属する発光ダイオードによって、4byteの範囲内で位置情報が示される。   In the light-emitting panel 16, a set consisting of the second row and the third row, a set consisting of the fourth row and the fifth row, a set consisting of the sixth row and the seventh row, and a set consisting of the eighth row and the ninth row. Information of 4 bytes is indicated by the information light emission pattern. Therefore, position information is indicated within a range of 4 bytes by the light emitting diodes belonging to the b-th column to the i-th column in the second to ninth rows.

制御部14は、4byteの情報発光パターンを複数回に亘って表示し、発信する情報を増加させてもよい。例えば、情報発光パターンを3回に亘って表示し、12byteの情報を発信してもよい。異なる情報発光パターンを3回表示することで、緯度、経度、および高度を含む位置情報を発信するために十分な情報伝送量が実現される。図3(a)〜(c)には、異なる3つの情報発光パターンの例が示されている。この例では、(a)、(b)、(c)、(a)、(b)、(c)、(a)・・・・・・のように、外周をなす発光ダイオードよりも内側に位置する発光ダイオードによって、時間経過と共に巡回的に3つの情報発光パターンが順に表示される。この場合、1つの情報発光パターンが表示されてから次の情報発光パターンが表示されるまでの周期は、受光装置20による情報発光パターンの認識が可能となる程度の周期とする。なお、情報発光パターンの種類の数は任意である。情報発光パターンの切り替えが十分に高速に行われることで、ユーザがちらつきを認識することがなくなる。また、発光パネル16全体から放射される光の強度を同一とすることで明滅および揺らぎが抑制され、明滅および揺らぎに起因するちらつきが回避される。   The control unit 14 may display a 4-byte information light emission pattern a plurality of times and increase the information to be transmitted. For example, the information light-emitting pattern may be displayed three times and 12-byte information may be transmitted. By displaying different information light emission patterns three times, a sufficient amount of information transmission is realized for transmitting position information including latitude, longitude, and altitude. 3A to 3C show examples of three different information light emission patterns. In this example, (a), (b), (c), (a), (b), (c), (a)... Three information light emission patterns are cyclically displayed in order as time passes by the light emitting diodes positioned. In this case, the period from the display of one information light emission pattern to the display of the next information light emission pattern is set to a period that allows the light receiving device 20 to recognize the information light emission pattern. Note that the number of types of information light emission patterns is arbitrary. The information light emission pattern is switched at a sufficiently high speed so that the user does not recognize the flicker. Further, by making the intensity of light emitted from the entire light emitting panel 16 the same, blinking and fluctuation are suppressed, and flickering caused by blinking and fluctuation is avoided.

上記では、第2行〜第9行の各行において、第b列〜第i列に属する8個の発光ダイオードが1byteの情報を示す例について説明した。この8個の発光ダイオードうちいずれかには、誤り訂正符号または誤り検出符号が割り当てられてもよい。また、発光ダイオードの列を追加し、その追加された列に誤り訂正符号または誤り検出符号が割り当てられてもよい。   In the above description, an example in which eight light-emitting diodes belonging to the b-th column to the i-th column indicate 1-byte information in each of the second to ninth rows has been described. An error correction code or an error detection code may be assigned to any of the eight light emitting diodes. Further, a column of light emitting diodes may be added, and an error correction code or an error detection code may be assigned to the added column.

また上記では、隣接する2つの行が互いに反転パターンを示す例について説明した。このような2つの行からなる組は、必ずしも隣接する行によって形成されていなくてもよい。例えば、第2行および第6行による組、第3行および第7行による組、第4行および第8行による組、ならびに、第5行および第9行による組を、互いに反転パターンを示す2行による組としてもよい。   In the above description, an example has been described in which two adjacent rows show an inversion pattern. Such a set of two rows does not necessarily have to be formed by adjacent rows. For example, a set according to the second and sixth rows, a set according to the third and seventh rows, a set according to the fourth and eighth rows, and a set according to the fifth and ninth rows show mutually inverted patterns. A set of two lines may be used.

図1に戻り、受光装置20について説明する。受光装置20は、撮像部22、パターン認識部24、情報取得部30、画像表示部32および記憶部34を備える。受光装置20が、タブレットコンピュータや、携帯電話機等の携帯機器に内蔵される場合には、撮像部22は、携帯機器に取り付けられているカメラによって構成される。また、画像表示部32は、携帯機器に取り付けられているディスプレイによって構成される。撮像部22は、図1の上方向を見た画像を撮影し、画像データをパターン認識部24に出力する。パターン認識部24は、画像データが示す画像から、発光パネル16によって示された発光パターンを認識する。   Returning to FIG. 1, the light receiving device 20 will be described. The light receiving device 20 includes an imaging unit 22, a pattern recognition unit 24, an information acquisition unit 30, an image display unit 32, and a storage unit 34. When the light receiving device 20 is built in a portable device such as a tablet computer or a mobile phone, the imaging unit 22 is configured by a camera attached to the portable device. Moreover, the image display part 32 is comprised by the display attached to the portable apparatus. The imaging unit 22 captures an image viewed from above in FIG. 1 and outputs the image data to the pattern recognition unit 24. The pattern recognition unit 24 recognizes the light emission pattern indicated by the light emission panel 16 from the image indicated by the image data.

画像データによって示される発光パネル16の形状は、受光装置20と発光パネル16との位置関係によっては、図4に示されるように平行四辺形状に歪んだ形状となる。また、画像データによって示される発光パネル16の大きさは、受光装置20と発光パネル16との位置関係によって異なる。パターン認識部24は、歪み補正部26を備えており、必要に応じて発光パターンの形状歪みまたは大きさを補正する。   The shape of the light emitting panel 16 indicated by the image data is distorted into a parallelogram shape as shown in FIG. 4 depending on the positional relationship between the light receiving device 20 and the light emitting panel 16. Further, the size of the light emitting panel 16 indicated by the image data varies depending on the positional relationship between the light receiving device 20 and the light emitting panel 16. The pattern recognition unit 24 includes a distortion correction unit 26, and corrects the shape distortion or size of the light emission pattern as necessary.

歪み補正部26は、画像データによって示される画像において、発光パネル16の外周に配置された発光ダイオードによる点灯状態の外周、および2つの方位指標発光ダイオードによる消灯部分を認識する。そして、点灯状態の外周形状および消灯部分の位置に基づいて、外周発光パターンと情報発光パターンとを併せた総合発光パターンの画像を抽出する。   The distortion correction unit 26 recognizes the outer periphery of the lighting state by the light emitting diodes arranged on the outer periphery of the light emitting panel 16 and the extinguished portion by the two orientation indicator light emitting diodes in the image indicated by the image data. Then, based on the outer peripheral shape in the lit state and the position of the extinguished portion, an image of the total light emission pattern that combines the outer peripheral light emission pattern and the information light emission pattern is extracted.

歪み補正部26は、総合発光パターンを表す各画素の座標値に対して幾何学的な変換処理を施して、図2に示されるような、予め規定された縦横比を有し、予め規定された大きさの矩形のパターンに総合発光パターンを変換し、歪み補正を行う。この幾何学的変換処理は、記憶部34に予め記憶された基準情報と、パターン認識部24によって認識された総合発光パターン(以下、認識パターンとする。)を表すデータに基づいて行われる。ここで、基準情報は、実際の総合発光パターンから所定の距離だけ離れて総合発光パターンを正面から撮影したときの、点灯状態の外周の形状および大きさを表す情報である。   The distortion correction unit 26 performs a geometric conversion process on the coordinate values of each pixel representing the total light emission pattern, has a predetermined aspect ratio as shown in FIG. The total light emission pattern is converted into a rectangular pattern of a predetermined size, and distortion correction is performed. This geometric conversion process is performed based on reference information stored in advance in the storage unit 34 and data representing a general light emission pattern (hereinafter referred to as a recognition pattern) recognized by the pattern recognition unit 24. Here, the reference information is information representing the shape and size of the outer periphery of the lighting state when the general light emission pattern is photographed from the front side at a predetermined distance from the actual total light emission pattern.

具体的には、歪み補正部26は、計算の上で認識パターンを2次元座標平面に仮想的に描き、ある変換行列によって認識パターンの形状および大きさを計算の上で仮想的に変換する。そして、変更後の点灯状態の外周の形状および大きさが、基準の形状および大きさに一致または近似するような変換行列を補正変換行列として探索する。歪み補正部26は、このようにして探索された補正変換行列を用いて、所定の大きさの矩形に補正された総合発光パターンを示す発光パターンデータを生成する。   Specifically, the distortion correction unit 26 virtually draws the recognition pattern on the two-dimensional coordinate plane upon calculation, and virtually converts the shape and size of the recognition pattern on the basis of a certain conversion matrix. Then, a conversion matrix in which the shape and size of the outer periphery in the lighting state after the change matches or approximates the reference shape and size is searched for as a correction conversion matrix. The distortion correction unit 26 generates light emission pattern data indicating the total light emission pattern corrected to a rectangle having a predetermined size, using the correction conversion matrix searched in this way.

パターン認識部24は、補正された総合発光パターンを示す発光パターンデータを情報取得部30に出力する。情報取得部30は、発光パターンデータから位置情報を取得し、その位置情報を画像表示部32に表示させる。   The pattern recognition unit 24 outputs light emission pattern data indicating the corrected total light emission pattern to the information acquisition unit 30. The information acquisition unit 30 acquires position information from the light emission pattern data and causes the image display unit 32 to display the position information.

なお、情報取得部30が、歪みのある総合発光パターンを示す発光パターンデータから、位置情報を取得することが可能な場合には、パターン認識部24は、形状歪みが補正されていない発光パターンデータを情報取得部30に出力してもよい。   In addition, when the information acquisition part 30 can acquire position information from the light emission pattern data which shows the comprehensive light emission pattern with a distortion, the pattern recognition part 24 is light emission pattern data by which shape distortion is not correct | amended. May be output to the information acquisition unit 30.

また、パターン認識部24は方位認識部28を備えており、歪み補正前の認識パターンから方位情報を取得する。方位情報は、例えば、受光装置20に定義された座標軸の方位と、特定の方位とがなす角度を表すものとする。方位認識部28は、歪み補正前の認識パターンに基づいて、発光パネルの中心から2つの方位指標発光ダイオードに向かう方向を認識し、その方向に基づいて方位情報を求める。パターン認識部24は、方位認識部28によって求められた方位情報を図形や数値等によって画像表示部32に表示してもよい。   The pattern recognition unit 24 includes an orientation recognition unit 28, and acquires orientation information from the recognition pattern before distortion correction. The direction information represents, for example, an angle formed by the direction of the coordinate axis defined in the light receiving device 20 and a specific direction. The direction recognition unit 28 recognizes directions from the center of the light-emitting panel toward the two direction index light-emitting diodes based on the recognition pattern before distortion correction, and obtains direction information based on the directions. The pattern recognizing unit 24 may display the azimuth information obtained by the azimuth recognizing unit 28 on the image display unit 32 in the form of figures or numerical values.

情報取得部30は、発光パターンデータから位置情報を取得する際には、次のような処理を実行してもよい。すなわち、情報発光パターンを構成する複数の行のうち、互いに反転パターンを示す2つの行について、行を違えて対応する発光ダイオードが同時に点灯、または、同時に消灯しているときは、その2つの発光ダイオードに対応する符号が誤りであることを認識する。この場合、その符号については、例えば、次に同一の情報発光パターンが示されたときに、誤りのない情報を取得する。   The information acquisition unit 30 may execute the following process when acquiring position information from the light emission pattern data. That is, when two corresponding light-emitting diodes are turned on at the same time or turned off at the same time with respect to two rows showing an inverted pattern among a plurality of rows constituting the information light-emitting pattern, the two lights are emitted. Recognize that the code corresponding to the diode is incorrect. In this case, for the code, for example, when the same information light emission pattern is shown next, error-free information is acquired.

また、情報発光パターンを構成する各発光ダイオードのうち誤り検出符号を示すものが、ある符号に誤りがあることを示している場合、その符号については、次に同一の情報発光パターンが示されたときに、誤りのない情報を取得してもよい。さらに、情報取得部30は、情報発光パターンを構成する各発光ダイオードのうち、誤り訂正符号を構成するものの点灯状態に基づいて、誤り訂正処理を実行してもよい。   In addition, when each of the light emitting diodes constituting the information light emitting pattern indicates an error detection code and indicates that there is an error in a certain code, the same information light emitting pattern is next shown for that code. Sometimes, error-free information may be acquired. Furthermore, the information acquisition part 30 may perform an error correction process based on the lighting state of what comprises an error correction code | cord | chord among each light emitting diode which comprises an information light emission pattern.

情報発光パターンが複数回に亘って発光パネル16に表示され、異なる複数の情報発光パターンによって位置情報が示される場合には、情報取得部30は、その複数の情報発光パターンに対して得られた複数の発光パターンデータに基づいて位置情報を求める。   When the information light emission pattern is displayed on the light emission panel 16 over a plurality of times and the position information is indicated by a plurality of different information light emission patterns, the information acquisition unit 30 is obtained for the plurality of information light emission patterns. Position information is obtained based on a plurality of light emission pattern data.

このような構成によって、受光装置20は情報取得装置として動作し、情報発信装置10から発せられる光に基づいて、情報発信装置10の位置情報を取得する。   With such a configuration, the light receiving device 20 operates as an information acquisition device, and acquires the position information of the information transmission device 10 based on the light emitted from the information transmission device 10.

なお、発光パネル16に用いられる発光ダイオードは、赤色、緑色、青色の3つの発光ダイオードによって構成される多色発光ダイオードであってもよい。この場合、多色発光ダイオードは、任意の色の光を放射する。これによって、発光パネル16の各行から発信される数値の範囲が広くなる。例えば、組をなす2つの行が互いに反転パターンを示す上述の例では、互いに反転パターンを示す2行は、単色の発光ダイオードを用いた場合には、0〜256の範囲の数値を発信する。これは8bitの情報量に相当する。これに対し、各発光ダイオードが赤色、緑色、および青色の点灯消灯によって情報発光パターンを示す場合には、情報量が3倍(24bit相当)となる。   The light emitting diode used in the light emitting panel 16 may be a multicolor light emitting diode including three light emitting diodes of red, green, and blue. In this case, the multicolor light emitting diode emits light of any color. Thereby, the range of numerical values transmitted from each row of the light emitting panel 16 is widened. For example, in the above-described example in which two rows forming a pair show mutually inverted patterns, the two rows showing mutually inverted patterns transmit numerical values in the range of 0 to 256 when a single color light emitting diode is used. This corresponds to an information amount of 8 bits. On the other hand, when each light emitting diode shows an information light emission pattern by turning on / off red, green, and blue, the information amount is tripled (corresponding to 24 bits).

多色発光ダイオードを用いた場合、制御部14が発光パネル16を制御する際の情報発光パターンは、各発光ダイオードの点灯消灯に加えて、点灯状態における色を表す。そして、受光装置20の情報取得部30は、各発光ダイオードの点灯消灯に加えて、点灯状態における色を認識する。これによって、単色の発光ダイオードが用いられた場合に比べて、一定時間により多くの情報が情報発信装置10から受光装置20に伝えられる。   When a multicolor light emitting diode is used, the information light emitting pattern when the control unit 14 controls the light emitting panel 16 represents the color in the lighting state in addition to the lighting and extinction of each light emitting diode. And the information acquisition part 30 of the light-receiving device 20 recognizes the color in a lighting state in addition to lighting / extinguishing of each light emitting diode. As a result, more information is transmitted from the information transmission device 10 to the light receiving device 20 in a certain period of time than when a single-color light emitting diode is used.

また、情報発信装置10が発信する情報は、位置情報でなくてもよい。例えば、音声情報等、時間経過に応じて変化するものであってもよい。この場合、情報発光パターンを、発信用の情報の変化に応じて変化させる。情報発光パターンを表示する周期を15分の1秒とした場合には、4byte×15Hz=60byte/secの情報伝送容量が実現される。受光装置20における撮像部22、パターン認識部24、情報取得部30、および画像表示部32は、時間経過と共に順次、発光パネル16によって示される各情報発光パターンに対する処理を実行する。   Further, the information transmitted by the information transmission device 10 may not be position information. For example, audio information or the like that changes with time can be used. In this case, the information light emission pattern is changed according to the change of the information for transmission. When the period for displaying the information light emission pattern is set to 1/15 second, an information transmission capacity of 4 bytes × 15 Hz = 60 bytes / sec is realized. The imaging unit 22, the pattern recognition unit 24, the information acquisition unit 30, and the image display unit 32 in the light receiving device 20 sequentially perform processing for each information light emission pattern indicated by the light emission panel 16 with the passage of time.

本発明に係るシステムは、博物館や美術館等の展示施設において来館者に展示品等の情報を提供するシステムに応用してもよい。展示施設内には、情報発信装置10が配置され、来館者には受光装置20が配布される。受光装置20は、情報発信装置10から放射された光を受信し、展示品等の情報を表示する。あるいは、受光装置20は、展示品等の情報を来館者に音声によって提供する。   The system according to the present invention may be applied to a system that provides information such as exhibits to visitors in an exhibition facility such as a museum or an art museum. An information transmitting device 10 is arranged in the exhibition facility, and a light receiving device 20 is distributed to visitors. The light receiving device 20 receives light emitted from the information transmitting device 10 and displays information such as exhibits. Alternatively, the light receiving device 20 provides information such as exhibits to the visitors by voice.

なお、受光装置20が、タブレットコンピュータや、携帯電話機等の携帯機器に内蔵されている場合、撮像部22は、画像表示部32が何らかの画像を表示している間にユーザ側の画像を撮影してもよい。これによって、ユーザが画像表示部32に表示された画像を参照して携帯機器の操作を行っている間、ユーザの後方の天井18にある発光パネル16が撮影される。   When the light receiving device 20 is built in a portable device such as a tablet computer or a mobile phone, the imaging unit 22 captures an image on the user side while the image display unit 32 displays some image. May be. Thus, while the user refers to the image displayed on the image display unit 32 and operates the portable device, the light emitting panel 16 on the ceiling 18 behind the user is photographed.

本発明に係るシステムでは、情報発信装置10から受光装置20に発光パターンによって情報が伝えられる。したがって、無線通信が困難な状況下においても、簡単な構成によって情報発信装置10から受光装置20に様々な情報を伝えることができる。   In the system according to the present invention, information is transmitted from the information transmitting device 10 to the light receiving device 20 by a light emission pattern. Therefore, even in a situation where wireless communication is difficult, various information can be transmitted from the information transmitting device 10 to the light receiving device 20 with a simple configuration.

10 情報発信装置、12,34 記憶部、14 制御部、16 発光パネル、18 天井、20 受光装置、22 撮像部、24 パターン認識部、26 歪み補正部、28 方位認識部、30 情報取得部、32 画像表示部、36 発光ダイオード。   DESCRIPTION OF SYMBOLS 10 Information transmitter, 12, 34 Memory | storage part, 14 Control part, 16 Light emission panel, 18 Ceiling, 20 Light-receiving device, 22 Imaging part, 24 Pattern recognition part, 26 Distortion correction part, 28 Direction recognition part, 30 Information acquisition part, 32 Image display part, 36 Light emitting diode.

Claims (8)

2次元配列された複数の光源と、
各光源の発光制御を行う制御部と、を備え、
前記制御部は、
発信用情報に応じて各光源の発光制御を行い、
前記発信用情報を示す発光パターンを前記複数の光源に表示させることを特徴とする情報発信装置。
A plurality of light sources arranged two-dimensionally;
A control unit that performs light emission control of each light source,
The controller is
Perform light emission control of each light source according to the outgoing information,
An information transmission apparatus, wherein a light emission pattern indicating the transmission information is displayed on the plurality of light sources.
請求項1に記載の情報発信装置において、
前記制御部は、
前記発信用情報に応じた発光色で、各光源を点灯させることを特徴とする情報発信装置。
The information transmission device according to claim 1,
The controller is
An information transmission device characterized in that each light source is turned on with an emission color corresponding to the transmission information.
請求項1または請求項2に記載の情報発信装置において、
前記複数の光源が、複数の行をなすように2次元配列され、
前記発光パターンは、
前記複数の行から選ばれた2行からなる組を形成した場合の各組について、一方の行をなす各光源が、他方の行で対応する光源が点灯しているときに消灯し、その他方の行で対応する光源が消灯しているときに点灯するパターンであることを特徴とする情報発信装置。
In the information transmission device according to claim 1 or 2,
The plurality of light sources are two-dimensionally arranged to form a plurality of rows,
The light emission pattern is:
For each set in the case of forming a set of two rows selected from the plurality of rows, each light source forming one row is turned off when the corresponding light source is turned on in the other row, and the other An information transmitting device characterized in that the pattern is turned on when the corresponding light source is turned off in the row.
請求項1から請求項3のいずれか1項に記載の情報発信装置において、
前記複数の光源が、複数の行をなすように2次元配列され、
前記複数の行のそれぞれが、各光源の点灯および消灯に基づく複数桁の符号を示し、
前記複数桁の符号のうちいずれかの桁の符号が誤り検出符号または誤り訂正符号であることを特徴とする情報発信装置。
The information transmission device according to any one of claims 1 to 3,
The plurality of light sources are two-dimensionally arranged to form a plurality of rows,
Each of the plurality of rows indicates a multi-digit code based on turning on and off each light source,
The information transmission apparatus according to any one of claims 1 to 6, wherein any one of the plurality of digits is an error detection code or an error correction code.
2次元配列された複数の光源から発せられた光を撮影する撮像部と、
前記撮像部によって得られた画像データから、前記複数の光源による発光パターンを認識するパターン認識部と、
前記発光パターンに基づいて情報を取得する情報取得部と、を備え、
前記発光パターンは、前記複数の光源のうち点灯するものを示すパターン、あるいは、前記複数の光源のうち点灯する光源についての発光色を示すパターンであることを特徴とする情報取得装置。
An imaging unit that captures light emitted from a plurality of light sources arranged two-dimensionally;
A pattern recognition unit that recognizes a light emission pattern by the plurality of light sources from the image data obtained by the imaging unit;
An information acquisition unit that acquires information based on the light emission pattern,
The information acquisition apparatus according to claim 1, wherein the light emission pattern is a pattern that indicates a light source that is turned on among the plurality of light sources, or a pattern that indicates a light emission color of a light source that is turned on among the light sources.
請求項5に記載の情報取得装置において、
前記発光パターンにつき予め記憶された基準情報に基づいて、前記発光パターンの形状歪みを補正する歪み補正部を備え、
前記情報取得部は、
前記歪み補正部によって歪み補正処理が施された前記発光パターンに基づいて、情報を取得することを特徴とする情報取得装置。
The information acquisition device according to claim 5,
A distortion correction unit that corrects the shape distortion of the light emission pattern based on reference information stored in advance for the light emission pattern;
The information acquisition unit
An information acquisition apparatus that acquires information based on the light emission pattern that has been subjected to distortion correction processing by the distortion correction unit.
前記複数の光源のうち一部の光源が特定の方位を示す、請求項5または請求項6に記載の情報取得装置において、
前記発光パターンに基づいて、前記特定の方位を認識する方位認識部を備えることを特徴とする情報取得装置。
The information acquisition apparatus according to claim 5 or 6, wherein some of the plurality of light sources indicate a specific orientation.
An information acquisition apparatus comprising: a direction recognition unit that recognizes the specific direction based on the light emission pattern.
請求項5から請求項7のいずれか1項に記載の情報取得装置において、
前記複数の光源が、複数の行をなすように2次元配列され、
前記複数の行のそれぞれが、各光源の点灯および消灯に基づく複数桁の符号を示し、
前記複数桁の符号のうちいずれかの桁の符号が誤り検出符号または誤り訂正符号であり、
前記情報取得部は、
前記発光パターンから前記複数桁の符号を認識し、誤り検出処理または誤り訂正処理を実行することを特徴とする情報取得装置。
In the information acquisition device according to any one of claims 5 to 7,
The plurality of light sources are two-dimensionally arranged to form a plurality of rows,
Each of the plurality of rows indicates a multi-digit code based on turning on and off each light source,
Any one of the multiple-digit codes is an error detection code or an error correction code,
The information acquisition unit
An information acquisition apparatus that recognizes the multiple-digit code from the light emission pattern and executes an error detection process or an error correction process.
JP2015059401A 2015-03-23 2015-03-23 Information transmission device and information acquisition device Active JP6370733B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015059401A JP6370733B2 (en) 2015-03-23 2015-03-23 Information transmission device and information acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059401A JP6370733B2 (en) 2015-03-23 2015-03-23 Information transmission device and information acquisition device

Publications (2)

Publication Number Publication Date
JP2016178614A true JP2016178614A (en) 2016-10-06
JP6370733B2 JP6370733B2 (en) 2018-08-08

Family

ID=57069376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059401A Active JP6370733B2 (en) 2015-03-23 2015-03-23 Information transmission device and information acquisition device

Country Status (1)

Country Link
JP (1) JP6370733B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6484780B1 (en) * 2018-04-03 2019-03-20 フォトメディカル合同会社 Faint light detection system and faint light detection method
WO2020195281A1 (en) * 2019-03-27 2020-10-01 パナソニックIpマネジメント株式会社 Illumination control device and illumination device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005139761A (en) * 2003-11-07 2005-06-02 Masahiro Kutogi Buried member, corridor structure and navigation system
WO2006109829A1 (en) * 2005-04-12 2006-10-19 Pioneer Corporation Communication system, communication device and method, and computer program
WO2008068544A1 (en) * 2006-12-05 2008-06-12 Nokia Corporation Method and device for wireless optical data transmission
JP2014168137A (en) * 2013-02-28 2014-09-11 Panasonic Corp Visible light communication system
JP2016538794A (en) * 2013-09-18 2016-12-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Visible light source, mobile terminal, and controller based position determination method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005139761A (en) * 2003-11-07 2005-06-02 Masahiro Kutogi Buried member, corridor structure and navigation system
WO2006109829A1 (en) * 2005-04-12 2006-10-19 Pioneer Corporation Communication system, communication device and method, and computer program
WO2008068544A1 (en) * 2006-12-05 2008-06-12 Nokia Corporation Method and device for wireless optical data transmission
JP2014168137A (en) * 2013-02-28 2014-09-11 Panasonic Corp Visible light communication system
JP2016538794A (en) * 2013-09-18 2016-12-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Visible light source, mobile terminal, and controller based position determination method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6484780B1 (en) * 2018-04-03 2019-03-20 フォトメディカル合同会社 Faint light detection system and faint light detection method
JP2019184567A (en) * 2018-04-03 2019-10-24 フォトメディカル合同会社 Weak light detection system, and weak light detection method
WO2020195281A1 (en) * 2019-03-27 2020-10-01 パナソニックIpマネジメント株式会社 Illumination control device and illumination device
JPWO2020195281A1 (en) * 2019-03-27 2021-10-14 パナソニックIpマネジメント株式会社 Lighting control device and lighting device
JP7113240B2 (en) 2019-03-27 2022-08-05 パナソニックIpマネジメント株式会社 Lighting control device and lighting device

Also Published As

Publication number Publication date
JP6370733B2 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
US11309961B2 (en) Commissioning a luminaire with location information
US10075234B2 (en) Techniques for emitting position information from luminaires
CN111052865B (en) Identification and location of luminaires by constellation diagrams
EP3048747B1 (en) Positioning method based on visible light source, mobile terminal and controller
ES2811362T3 (en) Emission control system using barcode information
CN104954068A (en) Techniques for adaptive light modulation in light-based communication
EP1870802A1 (en) Method and device for making user equipment part of a display device
US10181901B2 (en) Determining encoding schemes for formatting output signals of light-based communication enabled luminaires
US10505628B2 (en) Designated map luminaires
JP6370733B2 (en) Information transmission device and information acquisition device
CN108293286B (en) User-determinable configuration of a lighting device for selecting a light scene
US10117316B1 (en) Rotating identifications in light-based positioning systems
JP2016126968A (en) Light emission control system and method of using the same
CN111258523A (en) Huge image display system fused in venue and control method
Vieira et al. Indoor wayfinding using visible light communication
KR20160055476A (en) Device and operating method of bluetooth beacon with portable terminal which provide thread service from recognizing of position coordinate of road structure
KR101594513B1 (en) Device and operating method of bluetooth beacon with portable terminal which provide thread service from recognizing of position coordinate of road structure
KR20240067451A (en) Method and Apparatus for Checking of Indoor Location Information Using Visible Light Communication
JP2017156190A (en) Communication control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180711

R150 Certificate of patent or registration of utility model

Ref document number: 6370733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250