WO2020234912A1 - 携帯装置、位置表示方法、及び位置表示プログラム - Google Patents

携帯装置、位置表示方法、及び位置表示プログラム Download PDF

Info

Publication number
WO2020234912A1
WO2020234912A1 PCT/JP2019/019608 JP2019019608W WO2020234912A1 WO 2020234912 A1 WO2020234912 A1 WO 2020234912A1 JP 2019019608 W JP2019019608 W JP 2019019608W WO 2020234912 A1 WO2020234912 A1 WO 2020234912A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspection
portable device
unit
information indicating
Prior art date
Application number
PCT/JP2019/019608
Other languages
English (en)
French (fr)
Inventor
川浦 健央
佐藤 健二
浩之 安田
Original Assignee
三菱電機株式会社
三菱電機ビルテクノサービス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社, 三菱電機ビルテクノサービス株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/019608 priority Critical patent/WO2020234912A1/ja
Priority to JP2021520486A priority patent/JPWO2020234912A1/ja
Publication of WO2020234912A1 publication Critical patent/WO2020234912A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring

Definitions

  • the present invention relates to a portable device, a position display method, and a position display program.
  • the inspection location is displayed on the mobile device.
  • the operator can recognize the inspection location by looking at the portable device.
  • the worker does not know the current position, he / she may not be able to reach the inspection location even if he / she looks at the portable device.
  • An object of the present invention is to allow an operator to reach an inspection site.
  • the portable device includes an acceleration sensor for measuring acceleration, a gyro sensor for measuring angular velocity, a storage unit for storing a first image which is an image of a sketch including location information indicating an inspection location, and the first. It has a position calculation unit for calculating the current position of the portable device on the image, and a display unit for displaying the first position information indicating the current position on the first image.
  • the position calculation unit is based on the acceleration, the angular velocity, and the second position information indicating the position of the portable device calculated before calculating the current position on the first image. Calculate the position.
  • the operator can reach the inspection place.
  • FIG. 1 is a diagram showing a work flow.
  • the portable device 100 is used in the three operations.
  • the portable device 100 is a smartphone or tablet device.
  • the portable device 100 is a device that executes a position display method.
  • FIG. 2 is a diagram showing a configuration of hardware included in a mobile device.
  • the portable device 100 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, an SSD (Solid State Drive) 13, a camera 14, an acceleration sensor 15, a gyro sensor 16, an orientation measurement sensor 17, a communication interface 18, and an operation. It has a device 19, a GPU (Graphics Processing Unit) 20, a frame memory 21, a RAMDAC (Random Access Memory Digital-to-Analog Converter) 22, and a display 23.
  • the CPU 11 and the GPU 20 are also referred to as a processor.
  • the CPU 11 controls the entire mobile device 100.
  • the RAM 12 is the main storage device of the portable device 100.
  • the SSD 13 is an auxiliary storage device of the portable device 100.
  • the camera 14 is a photographing device.
  • the acceleration sensor 15 is a sensor that measures acceleration.
  • the gyro sensor 16 is a sensor that measures the angular velocity.
  • the directional measurement sensor 17 is a sensor that measures the directional direction.
  • the directional measurement sensor 17 may be expressed as an electronic compass.
  • the communication interface 18 communicates with another device.
  • the operation device 19 is used when a user operates a GUI (Graphical User Interface). Further, the GUI is displayed on the display 23 by using the GPU 20, the frame memory 21, and the RAMDAC 22.
  • GUI Graphic User Interface
  • FIG. 3 is a functional block diagram showing the configuration of the portable device at the stage of the field survey.
  • the portable device 100 includes a storage unit 110, an acquisition unit 120, a position calculation unit 130, an image determination unit 140, a calculation creation unit 150, a display unit 160, an association unit 170, and an operation detection unit 180.
  • the storage unit 110 may be realized as a storage area reserved in the RAM 12, SSD 13, the frame memory 21, or the RAMDAC 22.
  • a part or all of the acquisition unit 120, the position calculation unit 130, the image determination unit 140, the calculation creation unit 150, the display unit 160, the association unit 170, and the operation detection unit 180 may be realized by a processor.
  • a part or all of the acquisition unit 120, the position calculation unit 130, the image determination unit 140, the calculation creation unit 150, the display unit 160, the association unit 170, and the operation detection unit 180 are realized as modules of a program executed by the processor. May be good.
  • a program executed by a processor is also called a position display program.
  • the position display program is recorded on a recording medium.
  • the acquisition unit 120 acquires an image of a sketch of the work site.
  • the acquisition unit 120 may acquire an image obtained by scanning a sketch of paper by a scanner. Further, for example, the acquisition unit 120 may acquire an image of the sketch obtained based on the CAD data.
  • the position calculation unit 130 acquires the acceleration measured by the acceleration sensor 15.
  • the position calculation unit 130 acquires the angular velocity from the gyro sensor 16.
  • the position calculation unit 130 calculates the position of the mobile device 100 based on the position, acceleration, and angular velocity of the mobile device 100 calculated last time.
  • a method for calculating the position of the portable device 100 is described in Patent Document 2. Further, the initial position is set before the position calculation unit 130 first calculates the position of the portable device 100. For example, the user sets the position of the mobile device 100 on the mobile device 100. Then, when the position calculation unit 130 first calculates the position of the mobile device 100, the position calculation unit 130 calculates the position of the mobile device 100 based on the initial position, the acceleration, and the angular velocity.
  • the image determination unit 140 acquires an image taken by the camera 14.
  • the image determination unit 140 determines whether or not the device to be inspected exists in the image.
  • the functions of the calculation creation unit 150, the display unit 160, the association unit 170, and the operation detection unit 180 will be described later.
  • FIG. 4 is a flowchart showing a process executed by the image determination unit.
  • the user takes the portable device 100 and moves to a place where the device to be inspected exists.
  • the user takes a picture of an object using the portable device 100.
  • the thing includes the equipment to be inspected.
  • the process of FIG. 4 is started when the image determination unit 140 acquires an image taken by the camera 14.
  • Step S11 The image determination unit 140 determines whether or not the device to be inspected installed at the inspection location exists in the image.
  • the equipment to be inspected will be referred to as an inspection equipment.
  • the process executed by the image determination unit 140 will be specifically described.
  • FIG. 5 is a diagram showing a specific example of the search process.
  • the image 30 is an image taken by the camera 14.
  • the image determination unit 140 moves the search window to search for whether or not the inspection device exists in the image 30.
  • the image determination unit 140 uses image matching to search for whether or not the inspection device exists in the image 30. Note that FIG. 5 shows the scanning route.
  • the image determination unit 140 advances the process to step S12. If the inspection device is not present in the image, the image determination unit 140 ends the process.
  • the image in which the inspection device is present is referred to as an image of the inspection device.
  • Step S12 The image determination unit 140 determines whether or not the inspection device in the image is out of focus due to camera shake.
  • the process executed by the image determination unit 140 will be specifically described.
  • FIG. 6 is a diagram showing a specific example of the out-of-focus determination process.
  • the image 30 is an image taken by the camera 14.
  • the image determination unit 140 determines the pixel of interest.
  • FIG. 6 shows the pixel of interest 31.
  • the image determination unit 140 determines a plurality of peripheral pixels centering on the pixel of interest. For example, FIG. 6 shows peripheral pixels 32.
  • the image determination unit 140 sets the pixel of interest as an image feature point.
  • the predetermined number of pixels among the plurality of peripheral pixels is continuously darker than the pixel of interest
  • the image determination unit 140 sets the pixel of interest as an image feature point.
  • the image determination unit 140 determines whether or not all the pixels are image feature points. When the number of image feature points is equal to or greater than a predetermined threshold value, the image determination unit 140 determines that the inspection device in the image is not out of focus. Then, the image determination unit 140 advances the process to step S13. When the number of image feature points is smaller than a predetermined threshold value, the image determination unit 140 determines that the inspection device in the image is out of focus. Then, the image determination unit 140 ends the process.
  • Step S13 The image determination unit 140 transmits the image taken by the camera 14 to the association unit 170.
  • FIG. 7 is a flowchart showing a process executed by the calculation creation unit.
  • the calculation creation unit 150 determines whether or not the sketch image has been received from the acquisition unit 120. When the sketch image is received, the calculation creation unit 150 advances the process to step S22. If the sketch image has not been received, the calculation creation unit 150 waits.
  • the calculation creation unit 150 receives the position information indicating the position of the portable device 100 from the position calculation unit 130.
  • the calculation creation unit 150 calculates the position of the inspection location. The method of calculating the position of the inspection place will be described in detail.
  • FIG. 8 is a diagram for explaining a method of calculating the position of the inspection place.
  • the user is near the place where the inspection device is located.
  • the user has a portable device 100.
  • FIG. 8 shows that the inspection device is an air conditioner 40. Further, FIG. 8 shows the position 41 of the portable device 100 and the position 42 of the inspection location.
  • the position 41 of the portable device 100 is a position calculated by the position calculation unit 130. In other words, the position 41 of the portable device 100 is the position of the user.
  • FIG. 8 shows the distance H from the portable device 100 to the ceiling 43.
  • the distance H is stored in the storage unit 110 in advance.
  • the distance H is also referred to as a first distance.
  • the calculation creation unit 150 calculates the distance L using the equation (1).
  • the distance L is the distance from the position 41 of the portable device 100 to the position 42 of the inspection location.
  • the distance L is also referred to as a second distance.
  • the calculation creation unit 150 can calculate the slope ⁇ from the value measured by the gyro sensor 16.
  • the inclination ⁇ is an inclination angle when the portable device 100 is tilted. In this way, the calculation creation unit 150 calculates the distance L based on the slope ⁇ and the distance H.
  • the calculation creation unit 150 acquires the direction from the direction measurement sensor 17.
  • the calculation creation unit 150 calculates the position of the inspection location based on the position, direction, and distance L of the portable device 100.
  • the calculation creation unit 150 creates an image in which the inspection location is added to the image of the sketch drawing. In this way, the calculation creation unit 150 creates the image based on the position, direction, distance L, and the sketch image of the portable device 100.
  • the image can be expressed as an image of a sketch that includes location information indicating the inspection location.
  • the image will be referred to as an inspection location additional image.
  • the location information is called a plot.
  • the place information may be called a mark.
  • the calculation creation unit 150 stores the inspection location additional image in the storage unit 110. In this way, the portable device 100 can create an image in which the inspection location is added to the image of the sketch drawing.
  • FIG. 9 is a diagram showing a display example of the inspection location.
  • FIG. 9 shows a state in which the inspection location additional image is displayed on the display 23.
  • FIG. 9 plots the inspection locations. For example, plot 50 indicates the inspection location.
  • the display unit 160 periodically receives the position of the portable device 100 from the position calculation unit 130. Each time the display unit 160 receives the position of the mobile device 100, the display unit 160 superimposes the position of the mobile device 100 on the inspection location additional image.
  • FIG. 9 shows the movement locus of the user.
  • association unit 170 associates the image of the inspection device transmitted by the image determination unit 140 with the plot indicating the inspection location in the inspection location additional image. For example, the association unit 170 associates the coordinates of the plot in the inspection location additional image with the image of the inspection device.
  • the image of the inspection device is also referred to as a second image.
  • the operation detection unit 180 detects that the plot is selected by the user's operation. Specifically, the operation detection unit 180 detects that the plot is selected when the user taps the plot. When the selection is detected, the display unit 160 displays an image of the inspection device. That is, the display unit 160 displays an image of the inspection device when it is detected that the plot is selected.
  • FIG. 10 is a diagram showing a specific example when an image of the inspection device is displayed.
  • the operation detection unit 180 detects that the plot 60 is selected.
  • the operation detection unit 180 notifies the display unit 160 that the plot 60 has been selected.
  • the display unit 160 displays an image of the inspection device on the display 23. By looking at the display 23, the user can confirm whether the inspection device existing in the image is out of focus.
  • FIG. 11 is a functional block diagram showing the configuration of the portable device at the stage of preprocessing of the patrol inspection.
  • the storage unit 110 stores inspection procedure information indicating the inspection procedure. Further, the storage unit 110 stores inspection history information indicating the inspection history.
  • FIG. 12 is a diagram showing a specific example of the processing executed by the portable device in the pre-processing stage of the patrol inspection.
  • FIG. 12 shows a state in which the inspection location additional image including the plot 70 is displayed on the display 23.
  • the operation detection unit 180 detects that the plot 70 is selected.
  • the operation detection unit 180 notifies the display unit 160 that the plot 70 has been selected.
  • the display unit 160 displays the image 71 of the inspection device. The user sets the device type and the unique number of the inspection device existing in the image 71 in the device type column and the unique number column.
  • the association unit 170 refers to the storage unit 110 and detects the inspection procedure information corresponding to the inspection device existing in the image 71 based on the device type and the unique number. The association unit 170 associates the inspection procedure information with the plot 70. Further, the association unit 170 refers to the storage unit 110 and detects the inspection history information corresponding to the inspection device existing in the image 71 based on the device type and the unique number. The association unit 170 associates the inspection history information with the plot 70.
  • FIG. 13 is a functional block diagram showing a configuration of a portable device at the stage of patrol inspection.
  • the portable device 100 further includes a distance determination unit 190.
  • a part or all of the distance determination unit 190 may be realized by a processor.
  • a part or all of the distance determination unit 190 may be realized as a module of a program executed by the processor.
  • the storage unit 110 stores the inspection location additional image.
  • the inspection location additional image is also referred to as the first image.
  • the position calculation unit 130 at the stage of the patrol inspection calculates the current position of the portable device 100 on the inspection location additional image. Specifically, the position calculation unit 130 calculates the current position based on the acceleration, the angular velocity, and the position information indicating the position of the portable device 100 calculated before calculating the current position on the inspection location additional image. .. For example, the position calculation unit 130 calculates the current position based on the acceleration, the angular velocity, and the position information indicating the position of the portable device 100 calculated last time on the inspection location additional image. Further, for example, when the position calculation unit 130 calculates the current position in a short cycle, it is based on the acceleration, the angular velocity, and the position information indicating the position of the portable device 100 calculated two times before on the inspection location additional image. The current position may be calculated. The position information indicating the position of the portable device 100 calculated before calculating the current position on the inspection location additional image is also referred to as the second position information.
  • the position calculation unit 130 periodically calculates the current position of the portable device 100 on the inspection location additional image. In other words, the position calculation unit 130 periodically calculates the current position of the worker.
  • the display unit 160 receives the current position of the mobile device 100 from the position calculation unit 130.
  • the display unit 160 superimposes the position information indicating the current position on the inspection location additional image and displays it.
  • the position information indicating the current position is also referred to as the first position information.
  • the display unit 160 periodically receives the current position of the portable device 100 from the position calculation unit 130. Each time the display unit 160 receives the current position of the mobile device 100, the display unit 160 displays an additional image of the inspection location on which the current position of the mobile device 100 is superimposed.
  • the worker can confirm the position of the worker by looking at the portable device 100.
  • the operator can confirm the inspection location by looking at the inspection location additional image. Therefore, the portable device 100 can allow the operator to reach the inspection location.
  • FIG. 14A shows a state in which the inspection location additional image in which the movement paths of the workers are overlapped is displayed.
  • the display unit 160 may display the inspection location additional image on the display 23 on which the movement paths of the workers are overlapped.
  • FIG. 14A shows a state in which the plot 80 is displayed on the display 23.
  • the operation detection unit 180 detects that the plot 80 is selected.
  • the operation detection unit 180 notifies the display unit 160 that the plot 80 has been selected.
  • the display unit 160 displays an image of the inspection device and inspection procedure information. Specifically, when it is detected that the plot 80 is selected, the display unit 160 displays an image of the inspection device associated with the plot 80 and inspection procedure information associated with the plot 80 on the display 23. To do. FIG. 14B shows a state in which an image of the inspection device and inspection procedure information are displayed on the display 23. As a result, the operator can recognize the inspection device by looking at the portable device 100. In addition, the operator can confirm the inspection procedure by looking at the portable device 100.
  • the display unit 160 displays an image of the inspection device and inspection history information. Specifically, when it is detected that the plot 80 is selected, the display unit 160 displays an image of the inspection device associated with the plot 80 and the inspection history information associated with the plot 80 on the display 23. To do. FIG. 14C shows a state in which an image of the inspection device and inspection history information are displayed on the display 23. As a result, the worker can confirm the past inspection work by looking at the portable device 100.
  • the display unit 160 may display the image of the inspection device and the inspection history information after displaying the image of the inspection device and the inspection procedure information.
  • the distance determination unit 190 determines whether or not the distance between the position of the inspection location and the current position of the portable device 100 is equal to or less than a predetermined threshold value.
  • the distance is also referred to as a third distance.
  • the display unit 160 displays at least one or more of the image of the inspection device, the inspection procedure information, and the inspection history information on the display 23.
  • the portable device 100 displays an image of the inspection device or the like when the worker approaches the inspection location. As a result, the portable device 100 can prevent the operator from overlooking the inspection device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Traffic Control Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

携帯装置(100)は、加速度を計測する加速度センサ(15)と、角速度を計測するジャイロセンサ(16)と、点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部(110)と、第1の画像上における携帯装置(100)の現在位置を算出する位置算出部(130)と、現在位置を示す第1の位置情報を第1の画像に重ねて表示する表示部(160)と、を有する。位置算出部(130)は、加速度、角速度、及び第1の画像上における、現在位置を算出する前に算出された携帯装置(100)の位置を示す第2の位置情報に基づいて、現在位置を算出する。

Description

携帯装置、位置表示方法、及び位置表示プログラム
 本発明は、携帯装置、位置表示方法、及び位置表示プログラムに関する。
 作業者は、点検作業を行う。点検作業は、点検場所で行われる。ここで、点検場所を表示する技術が提案されている(特許文献1を参照)。
特開2011-113161号公報 特許第6272572号公報
 上記の技術では、点検場所が携帯装置に表示される。作業者は、携帯装置を見ることで、点検場所を認識できる。しかし、作業者は、現在位置が分からないため、携帯装置を見ても、点検場所にたどり着けない場合がある。
 本発明の目的は、作業者を点検場所にたどり着けるようにすることである。
 本発明の一態様に係る携帯装置が提供される。携帯装置は、加速度を計測する加速度センサと、角速度を計測するジャイロセンサと、点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部と、前記第1の画像上における前記携帯装置の現在位置を算出する位置算出部と、前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示する表示部と、を有する。前記位置算出部は、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する。
 本発明によれば、作業者を点検場所にたどり着けるようにできる。
作業の流れを示す図である。 携帯装置が有するハードウェアの構成を示す図である。 現地調査の段階における携帯装置の構成を示す機能ブロック図である。 画像判定部が実行する処理を示すフローチャートである。 検索処理の具体例を示す図である。 ピンボケの判定処理の具体例を示す図である。 算出作成部が実行する処理を示すフローチャートである。 点検場所の位置を算出する方法を説明するための図である。 点検場所の表示例を示す図である。 点検機器の画像が表示される場合の具体例を示す図である。 巡回点検の前処理の段階における携帯装置の構成を示す機能ブロック図である。 巡回点検の前処理の段階における携帯装置が実行する処理の具体例を示す図である。 巡回点検の段階における携帯装置の構成を示す機能ブロック図である。 (A)~(C)は、巡回点検の段階における携帯装置による表示の具体例である。
 以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態.
 図1は、作業の流れを示す図である。作業には、現地調査、巡回点検の前処理、巡回点検の3つがある。3つの作業では、携帯装置100が用いられる。例えば、携帯装置100は、スマートフォン又はタブレット装置である。また、携帯装置100は、位置表示方法を実行する装置である。
 次に、携帯装置100が有するハードウェアについて説明する。
 図2は、携帯装置が有するハードウェアの構成を示す図である。携帯装置100は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、SSD(Solid State Drive)13、カメラ14、加速度センサ15、ジャイロセンサ16、方位計測センサ17、通信インタフェース18、操作デバイス19、GPU(Graphics Processing Unit)20、フレームメモリ21、RAMDAC(Random Access Memory Digital-to-Analog Converter)22、ディスプレイ23を有する。
 ここで、CPU11及びGPU20は、プロセッサとも言う。CPU11は、携帯装置100全体を制御する。RAM12は、携帯装置100の主記憶装置である。SSD13は、携帯装置100の補助記憶装置である。
 カメラ14は、撮影装置である。加速度センサ15は、加速度を計測するセンサである。ジャイロセンサ16は、角速度を計測するセンサである。方位計測センサ17は、方位を計測するセンサである。方位計測センサ17は、電子コンパスと表現してもよい。
 通信インタフェース18は、他の装置と通信する。操作デバイス19は、ユーザがGUI(Graphical User Interface)を操作する際に用いられる。また、GUIは、GPU20、フレームメモリ21、RAMDAC22を用いて、ディスプレイ23に表示される。
 次に、現地調査の段階における携帯装置100の機能を説明する。
 図3は、現地調査の段階における携帯装置の構成を示す機能ブロック図である。携帯装置100は、記憶部110、取得部120、位置算出部130、画像判定部140、算出作成部150、表示部160、関連付け部170、及び操作検出部180を有する。
 記憶部110は、RAM12、SSD13、フレームメモリ21、又はRAMDAC22に確保した記憶領域として実現してもよい。
 取得部120、位置算出部130、画像判定部140、算出作成部150、表示部160、関連付け部170、及び操作検出部180の一部又は全部は、プロセッサによって実現してもよい。
 取得部120、位置算出部130、画像判定部140、算出作成部150、表示部160、関連付け部170、及び操作検出部180の一部又は全部は、プロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサが実行するプログラムは、位置表示プログラムとも言う。例えば、位置表示プログラムは、記録媒体に記録されている。
 取得部120は、作業現場の見取図の画像を取得する。例えば、取得部120は、紙の見取図をスキャナが読み取った画像を取得してもよい。また、例えば、取得部120は、CADデータに基づいて得られた見取図の画像を取得してもよい。
 位置算出部130は、加速度センサ15が計測した加速度を取得する。位置算出部130は、ジャイロセンサ16から角速度を取得する。位置算出部130は、前回算出した携帯装置100の位置、加速度、及び角速度とに基づいて、携帯装置100の位置を算出する。なお、携帯装置100の位置を算出する方法は、特許文献2に記載されている。また、位置算出部130が最初に携帯装置100の位置を算出する前に、初期位置が設定される。例えば、ユーザは、携帯装置100の位置を携帯装置100に設定する。そして、位置算出部130が最初に携帯装置100の位置を算出する場合、位置算出部130は、初期位置、加速度、及び角速度とに基づいて、携帯装置100の位置を算出する。
 画像判定部140は、カメラ14が撮影した画像を取得する。画像判定部140は、点検対象の機器が画像に存在するか否かを判定する。
 算出作成部150、表示部160、関連付け部170、及び操作検出部180の機能については、後で説明する。
 次に、画像判定部140の機能について、詳細に説明する。
 図4は、画像判定部が実行する処理を示すフローチャートである。まず、ユーザは、携帯装置100を持って、点検対象の機器が存在する場所に移動する。ユーザは、携帯装置100を用いて、物を撮影する。なお、物には、点検対象の機器が含まれる。図4の処理は、カメラ14が撮影した画像を画像判定部140が取得することで開始する。
 (ステップS11)画像判定部140は、点検場所に設置されている点検対象の機器が画像内に存在するか否かを判定する。以下、点検対象の機器は、点検機器と呼ぶ。
 ここで、画像判定部140が実行する処理を具体的に説明する。
 図5は、検索処理の具体例を示す図である。画像30は、カメラ14が撮影した画像である。画像判定部140は、検索ウィンドウを移動させて、点検機器が画像30内に存在するか否かを検索する。詳細には、画像判定部140は、画像マッチングを用いて、点検機器が画像30内に存在するか否かを検索する。なお、図5は、走査の経路を示している。
 点検機器が画像内に存在する場合、画像判定部140は、処理をステップS12に進める。点検機器が画像内に存在しない場合、画像判定部140は、処理を終了する。
 ここで、以下、点検機器が存在する画像は、点検機器の画像と呼ぶ。
 (ステップS12)画像判定部140は、手振れにより、画像内の点検機器がピンボケしているか否かを判定する。
 ここで、画像判定部140が実行する処理を具体的に説明する。
 図6は、ピンボケの判定処理の具体例を示す図である。画像30は、カメラ14が撮影した画像である。
 画像判定部140は、注目画素を決定する。図6は、注目画素31を示している。画像判定部140は、注目画素を中心として、複数の周辺画素を決定する。例えば、図6は、周辺画素32を示している。画像判定部140は、複数の周辺画素のうちの予め決められた画素数が連続して注目画素よりも明るい場合、注目画素を画像特徴点とする。また、画像判定部140は、複数の周辺画素のうちの予め決められた画素数が連続して注目画素よりも暗い場合、注目画素を画像特徴点とする。
 画像判定部140は、上記のように、全ての画素に対して、画像特徴点であるか否かを判定する。
 画像判定部140は、画像特徴点の数が予め決められた閾値以上である場合、画像内の点検機器がピンボケしていないと判定する。そして、画像判定部140は、処理をステップS13に進める。
 画像判定部140は、画像特徴点の数が予め決められた閾値よりも小さい場合、画像内の点検機器がピンボケしていると判定する。そして、画像判定部140は、処理を終了する。
 (ステップS13)画像判定部140は、カメラ14が撮影した画像を関連付け部170に送信する。
 図7は、算出作成部が実行する処理を示すフローチャートである。
 (ステップS21)算出作成部150は、取得部120から見取図の画像を受信したか否かを判定する。見取図の画像を受信した場合、算出作成部150は、処理をステップS22に進める。見取図の画像を受信していない場合、算出作成部150は、待機する。
 (ステップS22)算出作成部150は、携帯装置100の位置を示す位置情報を位置算出部130から受信する。
 (ステップS23)算出作成部150は、点検場所の位置を算出する。点検場所の位置を算出する方法を詳細に説明する。
 図8は、点検場所の位置を算出する方法を説明するための図である。まず、ユーザは、点検機器が存在する場所の付近に存在する。ユーザは、携帯装置100を持っている。
 図8は、点検機器が空気調和機40であることを示している。また、図8は、携帯装置100の位置41と点検場所の位置42とを示している。なお、携帯装置100の位置41は、位置算出部130が算出した位置である。言い換えれば、携帯装置100の位置41は、ユーザの位置である。
 図8は、携帯装置100から天井43までの距離Hを示している。距離Hは、記憶部110に予め格納されている。また、距離Hは、第1の距離とも言う。
 算出作成部150は、式(1)を用いて、距離Lを算出する。距離Lは、携帯装置100の位置41から点検場所の位置42までの距離である。なお、距離Lは、第2の距離とも言う。
Figure JPOXMLDOC01-appb-M000001
 なお、算出作成部150は、ジャイロセンサ16が計測した値から傾きθを算出できる。傾きθは、携帯装置100が傾けられたときの傾き角度である。このように、算出作成部150は、傾きθと距離Hに基づいて、距離Lを算出する。
 算出作成部150は、方位計測センサ17から方位を取得する。算出作成部150は、携帯装置100の位置、方位、及び距離Lに基づいて、点検場所の位置を算出する。
 (ステップS24)算出作成部150は、見取図の画像に点検場所を加えた画像を作成する。このように、算出作成部150は、携帯装置100の位置、方位、距離L、及び見取図の画像に基づいて、当該画像を作成する。当該画像は、点検場所を示す場所情報が含まれている見取図の画像と表現できる。以下、当該画像は、点検場所付加画像と呼ぶ。なお、当該場所情報は、プロットと呼ぶ。また、当該場所情報は、印と呼んでもよい。算出作成部150は、点検場所付加画像を記憶部110に格納する。
 このように、携帯装置100は、見取図の画像に点検場所を加えた画像を作成できる。
 図9は、点検場所の表示例を示す図である。図9では、点検場所付加画像がディスプレイ23に表示されている状態を示している。図9は、点検場所をプロットで示している。例えば、プロット50は、点検場所を示す。
 表示部160は、位置算出部130から定期的に携帯装置100の位置を受信する。表示部160は、携帯装置100の位置を受信する度に、点検場所付加画像に携帯装置100の位置を重ねて表示する。図9は、ユーザの移動軌跡を示している。
 また、関連付け部170は、画像判定部140が送信した点検機器の画像と点検場所付加画像内の点検場所を示すプロットとを関連付ける。例えば、関連付け部170は、点検場所付加画像内のプロットの座標と点検機器の画像を関連付ける。なお、点検機器の画像は、第2の画像とも言う。
 操作検出部180は、ユーザの操作によりプロットが選択されたことを検出する。詳細には、操作検出部180は、ユーザがプロットをタップした場合、プロットが選択されたことを検出する。
 表示部160は、当該選択が検出された場合、点検機器の画像を表示する。すなわち、表示部160は、プロットが選択されたことが検出された場合、点検機器の画像を表示する。
 図10は、点検機器の画像が表示される場合の具体例を示す図である。操作検出部180は、ユーザがプロット60をタップした場合、プロット60が選択されたことを検出する。操作検出部180は、プロット60が選択されたことを表示部160に通知する。
 表示部160は、点検機器の画像をディスプレイ23に表示する。
 ユーザは、ディスプレイ23を見ることで、画像内に存在する点検機器がピンボケしているかを確認することができる。
 次に、巡回点検の前処理の段階における携帯装置100の機能を説明する。
 図11は、巡回点検の前処理の段階における携帯装置の構成を示す機能ブロック図である。図11では、位置算出部130、画像判定部140、算出作成部150の図示が、省略されている。
 記憶部110は、点検手順を示す点検手順情報を記憶している。また、記憶部110は、点検履歴を示す点検履歴情報を記憶している。
 次に、巡回点検の前処理の段階における携帯装置100の処理を具体的に説明する。
 図12は、巡回点検の前処理の段階における携帯装置が実行する処理の具体例を示す図である。
 図12では、プロット70を含む点検場所付加画像がディスプレイ23に表示されている状態を示している。
 操作検出部180は、ユーザがプロット70をタップした場合、プロット70が選択されたことを検出する。操作検出部180は、プロット70が選択されたことを表示部160に通知する。表示部160は、点検機器の画像71を表示する。
 ユーザは、画像71に存在する点検機器の機器種別と固有番号とを機器種別の欄と固有番号の欄に設定する。
 関連付け部170は、記憶部110を参照し、機器種別と固有番号とに基づいて、画像71に存在する点検機器に対応する点検手順情報を検出する。関連付け部170は、点検手順情報とプロット70とを関連付ける。
 また、関連付け部170は、記憶部110を参照し、機器種別と固有番号とに基づいて、画像71に存在する点検機器に対応する点検履歴情報を検出する。関連付け部170は、点検履歴情報とプロット70とを関連付ける。
 次に、巡回点検の段階について説明する。作業者は、携帯装置100を持って巡回点検を行う。
 図13は、巡回点検の段階における携帯装置の構成を示す機能ブロック図である。携帯装置100は、さらに、距離判定部190を有する。
 距離判定部190の一部又は全部は、プロセッサによって実現してもよい。距離判定部190の一部又は全部は、プロセッサが実行するプログラムのモジュールとして実現してもよい。
 距離判定部190の機能については、後で説明する。
 記憶部110は、点検場所付加画像を記憶する。点検場所付加画像は、第1の画像とも言う。
 巡回点検の段階における位置算出部130は、点検場所付加画像上における携帯装置100の現在位置を算出する。詳細には、位置算出部130は、加速度、角速度、及び点検場所付加画像上における、現在位置を算出する前に算出された携帯装置100の位置を示す位置情報に基づいて、現在位置を算出する。例えば、位置算出部130は、加速度、角速度、及び点検場所付加画像上における、前回算出された携帯装置100の位置を示す位置情報に基づいて、現在位置を算出する。また、例えば、位置算出部130は、短い周期で現在位置を算出する場合、加速度、角速度、及び点検場所付加画像上における、2回前に算出された携帯装置100の位置を示す位置情報に基づいて、現在位置を算出してもよい。なお、点検場所付加画像上における、現在位置を算出する前に算出された携帯装置100の位置を示す位置情報は、第2の位置情報とも言う。
 また、位置算出部130は、点検場所付加画像上における携帯装置100の現在位置を定期的に算出する。言い換えれば、位置算出部130は、作業者の現在位置を定期的に算出する。
 表示部160は、位置算出部130から携帯装置100の現在位置を受信する。表示部160は、現在位置を示す位置情報を点検場所付加画像に重ねて表示する。なお、現在位置を示す位置情報は、第1の位置情報とも言う。表示部160は、位置算出部130から定期的に携帯装置100の現在位置を受信する。表示部160は、携帯装置100の現在位置を受信する度に、携帯装置100の現在位置が重ねられた点検場所付加画像を表示する。
 これにより、作業者は、携帯装置100を見ることで、作業者の位置を確認できる。また、作業者は、点検場所付加画像を見ることで、点検場所を確認することができる。よって、携帯装置100は、作業者を点検場所にたどり着けるようにすることができる。
 図14(A)~(C)は、巡回点検の段階における携帯装置による表示の具体例である。図14(A)は、作業者の移動経路が重ねられた点検場所付加画像が表示されている状態を示している。このように、表示部160は、作業者の移動経路が重ねられた点検場所付加画像をディスプレイ23に表示してもよい。
 また、図14(A)は、プロット80がディスプレイ23に表示されている状態を示している。操作検出部180は、作業者がプロット80をタップした場合、プロット80が選択されたことを検出する。操作検出部180は、プロット80が選択されたことを表示部160に通知する。
 表示部160は、当該選択が検出された場合、点検機器の画像と点検手順情報とを表示する。詳細には、表示部160は、プロット80が選択されたことが検出された場合、プロット80に関連付けられている点検機器の画像とプロット80に関連付けられている点検手順情報とをディスプレイ23に表示する。図14(B)は、点検機器の画像と点検手順情報とがディスプレイ23に表示されている状態を示している。これにより、作業者は、携帯装置100を見ることで、点検機器を認識できる。また、作業者は、携帯装置100を見ることで、点検手順を確認することができる。
 また、表示部160は、選択が検出された場合、点検機器の画像と点検履歴情報とを表示する。詳細には、表示部160は、プロット80が選択されたことが検出された場合、プロット80に関連付けられている点検機器の画像とプロット80に関連付けられている点検履歴情報とをディスプレイ23に表示する。図14(C)は、点検機器の画像と点検履歴情報とがディスプレイ23に表示されている状態を示している。これにより、作業者は、携帯装置100を見ることで、過去の点検作業を確認することができる。なお、表示部160は、点検機器の画像と点検手順情報とを表示した後、点検機器の画像と点検履歴情報とを表示してもよい。
 ここで、距離判定部190の機能を説明する。距離判定部190は、点検場所の位置と携帯装置100の現在位置との間の距離が予め決められた閾値以下であるか否かを判定する。なお、当該距離は、第3の距離とも言う。
 表示部160は、当該距離が閾値以下であると判定された場合、点検機器の画像、点検手順情報、及び点検履歴情報の少なくとも1つ以上をディスプレイ23に表示する。このように、携帯装置100は、作業者が点検場所に近づいたとき、点検機器の画像などを表示する。これにより、携帯装置100は、作業者が点検機器を見落とすことを防止できる。
 11 CPU、 12 RAM、 13 SSD、 14 カメラ、 15 加速度センサ、 16 ジャイロセンサ、 17 方位計測センサ、 18 通信インタフェース、 19 操作デバイス、 20 GPU、 21 フレームメモリ、 22 RAMDAC、 23 ディスプレイ、 30 画像、 31 注目画素、 32 周辺画素、 40 空気調和機、 41 位置、 42 位置、 43 天井、 50 プロット、 60 プロット、 70 プロット、 71 画像、 80 プロット、 100 携帯装置、 110 記憶部、 120 取得部、 130 位置算出部、 140 画像判定部、 150 算出作成部、 160 表示部、 170 関連付け部、 180 操作検出部、 190 距離判定部。

Claims (9)

  1.  携帯装置であって、
     加速度を計測する加速度センサと、
     角速度を計測するジャイロセンサと、
     点検場所を示す場所情報が含まれている見取図の画像である第1の画像を記憶する記憶部と、
     前記第1の画像上における前記携帯装置の現在位置を算出する位置算出部と、
     前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示する表示部と、
     を有し、
     前記位置算出部は、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する、
     携帯装置。
  2.  前記第2の位置情報は、前記第1の画像上における、前回算出された前記携帯装置の位置を示す、
     請求項1に記載の携帯装置。
  3.  方位を計測する方位計測センサと、
     前記携帯装置が傾けられたときの傾き角度と、前記携帯装置から天井までの第1の距離に基づいて、前記携帯装置の位置から前記点検場所の位置までの第2の距離を算出し、前記携帯装置の位置、前記方位、前記第2の距離及び前記見取図の画像に基づいて、前記第1の画像を作成する算出作成部と、
     をさらに有する請求項1又は2に記載の携帯装置。
  4.  前記点検場所に設置されている点検対象の機器の画像である第2の画像と前記場所情報とを関連付けする関連付け部と、
     ユーザの操作により前記場所情報が選択されたことを検出する操作検出部と、
     をさらに有し、
     前記表示部は、前記選択が検出された場合、前記第2の画像を表示する、
     請求項1から3のいずれか1項に記載の携帯装置。
  5.  前記点検場所に設置されている点検対象の機器に対応する点検手順を示す点検手順情報と前記場所情報とを関連付けする関連付け部と、
     ユーザの操作により前記場所情報が選択されたことを検出する操作検出部と、
     をさらに有し、
     前記表示部は、前記選択が検出された場合、前記点検手順情報を表示する、
     請求項1から3のいずれか1項に記載の携帯装置。
  6.  前記点検場所に設置されている点検対象の機器に対応する点検履歴を示す点検履歴情報と前記場所情報とを関連付けする関連付け部と、
     ユーザの操作により前記場所情報が選択されたことを検出する操作検出部と、
     をさらに有し、
     前記表示部は、前記選択が検出された場合、前記点検履歴情報を表示する、
     請求項1から3のいずれか1項に記載の携帯装置。
  7.  前記点検場所の位置と前記現在位置との間の距離である第3の距離が予め決められた閾値以下であるか否かを判定する距離判定部、
     をさらに有し、
     前記表示部は、前記第3の距離が前記閾値以下であると判定された場合、前記点検場所に設置されている点検対象の機器の画像である第2の画像、前記点検対象の機器に対応する点検手順を示す点検手順情報、及び前記点検対象の機器に対応する点検履歴を示す点検履歴情報の少なくとも1つ以上を表示する、
     請求項1から3のいずれか1項に記載の携帯装置。
  8.  加速度を計測する加速度センサと、角速度を計測するジャイロセンサとを有する携帯装置が、
     点検場所を示す場所情報が含まれている見取図の画像である第1の画像上における前記携帯装置の現在位置を算出し、
     前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示し、
     前記現在位置を算出する場合、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する、
     位置表示方法。
  9.  加速度を計測する加速度センサと、角速度を計測するジャイロセンサとを有する携帯装置に、
     点検場所を示す場所情報が含まれている見取図の画像である第1の画像上における前記携帯装置の現在位置を算出し、
     前記現在位置を示す第1の位置情報を前記第1の画像に重ねて表示し、
     前記現在位置を算出する場合、前記加速度、前記角速度、及び前記第1の画像上における、前記現在位置を算出する前に算出された前記携帯装置の位置を示す第2の位置情報に基づいて、前記現在位置を算出する、
     処理を実行させる位置表示プログラム。
PCT/JP2019/019608 2019-05-17 2019-05-17 携帯装置、位置表示方法、及び位置表示プログラム WO2020234912A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/019608 WO2020234912A1 (ja) 2019-05-17 2019-05-17 携帯装置、位置表示方法、及び位置表示プログラム
JP2021520486A JPWO2020234912A1 (ja) 2019-05-17 2019-05-17 携帯装置、位置表示方法、及び位置表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/019608 WO2020234912A1 (ja) 2019-05-17 2019-05-17 携帯装置、位置表示方法、及び位置表示プログラム

Publications (1)

Publication Number Publication Date
WO2020234912A1 true WO2020234912A1 (ja) 2020-11-26

Family

ID=73459194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019608 WO2020234912A1 (ja) 2019-05-17 2019-05-17 携帯装置、位置表示方法、及び位置表示プログラム

Country Status (2)

Country Link
JP (1) JPWO2020234912A1 (ja)
WO (1) WO2020234912A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219780A1 (ja) * 2021-04-15 2022-10-20 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111648A (ja) * 1998-10-07 2000-04-21 Ntt Data Corp 位置検出システム及び位置検出装置
JP2011113161A (ja) * 2009-11-25 2011-06-09 Hitachi High-Tech Control Systems Corp 現場点検システム
JP2014229020A (ja) * 2013-05-21 2014-12-08 三菱電機ビルテクノサービス株式会社 情報提供装置及び情報提供システム
JP2016164518A (ja) * 2015-03-06 2016-09-08 日本電信電話株式会社 屋内位置情報測位システム及び屋内位置情報測位方法
WO2017094350A1 (ja) * 2015-12-03 2017-06-08 アルプス電気株式会社 位置検出システム
JP2019002747A (ja) * 2017-06-13 2019-01-10 株式会社ソーシャル・キャピタル・デザイン 目的地特定システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019874A (ja) * 2004-06-30 2006-01-19 Fuji Photo Film Co Ltd 手ぶれ・ピンボケレベル報知方法および撮像装置
JP2006345462A (ja) * 2005-06-10 2006-12-21 Sharp Corp 通信装置、通信制御方法、通信制御プログラムおよび記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111648A (ja) * 1998-10-07 2000-04-21 Ntt Data Corp 位置検出システム及び位置検出装置
JP2011113161A (ja) * 2009-11-25 2011-06-09 Hitachi High-Tech Control Systems Corp 現場点検システム
JP2014229020A (ja) * 2013-05-21 2014-12-08 三菱電機ビルテクノサービス株式会社 情報提供装置及び情報提供システム
JP2016164518A (ja) * 2015-03-06 2016-09-08 日本電信電話株式会社 屋内位置情報測位システム及び屋内位置情報測位方法
WO2017094350A1 (ja) * 2015-12-03 2017-06-08 アルプス電気株式会社 位置検出システム
JP2019002747A (ja) * 2017-06-13 2019-01-10 株式会社ソーシャル・キャピタル・デザイン 目的地特定システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219780A1 (ja) * 2021-04-15 2022-10-20 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
JPWO2022219780A1 (ja) * 2021-04-15 2022-10-20
JP7361992B2 (ja) 2021-04-15 2023-10-16 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Also Published As

Publication number Publication date
JPWO2020234912A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和***
JP6412474B2 (ja) クラック幅計測システム
US20040246229A1 (en) Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system
US20170163949A1 (en) Apparatus using a projector, method, and storage medium
JP5388921B2 (ja) 3次元距離計測装置及びその方法
US9633450B2 (en) Image measurement device, and recording medium
JP4914365B2 (ja) 見通し距離測定装置
JP2010128727A (ja) 画像処理装置
US20070098251A1 (en) Non-contact three-dimensional measuring methods and apparatuses
JP2007243509A (ja) 画像処理装置
JP6579727B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム
WO2020234912A1 (ja) 携帯装置、位置表示方法、及び位置表示プログラム
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2010217984A (ja) 像検出装置及び像検出方法
US20220076399A1 (en) Photographing guide device
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
JP7334460B2 (ja) 作業支援装置及び作業支援方法
JP5514062B2 (ja) 電子機器、情報付き撮像画面表示方法及びプログラム
JP2007010419A (ja) 対象物の3次元形状検証システム。
JP2005268972A (ja) 映像表示システム、及び映像表示方法
JP4458945B2 (ja) 監視カメラシステム、ビデオ処理装置およびその文字表示方法
JP2021012141A (ja) 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
WO2023223887A1 (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法
CN110443848B (zh) 影像视角扩增及稳定影像的***及方法
EP4040394A1 (en) Information processing device, information processing method, and carrier means

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929987

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021520486

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929987

Country of ref document: EP

Kind code of ref document: A1