WO2023021639A1 - 情報処理装置及び検知システム - Google Patents

情報処理装置及び検知システム Download PDF

Info

Publication number
WO2023021639A1
WO2023021639A1 PCT/JP2021/030294 JP2021030294W WO2023021639A1 WO 2023021639 A1 WO2023021639 A1 WO 2023021639A1 JP 2021030294 W JP2021030294 W JP 2021030294W WO 2023021639 A1 WO2023021639 A1 WO 2023021639A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
detection
sensor
detection sensor
map
Prior art date
Application number
PCT/JP2021/030294
Other languages
English (en)
French (fr)
Inventor
竜成 片岡
礼子 坂田
直紀 古畑
淳 嶋田
咲樹 松井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/030294 priority Critical patent/WO2023021639A1/ja
Priority to JP2022503910A priority patent/JP7051031B1/ja
Publication of WO2023021639A1 publication Critical patent/WO2023021639A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V13/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices covered by groups G01V1/00 – G01V11/00
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation

Definitions

  • the technology disclosed herein relates to an information processing device and a detection system.
  • Detection sensors are used for various purposes, and there are various methods such as infrared methods and laser methods. In the field of various detection sensors, differentiation from other companies' products is being carried out in order to promote sales.
  • Patent Document 1 a technology that presents the detection area on a GUI terminal to differentiate it from other companies' products.
  • a new concept is required in the field of detection sensors.
  • the new concept achieves greater differentiation from other companies' products. This great differentiation increases the user's willingness to buy and further promotes sales.
  • the disclosed technology aims to provide a new concept in the field of detection sensors and further promote product sales.
  • An information processing apparatus is connected to at least one detection sensor and at least one projector, has a three-dimensional map of an environment in which the detection sensor is installed, and is three-dimensional information of the detection sensor.
  • a receiving unit that receives detection range information and additional information about the detection sensor; a map information conversion unit that converts the detection range information into information on the map; and a projection content conversion unit that converts the projection content into projection content that can be projected onto a projection surface that is a part of the projection content, and an output unit that outputs the projection content to the projector.
  • the detection system realized by the information processing apparatus according to the technology disclosed herein has the above configuration, it is possible to directly display and visualize the detection range of the invisible detection sensor in real space when necessary. In this way, the information processing apparatus according to the technology disclosed herein provides a detection system based on a new concept and contributes to sales promotion of products.
  • FIG. 1 is a functional block diagram showing functions of a detection system realized by an information processing apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a schematic diagram showing the action of the detection system implemented by the information processing device according to the technology disclosed herein.
  • FIG. 2A is a schematic diagram showing the operation of the detection system in the initial state with no obstructions.
  • FIG. 2B is a schematic diagram showing the operation of the detection system when there is an obstruction.
  • FIG. 3 is a flow chart showing processing steps of the detection system implemented by the information processing apparatus according to the first embodiment.
  • FIG. 4 is a first schematic diagram showing an application example of the detection system according to the technology disclosed herein.
  • FIG. 5 is a second schematic diagram showing an application example of the detection system according to the technology disclosed herein.
  • FIG. 6 is a schematic diagram 3 showing an application example of the detection system according to the technology disclosed herein.
  • FIG. 7 is a schematic diagram 4 showing an application example of the detection system according to the technology disclosed herein.
  • FIG. 8 is a schematic diagram 5 showing an application example of the detection system according to the technology disclosed herein.
  • FIG. 9 is a configuration diagram showing the hardware configuration of the information processing apparatus according to the first embodiment.
  • FIG. 10 is a first reference diagram for explaining the disclosed technology.
  • FIG. 11 is a second reference diagram for explaining the disclosed technology.
  • FIG. 12 is a third reference diagram for explaining the disclosed technology.
  • a new concept provided by the detection system realized by the information processing device 200 according to the technology disclosed herein is to directly display and visualize the detection range of an invisible sensor in real space when necessary. Moreover, the visualization is performed in a way that expresses additional information about the sensor. How this concept is embodied will become clear from the description of the embodiments below.
  • FIG. 1 is a functional block diagram showing functions of a detection system realized by an information processing apparatus 200 according to Embodiment 1.
  • the information processing device 200 according to the technology disclosed herein includes a receiving unit 210, a map information converting unit 220, a projected content converting unit 230, and an output unit 240.
  • the information processing apparatus 200 according to Embodiment 1 is also connected to at least one detection sensor 10 and at least one projector 30 .
  • the detection system according to the technology disclosed herein includes an information processing device 200 , at least one detection sensor 10 , and at least one projector 30 .
  • the number of detection sensors 10 handled by the information processing device 200 may be one or more. Further, the detection sensor 10 may be an external sensor installed at a position separate from the information processing device 200 or a sensor integrated with the information processing device 200 . Furthermore, the information processing device 200 may handle both the external detection sensor 10 and the embedded detection sensor 10 at the same time.
  • a specific example of the detection sensor 10 may be a sensor typified by a pyroelectric sensor for detecting surrounding objects (hereinafter referred to as a "human sensor"), a laser displacement meter, or a camera.
  • a mode in which the detection sensor 10 is a camera will be clarified by another embodiment described later.
  • the detection sensor 10 handled by the information processing apparatus 200 according to the technology disclosed herein may be an active sensor emitting infrared rays or the like.
  • the detection sensor 10 may be a passive sensor, which will be described later.
  • the detection sensor 10 may be a range sensor, an ultrasonic sensor, a temperature sensor, a depth sensor, a fiber sensor, or a color sensor.
  • the detection sensor 10 can be used for elevator doors, escalator entrances, escalator exits, entrance/exit management gates, automatic doors for various entrances and exits, automatic security robots, air conditioners that detect humans, and the like. can be considered.
  • the types of facilities using the detection sensor 10 may be signage in facilities, various facilities in architectural spaces, and surveillance cameras. Various facilities in the architectural space may be installed around passageways, around stairs, or at building entrances and exits.
  • the detection sensor 10 is a camera, it is conceivable that it is used in a camera system used in a television station or the like, a shooting system in a concert venue, or the like.
  • the information processing device 200 has a three-dimensional map of the environment in which the detection sensor 10 is installed.
  • the environment in which the detection sensor 10 is installed refers to the elevator hall.
  • a three-dimensional map is, in this case, numerical data that can reproduce the geometry inside an elevator hall.
  • the term map used here may be considered to have the same meaning as a general map.
  • a 3D map of the environment may be created using common 3D metrology techniques and methods of acquiring 3D data. Specifically, a three-dimensional map of the environment may be created using a 3D laser scanner.
  • a method of creating a three-dimensional map of a wide environment may be a method of obtaining coordinates of three-dimensional points in the environment by combining measurement values obtained by LiDAR with GPS position information.
  • a three-dimensional map of the environment may be detected based on the relative positions of the sensing sensors 10 .
  • the receiving unit 210 of the information processing device 200 receives the detection range information of the detection sensor 10 .
  • the detection range information of the detection sensor 10 refers to information regarding the range in which humans can be detected.
  • a detection range is a three-dimensional area. Since the information processing apparatus 200 according to the technology disclosed herein handles detection range information of the detection sensor 10, the detection range of the detection sensor 10 must be able to be defined. However, even if the defined detection range does not match the actual detection range in a strict sense, the effect of the technology disclosed herein can be obtained. For example, in the case of a passive human sensor in which a lens captures the heat emitted by a person as light, the detection range may be defined as a detectable range obtained by trial.
  • the detection range may be defined by a method corresponding to representation such as gray scale. Cameras are classified as sensors that have a well-defined detection range. When the detection sensor 10 is a camera, the detection range is a three-dimensional area captured by the camera.
  • the detection range changes dynamically.
  • the position (hereinafter referred to as “sensor position information”) and the attitude (hereinafter referred to as “sensor attitude information”) of the detection sensor 10 in the environment ) is also required.
  • the receiving unit 210 of the information processing device 200 also receives sensor position information and sensor orientation information.
  • the detection range in a relative coordinate system with the detection sensor 10 as a reference point is known only from the detection signal of the detection sensor 10, but the detection range in a coordinate system fixed to the environment is not known.
  • Sensor position information and sensor orientation information are required for coordinate transformation from a relative coordinate system to a coordinate system fixed to the environment.
  • the sensor position information and the sensor orientation information may use fixed initial values when the detection sensor 10 is installed in the environment. If the detection sensor 10 is a camera of a camera system used in a television station or the like, sensor position information and sensor orientation information change dynamically. Means for periodically acquiring sensor position information and sensor orientation information may use another camera fixed in the environment, or may use a method using a landmark and a laser displacement meter. , the sensor may be embedded in the floor surface. Further, the means for acquiring the sensor position information and the sensor attitude information may use encoders on the wheels or may use GPS.
  • the detection range may be estimated by an image analysis technique represented by AI, based on the content of the image captured by the camera and the image information data of the environment that has been converted into data in advance.
  • the detection range may be estimated by having the camera reconstruct the 3D information through techniques of computational photography and matching it with a 3D map of the environment.
  • the receiving unit 210 of the information processing device 200 receives additional information about the detection sensor 10 in addition to the detection range information of the detection sensor 10 .
  • the additional information about the detection sensor 10 is, for example, the type, number, identification number of the detection sensor 10, the state indicating whether it is operating or sleeping, the strength or sensitivity of the detection sensor 10, the distance from the detection sensor 10, and the like. It's okay. That is, the additional information consists of sensor information, which is information about the type, number, etc., of the detection sensor 10 and state information, which is information about the state and detection content of the detection sensor 10 .
  • the type, number, identification number, etc. of the detection sensor 10 may be called sensor information.
  • state information The state indicating whether the device is operating or sleeping, the strength or sensitivity of the detection sensor 10, the distance from the detection sensor 10, and the like may be referred to as state information.
  • State information handled by the technology disclosed herein is information that dynamically changes according to changes in the surrounding environment. That is, it can be said that the state information is information that supplements the detection range information.
  • the detection sensor 10 is a camera of a camera system used in a television station or the like
  • the additional information includes the identification number of the camera, that is, the so-called 1st camera, 2nd camera, . Information as to whether it is in AIR, etc. can be considered.
  • the method by which the receiving unit 210 of the information processing device 200 receives the detection signal and the like from the detection sensor 10 may be wired or wireless.
  • the detection range of the detection sensor 10 is generally a conical area with the detection sensor 10 as the apex, but is not limited to this.
  • the detection sensor 10 is an active human sensor, the detection sensor 10 emits a beam and detects what is reflected by a reflecting object, so the detection range is formed by a combination of line segments representing the beam.
  • the detection sensor 10 is an IR sensor, a plurality of beam-like infrared rays are emitted from the detection sensor 10, and blocking of the infrared rays by a person is defined as "detection".
  • the detection range of the detection sensor 10 is formed by a plurality of beam-shaped infrared rays.
  • the detection sensor 10 As the detection sensor 10 according to the technology disclosed herein, a sensor whose detection range can be defined is used. Specifically, when the detection sensor 10 is an IR sensor, the detection sensor 10 measures the distance at which each irradiated infrared beam is reflected. A sensing range is periodically determined based on the distance to the reflector from which each emitted beam is reflected. In this way, the detection range in the initial state and the detection range when blocked by a person are obtained.
  • the beam used by the detection sensor 10 may be an infrared beam or a laser beam. That is, the detection sensor 10 may adopt a method of a laser displacement meter.
  • IR sensors detect changes in whether or not infrared rays are blocked, but many do not measure how far away the infrared rays are blocked. Even when the detection sensor 10 is such a sensor, the technology disclosed herein can be applied. For example, compared to the initial state, if the infrared rays are not blocked, the infrared rays are represented by a normal line segment, and if the infrared rays are blocked by an obstacle, the infrared rays are blinked or vibrated to distinguish them from the normal line segments. It may be represented in a manner having a visual effect to indicate the detection range.
  • the detection sensor 10 is a passive human sensor
  • the detection range is displayed in a normal color when there is no detection, and the detection range is displayed in a different color when there is detection.
  • the detection range is displayed in a different color when there is detection.
  • the information processing apparatus 200 and the detection system according to the technology disclosed herein are characterized in that the display content dynamically changes according to the detection situation.
  • the map information conversion unit 220 of the information processing device 200 converts the detection range information obtained by reception into information on the map.
  • the information on the map is information that can be plotted on the map, and specifically includes points, line segments, areas, and the like.
  • the map information conversion unit 220 generates the invisible detection range of the sensor on a three-dimensional map, which is a virtual space.
  • the detection system according to the technique of the present disclosure skillfully overlaps two coordinate spaces, real and virtual, to represent the invisible detection range of the sensor on the real space.
  • the projection content conversion unit 230 of the information processing device 200 converts information on the map into projection content, which is two-dimensional information that can be projected onto a projection plane that is part of the environment in association with additional information.
  • UI User Interface
  • UI means hardware/software prepared as an interface for a user by a device such as a computer.
  • UI is understood to be a display method of how data is displayed. Under such an interpretation, the technology disclosed herein can be said to be technology related to UI.
  • FIG. 2 is a schematic diagram showing the action of the detection system implemented by the information processing device 200. As shown in FIG. FIG. 2 shows the action when the detection sensor 10 is an IR sensor.
  • FIG. 2A is a schematic diagram showing the operation of the detection system in the initial state with no obstructions.
  • FIG. 2B is a schematic diagram showing the operation of the detection system when there is an obstruction.
  • FIG. 2A shows that 12 infrared rays are emitted from the detection sensor 10 toward the wall inside the environment.
  • the 12 dots appearing on the wall represent the positions where the infrared rays are reflected.
  • the detection range of the detection sensor 10 cannot be seen with the naked eye.
  • the detection range can be represented as information on a virtual three-dimensional map by a model of 12 line segments starting from the detection sensor 10 and ending at each of the 12 points appearing on the wall.
  • the detection range of the invisible sensor is visualized using the floor as a projection plane.
  • the projection content conversion unit 230 performs mapping conversion for projecting information on a virtual three-dimensional map onto a projection plane. In the example shown in FIG.
  • the projection content conversion unit 230 projects and converts the 12 line segments represented in three dimensions onto the floor, which is the projection plane.
  • the projected sensing range in the example of FIG. 2A the 12 line segments projected onto the floor, is referred to as the "projected sensing range”.
  • the projection content conversion unit 230 generates projection content expressed by projecting the projection detection range onto the projection surface of the real space using the projector 30 connected to the information processing device 200 .
  • Projector 30 is preferably a short throw projector.
  • An advantage of the short-focus projector is that when the projection surface is the floor, the projector 30 can be brought closer to the floor, and the projected content is less likely to be disturbed by human shadows.
  • the projector 30 does not have to be installed at the same position as the detection sensor 10 .
  • the projection content conversion unit 230 determines where the projector 30 is installed in the environment (hereinafter referred to as “projector position information”) and in what orientation it is installed (hereinafter “projector orientation information”), Generate projection content based on the information of
  • projection detection ranges there are as many projection detection ranges as the number of detection sensors 10. For example, only one projector 30 may be prepared, and one projection content including all projection detection ranges may be projected. Also, the same number of projectors 30 as the number of detection sensors 10 may be prepared, for example, and each projector 30 may project the projection detection range of the corresponding detection sensor 10 with different projection contents. Also, the number of projectors 30 may be arbitrarily determined without depending on the number of detection sensors 10 . The number of projectors 30 may be determined in consideration of the scale of the environment and the like.
  • the projected content should include additional information.
  • the additional information may be, for example, the type of the detection sensor 10, the state indicating whether it is operating or sleeping, the intensity or sensitivity of the detection sensor 10, the distance from the detection sensor 10, and the like, as described above.
  • the corresponding detection ranges may be color-coded depending on the type or individual difference of the detection sensors 10 .
  • the projection content may be information different from the detection range. For example, if the detection sensor 10 is installed at the entrance/exit of a venue, the information different from the detection range is character information such as "closed", “exit only", "XX venue", or symbolic information such as pictograms. may be
  • the setting of the projection content is specifically the color representing the detection range, the display mode, and the contents of the additional information.
  • the external terminal of the information processing apparatus 200 may set items such as how to color-code the corresponding detection range according to the type or individual difference of the detection sensor 10 .
  • Character information or symbol information included in the additional information may also be set by an external terminal of the information processing apparatus 200 .
  • the example shown in Fig. 2 is not projection mapping because the place where the projected content is projected is the floor, which is a flat projection plane and is not three-dimensional.
  • projection mapping technology may be used because the projected content is accurately aligned with the projection destination.
  • the detection system according to the present disclosure does not limit the projection destination to a plane, and may perform projection mapping with the projection destination being a three-dimensional object.
  • the output unit 240 outputs projection content to the projector 30 .
  • the output method may be wired or wireless.
  • FIG. 3 is a flow chart showing processing steps of the detection system implemented by the information processing apparatus 200 according to the first embodiment. As shown in FIG.
  • the processing steps include a step in which the detection sensor 10 outputs detection range information and additional information (ST10), a step in which the receiving unit 210 receives the detection range information and additional information (ST210), A step in which the map information conversion unit 220 converts the detection range information into information on the map (ST220); a step in which the projection content conversion unit 230 converts the information on the map into projection content (ST230); It includes a step of outputting the content to projector 30 (ST240) and a step of projecting the projection content by projector 30 (ST30).
  • FIG. 4 is a first schematic diagram showing an application example of the detection system according to the technology disclosed herein.
  • the detection system according to the disclosed technique can be applied to a human sensor used in elevators. Since the detection range of the detection sensor 10 is visualized by the detection system according to the technology of the present disclosure, the user can use the elevator more safely.
  • the detection sensor 10 is installed inside the elevator, and the projector 30 is installed outside the elevator. Therefore, the visualized detection range changes with the opening and closing of the elevator doors. Note that the installation location of the detection sensor 10 is not limited to the inside of the elevator. As shown in FIG.
  • the display UI may be, for example, the detection range solidly painted with a density corresponding to the intensity or sensitivity.
  • the detection system according to the technology of the present disclosure exerts a special effect during installation work and maintenance work, and is beneficial both to the installation worker who installs the detection sensor 10 and to the maintenance worker who performs maintenance. Projection of projected content can be used only during installation work and maintenance work.
  • FIG. 5 is a second schematic diagram showing an application example of the detection system according to the technology disclosed herein.
  • the detection system according to the technology disclosed herein can be applied to a human sensor used in an escalator.
  • the detection sensor 10 is a laser sensor as shown in FIG. 5
  • the display UI may be in the form of a line representing a beam of detection, for example. Since the detection range of the detection sensor 10 is visualized by the detection system according to the technology of the present disclosure, the user can use the escalator more safely.
  • the detection system according to the technology disclosed herein exerts a special effect during installation work and maintenance work, and is beneficial both to the installation worker who installs the detection sensor 10 and to the maintenance worker who performs maintenance. There is no problem even if the projection of the projection content is used only during installation work and maintenance work.
  • FIG. 5 shows an example of application to an escalator, it can of course also be applied to ordinary stairs.
  • FIG. 6 is a schematic diagram 3 showing an application example of the detection system according to the technology disclosed herein.
  • the detection system according to the technology disclosed herein can be applied to a human sensor installed in a room.
  • the display UI may be in the form of a ring representing the detection range, for example.
  • the display UI may have a size exceeding the projection range of the projector 30 .
  • the detection system according to the disclosed technology exhibits a remarkable effect during installation work and maintenance work, and is beneficial to both the installation worker who installs the detection sensor 10 and the maintenance worker who performs maintenance. be. There is no problem even if the projection of the projection content is used only during installation work and maintenance work.
  • FIG. 6 simply shows an example of application to a room, it can of course be applied to an air conditioner installed in a room and equipped with a human sensor.
  • FIG. 7 is a schematic diagram 4 showing an application example of the detection system according to the technology disclosed herein.
  • the detection system according to the disclosed technology can be applied to various gates.
  • Various types of gates include gates at ticket gates of transportation facilities, gates at company facilities used by employees, and gates at facilities such as museums used by users.
  • the gate is not limited to being made of metal, and may be made of glass, plastic, or the like that transmits the beam used for detection.
  • the display UI may be selected according to the sensor information of the detection sensors 10 . Since the detection system according to the technology of the present disclosure visualizes the detection range of the detection sensor 10, the user can use the gate more safely.
  • the detection system according to the technology disclosed herein exerts a special effect during installation work and maintenance work, and is beneficial both to the installation worker who installs the detection sensor 10 and to the maintenance worker who performs maintenance. There is no problem even if the projection of the projection content is used only during installation work and maintenance work.
  • FIG. 8 is a schematic diagram 5 showing an application example of the detection system according to the technology disclosed herein.
  • the detection system according to the disclosed technique can be applied to mobile robots such as security applications.
  • the display UI may be in the form of scale lines extending in a fan shape from the detection sensor 10 .
  • the detection system according to the disclosed technology is not limited to mobile robot applications, and has a special effect when collecting various data or when adjusting the parameters of the detection sensor 10 in the development stage or commercialization stage. .
  • FIG. 9 is a configuration diagram showing the hardware configuration of the information processing device 200 according to the first embodiment.
  • Each function of the information processing device 200 is realized by the receiving device and the processing circuit 20 as shown in FIG.
  • the receiver 210 is the receiver shown in FIG.
  • Functions of the map information conversion unit 220 and the projection content conversion unit 230 are implemented by the processing circuit 20 .
  • the output unit 240 is realized by an output device (not shown).
  • the processing circuit 20, even if it is dedicated hardware, is also called a CPU (Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, processor, DSP) that executes programs stored in memory. ).
  • CPU Central Processing Unit
  • processing circuitry 20 may be, for example, a single circuit, multiple circuits, programmed processors, parallel programmed processors, ASICs, FPGAs, or combinations thereof.
  • the functions of each unit of the map information conversion unit 220 and the projection content conversion unit 230 may be realized by separate processing circuits 20, respectively, or the functions of each unit may be collectively realized by one processing circuit 20.
  • the functions of the map information conversion section 220 and the projection content conversion section 230 are implemented by software, firmware, or a combination of software and firmware.
  • Software and firmware are written as programs and stored in memory.
  • the processing circuit 20 realizes the function of each part by reading and executing the program stored in the memory. That is, information processing apparatus 200, when executed by processing circuit 20, performs a step of receiving detection range information and additional information (ST210) and a step of converting detection range information into information on a map (ST220). , the step of converting the information on the map into projection content (ST230) and the step of outputting the projection content to the projector 30 (ST240). .
  • the memory means any of non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, or magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD, etc. is applicable.
  • the functions of the map information conversion unit 220 and the projection content conversion unit 230 may be partly realized by dedicated hardware and partly by software or firmware.
  • the function of the map information conversion unit 220 is realized by the processing circuit 20 as dedicated hardware, and the projection content conversion unit 230 is implemented by the processing circuit 20 reading and executing a program stored in the memory. It is also possible to implement functions.
  • the processing circuit 20 can implement each of the above functions by hardware, software, firmware, or a combination thereof.
  • FIG. 10 is a first reference diagram for explaining the disclosed technology.
  • the projection content shows that the detection range of the detection sensor 10 is dynamically reflected. That is, FIG. 10 shows that the projected content changes moment by moment and reflects the detection result of the detection sensor 10 .
  • the three pictures shown in the upper part of FIG. 10 show an example of changes in projected content when the detection sensor 10 is installed inside the glass door elevator and a sticker is attached to the glass door.
  • the three pictures shown in the lower part of FIG. 10 show an example of changes in projected content when the detection sensor 10 is installed inside an elevator with a metal door and a person passes through.
  • the selected display UI has the same semicircular shape. Even if the display UI selected in this way is the same, the projection content according to the technology of the present disclosure may change differently depending on the detection result of the detection sensor 10 .
  • FIG. 11 is a second reference diagram for explaining the disclosed technology.
  • FIG. 11 shows again that there are multiple types of display UIs that can be selected based on sensor information. It can be said that the reason why the display UI may be various is that the types of detection sensors 10 that are actually used are various and the contents to be detected are also various.
  • the display UI shown in FIG. 11 is linear, fan-shaped, or semi-circular, but is not limited thereto.
  • FIG. 12 is a third reference diagram for explaining the disclosed technology.
  • FIG. 12 compares changes in projection content when the detection sensor 10 is an optical range sensor and a sonic range sensor. In either case, a glass plate is placed in front of the detection sensor 10 .
  • the left side of the lower part of FIG. 12 shows projected content when the detection sensor 10 is an optical distance sensor. In the case of optical distance sensors, glass panes are not detected.
  • the projection content shown in the lower left part of FIG. 12 reflects the characteristics of the detection sensor 10 in this way.
  • the right side of the lower part of FIG. 12 shows projected content when the detection sensor 10 is a sonic distance sensor. In the case of acoustic distance sensors, the sensing range is affected by the glass plate.
  • the projection content shown on the right side of the lower part of FIG. 12 also reflects the characteristics of the detection sensor 10 .
  • the detection system realized by the information processing apparatus 200 according to the first embodiment has the above configuration, the detection range of the invisible detection sensor 10 is directly displayed on the real space and visualized when necessary. is possible.
  • the information processing apparatus 200 according to the technology disclosed herein provides a new concept detection system and contributes to sales promotion of products.
  • a detection system realized by the information processing apparatus 200 according to the second embodiment is a system realized when the detection sensor 10 is a camera.
  • the detection system according to the second embodiment can be applied to camera systems used in television stations and the like, photographing systems in concert venues, and the like.
  • the reference numerals used in the second embodiment are the same as those in the first embodiment, except for intentional distinction. Further, explanations overlapping with those of the first embodiment are omitted as appropriate. Note that the term “detection" used in the second embodiment may be read as "capturing".
  • Cameras are classified as sensors that have a clear detection range.
  • the detection range is a three-dimensional area captured by the camera. A moving image captured by a camera is displayed in a rectangle such as a TV screen. From this, it can be said that when the detection sensor 10 is a camera, the detection range is a three-dimensional shape cut out from a quadrangular pyramid. Note that when a special lens such as a fisheye lens is used for the camera, the detection range may have another three-dimensional shape such as a cone.
  • the detection sensor 10 Even if the detection sensor 10 is a camera, if a person has already been photographed, the area behind that person is not photographed.
  • the detection sensor 10 is a camera, the detection range can be obtained by imagining that light is virtually emitted from the camera to form a quadrangular pyramid. When the emitted light hits the object being photographed, the area behind it becomes a shadow and the light does not reach it. Even if there is an object to be photographed, if the detection sensor 10 is a camera, the detection range is a three-dimensional shape cut out from a quadrangular pyramid.
  • the detection sensor 10 is a camera of a camera system used in a television station or the like
  • the sensor position information and sensor orientation information change dynamically.
  • Means for periodically acquiring sensor position information and sensor orientation information may use another camera fixed in the environment, or may use a method using a landmark and a laser displacement meter.
  • the sensor may be embedded in the floor surface.
  • the means for acquiring the sensor position information and the sensor attitude information may use encoders on the wheels or may use GPS.
  • the detection range may be estimated by an image analysis technique represented by AI, based on the content of the image captured by the camera and the image information data of the environment that has been converted into data in advance.
  • the detection range may be estimated by having the camera reconstruct the 3D information through techniques of computational photography and matching it with a 3D map of the environment.
  • the map information conversion unit 220 converts the detection range, which is a three-dimensional shape cut out from a quadrangular pyramid, into information on the map.
  • the information on the map is the information that can be plotted on the map.
  • a detection range, which is a three-dimensional shape cut out from a quadrangular pyramid, can be represented by a point group.
  • a three-dimensional map defines a virtual space with a grid of points.
  • a grid included in the detection range may be flagged with 1 to indicate that it is within the detection range so that the detection range can be specified.
  • the additional information includes the identification number of the camera, that is, the so-called 1st camera, 2nd camera, .
  • Information as to whether it is in AIR, etc. can be considered.
  • the projection content conversion unit 230 converts information on the map into projection content, which is two-dimensional information that can be projected onto a projection plane that is part of the environment in association with additional information.
  • the projection surface may be, for example, the floor surface in the second embodiment as well.
  • the projection content conversion unit 230 projects and converts a detection range, which is a three-dimensional shape or the like cut out from a square pyramid, onto a projection plane. For example, if the detection range is represented by a point group, conversion to projection content may be achieved by projecting each point of the point group onto a projection plane.
  • the detection system according to Embodiment 2 directly displays and visualizes the detection range of the invisible camera on the real space. Visualization of the detection range is realized by expressing additional information such as the ON/OFF state of the camera and the focus position of the camera. Therefore, the detection system according to the second embodiment is effective for photographers, announcers, performers, directors, producers, creators, and others.
  • the mode of use of the detection system according to Embodiment 2 is effective, for example, in new employee training and rehearsals.
  • the detection system according to Embodiment 2 can be applied not only to camera systems used at television stations, but also to shooting systems at concert venues. Moreover, the detection system according to the second embodiment can be applied not only to television stations but also to camera systems for general consumers.
  • the information processing device 200 according to the technology disclosed herein and the detection system realized thereby can be applied to elevators, escalators, automatic doors, gates, mobile robots, camera systems, etc., and have industrial applicability.
  • 1 detection system 10 detection sensor, 20 processing circuit, 30 projector, 200 information processing device, 210 reception unit, 220 map information conversion unit, 230 projection content conversion unit, 240 output unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Manufacturing & Machinery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示技術に係る情報処理装置は、少なくとも１つの検知センサ（１０）と、少なくとも１つのプロジェクタ（３０）と、に接続され、検知センサ（１０）が設置される環境の３次元マップを有し、３次元情報である検知センサ（１０）の検知範囲情報と、検知センサ（１０）に関する付加的情報と、を受信する受信部（２１０）と、検知範囲情報をマップ上の情報に変換するマップ情報変換部（２２０）と、マップ上の情報を、付加的情報と関連づけて環境の中の一部分である投影面に投影できる投影コンテンツに変換する投影コンテンツ変換部（２３０）と、投影コンテンツをプロジェクタへ出力する出力部（２４０）と、を備える。

Description

情報処理装置及び検知システム
　本開示技術は、情報処理装置及び検知システムに関する。
　検知センサは様々な用途で使われ、その方式には赤外線方式、レーザ方式、等の様々なものが存在する。各種検知センサの分野において、販売を促進するため、他社製品との差別化が行われている。
　例えば自動ドアセンサにおいて、検知エリアをＧＵＩ端末に提示する技術を提供し、他社製品との差別化を行っているものが開示されている（特許文献１）。
特開２０１８－１６３６５１号公報
　検知センサの分野において、新しいコンセプトが求められている。新しいコンセプトは、他社製品とのより大きな差別化を実現する。この大きな差別化は、ユーザの購買意欲を高め、販売をさらに促進する。
　本開示技術は、検知センサの分野において新しいコンセプトを提供し、製品の販売をさらに促進することを目的とする。
　本開示技術に係る情報処理装置は、少なくとも１つの検知センサと、少なくとも１つのプロジェクタと、に接続され、検知センサが設置される環境の３次元マップを有し、３次元情報である検知センサの検知範囲情報と、検知センサに関する付加的情報と、を受信する受信部と、検知範囲情報をマップ上の情報に変換するマップ情報変換部と、マップ上の情報を、付加的情報と関連づけて環境の中の一部分である投影面に投影できる投影コンテンツに変換する投影コンテンツ変換部と、投影コンテンツをプロジェクタへ出力する出力部と、を備える。
　本開示技術に係る情報処理装置により実現される検知システムは上記構成を備えるため、必要なときに、目に見えない検知センサの検知範囲を実空間上に直接表示し可視化が可能である。このように本開示技術に係る情報処理装置は新しいコンセプトの検知システムを提供し、製品の販売促進に寄与する。
図１は、実施の形態１に係る情報処理装置により実現される検知システムの機能を表す機能ブロック図である。 図２は、本開示技術に係る情報処理装置により実現される検知システムの作用を示す模式図である。図２Ａは、遮蔽物がない初期状態における検知システムの作用を示す模式図である。図２Ｂは、遮蔽物がある場合の検知システムの作用を示す模式図である。 図３は、実施の形態１に係る情報処理装置により実現される検知システムの処理工程を表すフローチャートである。 図４は、本開示技術に係る検知システムの応用例を示した模式図その１である。 図５は、本開示技術に係る検知システムの応用例を示した模式図その２である。 図６は、本開示技術に係る検知システムの応用例を示した模式図その３である。 図７は、本開示技術に係る検知システムの応用例を示した模式図その４である。 図８は、本開示技術に係る検知システムの応用例を示した模式図その５である。 図９は、実施の形態１に係る情報処理装置のハードウエア構成を表す構成図である。 図１０は、本開示技術を説明する参考図その１である。 図１１は、本開示技術を説明する参考図その２である。 図１２は、本開示技術を説明する参考図その３である。
　本開示技術に係る情報処理装置２００により実現される検知システムが提供する新しいコンセプトとは、必要なときに、目に見えないセンサの検知範囲を実空間上に直接表示し可視化するというものである。しかもその可視化は、センサに関する付加的な情報を表現した方法で行う、というものである。このコンセプトがどのように具現化されるかは、以下の実施の形態の記載により明らかになる。
実施の形態１．
　図１は、実施の形態１に係る情報処理装置２００により実現される検知システムの機能を表す機能ブロック図である。図１に示されるとおり本開示技術に係る情報処理装置２００は、受信部２１０と、マップ情報変換部２２０と、投影コンテンツ変換部２３０と、出力部２４０と、を含む。また実施の形態１に係る情報処理装置２００は、少なくとも１つの検知センサ１０と、少なくとも１つのプロジェクタ３０と、に接続されている。
　また本開示技術に係る検知システムは、情報処理装置２００と、少なくとも１つの検知センサ１０と、少なくとも１つのプロジェクタ３０と、により構成される。
　情報処理装置２００が扱う検知センサ１０は、１つでも複数個でもよい。また検知センサ１０は、情報処理装置２００とは離れた位置に設置された外部のセンサであっても情報処理装置２００と一体となって組み込まれたセンサであってもよい。さらに情報処理装置２００は、外部の検知センサ１０と組み込まれた検知センサ１０とを同時に扱ってもよい。
　検知センサ１０の具体例は、周囲の物体を検知するための焦電センサなどに代表されるセンサ（以降「人感センサ」と称する）、レーザ変位計、又はカメラでもよい。検知センサ１０をカメラとした場合の態様は、後述の別の実施の形態により明らかになる。
　本開示技術に係る情報処理装置２００が扱う検知センサ１０は、赤外線等を発しているアクティブなセンサでよい。検知センサ１０は、後述するパッシブなセンサでもよい。
　さらに検知センサ１０は、測域センサ、超音波センサ、温度センサ、深度センサ、ファイバセンサ、あるいはカラーセンサ、でもよい。
　検知センサ１０が使用される場面も、様々なものが考えられる。例えば検知センサ１０は、エレベータの扉、エスカレータの乗り口、エスカレータの降り口、入退管理ゲート、各種出入口の自動扉、自動運転のセキュリティロボット、ヒトを感知する空調設備等、に使用されることが考えられる。
　検知センサ１０が利用される設備の種類は、上記のほか、施設内サイネージ、建築空間内の各種設備、監視カメラ、でもよい。建築空間内の各種設備は、通路周辺、階段の周辺、あるいは建物出入口、等に設置されるものでもよい。
　検知センサ１０がカメラの場合、テレビ局などで使用されるカメラシステム、コンサート会場の撮影システム等に使用されることが考えられる。
　情報処理装置２００は、検知センサ１０が設置される環境の３次元マップを有する。検知センサ１０が設置される環境とは、例えば検知センサ１０がある建物のエレベータホールに設置される場合、そのエレベータホールを指す。３次元マップとは、この場合で言えばエレベータホール内のジオメトリを再現可能な数値データである。ここで用いられるマップという用語は、一般的な地図と同じ意味と考えてよい。環境の３次元マップは、一般的な３Ｄ計測技術及び３次元データを取得する方法が用いられてよい。具体的に環境の３次元マップは、３Ｄレーザスキャナを用いて作成されてもよい。また広い環境の３次元マップを作成する方法は、ＬｉＤＡＲで計測した計測値にＧＰＳの位置情報を組み合わせて環境内の３次元点の座標を求める方法でもよい。環境の３次元マップは、検知センサ１０の相対位置に基づいて検出されてよい。
　情報処理装置２００の受信部２１０は、検知センサ１０の検知範囲情報を受信する。検知センサ１０の検知範囲情報とは、例えば検知センサ１０が人感センサである場合、ヒトを検知できる範囲に関する情報を指す。検知範囲は、３次元的な領域である。本開示技術に係る情報処理装置２００は検知センサ１０の検知範囲情報を扱うため、検知センサ１０の検知範囲が定義可能でなければならない。ただし定義される検知範囲は、現実の検知範囲と厳密な意味で一致してなくても本開示技術の効果を奏する。例えば人が発する熱を光としてレンズが捕えるパッシブな人感センサの場合、検知範囲は試行によって得られる検知が可能な範囲として定義されてもよい。また、検知範囲の境界がはっきりと求められない場合、例えばグレイスケールのような表現に対応した方法で検知範囲が定義されてもよい。
　カメラは、検知範囲が明確に存在するセンサに分類される。検知センサ１０がカメラの場合、検知範囲はカメラに映る３次元的な領域となる。
　検知センサ１０が、例えばすでにある人物を検知している場合、その人物の後の領域については検知ができない。つまり検知範囲は、動的に変化する。検知範囲を動的に把握するためには、例えば検知センサ１０の検知信号そのものを受信する必要がある。
　検知センサ１０がカメラの場合でも、すでにある人物を撮影している場合、その人物の後の領域は撮影されない。
　検知範囲情報を得るためには、検知センサ１０の検知信号のほか、検知センサ１０が環境の中のどの位置（以降、「センサ位置情報」という）に、どの姿勢（以降、「センサ姿勢情報」という）で設置されているか、という情報も必要である。情報処理装置２００の受信部２１０は、センサ位置情報、及びセンサ姿勢情報も受信する。つまり、検知センサ１０の検知信号のみでは、検知センサ１０を基準点とした相対的な座標系での検知範囲はわかるが、環境に固定された座標系での検知範囲はわからない。相対座標系から環境に固定された座標系への座標変換を行う上で、センサ位置情報とセンサ姿勢情報が必要となる。検知センサ１０が環境に固定された人感センサの場合、センサ位置情報及びセンサ姿勢情報は、検知センサ１０が環境に設置されたときの初期値が固定的に使われてもよい。
　検知センサ１０がテレビ局などで使用されるカメラシステムのカメラである場合、センサ位置情報とセンサ姿勢情報は動的に変化する。センサ位置情報とセンサ姿勢情報とを定期的に取得する手段は、環境に固定された別のカメラが利用されてもよいし、ランドマークとレーザ変位計とを使う方式が利用されてもよいし、床面にセンサが埋め込まれていてもよい。また、センサ位置情報とセンサ姿勢情報とを取得する手段は、車輪にエンコーダが利用されてもよいし、ＧＰＳが利用されてもよい。また、カメラで撮影された画像の内容とあらかじめデータ化された環境の画像情報データとに基づいて、ＡＩに代表される画像解析技術により検知範囲が推定されてもよい。さらにカメラがコンピュテーショナルフォトグラフィーの技術により３次元情報を再現し、環境の３次元マップとマッチングをするようにして、検知範囲が推定されてもよい。
　情報処理装置２００の受信部２１０は、検知センサ１０の検知範囲情報のほか、検知センサ１０に関する付加的情報をも受信する。検知センサ１０に関する付加的情報とは、例えば検知センサ１０の種類、個数、識別番号、稼働しているかスリープ中かを表す状態、検知センサ１０の強度又は感度、検知センサ１０からの距離、等であってよい。すなわち付加的情報は、検知センサ１０の種類、個数、等に関する情報であるセンサ情報と、検知センサ１０の状態及び検知内容に関する情報である状態情報と、から構成される。検知センサ１０の種類、個数、識別番号、等は、センサ情報と言ってよい。稼働しているかスリープ中かを表す状態、検知センサ１０の強度又は感度、検知センサ１０からの距離等は、状態情報と言ってよい。本開示技術が扱う状態情報は、周囲の環境の変化に応じて動的に変化する情報である。すなわち状態情報は、検知範囲情報を補う情報であると言える。
　検知センサ１０がテレビ局などで使用されるカメラシステムのカメラである場合、付加的情報は、カメラの識別番号すなわち俗に言う１カメ、２カメ、…の別、カメラの焦点位置、どのカメラがＯＮ　ＡＩＲになっているかの情報、等が考えられる。
　情報処理装置２００の受信部２１０が検知センサ１０の検知信号等を受信する方法は、有線によるものでも無線によるものでもよい。
　検知センサ１０の検知範囲は、検知センサ１０がパッシブな人感センサの場合には一般的には検知センサ１０を頂点とする円錐状の領域となるが、これに限定されない。検知センサ１０がアクティブな人感センサの場合、検知センサ１０はビームを照射して反射物に反射したものを検知するため、検知範囲はビームを表す線分の組合せで形作られる。例えば検知センサ１０がＩＲセンサである場合、検知センサ１０からはビーム状の赤外線が複数本照射され、その赤外線が人によって遮られることが「検知」とされる。この場合に検知センサ１０の検知範囲は、複数本照射されたビーム状の赤外線によって形作られる。
　本開示技術に係る検知センサ１０は、検知範囲が定義可能なものが用いられる。具体的に検知センサ１０がＩＲセンサである場合、検知センサ１０は、照射されるそれぞれのビーム状の赤外線が、どの距離で反射されたかを計測する。照射されるそれぞれのビームが反射される反射物までの距離に基づいて、検知範囲が定期的に求められる。このようにして、初期状態の検知範囲、及び人によって遮られた場合の検知範囲、が求められる。
　なお検知センサ１０が用いるビームは、赤外線のほかレーザビームであってもよい。すなわち検知センサ１０は、レーザ変位計の方式が採用されてもよい。
　多くのＩＲセンサは、赤外線が遮られたか否かの変化は検知するが、どれくらい離れた距離にある位置で赤外線が遮られたかまでは求めないものも多い。検知センサ１０がこのようなセンサの場合でも本開示技術を適用することが可能である。例えば、初期状態と比較して、赤外線が遮られていなければその赤外線を通常の線分で表し、赤外線が障害物で遮られればその赤外線を点滅又は振動等させ通常の線分とは区別できる視覚効果を有する態様で表し、検知範囲を示すようにしてもよい。また、検知センサ１０がパッシブな人感センサである場合も同様で、検知がない場合には通常の色で検知範囲を表示し、検知がある場合には別の色で検知範囲を表示するようにしてもよい。検知範囲がどのように表示されるかについては、後述の投影コンテンツ変換部２３０の説明により明らかとなる。本開示技術に係る情報処理装置２００及び検知システムは、検知状況に応じて動的に表示内容が変化する、という特徴を有する。
　情報処理装置２００のマップ情報変換部２２０は、受信により得られた検知範囲情報をマップ上の情報に変換する。マップ上の情報とは、マップ上にプロットが可能な情報であり、具体的には点、線分、領域等で構成されたものある。別の言い方をすればマップ情報変換部２２０は、目に見えないセンサの検知範囲を、仮想的な空間である３次元マップ上に生成させる。本開示技術に係る検知システムは、現実とバーチャルとの２つの座標空間を巧みに重ねることにより、目に見えないセンサの検知範囲を実空間上に表現する。
　情報処理装置２００の投影コンテンツ変換部２３０は、マップ上の情報を、付加的情報と関連づけて環境の中の一部分である投影面に投影できる２次元情報である投影コンテンツに変換する。一般に、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）は、コンピュータ等の機器側がユーザに対してインターフェースとして用意しているハードウエア・ソフトウエアを意味する。より簡単に言えばＵＩは、データをどう見せるかという表示方法であると解される。このような解釈のもとで言えば、本開示技術は、ＵＩに関する技術であると言える。本開示技術に係る投影コンテンツは、あらかじめ複数の種類が用意された見せ方の型（以降、「表示ＵＩ」と称する）から自動又は手動でセンサ情報に適した一つを選択し、選択された表示ＵＩを検知範囲情報及び状態情報に応じて動的に加工して得る、といった構成が考えられる。投影コンテンツ変換部２３０の処理内容は、図２に沿った説明により明らかとなる。図２は、情報処理装置２００により実現される検知システムの作用を示す模式図である。図２は、検知センサ１０がＩＲセンサである場合の作用を示している。図２Ａは、遮蔽物がない初期状態における検知システムの作用を示す模式図である。図２Ｂは、遮蔽物がある場合の検知システムの作用を示す模式図である。
　図２Ａは、検知センサ１０から１２本の赤外線が環境の内部の壁に向けて照射されていることを表している。壁に現れている１２個の点は、赤外線が反射された位置を表している。前述したように検知センサ１０の検知範囲は、目でみることができない。検知範囲は、検知センサ１０を起点とし壁に現れている１２個の点のそれぞれを終端とする１２個の線分というモデルにより、バーチャルな３次元マップ上の情報として表現できる。図２Ａの例では、目に見えないセンサの検知範囲が、床を投影面として可視化されている。投影コンテンツ変換部２３０は、バーチャルな３次元マップ上の情報を、投影面に投影する写像変換を行う。図２Ａにより示された例で投影コンテンツ変換部２３０は、３次元で表された１２個の線分を、投影面である床に投影変換する。投影変換された検知範囲、図２Ａの例では床に投影された１２本の線分は、「投影検知範囲」と称される。
　投影コンテンツ変換部２３０は、情報処理装置２００に接続されたプロジェクタ３０によって、投影検知範囲を実空間の投影面に投影して表現する投影コンテンツを生成する。プロジェクタ３０は、短焦点プロジェクタであることが望ましい。短焦点プロジェクタであるメリットは、投影面が床である場合、プロジェクタ３０を床面に近づけられ、投影される投影コンテンツが人の影で邪魔されにくい、ということが挙げられる。プロジェクタ３０は、検知センサ１０と同じ位置に設置されている必要はない。投影コンテンツ変換部２３０は、プロジェクタ３０が環境内のどの位置に設置されているか（以降、「プロジェクタ位置情報」とう称する）、及びどの姿勢で設置されているか（以降、「プロジェクタ姿勢情報」）、との情報に基づいて、投影コンテンツを生成する。
　投影検知範囲は、検知センサ１０の個数だけ存在する。プロジェクタ３０は、例えば１台だけ準備され、すべての投影検知範囲が含まれた１つの投影コンテンツが投影されてもよい。また、プロジェクタ３０は、例えば検知センサ１０の個数と同数だけ準備され、それぞれのプロジェクタ３０が、対応する検知センサ１０の投影検知範囲を別々の投影コンテンツによって投影してもよい。またプロジェクタ３０の個数は、検知センサ１０の個数に依らず、任意に決められてよい。プロジェクタ３０の個数は、環境の規模等を考慮して決めるとよい。
　投影コンテンツは、付加的情報を含むようにするとよい。付加的情報は、前述のとおり例えば検知センサ１０の種類、稼働しているかスリープ中かを表す状態、検知センサ１０の強度又は感度、検知センサ１０からの距離等であってよい。例えば検知センサ１０が複数用いられている場合、検知センサ１０の種類や個体の違いによって、対応する検知範囲が色分けされていてもよい。また、検知センサ１０がスリープ状態及び休止状態のときに、投影コンテンツは検知範囲とは異なった情報であってもよい。例えば検知センサ１０がある会場の出入口に設置されたものである場合、検知範囲とは異なった情報は、「閉鎖中」「出口専用」「〇〇会場」等の文字情報又はピクトグラム等の記号情報であってもよい。
　投影コンテンツは、情報処理装置２００の外部端末によって、各種設定を変更可能としてよい。投影コンテンツの設定とは、具体的には検知範囲を表す色、表示態様、及び付加的情報の内容である。例えば検知センサ１０の種類や個体の違いによって対応する検知範囲をどう色分けするか、といった事項は、情報処理装置２００の外部端末によって設定できるようにしてよい。また、付加的情報に含まれる文字情報又は記号情報も、情報処理装置２００の外部端末によって設定できるようにしてよい。
　図２に示した例は、投影コンテンツが映される場所は床という平面の投影面であり立体ではないから、プロジェクションマッピングではない。ただし、投影先に投影コンテンツが正確に位置合わせされるという点で共通するから、プロジェクションマッピングの技術が用いられてよい。本開示に係る検知システムは、投影先を平面に限定するものではなく、投影先を立体としたプロジェクションマッピングを行ってもよい。
　出力部２４０は、投影コンテンツをプロジェクタ３０へ出力する。出力方法は、有線によるものでも無線によるものでもよい。
　実施の形態１に係る情報処理装置２００により実現される検知システムの作用は、フローチャートとして表すこともできる。図３は、実施の形態１に係る情報処理装置２００により実現される検知システムの処理工程を表すフローチャートである。図３に示されるとおり処理工程は、検知センサ１０が検知範囲情報及び付加的情報を出力するステップ（ＳＴ１０）と、受信部２１０が検知範囲情報及び付加的情報を受信するステップ（ＳＴ２１０）と、マップ情報変換部２２０が検知範囲情報をマップ上の情報に変換するステップ（ＳＴ２２０）と、投影コンテンツ変換部２３０がマップ上の情報を投影コンテンツに変換するステップ（ＳＴ２３０）と、出力部２４０が投影コンテンツをプロジェクタ３０へ出力するステップ（ＳＴ２４０）と、プロジェクタ３０が投影コンテンツを投影するステップ（ＳＴ３０）と、を含む。
　図４は、本開示技術に係る検知システムの応用例を示した模式図その１である。図４に示されるとおり、本開示技術に係る検知システムは、エレベータに用いる人感センサに応用できる。本開示技術に係る検知システムにより検知センサ１０の検知範囲が可視化されるため、利用者がより安全にエレベータを利用できる。図４で示された例では検知センサ１０がエレベータ内に設置され、プロジェクタ３０がエレベータ外に設置されている。よって可視化された検知範囲は、エレベータの扉の開閉に伴い変化する。なお検知センサ１０の設置場所はエレベータ内に限定されるものではない。
　図４に示されるように検知センサ１０がＩＲセンサである場合、表示ＵＩは、例えば検知範囲を強度又は感度に応じた濃さでベタ塗りしたものでもよい。
　本開示技術に係る検知システムは、設置作業時及び保守作業時に格別な効果を発揮し、検知センサ１０を設置する設置作業者及び保守を行うメンテナンス作業者にとっても有益である。投影コンテンツの投影は、設置作業時及び保守作業時に限定する使い方がされても問題ない
　図５は、本開示技術に係る検知システムの応用例を示した模式図その２である。図５に示されるとおり、本開示技術に係る検知システムは、エスカレータに用いる人感センサに応用できる。
　図５に示されるように検知センサ１０がレーザセンサである場合、表示ＵＩは、例えば検知のビームを表した線状の形態のものでよい。
　本開示技術に係る検知システムにより検知センサ１０の検知範囲が可視化されるため、利用者がより安全にエスカレータを利用できる。また本開示技術に係る検知システムは、設置作業時及び保守作業時に格別な効果を発揮し、検知センサ１０を設置する設置作業者及び保守を行うメンテナンス作業者にとっても有益である。投影コンテンツの投影は、設置作業時及び保守作業時に限定する使い方がされても問題ない。図５ではエスカレータに応用する例が示されたが、もちろん通常の階段にも応用できる。
　図６は、本開示技術に係る検知システムの応用例を示した模式図その３である。図６に示されるとおり、本開示技術に係る検知システムは、部屋に設置された人感センサに応用できる。
　図６に示されるように検知センサ１０がパッシブな人感センサである場合、表示ＵＩは、例えば検知範囲を表したリング状の形態のものでよい。また図６に示されるように表示ＵＩは、プロジェクタ３０の投影範囲を超える大きさになってもよい。
　エスカレータの応用例と同様、本開示技術に係る検知システムは、設置作業時及び保守作業時に格別な効果を発揮し、検知センサ１０を設置する設置作業者及び保守を行うメンテナンス作業者にとっても有益である。投影コンテンツの投影は、設置作業時及び保守作業時に限定する使い方がされても問題ない。図６では単に部屋に応用する例が示されたが、もちろん部屋に設置され人感センサを備える空調機にも応用できる。
　図７は、本開示技術に係る検知システムの応用例を示した模式図その４である。図７に示されるとおり、本開示技術に係る検知システムは、各種のゲートに応用できる。各種のゲートには、交通機関の改札口におけるゲート、所属員が使う会社施設等のゲート、利用者が使う博物館等の施設のゲート、が考えられる。ゲートは、金属製に限らず、ガラス、プラスチックといった検知に用いるビームを透過するものであってもよい。
　図７に示されるように検知センサ１０が複数種類用いられる場合、表示ＵＩは、検知センサ１０のセンサ情報に応じてそれぞれ選択されてよい。
　本開示技術に係る検知システムにより検知センサ１０の検知範囲が可視化されるため、利用者がより安全にゲートを利用できる。また本開示技術に係る検知システムは、設置作業時及び保守作業時に格別な効果を発揮し、検知センサ１０を設置する設置作業者及び保守を行うメンテナンス作業者にとっても有益である。投影コンテンツの投影は、設置作業時及び保守作業時に限定する使い方がされても問題ない。
　図８は、本開示技術に係る検知システムの応用例を示した模式図その５である。図８に示されるとおり、本開示技術に係る検知システムは、セキュリティ用途等の移動ロボットに応用できる。
　図８に示されるように検知センサ１０が光学式等の距離センサである場合、表示ＵＩは、検知センサ１０から扇状に広がる目盛線が示された形態であってよい。
　移動ロボットの応用例に限らず本開示技術に係る検知システムは、開発段階又は商品化段階において、各種データを収集する際に、あるいは検知センサ１０のパラメータを調整する際に、格別な効果を奏する。
　図９は、実施の形態１に係る情報処理装置２００のハードウエア構成を表す構成図である。図９に示されるとおり情報処理装置２００の各機能は、受信装置、処理回路２０、により実現される。受信部２１０は、図９に示される受信装置である。マップ情報変換部２２０と投影コンテンツ変換部２３０との機能は、処理回路２０により実現される。出力部２４０は、図示されていない出力装置により実現される。処理回路２０は、専用のハードウエアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう）であってもよい。
　処理回路２０が専用のハードウエアである場合、処理回路２０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はこれらを組み合わせたものが該当する。マップ情報変換部２２０、投影コンテンツ変換部２３０の各部の機能は、それぞれを別個の処理回路２０で実現されてもよいし、各部の機能をまとめて１つの処理回路２０で実現されてもよい。
　処理回路２０がＣＰＵの場合、マップ情報変換部２２０、投影コンテンツ変換部２３０の各部の機能は、ソフトウエア、ファームウエア、又はソフトウエアとファームウエアとの組合せにより実現される。ソフトウエアとファームウエアはプログラムとして記述され、メモリに格納される。処理回路２０は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、情報処理装置２００は、処理回路２０により実行されるときに、検知範囲情報及び付加的情報を受信するステップ（ＳＴ２１０）と、検知範囲情報をマップ上の情報に変換するステップ（ＳＴ２２０）と、マップ上の情報を投影コンテンツに変換するステップ（ＳＴ２３０）と、投影コンテンツをプロジェクタ３０へ出力するステップ（ＳＴ２４０）と、が結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、マップ情報変換部２２０、投影コンテンツ変換部２３０の手順及び方法をコンピュータに実行させるものである、とも言える。ここで、メモリとは、例えばＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリ、若しくは磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等のいずれもが該当する。
　なお、マップ情報変換部２２０、投影コンテンツ変換部２３０の各機能は、一部を専用のハードウエアで実現し、他の一部をソフトウエア又はファームウエアで実現してもおい。例えば、マップ情報変換部２２０については専用のハードウエアとしての処理回路２０でその機能を実現し、投影コンテンツ変換部２３０については処理回路２０がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することも可能である。
　このように処理回路２０は、ハードウエア、ソフトウエア、ファームウエア、又はこれらの組合せによって、上記の各機能を実現することができる。
　図１０は、本開示技術を説明する参考図その１である。図１０に示されるとおり投影コンテンツは、検知センサ１０の検知範囲が動的に反映されていることを示す。すなわち図１０は、投影コンテンツが刻一刻と変化し、検知センサ１０の検知結果を反映していることを示している。図１０の上段に示された３枚の絵は、ガラス扉のエレベータの内側に検知センサ１０が設置され、ガラス扉にシールが貼ってある場合の投影コンテンツの変化の一例を示している。また図１０の下段に示された３枚の絵は、金属製扉のエレベータの内側に検知センサ１０が設置され、人が通過する際の投影コンテンツの変化の一例を示している。なお、図１０の上段の例も下段の例も、いずれも選択された表示ＵＩは、同じ半円状のものである。このように選択された表示ＵＩが同じ場合であっても、本開示技術に係る投影コンテンツは検知センサ１０の検知結果に応じて変化の仕方が異なることがある。
　図１１は、本開示技術を説明する参考図その２である。図１１は、センサ情報によって選択される表示ＵＩが複数種類考えられることを、あらためて示している。表示ＵＩが様々であってよい理由は、実際に使用される検知センサ１０の種類が様々であり、検知する内容も様々であるため、と言える。図１１に示される表示ＵＩは、線状、扇状、半円状であるが、これに限定されない。
　図１２は、本開示技術を説明する参考図その３である。図１２は、検知センサ１０が光学式の距離センサと音波式の距離センサとの場合で、投影コンテンツの変化を比較している。いずれの場合も、検知センサ１０の前には、ガラス板が置かれている。図１２下段の左側は、検知センサ１０が光学式の距離センサである場合の投影コンテンツを示している。光学式の距離センサの場合、ガラス板は検出されない。図１２下段の左側に示されている投影コンテンツは、このように検知センサ１０の特性を反映している。図１２下段の右側は、検知センサ１０が音波式の距離センサである場合の投影コンテンツを示している。音波式の距離センサの場合、検知範囲はガラス板によって影響を受ける。図１２下段の右側に示されている投影コンテンツは、やはり検知センサ１０の特性を反映している。
　以上のとおり実施の形態１に係る情報処理装置２００により実現される検知システムは上記構成を備えるため、必要なときに、目に見えない検知センサ１０の検知範囲を実空間上に直接表示し可視化が可能である。このように本開示技術に係る情報処理装置２００は新しいコンセプトの検知システムを提供し、製品の販売促進に寄与する。
実施の形態２．
　実施の形態２に係る情報処理装置２００により実現される検知システムは、検知センサ１０がカメラであるときに実現されるシステムである。具体的に実施の形態２に係る検知システムは、テレビ局などで使用されるカメラシステム、コンサート会場の撮影システム等に応用できる。実施の形態２で用いる符号は、意図して区別する場合を除き、実施の形態１と同じものが使用される。また実施の形態１と重複する説明は、適宜省略される。なお実施の形態２で用いる「検知」の用語は、「撮影」と読み替えてもよい。
　カメラは、検知範囲が明確に存在するセンサに分類される。検知センサ１０がカメラの場合、検知範囲はカメラに映る３次元的な領域となる。カメラにより撮影される動画は、ＴＶ画面等の長方形に映し出される。このことから検知センサ１０がカメラの場合、検知範囲は、四角錐から切り出された３次元形状である、と言える。なお、カメラに魚眼レンズ等の特殊レンズが用いられる場合、検知範囲は円錐等の他の３次元形状となることがある。
　検知センサ１０がカメラの場合でも、すでにある人物を撮影している場合、その人物の後の領域は撮影されない。検知センサ１０がカメラの場合の検知範囲は、仮想的にカメラから四角錐をなすように光が放射されていることをイメージすればよい。放射された光が撮影の対象物に照射されると、その後ろは影となり、光は届かない。撮影の対象物がある場合でも検知センサ１０がカメラの場合、検知範囲は、四角錐から切り出された３次元形状である。
　検知センサ１０がテレビ局などで使用されるカメラシステムのカメラである場合、センサ位置情報とセンサ姿勢情報は動的に変化する。センサ位置情報とセンサ姿勢情報とを定期的に取得する手段は、環境に固定された別のカメラが利用されてもよいし、ランドマークとレーザ変位計とを使う方式が利用されてもよいし、床面にセンサが埋め込まれていてもよい。また、センサ位置情報とセンサ姿勢情報とを取得する手段は、車輪にエンコーダが利用されてもよいし、ＧＰＳが利用されてもよい。また、カメラで撮影された画像の内容とあらかじめデータ化された環境の画像情報データとに基づいて、ＡＩに代表される画像解析技術により検知範囲が推定されてもよい。さらにカメラがコンピュテーショナルフォトグラフィーの技術により３次元情報を再現し、環境の３次元マップとマッチングをするようにして、検知範囲が推定されてもよい。
　実施の形態２においてマップ情報変換部２２０は、四角錐から切り出された３次元形状である検知範囲を、マップ上の情報に変換する。前述のとおりマップ上の情報とは、マップ上にプロットが可能な情報である。四角錐から切り出された３次元形状である検知範囲は、点群により表すことが考えられる。例えば３次元マップは仮想的な空間を格子状の点により定義する。例えば、検知範囲に含まれる格子は、検知範囲内であることを示すフラグに１を立て、検知範囲が特定できるようにしてもよい。
　検知センサ１０がテレビ局などで使用されるカメラシステムのカメラである場合、付加的情報は、カメラの識別番号すなわち俗に言う１カメ、２カメ、…の別、カメラの焦点位置、どのカメラがＯＮ　ＡＩＲになっているかの情報、等が考えられる。
　実施の形態２において投影コンテンツ変換部２３０は、マップ上の情報を、付加的情報と関連づけて環境の中の一部分である投影面に投影できる２次元情報である投影コンテンツに変換する。実施の形態１で示された例と同様、実施の形態２においても投影面は、例えば床面であってよい。
　投影コンテンツ変換部２３０は、四角錐から切り出された３次元形状等である検知範囲を、投影面に投影変換する。例えば検知範囲が点群により表されている場合、投影コンテンツへの変換は、点群の各点をそれぞれ投影面へ投影変換すればよい。
　実施の形態２に係る検知システムは、目に見えないカメラの検知範囲を実空間上に直接表示し可視化する。検知範囲の可視化は、例えばカメラのＯＮ／ＯＦＦ状態、カメラの焦点位置、といった付加的な情報をも表現して実現される。このため実施の形態２に係る検知システムは、カメラマン、アナウンサー、出演者、ディレクター、プロデューサー、製作者、といった者にとって効果的である。実施の形態２に係る検知システムの使用態様は、例えば新人研修、リハーサル、といった場面で効果を発揮する。
　実施の形態２に係る検知システムは、テレビ局などで使用されるカメラシステムのほか、コンサート会場の撮影システム等にも応用できる。また実施の形態２に係る検知システムは、テレビ局に限定することなく、一般消費者向けのカメラシステムにも応用できる。
　本開示技術に係る情報処理装置２００及びこれにより実現される検知システムは、エレベータ、エスカレータ、自動扉、ゲート、移動ロボット、カメラシステム等に応用でき、産業上の利用可能性を有する。
　１　検知システム、１０　検知センサ、２０　処理回路、３０　プロジェクタ、２００　情報処理装置、２１０　受信部、２２０　マップ情報変換部、２３０　投影コンテンツ変換部、２４０　出力部。

Claims (8)

  1. 　少なくとも１つの検知センサと、少なくとも１つのプロジェクタと、に接続され、
    　前記検知センサが設置される環境の３次元マップを有し、
    　３次元情報である前記検知センサの検知範囲情報と、前記検知センサに関する付加的情報と、を受信する受信部と、
    　前記検知範囲情報をマップ上の情報に変換するマップ情報変換部と、
    　前記マップ上の情報を、前記付加的情報と関連づけて前記環境の中の一部分である投影面に投影できる投影コンテンツに変換する投影コンテンツ変換部と、
    　前記投影コンテンツを前記プロジェクタへ出力する出力部と、を備える
    　情報処理装置。
  2. 　前記付加的情報は、前記検知センサのセンサ情報と、前記検知センサの状態情報と、から構成され、
    前記状態情報は、前記環境の変化に応じて動的に変化する
    請求項１に記載の情報処理装置。
  3. 　前記センサ情報は、少なくとも前記検知センサの種類、個数、識別番号のいずれかを含む
    請求項２に記載の情報処理装置。
  4. 　前記状態情報は、少なくとも前記検知センサが稼働しているかスリープ中かを表す状態、前記検知センサの強度又は感度、前記検知センサが検知した距離のいずれかを含む
    請求項２に記載の情報処理装置。
  5. 　前記投影コンテンツは、あらかじめ複数の種類が用意された表示ＵＩから、前記センサ情報に基づいて一つが選択され、前置検知範囲情報及び前記状態情報に応じて動的に加工されるものである
    請求項２に記載の情報処理装置。
  6. 　前記検知センサと、前記プロジェクタと、請求項１に記載の情報処理装置と、から構成される検知システム。
  7. 　前記検知センサは、人感センサである請求項６に記載の検知システム。
  8. 　前記検知センサは、カメラである請求項６に記載の検知システム。
PCT/JP2021/030294 2021-08-19 2021-08-19 情報処理装置及び検知システム WO2023021639A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/030294 WO2023021639A1 (ja) 2021-08-19 2021-08-19 情報処理装置及び検知システム
JP2022503910A JP7051031B1 (ja) 2021-08-19 2021-08-19 情報処理装置及び検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/030294 WO2023021639A1 (ja) 2021-08-19 2021-08-19 情報処理装置及び検知システム

Publications (1)

Publication Number Publication Date
WO2023021639A1 true WO2023021639A1 (ja) 2023-02-23

Family

ID=81259454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030294 WO2023021639A1 (ja) 2021-08-19 2021-08-19 情報処理装置及び検知システム

Country Status (2)

Country Link
JP (1) JP7051031B1 (ja)
WO (1) WO2023021639A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2009080514A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp センサ配置設計支援システム
US20130201292A1 (en) * 2010-04-16 2013-08-08 Otto-Von Guericke-Universitat Magdeburg Device For Monitoring At Least One Three-Dimensional Safety Area
JP2015072609A (ja) * 2013-10-03 2015-04-16 アルパイン株式会社 電子装置、ジェスチャー入力方法、及びプログラム
JP2018074528A (ja) * 2016-11-02 2018-05-10 キヤノン株式会社 情報処理システムおよびその構成機器、実空間の監視方法
JP2019010704A (ja) * 2017-06-30 2019-01-24 Idec株式会社 照光表示装置
JP2021092442A (ja) * 2019-12-10 2021-06-17 オムロン株式会社 検出システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111819841B (zh) * 2018-03-16 2023-07-18 索尼公司 信息处理装置、信息处理方法和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010728A (ja) * 2007-06-28 2009-01-15 Olympus Corp カメラ設置支援装置
JP2009080514A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp センサ配置設計支援システム
US20130201292A1 (en) * 2010-04-16 2013-08-08 Otto-Von Guericke-Universitat Magdeburg Device For Monitoring At Least One Three-Dimensional Safety Area
JP2015072609A (ja) * 2013-10-03 2015-04-16 アルパイン株式会社 電子装置、ジェスチャー入力方法、及びプログラム
JP2018074528A (ja) * 2016-11-02 2018-05-10 キヤノン株式会社 情報処理システムおよびその構成機器、実空間の監視方法
JP2019010704A (ja) * 2017-06-30 2019-01-24 Idec株式会社 照光表示装置
JP2021092442A (ja) * 2019-12-10 2021-06-17 オムロン株式会社 検出システム

Also Published As

Publication number Publication date
JP7051031B1 (ja) 2022-04-08
JPWO2023021639A1 (ja) 2023-02-23

Similar Documents

Publication Publication Date Title
US11321592B2 (en) Method and system for tracking an object-of-interest without any required tracking tag theron
US9591267B2 (en) Video imagery-based sensor
JP2022017301A (ja) サーマルイメージングシステムにおける位置判断の装置および方法
US20080273754A1 (en) Apparatus and method for defining an area of interest for image sensing
WO2019240208A1 (ja) ロボットおよびその制御方法、ならびにプログラム
KR100657915B1 (ko) 코너 검출 방법 및 코너 검출 장치
WO2011054971A2 (en) Method and system for detecting the movement of objects
Koch et al. Detection of specular reflections in range measurements for faultless robotic slam
JP2012117896A (ja) 測距装置、侵入者監視装置、距離計測方法、及びプログラム
WO2023021639A1 (ja) 情報処理装置及び検知システム
JP4692437B2 (ja) 監視カメラ装置
KR100942431B1 (ko) 촬상소자와 광원을 이용한 터치 좌표 인식 방법 및 이를이용한 터치스크린 시스템
JP7113375B2 (ja) 表示装置、画像処理装置及び制御方法
WO2023021640A1 (ja) 情報処理プログラム及び検知システム
KR20100081500A (ko) 자동문의 구동을 제어하기 위한 적외선 센서 시스템 및 이를 이용한 적외선 센싱 방법
JP5902006B2 (ja) 監視カメラ
KR101243848B1 (ko) 무인 크레인 후크의 각도 산출 장치
Kuutti et al. Performance of commercial over-head camera sensors in recognizing patterns of two and three persons: A case study
Namee et al. Compare People Counting Accuracy with OpenCV on Raspberry Pi and Infrared Sensor
WO2004057536A1 (en) Optically triggered interactive apparatus and method of triggering said apparatus
JP6729980B1 (ja) エレベータの利用者検知システム
US20240020875A1 (en) Method for determining a camera pose in a multi-camera system, computer program, machine-readable medium and control unit
WO2020012906A1 (ja) 表示装置、画像処理装置及び制御方法
KR20190012443A (ko) 조도 센싱에 기반하여 센싱된 영상을 제어하는 방법 및 이를 구현하는 로봇
JP6643027B2 (ja) 徘徊監視システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022503910

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21954212

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE