WO2020183602A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2020183602A1
WO2020183602A1 PCT/JP2019/009936 JP2019009936W WO2020183602A1 WO 2020183602 A1 WO2020183602 A1 WO 2020183602A1 JP 2019009936 W JP2019009936 W JP 2019009936W WO 2020183602 A1 WO2020183602 A1 WO 2020183602A1
Authority
WO
WIPO (PCT)
Prior art keywords
dangerous situation
information processing
smartphone
control unit
presentation
Prior art date
Application number
PCT/JP2019/009936
Other languages
English (en)
French (fr)
Inventor
秀和 渡辺
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to PCT/JP2019/009936 priority Critical patent/WO2020183602A1/ja
Priority to US17/435,122 priority patent/US20220146662A1/en
Publication of WO2020183602A1 publication Critical patent/WO2020183602A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • This disclosure relates to an information processing device and an information processing method.
  • Patent Document 1 there is a technique for determining whether or not a dangerous situation has occurred (see, for example, Patent Document 1). For example, there is known a technique for determining whether or not a dangerous situation has occurred based on image data captured by an image sensor. Alternatively, there is known a technique for determining whether or not a dangerous situation has occurred based on the user position detected by a position measurement sensor (for example, a GPS (Global Positioning System) sensor or the like).
  • a position measurement sensor for example, a GPS (Global Positioning System) sensor or the like.
  • the power consumption by the sensor tends to increase. Therefore, it is desirable to provide a technique capable of determining whether or not a dangerous situation has occurred while reducing the power consumption of the sensor.
  • An information processing device includes a unit and a presentation control unit that controls so that predetermined presentation information is presented when it is determined that the dangerous situation occurs within the measurement range. ..
  • An information processing method comprises controlling so that predetermined presentation information is presented when it is determined that the dangerous situation occurs within the measurement range.
  • a plurality of components having substantially the same or similar functional configurations may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same or similar functional configurations, only the same reference numerals are given.
  • similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components, only the same reference numerals are given.
  • FIGS. 1 and 2 are diagrams for explaining an outline of the embodiments of the present disclosure.
  • the user is holding the smartphone 10 in his hand and walking on the ground 81 while looking at the screen of the smartphone 10.
  • FIGS. 1 and 2 the user is holding the smartphone 10 in his hand and walking on the ground 81 while looking at the screen of the smartphone 10.
  • no dangerous situation has occurred in front of the user.
  • the step 82 exists in front of the user, a dangerous situation occurs in front of the user.
  • the technique of determining whether or not a dangerous situation has occurred based on the image data captured by the image sensor or the user position detected by the position measurement sensor the power consumption by the sensor tends to increase. Therefore, in the embodiment of the present disclosure, we mainly propose a technique capable of determining whether or not a dangerous situation has occurred while reducing the power consumption of the sensor. Further, in the embodiment of the present disclosure, a technique capable of determining whether or not a dangerous situation is occurring by using a small-scale sensor is proposed. Further, in the embodiment of the present disclosure, a technique capable of determining whether or not a dangerous situation is occurring while improving the responsiveness of the sensor is proposed.
  • a technique capable of reducing the processing time required for determining whether or not a dangerous situation has occurred is proposed. Further, when a position measurement sensor is used, it may be difficult to measure the user position depending on the location of the user. In the embodiments of the present disclosure, we propose a technique capable of more reliably determining whether or not a dangerous situation has occurred.
  • FIG. 3 is a diagram showing a configuration example of the system 1 according to the embodiment of the present disclosure.
  • the system 1 according to the embodiment of the present disclosure includes a smartphone 10, a learning device 20, and a network 50.
  • the type of network 50 is not limited.
  • network 50 may include the Internet.
  • the smartphone 10 is a terminal that can be carried by the user. In the embodiment of the present disclosure, it is mainly assumed that the smartphone 10 is carried by a user. However, instead of the smartphone 10, another terminal (for example, a mobile phone, a tablet terminal, etc.) may be carried by the user. Alternatively, when a user with low eyesight walks with a cane, the cane may take on the function of the smartphone 10.
  • the smartphone 10 is connected to the network 50 and is configured to be able to communicate with other devices via the network 50.
  • the smartphone 10 can function as an information processing device for determining whether or not a dangerous situation is occurring.
  • the learning device 20 is configured by a computer and performs learning processing by machine learning.
  • the learning device 20 provides the learning result to the smartphone 10 via the network 50.
  • the learning device 20 trains the neural network by deep learning and provides the trained (learned) neural network to the smartphone 10 via the network 50.
  • the type of machine learning is not limited to deep learning.
  • the learning device 20 exists as a device separated from the smartphone 10.
  • the learning device 20 may be integrated with the smartphone 10. That is, the smartphone 10 may have the function of the learning device 20.
  • FIG. 4 is a diagram showing a functional configuration example of the smartphone 10 according to the embodiment of the present disclosure.
  • the smartphone 10 according to the embodiment of the present disclosure includes a control unit 110, an operation unit 120, a storage unit 130, a communication unit 140, an output unit 150, and a sensor unit 160.
  • control unit 110 the operation unit 120, the storage unit 130, the communication unit 140, the output unit 150, and the sensor unit 160 are present inside the same device (smartphone 10)
  • the position where these blocks exist is not particularly limited. For example, as will be described later, some of these blocks may exist on a server or the like.
  • the control unit 110 controls each part of the smartphone 10. As shown in FIG. 4, the control unit 110 includes an acquisition unit 111, a determination unit 112, and a presentation control unit 113. Details of each of these functional blocks will be described later.
  • the control unit 110 may be composed of, for example, a CPU (Central Processing Unit; central processing unit) or the like. When the control unit 110 is configured by a processing device such as a CPU, the processing device may be configured by an electronic circuit.
  • the operation unit 120 has a function of accepting input of an operation by the user.
  • the operation unit 120 includes a touch panel.
  • the operation unit 120 is not limited to the case where the touch panel is included.
  • the operation unit 120 may include an electronic pen, a mouse and a keyboard, or an image sensor that detects a user's line of sight.
  • the storage unit 130 is a recording medium that stores a program executed by the control unit 110 and stores data necessary for executing the program. Further, the storage unit 130 temporarily stores data for calculation by the control unit 110.
  • the storage unit 130 may be a magnetic storage unit device, a semiconductor storage device, an optical storage device, or an optical magnetic storage device.
  • the communication unit 140 is configured to include a communication circuit, and has a function of communicating with other devices.
  • the communication unit 140 has a function of acquiring data from the other device and providing data to the other device.
  • the communication unit 140 includes an antenna that wirelessly communicates with another device via a network.
  • the communication unit 140 includes an antenna that communicates with another device by short-range wireless communication by Bluetooth (registered trademark) or the like.
  • the output unit 150 outputs various information.
  • the output unit 150 includes a display capable of displaying a display visible to the user.
  • the display may be a liquid crystal display or an organic EL (Electro-Lumisensence) display.
  • the output unit 150 may include a voice output device, or may include a tactile presentation device that presents a tactile sensation to the user.
  • the sensor unit 160 has various sensors, and it is possible to obtain various sensor data by sensing with the sensors.
  • the sensor unit 160 includes a millimeter wave radar.
  • the millimeter wave radar sequentially irradiates millimeter waves in each direction within a predetermined measurement range by beamforming, and detects millimeter waves reflected by an object.
  • the frequency of millimeter waves is not limited.
  • millimeter waves may be radio waves having a frequency of 30 to 300 GHz.
  • millimeter waves may include radio waves used in fifth generation mobile communication systems (5G) (eg, radio waves having a frequency of 27.5 to 29.5 GHz).
  • 5G fifth generation mobile communication systems
  • FIG. 5 is a diagram showing a functional configuration example of the learning device 20 according to the embodiment of the present disclosure.
  • the learning device 20 according to the embodiment of the present disclosure includes a control unit 210, an operation unit 220, a storage unit 230, a communication unit 240, and an output unit 250.
  • control unit 210 the operation unit 220, the storage unit 230, the communication unit 240, and the output unit 250 are present inside the same device (learning device 20)
  • the position where these blocks exist is not particularly limited. For example, as will be described later, some of these blocks may exist on a server or the like.
  • the control unit 210 controls each unit of the learning device 20.
  • the control unit 210 may be composed of, for example, a CPU (Central Processing Unit; central processing unit) or the like.
  • a processing device such as a CPU
  • the processing device may be configured by an electronic circuit.
  • the operation unit 220 has a function of receiving an input of an operation by a developer.
  • the operation unit 220 includes a mouse and a keyboard.
  • the operation unit 220 is not limited to the case where the mouse and the keyboard are included.
  • the operation unit 220 may include an electronic pen, a touch panel, or an image sensor that detects the line of sight of the developer.
  • the storage unit 230 is a recording medium that stores a program executed by the control unit 210 and stores data necessary for executing the program. Further, the storage unit 230 temporarily stores data for calculation by the control unit 210.
  • the storage unit 230 may be a magnetic storage unit device, a semiconductor storage device, an optical storage device, or an optical magnetic storage device.
  • the communication unit 240 is configured to include a communication circuit, and has a function of communicating with other devices.
  • the communication unit 240 has a function of acquiring data from the other device and providing data to the other device.
  • the communication unit 240 includes an antenna that wirelessly communicates with another device via a network.
  • the communication unit 240 includes an antenna that communicates with another device by short-range wireless communication by Bluetooth (registered trademark) or the like.
  • the output unit 250 outputs various information.
  • the output unit 250 includes a display capable of displaying a display visible to the developer.
  • the display may be a liquid crystal display or an organic EL (Electro-Lumisensence) display.
  • the output unit 250 may include a voice output device, or may include a tactile presentation device that presents a tactile sensation to the developer.
  • the learning device 20 trains the neural network by deep learning. More specifically, when a plurality of millimeter-wave radar maps (hereinafter, also referred to as “learning radar maps”) in which dangerous situations are detected are input, the storage unit 230 uses the learning radar. Accumulate maps. The control unit 210 inputs the radar map for learning into the neural network and trains the neural network. This will generate a trained (trained) neural network.
  • learning radar maps millimeter-wave radar maps
  • the operation unit 220 accepts the plurality of learning radar maps and the types of dangers corresponding to the respective learning radar maps, and the control unit 210 receives the plurality of learning radar maps and each of the plurality of learning radar maps.
  • the type of danger corresponding to the radar map for learning is input to the neural network, and the type of danger is used as training data to train the neural network based on a plurality of radar maps for learning. This produces a trained neural network that can identify the type of danger.
  • the existence of a step is mainly assumed as the type of danger.
  • the step may include a step (head) between the platform of the station and the railroad track.
  • the type of danger is not limited to the presence of steps.
  • the type of danger may be the presence of stairs, the presence of holes, and the like.
  • the developer may input the position where the dangerous situation corresponding to each learning radar map occurs as teacher data.
  • the operation unit 220 accepts the plurality of learning radar maps and the positions where a dangerous situation corresponding to each learning radar map is occurring, and the control unit 210 receives the plurality of learning radar maps.
  • the radar map of the above and the position where the dangerous situation is occurring corresponding to each learning radar map are input to the neural network, and the position where the dangerous situation is occurring is used as teacher data based on multiple radar maps for learning. To train the neural network. This will generate a trained neural network that can identify where the dangerous situation is occurring.
  • the position in the left-right direction as seen from the user is mainly assumed as the position where the dangerous situation occurs.
  • the position where the dangerous situation occurs is not limited to the position in the left-right direction as seen by the user.
  • the position where the dangerous situation occurs may be the position in the vertical direction as seen by the user.
  • the control unit 210 provides the smartphone 10 with a trained neural network via the communication unit 240 and the network 50.
  • the acquisition unit 111 acquires the trained neural network via the communication unit 140.
  • Such trained neural networks can be used to determine if a dangerous situation is occurring, as will be described later.
  • FIG. 6 is a diagram showing an example when a dangerous situation has not occurred.
  • a user walking while looking at the smartphone 10 is shown.
  • the measurement range 70 by the millimeter wave radar of the smartphone 10 is shown.
  • the millimeter-wave radar of the smartphone 10 sequentially irradiates millimeter waves in each direction within the measurement range 70 by beamforming. Then, the millimeter wave radar of the smartphone 10 detects the millimeter wave reflected by the object.
  • the millimeter wave B1 and the millimeter wave B2 went straight without being reflected by the ground 81, so they were not detected by the millimeter wave radar of the smartphone 10.
  • the millimeter wave B3 (the irradiation direction is closer to the downward direction than the irradiation directions of the millimeter wave B1 and the millimeter wave B2) is reflected by the ground 81 because there is no step in front of the user, and is reflected by the millimeter wave radar of the smartphone 10. It has been detected.
  • the millimeter-wave radar of the smartphone 10 detects millimeter-waves corresponding to each position as a millimeter-wave radar map (hereinafter, also referred to as “identification radar map”). Since the millimeter-wave radar can detect the radar map for identification several tens of times per second, it can also capture the dynamic change of the object existing in front.
  • FIG. 7 is a diagram showing an example of a radar map for identification that is detected when a dangerous situation does not occur.
  • a radar map 71 for identification is shown which is detected when no dangerous situation has occurred.
  • the darker the dots the smaller the round-trip time from the transmission of the millimeter wave to the reception of the reflected wave of the millimeter wave (hereinafter, also simply referred to as “round-trip time”). ing. Therefore, in the radar map 71 for identification, the upper region is a region without reflected waves. On the other hand, in the radar map 71 for identification, the lower region is a region where the round trip time is short and the reflected wave is present.
  • the acquisition unit 111 acquires the identification radar map 71 detected by the millimeter-wave radar of the smartphone 10. Then, the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on the identification radar map 71.
  • the determination method by the determination unit 112 is not limited.
  • the determination unit 112 may determine whether or not a dangerous situation has occurred within the measurement range 70 based on the radar map 71 for identification and the learned neural network. Specifically, if the determination unit 112 inputs the radar map 71 for identification to the trained neural network, whether or not a dangerous situation occurs within the measurement range 70 due to the output from the trained neural network. Can be obtained. In the examples shown in FIGS. 6 and 7, the determination unit 112 determines that no dangerous situation has occurred.
  • FIG. 8 is a diagram showing an example when a dangerous situation occurs.
  • a user walking while looking at the smartphone 10 is shown as in the example shown in FIG.
  • the measurement range 70 by the millimeter wave radar of the smartphone 10 is shown as in the example shown in FIG.
  • the millimeter-wave radar of the smartphone 10 sequentially irradiates millimeter waves in each direction within the measurement range 70 by beamforming. Then, the millimeter wave radar of the smartphone 10 detects the millimeter wave reflected by the object.
  • the millimeter wave B1 and the millimeter wave B2 traveled straight without being reflected by the ground 81, so that they were not detected by the millimeter wave radar of the smartphone 10.
  • the millimeter wave B3 (the irradiation direction is closer to the downward direction than the irradiation direction of the millimeter wave B1 and the millimeter wave B2) has a step 82 in front of the user, so that the ground is It goes straight without being reflected by 81, and is not detected by the millimeter-wave radar of the smartphone 10.
  • FIG. 9 is a diagram showing an example of a radar map for identification that is detected when a dangerous situation occurs.
  • a radar map 72 for identification is shown which is detected when a dangerous situation occurs.
  • the upper region is a region without reflected waves.
  • the region without the reflected wave is wider.
  • the lower region is a region where the round trip time is short and the reflected wave is present.
  • the region where the reflected wave exists is wider.
  • the acquisition unit 111 acquires the identification radar map 72 detected by the millimeter-wave radar of the smartphone 10. Then, the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on the identification radar map 72.
  • the determination unit 112 determines that a dangerous situation has occurred.
  • the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on one identification radar map 72.
  • the millimeter-wave radar can continuously capture a plurality of identification radar maps. Therefore, the determination unit 112 may determine whether or not a dangerous situation has occurred within the measurement range 70 based on a plurality of identification radar maps 72. As a result, it is possible to determine with higher accuracy whether or not a dangerous situation has occurred within the measurement range 70.
  • the presentation control unit 113 controls the output unit 150 so that predetermined presentation information is presented by the output unit 150 when the determination unit 112 determines that a dangerous situation has occurred within the measurement range 70. .. According to such a configuration, it is possible to prevent a user walking on the platform while looking at the smartphone from falling from the platform to the railroad track.
  • the timing of ending the presentation of the presented information is not limited.
  • the presentation control unit 113 may end the presentation of the presentation information after a predetermined time from the start of presenting the presentation information.
  • the presentation control unit 113 may end the presentation of the presentation information when the dangerous situation disappears within the measurement range 70.
  • the predetermined presentation information may include information indicating that a dangerous situation is occurring.
  • the presentation control unit 113 displays the presentation information on the display so that the presentation information is perceived by the user's vision.
  • the presentation control unit 113 may output the presentation information from the voice output device so that the presentation information (sound or the like) is perceived by the user's hearing.
  • the presentation control unit 113 may output the presentation information from the tactile presentation device so that the presentation information (vibration, etc.) is perceived by the user's tactile sensation.
  • the predetermined presentation information may include information other than information indicating that a dangerous situation is occurring. For example, when a trained neural network that can identify the type of danger is generated, the determination unit 112 measures the measurement range based on the radar map 72 for identification and the trained neural network that can identify the type of danger. The type of danger occurring in 70 may also be determined. At this time, the presentation control unit 113 may control the output unit 150 so that the type of danger is also presented by the output unit 150.
  • the presentation control unit 113 displays a message 151 indicating the existence of a step on the output unit 150 of the smartphone 10 as a type of danger.
  • the type of danger is not limited to the presence of steps.
  • FIG. 10 is a diagram showing another example when a dangerous situation occurs.
  • a user walking while looking at the smartphone 10 is shown as in the example shown in FIG.
  • the measurement range 70 by the millimeter wave radar of the smartphone 10 is shown as in the example shown in FIG.
  • the millimeter-wave radar of the smartphone 10 sequentially irradiates millimeter waves in each direction within the measurement range 70 by beamforming. Then, the millimeter wave radar of the smartphone 10 detects the millimeter wave reflected by the object.
  • the millimeter wave B1 went straight without being reflected by the ground 81, so it was not detected by the millimeter wave radar of the smartphone 10.
  • the millimeter wave B2 goes straight without being reflected by the ground 81 because there is a step 82 in front of the user's right, and the millimeter wave B2 of the smartphone 10 Not detected by wave radar.
  • FIG. 11 is a diagram showing an example of a radar map for identification that is detected when a dangerous situation occurs.
  • a radar map 73 for identification is shown which is detected when a dangerous situation occurs.
  • the region on the upper right side is a region where the intensity of millimeter waves is small and there is no reflected wave.
  • the region on the lower left side is a region where the intensity of millimeter waves is high and there are reflected waves.
  • the acquisition unit 111 acquires the identification radar map 73 detected by the millimeter-wave radar of the smartphone 10. Then, the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on the identification radar map 73. In the examples shown in FIGS. 10 and 11, the determination unit 112 determines that a dangerous situation has occurred.
  • the presentation control unit 113 controls the output unit 150 so that predetermined presentation information is presented by the output unit 150 when the determination unit 112 determines that a dangerous situation has occurred within the measurement range 70. ..
  • the determination unit 112 can identify the radar map 73 for identification and the position where the dangerous situation is occurring.
  • the position where the dangerous situation occurring within the measurement range 70 may occur may be determined based on the learned neural network.
  • the presentation control unit 113 may control the output unit 150 so that the position where the dangerous situation occurs is also presented by the output unit 150.
  • the presentation control unit 113 displays a message 152 indicating the position of a step as a position where a dangerous situation occurs on the output unit 150 of the smartphone 10.
  • the type of danger is not limited to the position of the step.
  • the determination unit 112 may control the direction in which the millimeter wave is irradiated based on the acceleration detected by the acceleration sensor.
  • FIG. 12 is a diagram for explaining a case where the posture of the smartphone 10 is changed.
  • the user changes the posture of the smartphone 10 (so that the back of the smartphone 10 faces downward) as compared with the example shown in FIG.
  • the determination unit 112 recognizes the posture of the smartphone 10 and controls the direction in which the millimeter wave is irradiated so as not to change the measurement range 70 regardless of the posture of the smartphone 10. Is good.
  • the presentation control unit 113 presents the presentation information by the output unit 150 based on the walking speed of the user and the distance from the smartphone 10 to the place where the dangerous situation is occurring detected by the millimeter wave radar. It is preferable to control the output unit 150 so as to. More specifically, the presentation control unit 113 starts to have the output unit 150 present the presentation information from the time when the distance from the smartphone 10 to the place where the dangerous situation is occurring increases as the walking speed of the user increases. Good.
  • the millimeter-wave radar can measure the distance to an object in front in the range of several cm to several m, for example.
  • FIG. 13 is a diagram for explaining a case where the walking speed of the user changes.
  • the walking speed of the user is higher than that of the example shown in FIG.
  • the determination unit 112 starts to present the presented information to the output unit 150 when the distance from the smartphone 10 to the step 82 increases as the walking speed of the user increases.
  • the presentation control unit 113 starts displaying the message 151 indicating the existence of the step from the time when the distance from the smartphone 10 to the step 82 becomes X1.
  • the display of the message 153 indicating the existence of the step is started when the distance from the smartphone 10 to the step 82 becomes X2 (larger than X1).
  • the presentation control unit 113 may calculate the estimated time until the user reaches the step 82 based on the walking speed of the user and the distance from the smartphone 10 to the step 82. Then, the presentation control unit 113 may be made to present the presentation information when the predicted time approaches a predetermined time. Further, as shown in FIG. 13, the presentation control unit 113 may include the predicted time (after 3 seconds) in the message 153 indicating the existence of the step.
  • FIG. 14 is a flowchart showing an operation example of the system 1 according to the embodiment of the present disclosure.
  • the storage unit 230 receives and stores the learning radar maps (S11). Then, the control unit 210 inputs the radar map for learning into the neural network and trains the neural network (S12). This will generate a trained (trained) neural network.
  • the control unit 210 provides the smartphone 10 with a trained neural network via the communication unit 240 and the network 50 (S13).
  • the acquisition unit 111 acquires the trained neural network via the communication unit 140 (S21).
  • the millimeter-wave radar of the smartphone 10 detects the radar map for identification, and the acquisition unit 111 acquires the radar map for identification (S22).
  • the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range based on the radar map for identification (S23).
  • the presentation control unit 113 determines that no dangerous situation has occurred within the measurement range based on the identification radar map (“No” in S23), does nothing.
  • the presentation control unit 113 determines that a dangerous situation has occurred within the measurement range based on the identification radar map (“Yes” in S23)
  • the presentation control unit 113 presents the predetermined presentation information to the user.
  • the output unit 150 is controlled (S24).
  • FIG. 15 is a block diagram showing a hardware configuration example of the smartphone 10 according to the embodiment of the present disclosure.
  • the hardware configuration example shown in FIG. 15 is only an example of the smartphone 10. Therefore, of the blocks shown in FIG. 15, unnecessary configurations may be deleted.
  • the hardware configuration of the learning device 20 according to the embodiment of the present disclosure can be realized in the same manner as the hardware configuration of the smartphone 10 according to the embodiment of the present disclosure.
  • the smartphone 10 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the smartphone 10 also includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the smartphone 10 includes an image pickup device 933 and a sensor 935, if necessary.
  • the smartphone 10 may have a processing circuit called a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) in place of or in combination with the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the smartphone 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs, calculation parameters, and the like used by the CPU 901.
  • the RAM 905 temporarily stores a program used in the execution of the CPU 901, parameters that are appropriately changed in the execution, and the like.
  • the CPU 901, ROM 903, and RAM 905 are connected to each other by a host bus 907 composed of an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a button.
  • the input device 915 may include a mouse, keyboard, touch panel, switches, levers, and the like.
  • the input device 915 may also include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 929 such as a mobile phone corresponding to the operation of the smartphone 10.
  • the input device 915 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 901. By operating the input device 915, the user inputs various data to the smartphone 10 and instructs the processing operation.
  • the image pickup device 933 described later can also function as an input device by capturing images of the movement of the user's hand, the user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand and the direction of the finger.
  • the output device 917 is composed of a device capable of visually or audibly notifying the user of the acquired information.
  • the output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminence) display, a sound output device such as a speaker and headphones, and the like.
  • the output device 917 may include a PDP (Plasma Display Panel), a projector, a hologram, a printer device, and the like.
  • the output device 917 outputs the result obtained by the processing of the smartphone 10 as a video such as text or an image, or outputs as a sound such as voice or sound.
  • the output device 917 may include a light or the like in order to brighten the surroundings.
  • the storage device 919 is a data storage device configured as an example of the storage unit of the smartphone 10.
  • the storage device 919 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the smartphone 10.
  • the drive 921 reads the information recorded on the mounted removable recording medium 927 and outputs the information to the RAM 905. Further, the drive 921 writes a record on the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting the device to the smartphone 10.
  • the connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is, for example, a communication interface composed of a communication device for connecting to the network 931.
  • the communication device 925 may be, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB). Further, the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 925 transmits/receives signals and the like to/from the Internet and other communication devices using a predetermined protocol such as TCP/IP.
  • the network 931 connected to the communication device 925 is a network connected by wire or wirelessly, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the image pickup device 933 uses, for example, an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a device that captures a real space and generates an captured image. The image pickup device 933 may capture a still image or may capture a moving image.
  • an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor)
  • various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a device that captures a real space and generates an captured image.
  • the image pickup device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is, for example, various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information on the state of the smartphone 10 itself, such as the posture of the housing of the smartphone 10, and information on the surrounding environment of the smartphone 10, such as the brightness and noise around the smartphone 10.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • a dangerous situation occurs within the measurement range based on the detection result of millimeter waves sequentially irradiated in each direction within a predetermined measurement range by beamforming.
  • a determination unit that determines whether or not it is occurring, and a presentation control unit that controls so that predetermined presentation information is presented when it is determined that the dangerous situation is occurring within the measurement range.
  • An information processing device is provided.
  • millimeter-wave radar since millimeter-wave radar is used, it is possible to determine whether or not a dangerous situation is occurring while reducing the power consumption of the sensor. Further, according to such a configuration, since the millimeter wave radar is used, it is possible to determine whether or not a dangerous situation is occurring by using a small-scale sensor. Further, according to such a configuration, since the millimeter wave radar is used, it is possible to determine whether or not a dangerous situation is occurring while improving the responsiveness of the sensor.
  • the processing required for determining whether or not a dangerous situation has occurred is simplified, so that the processing time can be reduced. Further, when a position measurement sensor is used, it may be difficult to measure the user position depending on the location of the user. On the other hand, according to such a configuration, it becomes possible to more reliably determine whether or not a dangerous situation has occurred.
  • each configuration is not particularly limited.
  • a part or all of each block of the control unit 110 may exist in a server or the like.
  • the server may have the determination unit 112 instead of the smartphone 10.
  • the following configurations also belong to the technical scope of the present disclosure.
  • a determination unit that determines whether or not a dangerous situation has occurred within the measurement range, and a determination unit.
  • a presentation control unit that controls so that predetermined presentation information is presented when it is determined that the dangerous situation occurs within the measurement range.
  • Information processing device equipped with (2) The determination unit determines whether or not a dangerous situation has occurred within the measurement range based on the detection result and the learned neural network. The information processing device according to (1) above.
  • the determination unit controls the direction in which the millimeter wave is irradiated based on the acceleration detected by the acceleration sensor. The information processing device according to (1) or (2) above.
  • the presentation control unit controls so that the predetermined presentation information is presented based on the walking speed of the user and the distance to the place where the dangerous situation occurs.
  • the information processing device according to any one of (1) to (3) above.
  • the presentation control unit starts to present the predetermined presentation information from the time when the walking speed of the user is higher and the distance to the place where the dangerous situation is occurring is larger.
  • the information processing device according to (4) above.
  • the presentation control unit calculates an estimated time for the user to reach the place where the dangerous situation occurs, based on the walking speed of the user and the distance to the place where the dangerous situation occurs. And control so that the predicted time is presented, The information processing device according to (4) above.
  • the determination unit determines the type of danger and determines the type of danger.
  • the presentation control unit controls so that the type of danger is presented.
  • the information processing device according to any one of (1) to (6) above.
  • the determination unit determines the position where the dangerous situation is occurring, and determines the position where the dangerous situation occurs.
  • the presentation control unit controls so that the position where the dangerous situation is occurring is presented.
  • the information processing device according to any one of (1) to (7) above.
  • the presentation control unit controls and controls so that the predetermined presentation information is presented by the display, the voice output device, or the tactile presentation device.
  • the information processing device according to any one of (1) to (8) above.
  • (10) Based on the detection result of millimeter waves sequentially irradiated in each direction within a predetermined measurement range by beamforming, it is determined whether or not a dangerous situation has occurred within the measurement range. When it is determined that the dangerous situation occurs within the measurement range, control is performed so that predetermined presentation information is presented. Information processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能な技術が提供されることが望ましい。 【解決手段】ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関する。
　近年、危険な状況が起きているか否かを判定する技術が存在する（例えば、特許文献１参照）。例えば、画像センサによって撮像された画像データに基づいて危険な状況が起きているか否かを判定する技術が知られている。あるいは、位置測定用センサ（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサなど）によって検出されたユーザ位置に基づいて危険な状況が起きているか否かを判定する技術が知られている。
特開２０１６－２２４６１９号公報
　しかし、画像センサによって撮像された画像データまたは位置測定用センサによって検出されたユーザ位置に基づいて、危険な状況が起きているか否かを判定する技術では、センサによる消費電力が大きくなりやすい。そこで、センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能な技術が提供されることが望ましい。
　本開示によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。
　本開示によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、を備える、情報処理方法が提供される。
本開示の実施形態の概要を説明するための図である。 本開示の実施形態の概要を説明するための図である。 本開示の実施形態に係るシステムの構成例を示す図である。 本開示の実施形態に係るスマートフォンの機能構成例を示す図である。 本開示の実施形態に係る学習装置の機能構成例を示す図である。 危険な状況が起きていない場合の例を示す図である。 危険な状況が起きていない場合に検出される識別用のレーダマップの例を示す図である。 危険な状況が起きている場合の例を示す図である。 危険な状況が起きている場合に検出される識別用のレーダマップの例を示す図である。 危険な状況が起きている場合の他の例を示す図である。 危険な状況が起きている場合に検出される識別用のレーダマップの例を示す図である。 スマートフォンの姿勢が変化した場合について説明するための図である。 スマートフォンの姿勢が変化した場合について説明するための図である。 本開示の実施形態に係るシステムの動作例を示すフローチャートである。 本開示の実施形態に係るスマートフォンのハードウェア構成について説明する。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　０．概要
　１．実施形態の詳細
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．システムの機能詳細
　　１．４．システムの動作例
　２．ハードウェア構成例
　３．むすび
　＜０．概要＞
　まず、本開示の実施形態の概要について説明する。図１および図２は、本開示の実施形態の概要を説明するための図である。図１および図２を参照すると、ユーザがスマートフォン１０を手に持ち、スマートフォン１０の画面を見ながら地面８１の上を歩行している。しかし、図１に示された例では、ユーザの前方に危険な状況は起こっていない。一方、図２に示された例では、ユーザの前方に段差８２が存在しているため、ユーザの前方に危険な状況が起こっている。
　近年、このような危険な状況が起きているか否かを判定する技術が存在する。例えば、画像センサによって撮像された画像データに基づいて危険な状況が起きているか否かを判定する技術が知られている。あるいは、位置測定用センサ（例えば、ＧＰＳセンサなど）によって検出されたユーザ位置に基づいて危険な状況が起きているか否かを判定する技術が知られている。
　しかし、画像センサによって撮像された画像データまたは位置測定用センサによって検出されたユーザ位置に基づいて、危険な状況が起きているか否かを判定する技術では、センサによる消費電力が大きくなりやすい。そこで、本開示の実施形態では、センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能な技術について主に提案する。また、本開示の実施形態では、小規模なセンサを利用して危険な状況が起きているか否かを判定することが可能な技術について提案する。さらに、本開示の実施形態では、センサの即応性を向上させつつ危険な状況が起きているか否かを判定することが可能な技術について提案する。
　また、本開示の実施形態では、危険な状況が起きているか否かを判定するために必要な処理時間を低減することが可能な技術について提案する。さらに、位置測定用センサが用いられる場合には、ユーザの居場所によってはユーザ位置の計測が困難な場合がある。本開示の実施形態では、危険な状況が起きているか否かをより確実に判定することが可能な技術について提案する。
　以上、本開示の実施形態の概要について説明した。
　＜１．実施形態の詳細＞
　続いて、本開示の実施形態の詳細について説明する。
　［１．１．システム構成例］
　まず、本開示の実施形態に係るシステムの構成例について説明する。図３は、本開示の実施形態に係るシステム１の構成例を示す図である。図３に示されたように、本開示の実施形態に係るシステム１は、スマートフォン１０と、学習装置２０と、ネットワーク５０とを有する。ネットワーク５０の種類は限定されない。例えば、ネットワーク５０は、インターネットを含んでよい。
　スマートフォン１０は、ユーザによって持ち運び可能な端末である。本開示の実施形態では、スマートフォン１０がユーザによって持ち運ばれる場合を主に想定する。しかし、スマートフォン１０の代わりに、他の端末（例えば、携帯電話、タブレット端末など）がユーザによって持ち運ばれてもよい。あるいは、視力の低いユーザが杖を使って歩行する場合などには、スマートフォン１０が有する機能を杖が担ってもよい。スマートフォン１０は、ネットワーク５０と接続されており、ネットワーク５０を介して他の装置と通信可能に構成されている。なお、スマートフォン１０は、危険な状況が起こっているか否かを判定する情報処理装置として機能し得る。
　学習装置２０は、コンピュータによって構成され、機械学習によって学習処理を行う。学習装置２０は、ネットワーク５０を介して学習結果をスマートフォン１０に提供する。本開示の実施形態では、学習装置２０が、ディープラーニングによってニューラルネットワークを訓練し、ネットワーク５０を介して訓練済み（学習済み）のニューラルネットワークをスマートフォン１０に提供する場合を想定する。しかし、機械学習の種類は、ディープラーニングに限定されない。なお、本開示の実施形態では、学習装置２０がスマートフォン１０とは分離された装置として存在する場合を主に想定する。しかし、学習装置２０は、スマートフォン１０と一体化されていてもよい。すなわち、スマートフォン１０が学習装置２０の機能を有していてもよい。
　以上、本開示の実施形態に係るシステム１の構成例について説明した。
　［１．２．機能構成例］
　続いて、本開示の実施形態に係るスマートフォン１０の機能構成例について説明する。図４は、本開示の実施形態に係るスマートフォン１０の機能構成例を示す図である。図４に示されたように、本開示の実施形態に係るスマートフォン１０は、制御部１１０、操作部１２０、記憶部１３０、通信部１４０、出力部１５０およびセンサ部１６０を有している。
　なお、本明細書においては、制御部１１０、操作部１２０、記憶部１３０、通信部１４０、出力部１５０およびセンサ部１６０が、同一のデバイス（スマートフォン１０）の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。
　制御部１１０は、スマートフォン１０の各部の制御を実行する。図４に示されたように、制御部１１０は、取得部１１１、判定部１１２および提示制御部１１３を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１１０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
　操作部１２０は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部１２０が、タッチパネルを含む場合を主に想定する。しかし、操作部１２０は、タッチパネルを含む場合に限定されない。例えば、操作部１２０は、電子ペンを含んでもよいし、マウスおよびキーボードを含んでもよいし、ユーザの視線を検出するイメージセンサを含んでもよい。
　記憶部１３０は、制御部１１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部１３０は、制御部１１０による演算のためにデータを一時的に記憶する。記憶部１３０は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
　通信部１４０は、通信回路を含んで構成され、他の装置との間で通信を行う機能を有する。例えば、通信部１４０は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。本開示の実施形態においては、通信部１４０が、無線によってネットワークを介して他の装置との間で通信を行うアンテナを含む場合を想定する。また、本開示の実施形態においては、通信部１４０が、Ｂｌｕｅｔｏｏｔｈ（登録商標）などによる近距離無線通信によって他の装置との間で通信を行うアンテナを含む場合を想定する。
　出力部１５０は、各種の情報を出力する。本開示の実施形態においては、出力部１５０が、ユーザに視認可能な表示を行うことが可能なディスプレイを含む場合を主に想定する。ディスプレイは、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。しかし、出力部１５０は、音声出力装置を含んでもよいし、ユーザに触覚を提示する触覚提示装置を含んでもよい。
　センサ部１６０は、各種のセンサを有しており、センサによるセンシングにより各種のセンサデータを得ることが可能である。本開示の実施形態では、センサ部１６０がミリ波レーダを含む場合を想定する。ミリ波レーダは、ビームフォーミングによって所定の計測範囲内の各方向に順次にミリ波を照射し、物体によって反射されたミリ波を検出する。なお、ミリ波の周波数は限定されない。例えば、ミリ波は、３０～３００ＧＨｚの周波数を有する電波であってよい。しかし、ミリ波は、第５世代移動通信システム（５Ｇ）において利用される電波（例えば、２７．５～２９．５ＧＨｚの周波数を有する電波）を含んでもよい。
　以上、本開示の実施形態に係るスマートフォン１０の機能構成例について説明した。
　続いて、本開示の実施形態に係る学習装置２０の機能構成例について説明する。図５は、本開示の実施形態に係る学習装置２０の機能構成例を示す図である。図５に示されたように、本開示の実施形態に係る学習装置２０は、制御部２１０、操作部２２０、記憶部２３０、通信部２４０および出力部２５０を有している。
　なお、本明細書においては、制御部２１０、操作部２２０、記憶部２３０、通信部２４０および出力部２５０が、同一のデバイス（学習装置２０）の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。
　制御部２１０は、学習装置２０の各部の制御を実行する。なお、制御部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部２１０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
　操作部２２０は、開発者による操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部２２０が、マウスおよびキーボードを含む場合を主に想定する。しかし、操作部２２０は、マウスおよびキーボードを含む場合に限定されない。例えば、操作部２２０は、電子ペンを含んでもよいし、タッチパネルを含んでもよいし、開発者の視線を検出するイメージセンサを含んでもよい。
　記憶部２３０は、制御部２１０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部２３０は、制御部２１０による演算のためにデータを一時的に記憶する。記憶部２３０は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
　通信部２４０は、通信回路を含んで構成され、他の装置との間で通信を行う機能を有する。例えば、通信部２４０は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。本開示の実施形態においては、通信部２４０が、無線によってネットワークを介して他の装置との間で通信を行うアンテナを含む場合を想定する。また、本開示の実施形態においては、通信部２４０が、Ｂｌｕｅｔｏｏｔｈ（登録商標）などによる近距離無線通信によって他の装置との間で通信を行うアンテナを含む場合を想定する。
　出力部２５０は、各種の情報を出力する。本開示の実施形態においては、出力部２５０が、開発者に視認可能な表示を行うことが可能なディスプレイを含む場合を主に想定する。ディスプレイは、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。しかし、出力部２５０は、音声出力装置を含んでもよいし、開発者に触覚を提示する触覚提示装置を含んでもよい。
　以上、本開示の実施形態に係る学習装置２０の機能構成例について説明した。
　［１．３．システムの機能詳細］
　続いて、本開示の実施形態に係るシステム１の機能詳細について説明する。
　まず、学習装置２０は、ディープラーニングによってニューラルネットワークを訓練する。より具体的には、危険な状況が各々検出された複数のミリ波レーダマップ（以下、「学習用のレーダマップ」とも言う。）が入力されると、記憶部２３０は、当該学習用のレーダマップを蓄積する。制御部２１０は、当該学習用のレーダマップをニューラルネットワークに入力し、ニューラルネットワークを訓練する。これによって学習済み（訓練済み）のニューラルネットワークが生成される。
　さらに、本開示の実施形態では、開発者によって各学習用のレーダマップに対応する危険の種類が教師データとして入力される場合を想定する。かかる場合には、操作部２２０は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険の種類とを受け付け、制御部２１０は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険の種類とをニューラルネットワークに入力し、危険の種類を教師データとして複数の学習用のレーダマップに基づいてニューラルネットワークを訓練する。これによって、危険の種類を識別可能な学習済みのニューラルネットワークが生成される。
　なお、本開示の実施形態では、危険の種類として、段差の存在を主に想定する。典型的に、段差には、駅のプラットフォームと線路との間の段差（落差）が含まれ得る。しかし、危険の種類は、段差の存在に限定されない。例えば、危険の種類は、階段の存在であってもよいし、穴の存在などであってもよい。
　あるいは、開発者によって各学習用のレーダマップに対応する危険な状況が起きている位置が教師データとして入力されてもよい。かかる場合には、操作部２２０は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険な状況が起きている位置とを受け付け、制御部２１０は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険な状況が起きている位置とをニューラルネットワークに入力し、危険な状況が起きている位置を教師データとして複数の学習用のレーダマップに基づいてニューラルネットワークを訓練する。これによって、危険な状況が起きている位置を識別可能な学習済みのニューラルネットワークが生成される。
　なお、本開示の実施形態では、危険な状況が起きている位置として、ユーザから見た左右方向の位置を主に想定する。しかし、危険な状況が起きている位置は、ユーザから見た左右方向の位置に限定されない。例えば、危険な状況が起きている位置は、ユーザから見た上下方向の位置であってもよい。
　制御部２１０は、通信部２４０およびネットワーク５０を介して学習済みのニューラルネットワークをスマートフォン１０に提供する。スマートフォン１０において、取得部１１１は、通信部１４０を介して学習済みのニューラルネットワークを取得する。かかる学習済みのニューラルネットワークは、後に説明するように、危険な状況が起きているか否かを判定するために利用され得る。
　図６は、危険な状況が起きていない場合の例を示す図である。図６を参照すると、スマートフォン１０を見ながら歩行するユーザが示されている。また、図６を参照すると、スマートフォン１０のミリ波レーダによる計測範囲７０が示されている。スマートフォン１０のミリ波レーダは、ビームフォーミングによって計測範囲７０内の各方向に順次にミリ波を照射する。そして、スマートフォン１０のミリ波レーダは、物体によって反射されたミリ波を検出する。
　ミリ波Ｂ１およびミリ波Ｂ２は、地面８１によって反射されずに直進したため、スマートフォン１０のミリ波レーダによって検出されていない。一方、（照射方向がミリ波Ｂ１およびミリ波Ｂ２の照射方向よりも下方向に近い）ミリ波Ｂ３は、ユーザの前方に段差がないため、地面８１によって反射され、スマートフォン１０のミリ波レーダによって検出されている。スマートフォン１０のミリ波レーダは、各位置に対応するミリ波を、ミリ波レーダマップ（以下、「識別用のレーダマップ」とも言う。）として検出する。なお、ミリ波レーダは、識別用のレーダマップを１秒間に数十回程度検出することも可能であるため、前方に存在する物体の動的な変化を捉えることもできる。
　図７は、危険な状況が起きていない場合に検出される識別用のレーダマップの例を示す図である。図７を参照すると、危険な状況が起きていない場合に検出される識別用のレーダマップ７１が示されている。識別用のレーダマップ７１の中では、ドットが濃い領域ほど、ミリ波の送信から当該ミリ波の反射波の受信までの往復時間（以下、単に「往復時間」とも言う。）が小さいことを示している。したがって、識別用のレーダマップ７１では、上側の領域は、反射波が無い領域である。一方、識別用のレーダマップ７１では、下側の領域は、往復時間が小さく反射波が有る領域である。
　取得部１１１は、スマートフォン１０のミリ波レーダによって検出された識別用のレーダマップ７１を取得する。そして、判定部１１２は、識別用のレーダマップ７１に基づいて計測範囲７０内に危険な状況が起きているか否かを判定する。
　ここで、判定部１１２による判定手法は限定されない。例えば、判定部１１２は、識別用のレーダマップ７１と学習済みのニューラルネットワークとに基づいて計測範囲７０内に危険な状況が起きているか否かを判定すればよい。具体的に、判定部１１２は、学習済みのニューラルネットワークに識別用のレーダマップ７１を入力させれば、学習済みのニューラルネットワークからの出力によって、計測範囲７０内に危険な状況が起きているか否かを得ることができる。図６および図７に示された例では、判定部１１２によって、危険な状況が起きていないと判定される。
　図８は、危険な状況が起きている場合の例を示す図である。図８を参照すると、図６に示された例と同様に、スマートフォン１０を見ながら歩行するユーザが示されている。また、図８を参照すると、図６に示された例と同様に、スマートフォン１０のミリ波レーダによる計測範囲７０が示されている。スマートフォン１０のミリ波レーダは、ビームフォーミングによって計測範囲７０内の各方向に順次にミリ波を照射する。そして、スマートフォン１０のミリ波レーダは、物体によって反射されたミリ波を検出する。
　図６に示された例と同様に、ミリ波Ｂ１およびミリ波Ｂ２は、地面８１によって反射されずに直進したため、スマートフォン１０のミリ波レーダによって検出されていない。一方、図６に示された例とは異なり、（照射方向がミリ波Ｂ１およびミリ波Ｂ２の照射方向よりも下方向に近い）ミリ波Ｂ３は、ユーザの前方に段差８２があるため、地面８１によって反射されずに直進し、スマートフォン１０のミリ波レーダによって検出されていない。
　図９は、危険な状況が起きている場合に検出される識別用のレーダマップの例を示す図である。図９を参照すると、危険な状況が起きている場合に検出される識別用のレーダマップ７２が示されている。図７に示された例と同じく、識別用のレーダマップ７２では、上側の領域が、反射波が無い領域である。しかし、図７に示された例と比較して、反射波が無い領域が広くなっている。一方、図７に示された例と同じく、識別用のレーダマップ７２では、下側の領域は、往復時間が小さく反射波が有る領域である。しかし、図７に示された例と比較して、反射波が有る領域が広くなっている。
　取得部１１１は、スマートフォン１０のミリ波レーダによって検出された識別用のレーダマップ７２を取得する。そして、判定部１１２は、識別用のレーダマップ７２に基づいて計測範囲７０内に危険な状況が起きているか否かを判定する。
　図８および図９に示された例では、判定部１１２によって、危険な状況が起きていると判定される。なお、ここでは、判定部１１２が、１枚の識別用のレーダマップ７２に基づいて計測範囲７０内に危険な状況が起きているか否かを判定する場合を想定する。しかし、上記したように、ミリ波レーダによって、複数枚の識別用のレーダマップが連続的に捉えられ得る。そこで、判定部１１２は、複数枚の識別用のレーダマップ７２に基づいて計測範囲７０内に危険な状況が起きているか否かを判定してもよい。これによって、計測範囲７０内に危険な状況が起きているか否かがより高精度に判定され得る。
　提示制御部１１３は、判定部１１２によって、計測範囲７０内に危険な状況が起きていると判定された場合に、所定の提示情報が出力部１５０によって提示されるように出力部１５０を制御する。かかる構成によれば、スマートフォンを見ながらプラットフォームを歩行しているユーザがプラットフォームから線路に転落してしまうことを防止することが可能となる。なお、提示情報の提示を終了させるタイミングは限定されない。例えば、提示制御部１１３は、提示情報を提示し始めてから所定時間後に提示情報の提示を終了させてもよい。あるいは、提示制御部１１３は、計測範囲７０内に危険な状況がなくなった場合に、提示情報の提示を終了させてもよい。
　所定の提示情報は、危険な状況が起きていることを示す情報を含んでよい。ここでは、提示制御部１１３は、ユーザの視覚によって提示情報が知覚されるように提示情報をディスプレイに表示させる場合を想定する。しかし、提示制御部１１３は、ユーザの聴覚によって提示情報（音など）が知覚されるように提示情報を音声出力装置から出力させてもよい。あるいは、提示制御部１１３は、ユーザの触覚によって提示情報（振動など）が知覚されるように提示情報を触覚提示装置から出力させてもよい。
　なお、所定の提示情報は、危険な状況が起きていることを示す情報以外の情報を含んでもよい。例えば、危険の種類を識別可能な学習済みのニューラルネットワークが生成された場合、判定部１１２は、識別用のレーダマップ７２と危険の種類を識別可能な学習済みのニューラルネットワークとに基づいて計測範囲７０内に起きている危険の種類も判定すればよい。このとき、提示制御部１１３は、危険の種類も出力部１５０によって提示されるように出力部１５０を制御してもよい。
　図８を参照すると、提示制御部１１３が、危険の種類として、段差の存在を示すメッセージ１５１をスマートフォン１０の出力部１５０に表示させる例が示されている。しかし、上記したように、危険の種類は段差の存在に限定されない。
　図１０は、危険な状況が起きている場合の他の例を示す図である。図１０を参照すると、図８に示された例と同様に、スマートフォン１０を見ながら歩行するユーザが示されている。また、図１０を参照すると、図８に示された例と同様に、スマートフォン１０のミリ波レーダによる計測範囲７０が示されている。スマートフォン１０のミリ波レーダは、ビームフォーミングによって計測範囲７０内の各方向に順次にミリ波を照射する。そして、スマートフォン１０のミリ波レーダは、物体によって反射されたミリ波を検出する。
　ミリ波Ｂ１は、地面８１によって反射されずに直進したため、スマートフォン１０のミリ波レーダによって検出されていない。一方、（照射方向がミリ波Ｂ１の照射方向よりも右下方向に近い）ミリ波Ｂ２は、ユーザの右前方に段差８２があるため、地面８１によって反射されずに直進し、スマートフォン１０のミリ波レーダによって検出されていない。
　図１１は、危険な状況が起きている場合に検出される識別用のレーダマップの例を示す図である。図１１を参照すると、危険な状況が起きている場合に検出される識別用のレーダマップ７３が示されている。識別用のレーダマップ７３では、右上側の領域が、ミリ波の強度が小さく反射波が無い領域である。一方、識別用のレーダマップ７３では、左下側の領域は、ミリ波の強度が大きく反射波が有る領域である。
　取得部１１１は、スマートフォン１０のミリ波レーダによって検出された識別用のレーダマップ７３を取得する。そして、判定部１１２は、識別用のレーダマップ７３に基づいて計測範囲７０内に危険な状況が起きているか否かを判定する。図１０および図１１に示された例では、判定部１１２によって、危険な状況が起きていると判定される。提示制御部１１３は、判定部１１２によって、計測範囲７０内に危険な状況が起きていると判定された場合に、所定の提示情報が出力部１５０によって提示されるように出力部１５０を制御する。
　ここで、危険な状況が起きている位置を識別可能な学習済みのニューラルネットワークが生成された場合、判定部１１２は、識別用のレーダマップ７３と危険な状況が起きている位置を識別可能な学習済みのニューラルネットワークとに基づいて計測範囲７０内に起きている危険な状況が起きている位置も判定すればよい。このとき、提示制御部１１３は、危険な状況が起きている位置も出力部１５０によって提示されるように出力部１５０を制御してもよい。
　図１０を参照すると、提示制御部１１３が、危険な状況が起きている位置として、段差の位置を示すメッセージ１５２をスマートフォン１０の出力部１５０に表示させる例が示されている。しかし、上記したように、危険の種類は段差の位置に限定されない。
　ここで、判定部１１２は、計測範囲７０内に危険な状況が起きているか否かを高精度に判定するため、スマートフォン１０の姿勢によらずに計測範囲７０を変化させないのが望ましい。したがって、判定部１１２は、スマートフォン１０の姿勢を認識し、スマートフォン１０の姿勢によらずに計測範囲７０を変化させないのがよい。例えば、判定部１１２は、センサ部１６０が加速度センサを有する場合、加速度センサによって検出された加速度に基づいて、ミリ波が照射される方向を制御するとよい。
　図１２は、スマートフォン１０の姿勢が変化した場合について説明するための図である。図１２を参照すると、図６に示された例と比較して、ユーザがスマートフォン１０の姿勢を（スマートフォン１０の背面が下を向くように）変化させている。このとき、ミリ波が照射される方向が制御されなければ、図６に示された例と比較して、ミリ波は下向きに照射されてしまう。そこで、図１２に示されたように、判定部１１２は、スマートフォン１０の姿勢を認識し、スマートフォン１０の姿勢によらずに計測範囲７０を変化させないようにミリ波が照射される方向を制御するのがよい。
　また、ユーザの歩行速度が大きいほど、ユーザは、危険な状況が起きている場所に早く到達してしまうことが想定される。したがって、提示制御部１１３は、ユーザの歩行速度と、ミリ波レーダによって検出された、スマートフォン１０から危険な状況が起きている場所までの距離とに基づいて、出力部１５０によって提示情報が提示されるように出力部１５０を制御するのがよい。より具体的に、提示制御部１１３は、ユーザの歩行速度が大きいほど、スマートフォン１０から危険な状況が起きている場所までの距離が大きいときから、提示情報を出力部１５０に提示させ始めるのがよい。なお、ミリ波レーダは、例えば、数ｃｍ～数ｍまでの範囲で前方にある物体までの距離を測定することができる。
　図１３は、ユーザの歩行速度が変化した場合について説明するための図である。図１３を参照すると、図８に示された例と比較して、ユーザの歩行速度が大きくなっている。このとき、図８に示された例と比較して、ユーザが早く段差８２に到達してしまうことが想定される。そこで、判定部１１２は、ユーザの歩行速度が大きいほど、スマートフォン１０から段差８２までの距離が大きいときから、提示情報を出力部１５０に提示させ始めるのがよい。
　具体的に、図８に示された例では、提示制御部１１３は、スマートフォン１０から段差８２までの距離がＸ１になったときから、段差の存在を示すメッセージ１５１の表示を開始させている。一方、図１３に示された例では、スマートフォン１０から段差８２までの距離が（Ｘ１より大きい）Ｘ２になったときから、段差の存在を示すメッセージ１５３の表示を開始させている。
　一例として、提示制御部１１３は、ユーザの歩行速度とスマートフォン１０から段差８２までの距離とに基づいて、ユーザが段差８２に到達するまでの予測時間を算出してもよい。そして、提示制御部１１３は、予測時間が所定時間に迫った場合に、提示情報を提示させるようにしてもよい。また、図１３に示されるように、提示制御部１１３は、段差の存在を示すメッセージ１５３に、予測時間（３秒後）を含めてもよい。
　以上、本開示の実施形態に係るシステム１の機能詳細について説明した。
　［１．４．システムの動作例］
　続いて、本開示の実施形態に係るシステム１の動作例について説明する。図１４は、本開示の実施形態に係るシステム１の動作例を示すフローチャートである。
　まず、学習装置２０において、危険な状況が各々検出された複数の学習用のレーダマップが入力されると、記憶部２３０は、当該学習用のレーダマップを受け付け、蓄積する（Ｓ１１）。そして、制御部２１０は、当該学習用のレーダマップをニューラルネットワークに入力し、ニューラルネットワークを学習させる（Ｓ１２）。これによって学習済み（訓練済み）のニューラルネットワークが生成される。制御部２１０は、通信部２４０およびネットワーク５０を介して学習済みのニューラルネットワークをスマートフォン１０に提供する（Ｓ１３）。
　続いて、スマートフォン１０において、取得部１１１は、通信部１４０を介して学習済みのニューラルネットワークを取得する（Ｓ２１）。スマートフォン１０のミリ波レーダは、識別用のレーダマップを検出し、取得部１１１は、識別用のレーダマップを取得する（Ｓ２２）。判定部１１２は、識別用のレーダマップに基づいて計測範囲内に危険な状況が起きているか否かを判定する（Ｓ２３）。
　提示制御部１１３は、識別用のレーダマップに基づいて計測範囲内に危険な状況が起きていないと判定した場合（Ｓ２３において「Ｎｏ」）、何もしない。一方、提示制御部１１３は、識別用のレーダマップに基づいて計測範囲内に危険な状況が起きていると判定した場合（Ｓ２３において「Ｙｅｓ」）、所定の提示情報がユーザに提示されるように出力部１５０を制御する（Ｓ２４）。
　以上、本開示の実施形態に係るシステム１の動作例について説明した。
　＜２．ハードウェア構成例＞
　次に、図１５を参照して、本開示の実施形態に係るスマートフォン１０のハードウェア構成について説明する。図１５は、本開示の実施形態に係るスマートフォン１０のハードウェア構成例を示すブロック図である。ただし、図１５に示されたハードウェア構成例は、スマートフォン１０の一例に過ぎない。したがって、図１５に示されたブロックのうち、不要な構成は削除されてよい。また、本開示の実施形態に係る学習装置２０のハードウェア構成も、本開示の実施形態に係るスマートフォン１０のハードウェア構成と同様に実現され得る。
　図１５に示すように、スマートフォン１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、スマートフォン１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含む。さらに、スマートフォン１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含む。スマートフォン１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、スマートフォン１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置９１５は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、スマートフォン１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、スマートフォン１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置９１７は、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置９１７は、スマートフォン１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、スマートフォン１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、スマートフォン１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器をスマートフォン１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、スマートフォン１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えばスマートフォン１０の筐体の姿勢など、スマートフォン１０自体の状態に関する情報や、スマートフォン１０の周辺の明るさや騒音など、スマートフォン１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　＜３．むすび＞
　以上説明したように、本開示の実施形態によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。
　かかる構成によれば、ミリ波レーダが利用されるため、センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能となる。また、かかる構成によれば、ミリ波レーダが利用されるため、小規模なセンサを利用して危険な状況が起きているか否かを判定することが可能となる。さらに、かかる構成によれば、ミリ波レーダが利用されるため、センサの即応性を向上させつつ危険な状況が起きているか否かを判定することが可能となる。
　また、かかる構成によれば、危険な状況が起きているか否かを判定するために必要な処理が簡易化されるため、処理時間を低減することが可能となる。さらに、位置測定用センサが用いられる場合には、ユーザの居場所によってはユーザ位置の計測が困難な場合がある。一方、かかる構成によれば、危険な状況が起きているか否かをより確実に判定することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記したスマートフォン１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、制御部１１０が有する各ブロックの一部または全部は、サーバなどに存在していてもよい。例えば、スマートフォン１０とサーバとの間の通信が高速で行われるようになれば、スマートフォン１０の代わりにサーバが判定部１１２を有してもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、
　前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、
　を備える、情報処理装置。
（２）
　前記判定部は、前記検出結果と学習済みのニューラルネットワークとに基づいて前記計測範囲内に危険な状況が起きているか否かを判定する、
　前記（１）に記載の情報処理装置。
（３）
　前記判定部は、加速度センサによって検出された加速度に基づいて、前記ミリ波が照射される前記方向を制御する、
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記提示制御部は、ユーザの歩行速度と、危険な状況が起きている場所までの距離とに基づいて、前記所定の提示情報が提示されるように制御する、
　前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記提示制御部は、前記ユーザの歩行速度が大きいほど、前記危険な状況が起きている場所までの距離が大きいときから、前記所定の提示情報を提示させ始める、
　前記（４）に記載の情報処理装置。
（６）
　前記提示制御部は、ユーザの歩行速度と、前記危険な状況が起きている場所までの距離とに基づいて、前記ユーザが前記危険な状況が起きている場所に到達するまでの予測時間を算出し、前記予測時間が提示されるように制御する、
　前記（４）に記載の情報処理装置。
（７）
　前記判定部は、前記危険の種類を判定し、
　前記提示制御部は、前記危険の種類が提示されるように制御する、
　前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記判定部は、前記危険な状況が起きている位置を判定し、
　前記提示制御部は、前記危険な状況が起きている位置が提示されるように制御する、
　前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記提示制御部は、ディスプレイ、音声出力装置または触覚提示装置によって前記所定の提示情報が提示されるように制御制御する、
　前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、
　前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、
　を備える、情報処理方法。
　１　　　システム
　１０　　スマートフォン
　１１０　制御部
　１１１　取得部
　１１２　判定部
　１１３　提示制御部
　１２０　操作部
　１３０　記憶部
　１４０　通信部
　１５０　出力部
　１６０　センサ部
　２０　　学習装置
　２１０　制御部
　２２０　操作部
　２３０　記憶部
　２４０　通信部
　２５０　出力部
　５０　　ネットワーク
　７０　　計測範囲

Claims (10)

  1. 　ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、
    　前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、
    　を備える、情報処理装置。
  2. 　前記判定部は、前記検出結果と学習済みのニューラルネットワークとに基づいて前記計測範囲内に危険な状況が起きているか否かを判定する、
    　請求項１に記載の情報処理装置。
  3. 　前記判定部は、加速度センサによって検出された加速度に基づいて、前記ミリ波が照射される前記方向を制御する、
    　請求項１に記載の情報処理装置。
  4. 　前記提示制御部は、ユーザの歩行速度と、危険な状況が起きている場所までの距離とに基づいて、前記所定の提示情報が提示されるように制御する、
    　請求項１に記載の情報処理装置。
  5. 　前記提示制御部は、前記ユーザの歩行速度が大きいほど、前記危険な状況が起きている場所までの距離が大きいときから、前記所定の提示情報を提示させ始める、
    　請求項４に記載の情報処理装置。
  6. 　前記提示制御部は、ユーザの歩行速度と、前記危険な状況が起きている場所までの距離とに基づいて、前記ユーザが前記危険な状況が起きている場所に到達するまでの予測時間を算出し、前記予測時間が提示されるように制御する、
    　請求項４に記載の情報処理装置。
  7. 　前記判定部は、前記危険の種類を判定し、
    　前記提示制御部は、前記危険の種類が提示されるように制御する、
    　請求項１に記載の情報処理装置。
  8. 　前記判定部は、前記危険な状況が起きている位置を判定し、
    　前記提示制御部は、前記危険な状況が起きている位置が提示されるように制御する、
    　請求項１に記載の情報処理装置。
  9. 　前記提示制御部は、ディスプレイ、音声出力装置または触覚提示装置によって前記所定の提示情報が提示されるように制御制御する、
    　請求項１に記載の情報処理装置。
  10. 　ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、
    　前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、
    　を備える、情報処理方法。
PCT/JP2019/009936 2019-03-12 2019-03-12 情報処理装置および情報処理方法 WO2020183602A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/009936 WO2020183602A1 (ja) 2019-03-12 2019-03-12 情報処理装置および情報処理方法
US17/435,122 US20220146662A1 (en) 2019-03-12 2019-03-12 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/009936 WO2020183602A1 (ja) 2019-03-12 2019-03-12 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
WO2020183602A1 true WO2020183602A1 (ja) 2020-09-17

Family

ID=72427387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009936 WO2020183602A1 (ja) 2019-03-12 2019-03-12 情報処理装置および情報処理方法

Country Status (2)

Country Link
US (1) US20220146662A1 (ja)
WO (1) WO2020183602A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183787A (ja) * 2016-03-28 2017-10-05 インターマン株式会社 危険回避支援プログラム
JP2017533443A (ja) * 2014-09-16 2017-11-09 テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ 適応レーダを備えるナビゲーションエイド
JP2018527558A (ja) * 2015-10-06 2018-09-20 グーグル エルエルシー レーダ対応センサフュージョン
US20190056488A1 (en) * 2017-08-15 2019-02-21 Honeywell International Inc. Radar using personal phone, tablet, pc for display and interaction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4222409C2 (de) * 1991-07-08 1996-07-11 Kansei Kk Einrichtung zur Abstandsmessung vom Laserradar-Typ
AU2003241125A1 (en) * 2002-06-13 2003-12-31 I See Tech Ltd. Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
WO2019099413A1 (en) * 2017-11-14 2019-05-23 AWARE Technologies Systems and methods for moving object predictive locating, reporting, and alerting
US11624821B2 (en) * 2018-05-24 2023-04-11 New York University System, method and computer-accessible medium for real time imaging using a portable device
US10834986B2 (en) * 2018-07-12 2020-11-17 Sarah Nicole Ciccaglione Smart safety helmet with heads-up display
IT201800009442A1 (it) * 2018-10-15 2020-04-15 Laser Navigation Srl Sistema di controllo e gestione di un processo all’interno di un ambiente attraverso tecniche d’intelligenza artificiale e relativo metodo

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533443A (ja) * 2014-09-16 2017-11-09 テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ 適応レーダを備えるナビゲーションエイド
JP2018527558A (ja) * 2015-10-06 2018-09-20 グーグル エルエルシー レーダ対応センサフュージョン
JP2017183787A (ja) * 2016-03-28 2017-10-05 インターマン株式会社 危険回避支援プログラム
US20190056488A1 (en) * 2017-08-15 2019-02-21 Honeywell International Inc. Radar using personal phone, tablet, pc for display and interaction

Also Published As

Publication number Publication date
US20220146662A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
JP6948325B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11340072B2 (en) Information processing apparatus, information processing method, and recording medium
US11181376B2 (en) Information processing device and information processing method
US20210072398A1 (en) Information processing apparatus, information processing method, and ranging system
WO2016041340A1 (zh) 一种提示方法及移动终端
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN102622850A (zh) 信息处理装置、报警方法和程序
WO2019087491A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11143507B2 (en) Information processing apparatus and information processing method
US10964045B2 (en) Information processing device, information processing method, and individual imaging device for measurement of a size of a subject
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018168222A1 (ja) 情報処理装置、撮像装置および電子機器
US10133966B2 (en) Information processing apparatus, information processing method, and information processing system
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
WO2020183602A1 (ja) 情報処理装置および情報処理方法
JPWO2019087513A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN113432620B (zh) 误差估计方法、装置、车载终端及存储介质
CN113326800B (zh) 车道线位置确定方法、装置、车载终端及存储介质
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020031795A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017056774A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN111583669B (zh) 一种超速检测方法、装置、控制设备和存储介质
US11527926B2 (en) Receiver, reception method, transmitter and transmission method
WO2024029199A1 (ja) 情報処理装置、情報処理プログラム、および情報処理方法
CN112241662B (zh) 一种检测可行驶区域的方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP