WO2020183602A1 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- WO2020183602A1 WO2020183602A1 PCT/JP2019/009936 JP2019009936W WO2020183602A1 WO 2020183602 A1 WO2020183602 A1 WO 2020183602A1 JP 2019009936 W JP2019009936 W JP 2019009936W WO 2020183602 A1 WO2020183602 A1 WO 2020183602A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- dangerous situation
- information processing
- smartphone
- control unit
- presentation
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000005259 measurement Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/426—Scanning radar, e.g. 3D radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Definitions
- This disclosure relates to an information processing device and an information processing method.
- Patent Document 1 there is a technique for determining whether or not a dangerous situation has occurred (see, for example, Patent Document 1). For example, there is known a technique for determining whether or not a dangerous situation has occurred based on image data captured by an image sensor. Alternatively, there is known a technique for determining whether or not a dangerous situation has occurred based on the user position detected by a position measurement sensor (for example, a GPS (Global Positioning System) sensor or the like).
- a position measurement sensor for example, a GPS (Global Positioning System) sensor or the like.
- the power consumption by the sensor tends to increase. Therefore, it is desirable to provide a technique capable of determining whether or not a dangerous situation has occurred while reducing the power consumption of the sensor.
- An information processing device includes a unit and a presentation control unit that controls so that predetermined presentation information is presented when it is determined that the dangerous situation occurs within the measurement range. ..
- An information processing method comprises controlling so that predetermined presentation information is presented when it is determined that the dangerous situation occurs within the measurement range.
- a plurality of components having substantially the same or similar functional configurations may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same or similar functional configurations, only the same reference numerals are given.
- similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components, only the same reference numerals are given.
- FIGS. 1 and 2 are diagrams for explaining an outline of the embodiments of the present disclosure.
- the user is holding the smartphone 10 in his hand and walking on the ground 81 while looking at the screen of the smartphone 10.
- FIGS. 1 and 2 the user is holding the smartphone 10 in his hand and walking on the ground 81 while looking at the screen of the smartphone 10.
- no dangerous situation has occurred in front of the user.
- the step 82 exists in front of the user, a dangerous situation occurs in front of the user.
- the technique of determining whether or not a dangerous situation has occurred based on the image data captured by the image sensor or the user position detected by the position measurement sensor the power consumption by the sensor tends to increase. Therefore, in the embodiment of the present disclosure, we mainly propose a technique capable of determining whether or not a dangerous situation has occurred while reducing the power consumption of the sensor. Further, in the embodiment of the present disclosure, a technique capable of determining whether or not a dangerous situation is occurring by using a small-scale sensor is proposed. Further, in the embodiment of the present disclosure, a technique capable of determining whether or not a dangerous situation is occurring while improving the responsiveness of the sensor is proposed.
- a technique capable of reducing the processing time required for determining whether or not a dangerous situation has occurred is proposed. Further, when a position measurement sensor is used, it may be difficult to measure the user position depending on the location of the user. In the embodiments of the present disclosure, we propose a technique capable of more reliably determining whether or not a dangerous situation has occurred.
- FIG. 3 is a diagram showing a configuration example of the system 1 according to the embodiment of the present disclosure.
- the system 1 according to the embodiment of the present disclosure includes a smartphone 10, a learning device 20, and a network 50.
- the type of network 50 is not limited.
- network 50 may include the Internet.
- the smartphone 10 is a terminal that can be carried by the user. In the embodiment of the present disclosure, it is mainly assumed that the smartphone 10 is carried by a user. However, instead of the smartphone 10, another terminal (for example, a mobile phone, a tablet terminal, etc.) may be carried by the user. Alternatively, when a user with low eyesight walks with a cane, the cane may take on the function of the smartphone 10.
- the smartphone 10 is connected to the network 50 and is configured to be able to communicate with other devices via the network 50.
- the smartphone 10 can function as an information processing device for determining whether or not a dangerous situation is occurring.
- the learning device 20 is configured by a computer and performs learning processing by machine learning.
- the learning device 20 provides the learning result to the smartphone 10 via the network 50.
- the learning device 20 trains the neural network by deep learning and provides the trained (learned) neural network to the smartphone 10 via the network 50.
- the type of machine learning is not limited to deep learning.
- the learning device 20 exists as a device separated from the smartphone 10.
- the learning device 20 may be integrated with the smartphone 10. That is, the smartphone 10 may have the function of the learning device 20.
- FIG. 4 is a diagram showing a functional configuration example of the smartphone 10 according to the embodiment of the present disclosure.
- the smartphone 10 according to the embodiment of the present disclosure includes a control unit 110, an operation unit 120, a storage unit 130, a communication unit 140, an output unit 150, and a sensor unit 160.
- control unit 110 the operation unit 120, the storage unit 130, the communication unit 140, the output unit 150, and the sensor unit 160 are present inside the same device (smartphone 10)
- the position where these blocks exist is not particularly limited. For example, as will be described later, some of these blocks may exist on a server or the like.
- the control unit 110 controls each part of the smartphone 10. As shown in FIG. 4, the control unit 110 includes an acquisition unit 111, a determination unit 112, and a presentation control unit 113. Details of each of these functional blocks will be described later.
- the control unit 110 may be composed of, for example, a CPU (Central Processing Unit; central processing unit) or the like. When the control unit 110 is configured by a processing device such as a CPU, the processing device may be configured by an electronic circuit.
- the operation unit 120 has a function of accepting input of an operation by the user.
- the operation unit 120 includes a touch panel.
- the operation unit 120 is not limited to the case where the touch panel is included.
- the operation unit 120 may include an electronic pen, a mouse and a keyboard, or an image sensor that detects a user's line of sight.
- the storage unit 130 is a recording medium that stores a program executed by the control unit 110 and stores data necessary for executing the program. Further, the storage unit 130 temporarily stores data for calculation by the control unit 110.
- the storage unit 130 may be a magnetic storage unit device, a semiconductor storage device, an optical storage device, or an optical magnetic storage device.
- the communication unit 140 is configured to include a communication circuit, and has a function of communicating with other devices.
- the communication unit 140 has a function of acquiring data from the other device and providing data to the other device.
- the communication unit 140 includes an antenna that wirelessly communicates with another device via a network.
- the communication unit 140 includes an antenna that communicates with another device by short-range wireless communication by Bluetooth (registered trademark) or the like.
- the output unit 150 outputs various information.
- the output unit 150 includes a display capable of displaying a display visible to the user.
- the display may be a liquid crystal display or an organic EL (Electro-Lumisensence) display.
- the output unit 150 may include a voice output device, or may include a tactile presentation device that presents a tactile sensation to the user.
- the sensor unit 160 has various sensors, and it is possible to obtain various sensor data by sensing with the sensors.
- the sensor unit 160 includes a millimeter wave radar.
- the millimeter wave radar sequentially irradiates millimeter waves in each direction within a predetermined measurement range by beamforming, and detects millimeter waves reflected by an object.
- the frequency of millimeter waves is not limited.
- millimeter waves may be radio waves having a frequency of 30 to 300 GHz.
- millimeter waves may include radio waves used in fifth generation mobile communication systems (5G) (eg, radio waves having a frequency of 27.5 to 29.5 GHz).
- 5G fifth generation mobile communication systems
- FIG. 5 is a diagram showing a functional configuration example of the learning device 20 according to the embodiment of the present disclosure.
- the learning device 20 according to the embodiment of the present disclosure includes a control unit 210, an operation unit 220, a storage unit 230, a communication unit 240, and an output unit 250.
- control unit 210 the operation unit 220, the storage unit 230, the communication unit 240, and the output unit 250 are present inside the same device (learning device 20)
- the position where these blocks exist is not particularly limited. For example, as will be described later, some of these blocks may exist on a server or the like.
- the control unit 210 controls each unit of the learning device 20.
- the control unit 210 may be composed of, for example, a CPU (Central Processing Unit; central processing unit) or the like.
- a processing device such as a CPU
- the processing device may be configured by an electronic circuit.
- the operation unit 220 has a function of receiving an input of an operation by a developer.
- the operation unit 220 includes a mouse and a keyboard.
- the operation unit 220 is not limited to the case where the mouse and the keyboard are included.
- the operation unit 220 may include an electronic pen, a touch panel, or an image sensor that detects the line of sight of the developer.
- the storage unit 230 is a recording medium that stores a program executed by the control unit 210 and stores data necessary for executing the program. Further, the storage unit 230 temporarily stores data for calculation by the control unit 210.
- the storage unit 230 may be a magnetic storage unit device, a semiconductor storage device, an optical storage device, or an optical magnetic storage device.
- the communication unit 240 is configured to include a communication circuit, and has a function of communicating with other devices.
- the communication unit 240 has a function of acquiring data from the other device and providing data to the other device.
- the communication unit 240 includes an antenna that wirelessly communicates with another device via a network.
- the communication unit 240 includes an antenna that communicates with another device by short-range wireless communication by Bluetooth (registered trademark) or the like.
- the output unit 250 outputs various information.
- the output unit 250 includes a display capable of displaying a display visible to the developer.
- the display may be a liquid crystal display or an organic EL (Electro-Lumisensence) display.
- the output unit 250 may include a voice output device, or may include a tactile presentation device that presents a tactile sensation to the developer.
- the learning device 20 trains the neural network by deep learning. More specifically, when a plurality of millimeter-wave radar maps (hereinafter, also referred to as “learning radar maps”) in which dangerous situations are detected are input, the storage unit 230 uses the learning radar. Accumulate maps. The control unit 210 inputs the radar map for learning into the neural network and trains the neural network. This will generate a trained (trained) neural network.
- learning radar maps millimeter-wave radar maps
- the operation unit 220 accepts the plurality of learning radar maps and the types of dangers corresponding to the respective learning radar maps, and the control unit 210 receives the plurality of learning radar maps and each of the plurality of learning radar maps.
- the type of danger corresponding to the radar map for learning is input to the neural network, and the type of danger is used as training data to train the neural network based on a plurality of radar maps for learning. This produces a trained neural network that can identify the type of danger.
- the existence of a step is mainly assumed as the type of danger.
- the step may include a step (head) between the platform of the station and the railroad track.
- the type of danger is not limited to the presence of steps.
- the type of danger may be the presence of stairs, the presence of holes, and the like.
- the developer may input the position where the dangerous situation corresponding to each learning radar map occurs as teacher data.
- the operation unit 220 accepts the plurality of learning radar maps and the positions where a dangerous situation corresponding to each learning radar map is occurring, and the control unit 210 receives the plurality of learning radar maps.
- the radar map of the above and the position where the dangerous situation is occurring corresponding to each learning radar map are input to the neural network, and the position where the dangerous situation is occurring is used as teacher data based on multiple radar maps for learning. To train the neural network. This will generate a trained neural network that can identify where the dangerous situation is occurring.
- the position in the left-right direction as seen from the user is mainly assumed as the position where the dangerous situation occurs.
- the position where the dangerous situation occurs is not limited to the position in the left-right direction as seen by the user.
- the position where the dangerous situation occurs may be the position in the vertical direction as seen by the user.
- the control unit 210 provides the smartphone 10 with a trained neural network via the communication unit 240 and the network 50.
- the acquisition unit 111 acquires the trained neural network via the communication unit 140.
- Such trained neural networks can be used to determine if a dangerous situation is occurring, as will be described later.
- FIG. 6 is a diagram showing an example when a dangerous situation has not occurred.
- a user walking while looking at the smartphone 10 is shown.
- the measurement range 70 by the millimeter wave radar of the smartphone 10 is shown.
- the millimeter-wave radar of the smartphone 10 sequentially irradiates millimeter waves in each direction within the measurement range 70 by beamforming. Then, the millimeter wave radar of the smartphone 10 detects the millimeter wave reflected by the object.
- the millimeter wave B1 and the millimeter wave B2 went straight without being reflected by the ground 81, so they were not detected by the millimeter wave radar of the smartphone 10.
- the millimeter wave B3 (the irradiation direction is closer to the downward direction than the irradiation directions of the millimeter wave B1 and the millimeter wave B2) is reflected by the ground 81 because there is no step in front of the user, and is reflected by the millimeter wave radar of the smartphone 10. It has been detected.
- the millimeter-wave radar of the smartphone 10 detects millimeter-waves corresponding to each position as a millimeter-wave radar map (hereinafter, also referred to as “identification radar map”). Since the millimeter-wave radar can detect the radar map for identification several tens of times per second, it can also capture the dynamic change of the object existing in front.
- FIG. 7 is a diagram showing an example of a radar map for identification that is detected when a dangerous situation does not occur.
- a radar map 71 for identification is shown which is detected when no dangerous situation has occurred.
- the darker the dots the smaller the round-trip time from the transmission of the millimeter wave to the reception of the reflected wave of the millimeter wave (hereinafter, also simply referred to as “round-trip time”). ing. Therefore, in the radar map 71 for identification, the upper region is a region without reflected waves. On the other hand, in the radar map 71 for identification, the lower region is a region where the round trip time is short and the reflected wave is present.
- the acquisition unit 111 acquires the identification radar map 71 detected by the millimeter-wave radar of the smartphone 10. Then, the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on the identification radar map 71.
- the determination method by the determination unit 112 is not limited.
- the determination unit 112 may determine whether or not a dangerous situation has occurred within the measurement range 70 based on the radar map 71 for identification and the learned neural network. Specifically, if the determination unit 112 inputs the radar map 71 for identification to the trained neural network, whether or not a dangerous situation occurs within the measurement range 70 due to the output from the trained neural network. Can be obtained. In the examples shown in FIGS. 6 and 7, the determination unit 112 determines that no dangerous situation has occurred.
- FIG. 8 is a diagram showing an example when a dangerous situation occurs.
- a user walking while looking at the smartphone 10 is shown as in the example shown in FIG.
- the measurement range 70 by the millimeter wave radar of the smartphone 10 is shown as in the example shown in FIG.
- the millimeter-wave radar of the smartphone 10 sequentially irradiates millimeter waves in each direction within the measurement range 70 by beamforming. Then, the millimeter wave radar of the smartphone 10 detects the millimeter wave reflected by the object.
- the millimeter wave B1 and the millimeter wave B2 traveled straight without being reflected by the ground 81, so that they were not detected by the millimeter wave radar of the smartphone 10.
- the millimeter wave B3 (the irradiation direction is closer to the downward direction than the irradiation direction of the millimeter wave B1 and the millimeter wave B2) has a step 82 in front of the user, so that the ground is It goes straight without being reflected by 81, and is not detected by the millimeter-wave radar of the smartphone 10.
- FIG. 9 is a diagram showing an example of a radar map for identification that is detected when a dangerous situation occurs.
- a radar map 72 for identification is shown which is detected when a dangerous situation occurs.
- the upper region is a region without reflected waves.
- the region without the reflected wave is wider.
- the lower region is a region where the round trip time is short and the reflected wave is present.
- the region where the reflected wave exists is wider.
- the acquisition unit 111 acquires the identification radar map 72 detected by the millimeter-wave radar of the smartphone 10. Then, the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on the identification radar map 72.
- the determination unit 112 determines that a dangerous situation has occurred.
- the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on one identification radar map 72.
- the millimeter-wave radar can continuously capture a plurality of identification radar maps. Therefore, the determination unit 112 may determine whether or not a dangerous situation has occurred within the measurement range 70 based on a plurality of identification radar maps 72. As a result, it is possible to determine with higher accuracy whether or not a dangerous situation has occurred within the measurement range 70.
- the presentation control unit 113 controls the output unit 150 so that predetermined presentation information is presented by the output unit 150 when the determination unit 112 determines that a dangerous situation has occurred within the measurement range 70. .. According to such a configuration, it is possible to prevent a user walking on the platform while looking at the smartphone from falling from the platform to the railroad track.
- the timing of ending the presentation of the presented information is not limited.
- the presentation control unit 113 may end the presentation of the presentation information after a predetermined time from the start of presenting the presentation information.
- the presentation control unit 113 may end the presentation of the presentation information when the dangerous situation disappears within the measurement range 70.
- the predetermined presentation information may include information indicating that a dangerous situation is occurring.
- the presentation control unit 113 displays the presentation information on the display so that the presentation information is perceived by the user's vision.
- the presentation control unit 113 may output the presentation information from the voice output device so that the presentation information (sound or the like) is perceived by the user's hearing.
- the presentation control unit 113 may output the presentation information from the tactile presentation device so that the presentation information (vibration, etc.) is perceived by the user's tactile sensation.
- the predetermined presentation information may include information other than information indicating that a dangerous situation is occurring. For example, when a trained neural network that can identify the type of danger is generated, the determination unit 112 measures the measurement range based on the radar map 72 for identification and the trained neural network that can identify the type of danger. The type of danger occurring in 70 may also be determined. At this time, the presentation control unit 113 may control the output unit 150 so that the type of danger is also presented by the output unit 150.
- the presentation control unit 113 displays a message 151 indicating the existence of a step on the output unit 150 of the smartphone 10 as a type of danger.
- the type of danger is not limited to the presence of steps.
- FIG. 10 is a diagram showing another example when a dangerous situation occurs.
- a user walking while looking at the smartphone 10 is shown as in the example shown in FIG.
- the measurement range 70 by the millimeter wave radar of the smartphone 10 is shown as in the example shown in FIG.
- the millimeter-wave radar of the smartphone 10 sequentially irradiates millimeter waves in each direction within the measurement range 70 by beamforming. Then, the millimeter wave radar of the smartphone 10 detects the millimeter wave reflected by the object.
- the millimeter wave B1 went straight without being reflected by the ground 81, so it was not detected by the millimeter wave radar of the smartphone 10.
- the millimeter wave B2 goes straight without being reflected by the ground 81 because there is a step 82 in front of the user's right, and the millimeter wave B2 of the smartphone 10 Not detected by wave radar.
- FIG. 11 is a diagram showing an example of a radar map for identification that is detected when a dangerous situation occurs.
- a radar map 73 for identification is shown which is detected when a dangerous situation occurs.
- the region on the upper right side is a region where the intensity of millimeter waves is small and there is no reflected wave.
- the region on the lower left side is a region where the intensity of millimeter waves is high and there are reflected waves.
- the acquisition unit 111 acquires the identification radar map 73 detected by the millimeter-wave radar of the smartphone 10. Then, the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range 70 based on the identification radar map 73. In the examples shown in FIGS. 10 and 11, the determination unit 112 determines that a dangerous situation has occurred.
- the presentation control unit 113 controls the output unit 150 so that predetermined presentation information is presented by the output unit 150 when the determination unit 112 determines that a dangerous situation has occurred within the measurement range 70. ..
- the determination unit 112 can identify the radar map 73 for identification and the position where the dangerous situation is occurring.
- the position where the dangerous situation occurring within the measurement range 70 may occur may be determined based on the learned neural network.
- the presentation control unit 113 may control the output unit 150 so that the position where the dangerous situation occurs is also presented by the output unit 150.
- the presentation control unit 113 displays a message 152 indicating the position of a step as a position where a dangerous situation occurs on the output unit 150 of the smartphone 10.
- the type of danger is not limited to the position of the step.
- the determination unit 112 may control the direction in which the millimeter wave is irradiated based on the acceleration detected by the acceleration sensor.
- FIG. 12 is a diagram for explaining a case where the posture of the smartphone 10 is changed.
- the user changes the posture of the smartphone 10 (so that the back of the smartphone 10 faces downward) as compared with the example shown in FIG.
- the determination unit 112 recognizes the posture of the smartphone 10 and controls the direction in which the millimeter wave is irradiated so as not to change the measurement range 70 regardless of the posture of the smartphone 10. Is good.
- the presentation control unit 113 presents the presentation information by the output unit 150 based on the walking speed of the user and the distance from the smartphone 10 to the place where the dangerous situation is occurring detected by the millimeter wave radar. It is preferable to control the output unit 150 so as to. More specifically, the presentation control unit 113 starts to have the output unit 150 present the presentation information from the time when the distance from the smartphone 10 to the place where the dangerous situation is occurring increases as the walking speed of the user increases. Good.
- the millimeter-wave radar can measure the distance to an object in front in the range of several cm to several m, for example.
- FIG. 13 is a diagram for explaining a case where the walking speed of the user changes.
- the walking speed of the user is higher than that of the example shown in FIG.
- the determination unit 112 starts to present the presented information to the output unit 150 when the distance from the smartphone 10 to the step 82 increases as the walking speed of the user increases.
- the presentation control unit 113 starts displaying the message 151 indicating the existence of the step from the time when the distance from the smartphone 10 to the step 82 becomes X1.
- the display of the message 153 indicating the existence of the step is started when the distance from the smartphone 10 to the step 82 becomes X2 (larger than X1).
- the presentation control unit 113 may calculate the estimated time until the user reaches the step 82 based on the walking speed of the user and the distance from the smartphone 10 to the step 82. Then, the presentation control unit 113 may be made to present the presentation information when the predicted time approaches a predetermined time. Further, as shown in FIG. 13, the presentation control unit 113 may include the predicted time (after 3 seconds) in the message 153 indicating the existence of the step.
- FIG. 14 is a flowchart showing an operation example of the system 1 according to the embodiment of the present disclosure.
- the storage unit 230 receives and stores the learning radar maps (S11). Then, the control unit 210 inputs the radar map for learning into the neural network and trains the neural network (S12). This will generate a trained (trained) neural network.
- the control unit 210 provides the smartphone 10 with a trained neural network via the communication unit 240 and the network 50 (S13).
- the acquisition unit 111 acquires the trained neural network via the communication unit 140 (S21).
- the millimeter-wave radar of the smartphone 10 detects the radar map for identification, and the acquisition unit 111 acquires the radar map for identification (S22).
- the determination unit 112 determines whether or not a dangerous situation has occurred within the measurement range based on the radar map for identification (S23).
- the presentation control unit 113 determines that no dangerous situation has occurred within the measurement range based on the identification radar map (“No” in S23), does nothing.
- the presentation control unit 113 determines that a dangerous situation has occurred within the measurement range based on the identification radar map (“Yes” in S23)
- the presentation control unit 113 presents the predetermined presentation information to the user.
- the output unit 150 is controlled (S24).
- FIG. 15 is a block diagram showing a hardware configuration example of the smartphone 10 according to the embodiment of the present disclosure.
- the hardware configuration example shown in FIG. 15 is only an example of the smartphone 10. Therefore, of the blocks shown in FIG. 15, unnecessary configurations may be deleted.
- the hardware configuration of the learning device 20 according to the embodiment of the present disclosure can be realized in the same manner as the hardware configuration of the smartphone 10 according to the embodiment of the present disclosure.
- the smartphone 10 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
- the smartphone 10 also includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
- the smartphone 10 includes an image pickup device 933 and a sensor 935, if necessary.
- the smartphone 10 may have a processing circuit called a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) in place of or in combination with the CPU 901.
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the smartphone 10 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
- the ROM 903 stores programs, calculation parameters, and the like used by the CPU 901.
- the RAM 905 temporarily stores a program used in the execution of the CPU 901, parameters that are appropriately changed in the execution, and the like.
- the CPU 901, ROM 903, and RAM 905 are connected to each other by a host bus 907 composed of an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
- PCI Peripheral Component Interconnect / Interface
- the input device 915 is a device operated by the user, such as a button.
- the input device 915 may include a mouse, keyboard, touch panel, switches, levers, and the like.
- the input device 915 may also include a microphone that detects the user's voice.
- the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 929 such as a mobile phone corresponding to the operation of the smartphone 10.
- the input device 915 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 901. By operating the input device 915, the user inputs various data to the smartphone 10 and instructs the processing operation.
- the image pickup device 933 described later can also function as an input device by capturing images of the movement of the user's hand, the user's finger, and the like. At this time, the pointing position may be determined according to the movement of the hand and the direction of the finger.
- the output device 917 is composed of a device capable of visually or audibly notifying the user of the acquired information.
- the output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminence) display, a sound output device such as a speaker and headphones, and the like.
- the output device 917 may include a PDP (Plasma Display Panel), a projector, a hologram, a printer device, and the like.
- the output device 917 outputs the result obtained by the processing of the smartphone 10 as a video such as text or an image, or outputs as a sound such as voice or sound.
- the output device 917 may include a light or the like in order to brighten the surroundings.
- the storage device 919 is a data storage device configured as an example of the storage unit of the smartphone 10.
- the storage device 919 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
- the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the smartphone 10.
- the drive 921 reads the information recorded on the mounted removable recording medium 927 and outputs the information to the RAM 905. Further, the drive 921 writes a record on the attached removable recording medium 927.
- the connection port 923 is a port for directly connecting the device to the smartphone 10.
- the connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like.
- the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
- the communication device 925 is, for example, a communication interface composed of a communication device for connecting to the network 931.
- the communication device 925 may be, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB). Further, the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
- the communication device 925 transmits/receives signals and the like to/from the Internet and other communication devices using a predetermined protocol such as TCP/IP.
- the network 931 connected to the communication device 925 is a network connected by wire or wirelessly, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
- the image pickup device 933 uses, for example, an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a device that captures a real space and generates an captured image. The image pickup device 933 may capture a still image or may capture a moving image.
- an image pickup element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor)
- various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a device that captures a real space and generates an captured image.
- the image pickup device 933 may capture a still image or may capture a moving image.
- the sensor 935 is, for example, various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, an optical sensor, and a sound sensor.
- the sensor 935 acquires information on the state of the smartphone 10 itself, such as the posture of the housing of the smartphone 10, and information on the surrounding environment of the smartphone 10, such as the brightness and noise around the smartphone 10.
- the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
- GPS Global Positioning System
- a dangerous situation occurs within the measurement range based on the detection result of millimeter waves sequentially irradiated in each direction within a predetermined measurement range by beamforming.
- a determination unit that determines whether or not it is occurring, and a presentation control unit that controls so that predetermined presentation information is presented when it is determined that the dangerous situation is occurring within the measurement range.
- An information processing device is provided.
- millimeter-wave radar since millimeter-wave radar is used, it is possible to determine whether or not a dangerous situation is occurring while reducing the power consumption of the sensor. Further, according to such a configuration, since the millimeter wave radar is used, it is possible to determine whether or not a dangerous situation is occurring by using a small-scale sensor. Further, according to such a configuration, since the millimeter wave radar is used, it is possible to determine whether or not a dangerous situation is occurring while improving the responsiveness of the sensor.
- the processing required for determining whether or not a dangerous situation has occurred is simplified, so that the processing time can be reduced. Further, when a position measurement sensor is used, it may be difficult to measure the user position depending on the location of the user. On the other hand, according to such a configuration, it becomes possible to more reliably determine whether or not a dangerous situation has occurred.
- each configuration is not particularly limited.
- a part or all of each block of the control unit 110 may exist in a server or the like.
- the server may have the determination unit 112 instead of the smartphone 10.
- the following configurations also belong to the technical scope of the present disclosure.
- a determination unit that determines whether or not a dangerous situation has occurred within the measurement range, and a determination unit.
- a presentation control unit that controls so that predetermined presentation information is presented when it is determined that the dangerous situation occurs within the measurement range.
- Information processing device equipped with (2) The determination unit determines whether or not a dangerous situation has occurred within the measurement range based on the detection result and the learned neural network. The information processing device according to (1) above.
- the determination unit controls the direction in which the millimeter wave is irradiated based on the acceleration detected by the acceleration sensor. The information processing device according to (1) or (2) above.
- the presentation control unit controls so that the predetermined presentation information is presented based on the walking speed of the user and the distance to the place where the dangerous situation occurs.
- the information processing device according to any one of (1) to (3) above.
- the presentation control unit starts to present the predetermined presentation information from the time when the walking speed of the user is higher and the distance to the place where the dangerous situation is occurring is larger.
- the information processing device according to (4) above.
- the presentation control unit calculates an estimated time for the user to reach the place where the dangerous situation occurs, based on the walking speed of the user and the distance to the place where the dangerous situation occurs. And control so that the predicted time is presented, The information processing device according to (4) above.
- the determination unit determines the type of danger and determines the type of danger.
- the presentation control unit controls so that the type of danger is presented.
- the information processing device according to any one of (1) to (6) above.
- the determination unit determines the position where the dangerous situation is occurring, and determines the position where the dangerous situation occurs.
- the presentation control unit controls so that the position where the dangerous situation is occurring is presented.
- the information processing device according to any one of (1) to (7) above.
- the presentation control unit controls and controls so that the predetermined presentation information is presented by the display, the voice output device, or the tactile presentation device.
- the information processing device according to any one of (1) to (8) above.
- (10) Based on the detection result of millimeter waves sequentially irradiated in each direction within a predetermined measurement range by beamforming, it is determined whether or not a dangerous situation has occurred within the measurement range. When it is determined that the dangerous situation occurs within the measurement range, control is performed so that predetermined presentation information is presented. Information processing method.
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能な技術が提供されることが望ましい。 【解決手段】ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。
Description
本開示は、情報処理装置および情報処理方法に関する。
近年、危険な状況が起きているか否かを判定する技術が存在する(例えば、特許文献1参照)。例えば、画像センサによって撮像された画像データに基づいて危険な状況が起きているか否かを判定する技術が知られている。あるいは、位置測定用センサ(例えば、GPS(Global Positioning System)センサなど)によって検出されたユーザ位置に基づいて危険な状況が起きているか否かを判定する技術が知られている。
しかし、画像センサによって撮像された画像データまたは位置測定用センサによって検出されたユーザ位置に基づいて、危険な状況が起きているか否かを判定する技術では、センサによる消費電力が大きくなりやすい。そこで、センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能な技術が提供されることが望ましい。
本開示によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。
本開示によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、を備える、情報処理方法が提供される。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.機能構成例
1.3.システムの機能詳細
1.4.システムの動作例
2.ハードウェア構成例
3.むすび
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.機能構成例
1.3.システムの機能詳細
1.4.システムの動作例
2.ハードウェア構成例
3.むすび
<0.概要>
まず、本開示の実施形態の概要について説明する。図1および図2は、本開示の実施形態の概要を説明するための図である。図1および図2を参照すると、ユーザがスマートフォン10を手に持ち、スマートフォン10の画面を見ながら地面81の上を歩行している。しかし、図1に示された例では、ユーザの前方に危険な状況は起こっていない。一方、図2に示された例では、ユーザの前方に段差82が存在しているため、ユーザの前方に危険な状況が起こっている。
まず、本開示の実施形態の概要について説明する。図1および図2は、本開示の実施形態の概要を説明するための図である。図1および図2を参照すると、ユーザがスマートフォン10を手に持ち、スマートフォン10の画面を見ながら地面81の上を歩行している。しかし、図1に示された例では、ユーザの前方に危険な状況は起こっていない。一方、図2に示された例では、ユーザの前方に段差82が存在しているため、ユーザの前方に危険な状況が起こっている。
近年、このような危険な状況が起きているか否かを判定する技術が存在する。例えば、画像センサによって撮像された画像データに基づいて危険な状況が起きているか否かを判定する技術が知られている。あるいは、位置測定用センサ(例えば、GPSセンサなど)によって検出されたユーザ位置に基づいて危険な状況が起きているか否かを判定する技術が知られている。
しかし、画像センサによって撮像された画像データまたは位置測定用センサによって検出されたユーザ位置に基づいて、危険な状況が起きているか否かを判定する技術では、センサによる消費電力が大きくなりやすい。そこで、本開示の実施形態では、センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能な技術について主に提案する。また、本開示の実施形態では、小規模なセンサを利用して危険な状況が起きているか否かを判定することが可能な技術について提案する。さらに、本開示の実施形態では、センサの即応性を向上させつつ危険な状況が起きているか否かを判定することが可能な技術について提案する。
また、本開示の実施形態では、危険な状況が起きているか否かを判定するために必要な処理時間を低減することが可能な技術について提案する。さらに、位置測定用センサが用いられる場合には、ユーザの居場所によってはユーザ位置の計測が困難な場合がある。本開示の実施形態では、危険な状況が起きているか否かをより確実に判定することが可能な技術について提案する。
以上、本開示の実施形態の概要について説明した。
<1.実施形態の詳細>
続いて、本開示の実施形態の詳細について説明する。
続いて、本開示の実施形態の詳細について説明する。
[1.1.システム構成例]
まず、本開示の実施形態に係るシステムの構成例について説明する。図3は、本開示の実施形態に係るシステム1の構成例を示す図である。図3に示されたように、本開示の実施形態に係るシステム1は、スマートフォン10と、学習装置20と、ネットワーク50とを有する。ネットワーク50の種類は限定されない。例えば、ネットワーク50は、インターネットを含んでよい。
まず、本開示の実施形態に係るシステムの構成例について説明する。図3は、本開示の実施形態に係るシステム1の構成例を示す図である。図3に示されたように、本開示の実施形態に係るシステム1は、スマートフォン10と、学習装置20と、ネットワーク50とを有する。ネットワーク50の種類は限定されない。例えば、ネットワーク50は、インターネットを含んでよい。
スマートフォン10は、ユーザによって持ち運び可能な端末である。本開示の実施形態では、スマートフォン10がユーザによって持ち運ばれる場合を主に想定する。しかし、スマートフォン10の代わりに、他の端末(例えば、携帯電話、タブレット端末など)がユーザによって持ち運ばれてもよい。あるいは、視力の低いユーザが杖を使って歩行する場合などには、スマートフォン10が有する機能を杖が担ってもよい。スマートフォン10は、ネットワーク50と接続されており、ネットワーク50を介して他の装置と通信可能に構成されている。なお、スマートフォン10は、危険な状況が起こっているか否かを判定する情報処理装置として機能し得る。
学習装置20は、コンピュータによって構成され、機械学習によって学習処理を行う。学習装置20は、ネットワーク50を介して学習結果をスマートフォン10に提供する。本開示の実施形態では、学習装置20が、ディープラーニングによってニューラルネットワークを訓練し、ネットワーク50を介して訓練済み(学習済み)のニューラルネットワークをスマートフォン10に提供する場合を想定する。しかし、機械学習の種類は、ディープラーニングに限定されない。なお、本開示の実施形態では、学習装置20がスマートフォン10とは分離された装置として存在する場合を主に想定する。しかし、学習装置20は、スマートフォン10と一体化されていてもよい。すなわち、スマートフォン10が学習装置20の機能を有していてもよい。
以上、本開示の実施形態に係るシステム1の構成例について説明した。
[1.2.機能構成例]
続いて、本開示の実施形態に係るスマートフォン10の機能構成例について説明する。図4は、本開示の実施形態に係るスマートフォン10の機能構成例を示す図である。図4に示されたように、本開示の実施形態に係るスマートフォン10は、制御部110、操作部120、記憶部130、通信部140、出力部150およびセンサ部160を有している。
続いて、本開示の実施形態に係るスマートフォン10の機能構成例について説明する。図4は、本開示の実施形態に係るスマートフォン10の機能構成例を示す図である。図4に示されたように、本開示の実施形態に係るスマートフォン10は、制御部110、操作部120、記憶部130、通信部140、出力部150およびセンサ部160を有している。
なお、本明細書においては、制御部110、操作部120、記憶部130、通信部140、出力部150およびセンサ部160が、同一のデバイス(スマートフォン10)の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。
制御部110は、スマートフォン10の各部の制御を実行する。図4に示されたように、制御部110は、取得部111、判定部112および提示制御部113を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部110は、例えば、CPU(Central Processing Unit;中央演算処理装置)などで構成されていてよい。制御部110がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
操作部120は、ユーザによる操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部120が、タッチパネルを含む場合を主に想定する。しかし、操作部120は、タッチパネルを含む場合に限定されない。例えば、操作部120は、電子ペンを含んでもよいし、マウスおよびキーボードを含んでもよいし、ユーザの視線を検出するイメージセンサを含んでもよい。
記憶部130は、制御部110によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部130は、制御部110による演算のためにデータを一時的に記憶する。記憶部130は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
通信部140は、通信回路を含んで構成され、他の装置との間で通信を行う機能を有する。例えば、通信部140は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。本開示の実施形態においては、通信部140が、無線によってネットワークを介して他の装置との間で通信を行うアンテナを含む場合を想定する。また、本開示の実施形態においては、通信部140が、Bluetooth(登録商標)などによる近距離無線通信によって他の装置との間で通信を行うアンテナを含む場合を想定する。
出力部150は、各種の情報を出力する。本開示の実施形態においては、出力部150が、ユーザに視認可能な表示を行うことが可能なディスプレイを含む場合を主に想定する。ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro-Luminescence)ディスプレイであってもよい。しかし、出力部150は、音声出力装置を含んでもよいし、ユーザに触覚を提示する触覚提示装置を含んでもよい。
センサ部160は、各種のセンサを有しており、センサによるセンシングにより各種のセンサデータを得ることが可能である。本開示の実施形態では、センサ部160がミリ波レーダを含む場合を想定する。ミリ波レーダは、ビームフォーミングによって所定の計測範囲内の各方向に順次にミリ波を照射し、物体によって反射されたミリ波を検出する。なお、ミリ波の周波数は限定されない。例えば、ミリ波は、30~300GHzの周波数を有する電波であってよい。しかし、ミリ波は、第5世代移動通信システム(5G)において利用される電波(例えば、27.5~29.5GHzの周波数を有する電波)を含んでもよい。
以上、本開示の実施形態に係るスマートフォン10の機能構成例について説明した。
続いて、本開示の実施形態に係る学習装置20の機能構成例について説明する。図5は、本開示の実施形態に係る学習装置20の機能構成例を示す図である。図5に示されたように、本開示の実施形態に係る学習装置20は、制御部210、操作部220、記憶部230、通信部240および出力部250を有している。
なお、本明細書においては、制御部210、操作部220、記憶部230、通信部240および出力部250が、同一のデバイス(学習装置20)の内部に存在する例を主に説明する。しかし、これらのブロックが存在する位置は特に限定されない。例えば、後に説明するように、これらのブロックの一部は、サーバなどに存在していてもよい。
制御部210は、学習装置20の各部の制御を実行する。なお、制御部210は、例えば、CPU(Central Processing Unit;中央演算処理装置)などで構成されていてよい。制御部210がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
操作部220は、開発者による操作の入力を受け付ける機能を有する。本開示の実施形態においては、操作部220が、マウスおよびキーボードを含む場合を主に想定する。しかし、操作部220は、マウスおよびキーボードを含む場合に限定されない。例えば、操作部220は、電子ペンを含んでもよいし、タッチパネルを含んでもよいし、開発者の視線を検出するイメージセンサを含んでもよい。
記憶部230は、制御部210によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部230は、制御部210による演算のためにデータを一時的に記憶する。記憶部230は、磁気記憶部デバイスであってもよいし、半導体記憶デバイスであってもよいし、光記憶デバイスであってもよいし、光磁気記憶デバイスであってもよい。
通信部240は、通信回路を含んで構成され、他の装置との間で通信を行う機能を有する。例えば、通信部240は、当該他の装置からのデータの取得および当該他の装置へのデータの提供を行う機能を有する。本開示の実施形態においては、通信部240が、無線によってネットワークを介して他の装置との間で通信を行うアンテナを含む場合を想定する。また、本開示の実施形態においては、通信部240が、Bluetooth(登録商標)などによる近距離無線通信によって他の装置との間で通信を行うアンテナを含む場合を想定する。
出力部250は、各種の情報を出力する。本開示の実施形態においては、出力部250が、開発者に視認可能な表示を行うことが可能なディスプレイを含む場合を主に想定する。ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro-Luminescence)ディスプレイであってもよい。しかし、出力部250は、音声出力装置を含んでもよいし、開発者に触覚を提示する触覚提示装置を含んでもよい。
以上、本開示の実施形態に係る学習装置20の機能構成例について説明した。
[1.3.システムの機能詳細]
続いて、本開示の実施形態に係るシステム1の機能詳細について説明する。
続いて、本開示の実施形態に係るシステム1の機能詳細について説明する。
まず、学習装置20は、ディープラーニングによってニューラルネットワークを訓練する。より具体的には、危険な状況が各々検出された複数のミリ波レーダマップ(以下、「学習用のレーダマップ」とも言う。)が入力されると、記憶部230は、当該学習用のレーダマップを蓄積する。制御部210は、当該学習用のレーダマップをニューラルネットワークに入力し、ニューラルネットワークを訓練する。これによって学習済み(訓練済み)のニューラルネットワークが生成される。
さらに、本開示の実施形態では、開発者によって各学習用のレーダマップに対応する危険の種類が教師データとして入力される場合を想定する。かかる場合には、操作部220は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険の種類とを受け付け、制御部210は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険の種類とをニューラルネットワークに入力し、危険の種類を教師データとして複数の学習用のレーダマップに基づいてニューラルネットワークを訓練する。これによって、危険の種類を識別可能な学習済みのニューラルネットワークが生成される。
なお、本開示の実施形態では、危険の種類として、段差の存在を主に想定する。典型的に、段差には、駅のプラットフォームと線路との間の段差(落差)が含まれ得る。しかし、危険の種類は、段差の存在に限定されない。例えば、危険の種類は、階段の存在であってもよいし、穴の存在などであってもよい。
あるいは、開発者によって各学習用のレーダマップに対応する危険な状況が起きている位置が教師データとして入力されてもよい。かかる場合には、操作部220は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険な状況が起きている位置とを受け付け、制御部210は、当該複数の学習用のレーダマップと各学習用のレーダマップに対応する危険な状況が起きている位置とをニューラルネットワークに入力し、危険な状況が起きている位置を教師データとして複数の学習用のレーダマップに基づいてニューラルネットワークを訓練する。これによって、危険な状況が起きている位置を識別可能な学習済みのニューラルネットワークが生成される。
なお、本開示の実施形態では、危険な状況が起きている位置として、ユーザから見た左右方向の位置を主に想定する。しかし、危険な状況が起きている位置は、ユーザから見た左右方向の位置に限定されない。例えば、危険な状況が起きている位置は、ユーザから見た上下方向の位置であってもよい。
制御部210は、通信部240およびネットワーク50を介して学習済みのニューラルネットワークをスマートフォン10に提供する。スマートフォン10において、取得部111は、通信部140を介して学習済みのニューラルネットワークを取得する。かかる学習済みのニューラルネットワークは、後に説明するように、危険な状況が起きているか否かを判定するために利用され得る。
図6は、危険な状況が起きていない場合の例を示す図である。図6を参照すると、スマートフォン10を見ながら歩行するユーザが示されている。また、図6を参照すると、スマートフォン10のミリ波レーダによる計測範囲70が示されている。スマートフォン10のミリ波レーダは、ビームフォーミングによって計測範囲70内の各方向に順次にミリ波を照射する。そして、スマートフォン10のミリ波レーダは、物体によって反射されたミリ波を検出する。
ミリ波B1およびミリ波B2は、地面81によって反射されずに直進したため、スマートフォン10のミリ波レーダによって検出されていない。一方、(照射方向がミリ波B1およびミリ波B2の照射方向よりも下方向に近い)ミリ波B3は、ユーザの前方に段差がないため、地面81によって反射され、スマートフォン10のミリ波レーダによって検出されている。スマートフォン10のミリ波レーダは、各位置に対応するミリ波を、ミリ波レーダマップ(以下、「識別用のレーダマップ」とも言う。)として検出する。なお、ミリ波レーダは、識別用のレーダマップを1秒間に数十回程度検出することも可能であるため、前方に存在する物体の動的な変化を捉えることもできる。
図7は、危険な状況が起きていない場合に検出される識別用のレーダマップの例を示す図である。図7を参照すると、危険な状況が起きていない場合に検出される識別用のレーダマップ71が示されている。識別用のレーダマップ71の中では、ドットが濃い領域ほど、ミリ波の送信から当該ミリ波の反射波の受信までの往復時間(以下、単に「往復時間」とも言う。)が小さいことを示している。したがって、識別用のレーダマップ71では、上側の領域は、反射波が無い領域である。一方、識別用のレーダマップ71では、下側の領域は、往復時間が小さく反射波が有る領域である。
取得部111は、スマートフォン10のミリ波レーダによって検出された識別用のレーダマップ71を取得する。そして、判定部112は、識別用のレーダマップ71に基づいて計測範囲70内に危険な状況が起きているか否かを判定する。
ここで、判定部112による判定手法は限定されない。例えば、判定部112は、識別用のレーダマップ71と学習済みのニューラルネットワークとに基づいて計測範囲70内に危険な状況が起きているか否かを判定すればよい。具体的に、判定部112は、学習済みのニューラルネットワークに識別用のレーダマップ71を入力させれば、学習済みのニューラルネットワークからの出力によって、計測範囲70内に危険な状況が起きているか否かを得ることができる。図6および図7に示された例では、判定部112によって、危険な状況が起きていないと判定される。
図8は、危険な状況が起きている場合の例を示す図である。図8を参照すると、図6に示された例と同様に、スマートフォン10を見ながら歩行するユーザが示されている。また、図8を参照すると、図6に示された例と同様に、スマートフォン10のミリ波レーダによる計測範囲70が示されている。スマートフォン10のミリ波レーダは、ビームフォーミングによって計測範囲70内の各方向に順次にミリ波を照射する。そして、スマートフォン10のミリ波レーダは、物体によって反射されたミリ波を検出する。
図6に示された例と同様に、ミリ波B1およびミリ波B2は、地面81によって反射されずに直進したため、スマートフォン10のミリ波レーダによって検出されていない。一方、図6に示された例とは異なり、(照射方向がミリ波B1およびミリ波B2の照射方向よりも下方向に近い)ミリ波B3は、ユーザの前方に段差82があるため、地面81によって反射されずに直進し、スマートフォン10のミリ波レーダによって検出されていない。
図9は、危険な状況が起きている場合に検出される識別用のレーダマップの例を示す図である。図9を参照すると、危険な状況が起きている場合に検出される識別用のレーダマップ72が示されている。図7に示された例と同じく、識別用のレーダマップ72では、上側の領域が、反射波が無い領域である。しかし、図7に示された例と比較して、反射波が無い領域が広くなっている。一方、図7に示された例と同じく、識別用のレーダマップ72では、下側の領域は、往復時間が小さく反射波が有る領域である。しかし、図7に示された例と比較して、反射波が有る領域が広くなっている。
取得部111は、スマートフォン10のミリ波レーダによって検出された識別用のレーダマップ72を取得する。そして、判定部112は、識別用のレーダマップ72に基づいて計測範囲70内に危険な状況が起きているか否かを判定する。
図8および図9に示された例では、判定部112によって、危険な状況が起きていると判定される。なお、ここでは、判定部112が、1枚の識別用のレーダマップ72に基づいて計測範囲70内に危険な状況が起きているか否かを判定する場合を想定する。しかし、上記したように、ミリ波レーダによって、複数枚の識別用のレーダマップが連続的に捉えられ得る。そこで、判定部112は、複数枚の識別用のレーダマップ72に基づいて計測範囲70内に危険な状況が起きているか否かを判定してもよい。これによって、計測範囲70内に危険な状況が起きているか否かがより高精度に判定され得る。
提示制御部113は、判定部112によって、計測範囲70内に危険な状況が起きていると判定された場合に、所定の提示情報が出力部150によって提示されるように出力部150を制御する。かかる構成によれば、スマートフォンを見ながらプラットフォームを歩行しているユーザがプラットフォームから線路に転落してしまうことを防止することが可能となる。なお、提示情報の提示を終了させるタイミングは限定されない。例えば、提示制御部113は、提示情報を提示し始めてから所定時間後に提示情報の提示を終了させてもよい。あるいは、提示制御部113は、計測範囲70内に危険な状況がなくなった場合に、提示情報の提示を終了させてもよい。
所定の提示情報は、危険な状況が起きていることを示す情報を含んでよい。ここでは、提示制御部113は、ユーザの視覚によって提示情報が知覚されるように提示情報をディスプレイに表示させる場合を想定する。しかし、提示制御部113は、ユーザの聴覚によって提示情報(音など)が知覚されるように提示情報を音声出力装置から出力させてもよい。あるいは、提示制御部113は、ユーザの触覚によって提示情報(振動など)が知覚されるように提示情報を触覚提示装置から出力させてもよい。
なお、所定の提示情報は、危険な状況が起きていることを示す情報以外の情報を含んでもよい。例えば、危険の種類を識別可能な学習済みのニューラルネットワークが生成された場合、判定部112は、識別用のレーダマップ72と危険の種類を識別可能な学習済みのニューラルネットワークとに基づいて計測範囲70内に起きている危険の種類も判定すればよい。このとき、提示制御部113は、危険の種類も出力部150によって提示されるように出力部150を制御してもよい。
図8を参照すると、提示制御部113が、危険の種類として、段差の存在を示すメッセージ151をスマートフォン10の出力部150に表示させる例が示されている。しかし、上記したように、危険の種類は段差の存在に限定されない。
図10は、危険な状況が起きている場合の他の例を示す図である。図10を参照すると、図8に示された例と同様に、スマートフォン10を見ながら歩行するユーザが示されている。また、図10を参照すると、図8に示された例と同様に、スマートフォン10のミリ波レーダによる計測範囲70が示されている。スマートフォン10のミリ波レーダは、ビームフォーミングによって計測範囲70内の各方向に順次にミリ波を照射する。そして、スマートフォン10のミリ波レーダは、物体によって反射されたミリ波を検出する。
ミリ波B1は、地面81によって反射されずに直進したため、スマートフォン10のミリ波レーダによって検出されていない。一方、(照射方向がミリ波B1の照射方向よりも右下方向に近い)ミリ波B2は、ユーザの右前方に段差82があるため、地面81によって反射されずに直進し、スマートフォン10のミリ波レーダによって検出されていない。
図11は、危険な状況が起きている場合に検出される識別用のレーダマップの例を示す図である。図11を参照すると、危険な状況が起きている場合に検出される識別用のレーダマップ73が示されている。識別用のレーダマップ73では、右上側の領域が、ミリ波の強度が小さく反射波が無い領域である。一方、識別用のレーダマップ73では、左下側の領域は、ミリ波の強度が大きく反射波が有る領域である。
取得部111は、スマートフォン10のミリ波レーダによって検出された識別用のレーダマップ73を取得する。そして、判定部112は、識別用のレーダマップ73に基づいて計測範囲70内に危険な状況が起きているか否かを判定する。図10および図11に示された例では、判定部112によって、危険な状況が起きていると判定される。提示制御部113は、判定部112によって、計測範囲70内に危険な状況が起きていると判定された場合に、所定の提示情報が出力部150によって提示されるように出力部150を制御する。
ここで、危険な状況が起きている位置を識別可能な学習済みのニューラルネットワークが生成された場合、判定部112は、識別用のレーダマップ73と危険な状況が起きている位置を識別可能な学習済みのニューラルネットワークとに基づいて計測範囲70内に起きている危険な状況が起きている位置も判定すればよい。このとき、提示制御部113は、危険な状況が起きている位置も出力部150によって提示されるように出力部150を制御してもよい。
図10を参照すると、提示制御部113が、危険な状況が起きている位置として、段差の位置を示すメッセージ152をスマートフォン10の出力部150に表示させる例が示されている。しかし、上記したように、危険の種類は段差の位置に限定されない。
ここで、判定部112は、計測範囲70内に危険な状況が起きているか否かを高精度に判定するため、スマートフォン10の姿勢によらずに計測範囲70を変化させないのが望ましい。したがって、判定部112は、スマートフォン10の姿勢を認識し、スマートフォン10の姿勢によらずに計測範囲70を変化させないのがよい。例えば、判定部112は、センサ部160が加速度センサを有する場合、加速度センサによって検出された加速度に基づいて、ミリ波が照射される方向を制御するとよい。
図12は、スマートフォン10の姿勢が変化した場合について説明するための図である。図12を参照すると、図6に示された例と比較して、ユーザがスマートフォン10の姿勢を(スマートフォン10の背面が下を向くように)変化させている。このとき、ミリ波が照射される方向が制御されなければ、図6に示された例と比較して、ミリ波は下向きに照射されてしまう。そこで、図12に示されたように、判定部112は、スマートフォン10の姿勢を認識し、スマートフォン10の姿勢によらずに計測範囲70を変化させないようにミリ波が照射される方向を制御するのがよい。
また、ユーザの歩行速度が大きいほど、ユーザは、危険な状況が起きている場所に早く到達してしまうことが想定される。したがって、提示制御部113は、ユーザの歩行速度と、ミリ波レーダによって検出された、スマートフォン10から危険な状況が起きている場所までの距離とに基づいて、出力部150によって提示情報が提示されるように出力部150を制御するのがよい。より具体的に、提示制御部113は、ユーザの歩行速度が大きいほど、スマートフォン10から危険な状況が起きている場所までの距離が大きいときから、提示情報を出力部150に提示させ始めるのがよい。なお、ミリ波レーダは、例えば、数cm~数mまでの範囲で前方にある物体までの距離を測定することができる。
図13は、ユーザの歩行速度が変化した場合について説明するための図である。図13を参照すると、図8に示された例と比較して、ユーザの歩行速度が大きくなっている。このとき、図8に示された例と比較して、ユーザが早く段差82に到達してしまうことが想定される。そこで、判定部112は、ユーザの歩行速度が大きいほど、スマートフォン10から段差82までの距離が大きいときから、提示情報を出力部150に提示させ始めるのがよい。
具体的に、図8に示された例では、提示制御部113は、スマートフォン10から段差82までの距離がX1になったときから、段差の存在を示すメッセージ151の表示を開始させている。一方、図13に示された例では、スマートフォン10から段差82までの距離が(X1より大きい)X2になったときから、段差の存在を示すメッセージ153の表示を開始させている。
一例として、提示制御部113は、ユーザの歩行速度とスマートフォン10から段差82までの距離とに基づいて、ユーザが段差82に到達するまでの予測時間を算出してもよい。そして、提示制御部113は、予測時間が所定時間に迫った場合に、提示情報を提示させるようにしてもよい。また、図13に示されるように、提示制御部113は、段差の存在を示すメッセージ153に、予測時間(3秒後)を含めてもよい。
以上、本開示の実施形態に係るシステム1の機能詳細について説明した。
[1.4.システムの動作例]
続いて、本開示の実施形態に係るシステム1の動作例について説明する。図14は、本開示の実施形態に係るシステム1の動作例を示すフローチャートである。
続いて、本開示の実施形態に係るシステム1の動作例について説明する。図14は、本開示の実施形態に係るシステム1の動作例を示すフローチャートである。
まず、学習装置20において、危険な状況が各々検出された複数の学習用のレーダマップが入力されると、記憶部230は、当該学習用のレーダマップを受け付け、蓄積する(S11)。そして、制御部210は、当該学習用のレーダマップをニューラルネットワークに入力し、ニューラルネットワークを学習させる(S12)。これによって学習済み(訓練済み)のニューラルネットワークが生成される。制御部210は、通信部240およびネットワーク50を介して学習済みのニューラルネットワークをスマートフォン10に提供する(S13)。
続いて、スマートフォン10において、取得部111は、通信部140を介して学習済みのニューラルネットワークを取得する(S21)。スマートフォン10のミリ波レーダは、識別用のレーダマップを検出し、取得部111は、識別用のレーダマップを取得する(S22)。判定部112は、識別用のレーダマップに基づいて計測範囲内に危険な状況が起きているか否かを判定する(S23)。
提示制御部113は、識別用のレーダマップに基づいて計測範囲内に危険な状況が起きていないと判定した場合(S23において「No」)、何もしない。一方、提示制御部113は、識別用のレーダマップに基づいて計測範囲内に危険な状況が起きていると判定した場合(S23において「Yes」)、所定の提示情報がユーザに提示されるように出力部150を制御する(S24)。
以上、本開示の実施形態に係るシステム1の動作例について説明した。
<2.ハードウェア構成例>
次に、図15を参照して、本開示の実施形態に係るスマートフォン10のハードウェア構成について説明する。図15は、本開示の実施形態に係るスマートフォン10のハードウェア構成例を示すブロック図である。ただし、図15に示されたハードウェア構成例は、スマートフォン10の一例に過ぎない。したがって、図15に示されたブロックのうち、不要な構成は削除されてよい。また、本開示の実施形態に係る学習装置20のハードウェア構成も、本開示の実施形態に係るスマートフォン10のハードウェア構成と同様に実現され得る。
次に、図15を参照して、本開示の実施形態に係るスマートフォン10のハードウェア構成について説明する。図15は、本開示の実施形態に係るスマートフォン10のハードウェア構成例を示すブロック図である。ただし、図15に示されたハードウェア構成例は、スマートフォン10の一例に過ぎない。したがって、図15に示されたブロックのうち、不要な構成は削除されてよい。また、本開示の実施形態に係る学習装置20のハードウェア構成も、本開示の実施形態に係るスマートフォン10のハードウェア構成と同様に実現され得る。
図15に示すように、スマートフォン10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、スマートフォン10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含む。さらに、スマートフォン10は、必要に応じて、撮像装置933、およびセンサ935を含む。スマートフォン10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、スマートフォン10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置915は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、スマートフォン10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、スマートフォン10に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置917は、PDP(Plasma Display Panel)、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置917は、スマートフォン10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置919は、スマートフォン10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、スマートフォン10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器をスマートフォン10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、スマートフォン10と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続されるネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えばスマートフォン10の筐体の姿勢など、スマートフォン10自体の状態に関する情報や、スマートフォン10の周辺の明るさや騒音など、スマートフォン10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<3.むすび>
以上説明したように、本開示の実施形態によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。
以上説明したように、本開示の実施形態によれば、ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、を備える、情報処理装置が提供される。
かかる構成によれば、ミリ波レーダが利用されるため、センサの消費電力を低減しつつ危険な状況が起きているか否かを判定することが可能となる。また、かかる構成によれば、ミリ波レーダが利用されるため、小規模なセンサを利用して危険な状況が起きているか否かを判定することが可能となる。さらに、かかる構成によれば、ミリ波レーダが利用されるため、センサの即応性を向上させつつ危険な状況が起きているか否かを判定することが可能となる。
また、かかる構成によれば、危険な状況が起きているか否かを判定するために必要な処理が簡易化されるため、処理時間を低減することが可能となる。さらに、位置測定用センサが用いられる場合には、ユーザの居場所によってはユーザ位置の計測が困難な場合がある。一方、かかる構成によれば、危険な状況が起きているか否かをより確実に判定することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記したスマートフォン10の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、制御部110が有する各ブロックの一部または全部は、サーバなどに存在していてもよい。例えば、スマートフォン10とサーバとの間の通信が高速で行われるようになれば、スマートフォン10の代わりにサーバが判定部112を有してもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、
前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、
を備える、情報処理装置。
(2)
前記判定部は、前記検出結果と学習済みのニューラルネットワークとに基づいて前記計測範囲内に危険な状況が起きているか否かを判定する、
前記(1)に記載の情報処理装置。
(3)
前記判定部は、加速度センサによって検出された加速度に基づいて、前記ミリ波が照射される前記方向を制御する、
前記(1)または(2)に記載の情報処理装置。
(4)
前記提示制御部は、ユーザの歩行速度と、危険な状況が起きている場所までの距離とに基づいて、前記所定の提示情報が提示されるように制御する、
前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記提示制御部は、前記ユーザの歩行速度が大きいほど、前記危険な状況が起きている場所までの距離が大きいときから、前記所定の提示情報を提示させ始める、
前記(4)に記載の情報処理装置。
(6)
前記提示制御部は、ユーザの歩行速度と、前記危険な状況が起きている場所までの距離とに基づいて、前記ユーザが前記危険な状況が起きている場所に到達するまでの予測時間を算出し、前記予測時間が提示されるように制御する、
前記(4)に記載の情報処理装置。
(7)
前記判定部は、前記危険の種類を判定し、
前記提示制御部は、前記危険の種類が提示されるように制御する、
前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記判定部は、前記危険な状況が起きている位置を判定し、
前記提示制御部は、前記危険な状況が起きている位置が提示されるように制御する、
前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記提示制御部は、ディスプレイ、音声出力装置または触覚提示装置によって前記所定の提示情報が提示されるように制御制御する、
前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、
前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、
を備える、情報処理方法。
(1)
ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、
前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、
を備える、情報処理装置。
(2)
前記判定部は、前記検出結果と学習済みのニューラルネットワークとに基づいて前記計測範囲内に危険な状況が起きているか否かを判定する、
前記(1)に記載の情報処理装置。
(3)
前記判定部は、加速度センサによって検出された加速度に基づいて、前記ミリ波が照射される前記方向を制御する、
前記(1)または(2)に記載の情報処理装置。
(4)
前記提示制御部は、ユーザの歩行速度と、危険な状況が起きている場所までの距離とに基づいて、前記所定の提示情報が提示されるように制御する、
前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記提示制御部は、前記ユーザの歩行速度が大きいほど、前記危険な状況が起きている場所までの距離が大きいときから、前記所定の提示情報を提示させ始める、
前記(4)に記載の情報処理装置。
(6)
前記提示制御部は、ユーザの歩行速度と、前記危険な状況が起きている場所までの距離とに基づいて、前記ユーザが前記危険な状況が起きている場所に到達するまでの予測時間を算出し、前記予測時間が提示されるように制御する、
前記(4)に記載の情報処理装置。
(7)
前記判定部は、前記危険の種類を判定し、
前記提示制御部は、前記危険の種類が提示されるように制御する、
前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記判定部は、前記危険な状況が起きている位置を判定し、
前記提示制御部は、前記危険な状況が起きている位置が提示されるように制御する、
前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記提示制御部は、ディスプレイ、音声出力装置または触覚提示装置によって前記所定の提示情報が提示されるように制御制御する、
前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、
前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、
を備える、情報処理方法。
1 システム
10 スマートフォン
110 制御部
111 取得部
112 判定部
113 提示制御部
120 操作部
130 記憶部
140 通信部
150 出力部
160 センサ部
20 学習装置
210 制御部
220 操作部
230 記憶部
240 通信部
250 出力部
50 ネットワーク
70 計測範囲
10 スマートフォン
110 制御部
111 取得部
112 判定部
113 提示制御部
120 操作部
130 記憶部
140 通信部
150 出力部
160 センサ部
20 学習装置
210 制御部
220 操作部
230 記憶部
240 通信部
250 出力部
50 ネットワーク
70 計測範囲
Claims (10)
- ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定する判定部と、
前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御する提示制御部と、
を備える、情報処理装置。 - 前記判定部は、前記検出結果と学習済みのニューラルネットワークとに基づいて前記計測範囲内に危険な状況が起きているか否かを判定する、
請求項1に記載の情報処理装置。 - 前記判定部は、加速度センサによって検出された加速度に基づいて、前記ミリ波が照射される前記方向を制御する、
請求項1に記載の情報処理装置。 - 前記提示制御部は、ユーザの歩行速度と、危険な状況が起きている場所までの距離とに基づいて、前記所定の提示情報が提示されるように制御する、
請求項1に記載の情報処理装置。 - 前記提示制御部は、前記ユーザの歩行速度が大きいほど、前記危険な状況が起きている場所までの距離が大きいときから、前記所定の提示情報を提示させ始める、
請求項4に記載の情報処理装置。 - 前記提示制御部は、ユーザの歩行速度と、前記危険な状況が起きている場所までの距離とに基づいて、前記ユーザが前記危険な状況が起きている場所に到達するまでの予測時間を算出し、前記予測時間が提示されるように制御する、
請求項4に記載の情報処理装置。 - 前記判定部は、前記危険の種類を判定し、
前記提示制御部は、前記危険の種類が提示されるように制御する、
請求項1に記載の情報処理装置。 - 前記判定部は、前記危険な状況が起きている位置を判定し、
前記提示制御部は、前記危険な状況が起きている位置が提示されるように制御する、
請求項1に記載の情報処理装置。 - 前記提示制御部は、ディスプレイ、音声出力装置または触覚提示装置によって前記所定の提示情報が提示されるように制御制御する、
請求項1に記載の情報処理装置。 - ビームフォーミングによって所定の計測範囲内の各方向に順次に照射されたミリ波の検出結果に基づいて、前記計測範囲内に危険な状況が起きているか否かを判定することと、
前記計測範囲内に前記危険な状況が起きていると判定された場合に、所定の提示情報が提示されるように制御することと、
を備える、情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/009936 WO2020183602A1 (ja) | 2019-03-12 | 2019-03-12 | 情報処理装置および情報処理方法 |
US17/435,122 US20220146662A1 (en) | 2019-03-12 | 2019-03-12 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/009936 WO2020183602A1 (ja) | 2019-03-12 | 2019-03-12 | 情報処理装置および情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020183602A1 true WO2020183602A1 (ja) | 2020-09-17 |
Family
ID=72427387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/009936 WO2020183602A1 (ja) | 2019-03-12 | 2019-03-12 | 情報処理装置および情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220146662A1 (ja) |
WO (1) | WO2020183602A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017183787A (ja) * | 2016-03-28 | 2017-10-05 | インターマン株式会社 | 危険回避支援プログラム |
JP2017533443A (ja) * | 2014-09-16 | 2017-11-09 | テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ | 適応レーダを備えるナビゲーションエイド |
JP2018527558A (ja) * | 2015-10-06 | 2018-09-20 | グーグル エルエルシー | レーダ対応センサフュージョン |
US20190056488A1 (en) * | 2017-08-15 | 2019-02-21 | Honeywell International Inc. | Radar using personal phone, tablet, pc for display and interaction |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4222409C2 (de) * | 1991-07-08 | 1996-07-11 | Kansei Kk | Einrichtung zur Abstandsmessung vom Laserradar-Typ |
AU2003241125A1 (en) * | 2002-06-13 | 2003-12-31 | I See Tech Ltd. | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired |
WO2019099413A1 (en) * | 2017-11-14 | 2019-05-23 | AWARE Technologies | Systems and methods for moving object predictive locating, reporting, and alerting |
US11624821B2 (en) * | 2018-05-24 | 2023-04-11 | New York University | System, method and computer-accessible medium for real time imaging using a portable device |
US10834986B2 (en) * | 2018-07-12 | 2020-11-17 | Sarah Nicole Ciccaglione | Smart safety helmet with heads-up display |
IT201800009442A1 (it) * | 2018-10-15 | 2020-04-15 | Laser Navigation Srl | Sistema di controllo e gestione di un processo all’interno di un ambiente attraverso tecniche d’intelligenza artificiale e relativo metodo |
-
2019
- 2019-03-12 US US17/435,122 patent/US20220146662A1/en active Pending
- 2019-03-12 WO PCT/JP2019/009936 patent/WO2020183602A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017533443A (ja) * | 2014-09-16 | 2017-11-09 | テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ | 適応レーダを備えるナビゲーションエイド |
JP2018527558A (ja) * | 2015-10-06 | 2018-09-20 | グーグル エルエルシー | レーダ対応センサフュージョン |
JP2017183787A (ja) * | 2016-03-28 | 2017-10-05 | インターマン株式会社 | 危険回避支援プログラム |
US20190056488A1 (en) * | 2017-08-15 | 2019-02-21 | Honeywell International Inc. | Radar using personal phone, tablet, pc for display and interaction |
Also Published As
Publication number | Publication date |
---|---|
US20220146662A1 (en) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6948325B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11340072B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US11181376B2 (en) | Information processing device and information processing method | |
US20210072398A1 (en) | Information processing apparatus, information processing method, and ranging system | |
WO2016041340A1 (zh) | 一种提示方法及移动终端 | |
WO2017126172A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
CN102622850A (zh) | 信息处理装置、报警方法和程序 | |
WO2019087491A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11143507B2 (en) | Information processing apparatus and information processing method | |
US10964045B2 (en) | Information processing device, information processing method, and individual imaging device for measurement of a size of a subject | |
WO2016088410A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2018168222A1 (ja) | 情報処理装置、撮像装置および電子機器 | |
US10133966B2 (en) | Information processing apparatus, information processing method, and information processing system | |
JP2016109726A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2020183602A1 (ja) | 情報処理装置および情報処理方法 | |
JPWO2019087513A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN113432620B (zh) | 误差估计方法、装置、车载终端及存储介质 | |
CN113326800B (zh) | 车道线位置确定方法、装置、车载终端及存储介质 | |
WO2017033544A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2020031795A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2017056774A1 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
CN111583669B (zh) | 一种超速检测方法、装置、控制设备和存储介质 | |
US11527926B2 (en) | Receiver, reception method, transmitter and transmission method | |
WO2024029199A1 (ja) | 情報処理装置、情報処理プログラム、および情報処理方法 | |
CN112241662B (zh) | 一种检测可行驶区域的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19919464 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19919464 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |