WO2023135781A1 - 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 - Google Patents
転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2023135781A1 WO2023135781A1 PCT/JP2022/001285 JP2022001285W WO2023135781A1 WO 2023135781 A1 WO2023135781 A1 WO 2023135781A1 JP 2022001285 W JP2022001285 W JP 2022001285W WO 2023135781 A1 WO2023135781 A1 WO 2023135781A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- vehicle
- fall detection
- road area
- image
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 209
- 238000000034 method Methods 0.000 title claims description 27
- 210000003127 knee Anatomy 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 20
- 230000007306 turnover Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
Definitions
- the present invention relates to fall detection devices, systems, methods, and programs.
- Patent Document 1 discloses a technique for detecting the behavior of an elderly person from a monitoring target image captured by an in-vehicle camera.
- Patent Literature 2 discloses a technique for determining the possibility of a two-wheeled vehicle overturning from an image of the two-wheeled vehicle in front captured by an in-vehicle camera.
- the purpose of the present disclosure is to provide a fall detection device, system, method, and program for improving the accuracy of detecting a fallen person outside the vehicle from the image captured by the vehicle-mounted camera.
- a fall detection device includes: a first detection means for detecting a skeletal point of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; Prepare.
- a fall detection system includes: a first in-vehicle camera; a fall detection device,
- the fall detection device includes: a first detection means for detecting skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; Prepare.
- a fall detection method includes: the computer Detecting the skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera, detecting a road area indicating a road area from the first image; Based on the positional relationship between the skeleton points and the road area, it is determined whether or not the person has fallen on the road.
- a non-transitory computer-readable medium comprises: a first detection process for detecting skeletal points of a person outside the vehicle from a first image captured by a first vehicle-mounted camera; a second detection process for detecting a road area indicating a road area from the first image; a determination process for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; A fall detection program that causes the computer to execute is stored.
- a fall detection device, system, method, and program for improving the accuracy of detecting a person who has fallen outside the vehicle from an image captured by an in-vehicle camera.
- FIG. 1 is a block diagram showing the configuration of the overturn detection device according to the first embodiment;
- FIG. 4 is a flow chart showing the flow of a fall detection method according to the first embodiment;
- FIG. 11 is a block diagram showing the overall configuration including the fall detection system according to the second embodiment;
- FIG. 11 is a block diagram showing the configuration of the fall detection device according to the second embodiment;
- 10 is a flow chart showing the flow of overturn detection processing according to the second embodiment.
- FIG. 11 is a diagram for explaining the concept of overturn detection according to the second embodiment;
- FIG. 12 is a block diagram showing the overall configuration including the fall detection system according to the third embodiment;
- FIG. 12 is a block diagram showing the configuration of a turnover detection device according to a fourth embodiment;
- FIG. 14 is a flow chart showing the flow of overturn detection processing according to the fourth embodiment
- FIG. FIG. 11 is a block diagram showing the overall configuration including a fall detection system according to a fifth embodiment
- FIG. 14 is a diagram showing an example of the positional relationship between a person on a roadway and a plurality of vehicles according to Embodiment 5
- 14 is a flow chart showing the flow of overturn detection processing according to the fifth embodiment.
- FIG. 1 is a block diagram showing the configuration of the fall detection device 1 according to the first embodiment.
- a fall detection device 1 is an information processing device for detecting a fall of a person.
- the fall detection device 1 includes a first detection section 11 , a second detection section 12 and a determination section 13 .
- the first detection unit 11 detects the skeletal points of the person outside the vehicle from the first image captured by the first vehicle-mounted camera (not shown).
- a second detection unit 12 detects a road area indicating a road area from the first image.
- each of the first detection unit 11 and the second detection unit 12 may detect skeleton points and road regions by image recognition processing.
- the determination unit 13 determines whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area.
- FIG. 2 is a flow chart showing the flow of the overturn detection method according to the first embodiment.
- the first detection unit 11 detects skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera (S11).
- the second detection unit 12 detects a road area indicating a road area from the first image (S12).
- the determination unit 13 determines whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area (S13).
- the fall detection device 1 detects the posture of a person outside the vehicle by analyzing the image captured by the vehicle-mounted camera and detecting the skeletal points of the person. Therefore, the fall detection device 1 can identify the positional relationship of the parts of the person's body on the road, for example, the coordinate information of each part in the three-dimensional space. Further, the fall detection device 1 can analyze the same photographed image to identify the road area, that is, the coordinate information of the ground in the three-dimensional space. Since the fall detection device 1 can grasp the positional relationship between the skeletal points and the road area, it can accurately determine whether or not a person has fallen on the road, and can accurately detect a person who has fallen.
- the overturn detection device 1 includes a processor, a memory, and a storage device (not shown). Further, the storage device stores a computer program in which the processing of the overturn detection method according to the present embodiment is implemented. Then, the processor loads a computer program or the like from the storage device into the memory and executes the computer program. Thereby, the processor implements the functions of the first detection unit 11 , the second detection unit 12 and the determination unit 13 .
- each component of the fall detection device 1 may be realized by dedicated hardware. Also, part or all of each component of each device may be implemented by general-purpose or dedicated circuitry, processors, etc., or combinations thereof. These may be composed of a single chip, or may be composed of multiple chips connected via a bus. A part or all of each component of each device may be implemented by a combination of the above-described circuits and the like and programs.
- a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a quantum processor (quantum computer control chip), or the like can be used.
- FIG. 3 is a block diagram showing the overall configuration including the fall detection system 1000 according to the second embodiment.
- the fall detection system 1000 is an information system for detecting a faller among persons outside the vehicle 1001 .
- FIG. 3 shows an example in which the fall detection system 1000 detects whether or not the person U on the roadway on which the vehicle 1001 is traveling has fallen. However, the person U may be on the sidewalk. Therefore, in the following description, the term "road” includes roadways, sidewalks, and the like.
- a vehicle 1001 is running with an in-vehicle camera 100 and a fall detection device 200 installed.
- the in-vehicle camera 100 is a photographing device that photographs at least one of the traveling direction (forward), rearward, and lateral of the vehicle 1001 .
- Vehicle-mounted camera 100 captures an image of an imaging range at predetermined intervals, and outputs the captured image to fall detection device 200 .
- Vehicle-mounted camera 100 is an example of the first vehicle-mounted camera described above.
- the fall detection device 200 is an example of the fall detection device 1 described above, and is an information processing device mounted on the vehicle 1001 .
- the fall detection device 200 is, for example, an ECU (Electronic Control Unit) that controls the vehicle 1001 or the like.
- ECU Electronic Control Unit
- fall detection apparatus 200 may be redundantly provided by a plurality of computers, and each functional block may be implemented by a plurality of computers.
- the fall detection device 200 is communicably connected to the emergency system 300 via the network N.
- the network N is a communication network including a wireless communication network, a mobile phone network, and the like.
- Network N may include the Internet.
- the communication network does not care about the type of communication protocol.
- the fall detection device 200 analyzes the image received from the in-vehicle camera 100, determines whether or not the person U in the image is a person who has fallen, and if it is determined to be a person who has fallen, indicates that the person has been detected and the current position. , to the emergency system 300 via the network N.
- the emergency system 300 is an information system that, in response to a notification from the fall detection device 200, issues an instruction to dispatch an ambulance or the like to the location indicated by the current position.
- FIG. 4 is a block diagram showing the configuration of the fall detection device 200 according to the second embodiment.
- the fall detection device 200 includes a storage section 210 , a memory 220 , an IF (InterFace) section 230 and a control section 240 .
- the storage unit 210 is an example of a storage device such as a hard disk or flash memory.
- Storage unit 210 stores fall detection program 211 , first threshold 212 and second threshold 213 .
- the fall detection program 211 is a computer program in which the fall detection process and the like according to the second embodiment are implemented.
- the first threshold 212 is a threshold of the distance between the head of the person U and the ground for determining that the person U has fallen.
- a second threshold 213 is a threshold of the distance between the knee portion of the person U and the ground for determining that the person U has fallen.
- the memory 220 is a volatile storage device such as RAM (Random Access Memory), and is a storage area for temporarily holding information when the control unit 240 operates.
- the IF unit 230 is a communication interface between the interior of the fall detection device 200 and the vehicle-mounted camera 100 and the network N. FIG.
- the control unit 240 is a processor that controls each component of the fall detection device 200, that is, a control device.
- the control unit 240 loads the overturn detection program 211 from the storage unit 210 into the memory 220 and executes the overturn detection program 211 .
- the control unit 240 realizes the functions of the acquisition unit 241 , the first detection unit 242 , the second detection unit 243 , the determination unit 244 , the calculation unit 245 and the output unit 246 .
- the acquisition unit 241 acquires an image captured by the vehicle-mounted camera 100 and output.
- the first detection unit 242 is an example of the first detection unit 11 described above.
- the first detection unit 242 detects skeletal points of the person U outside the vehicle from the first image captured by the vehicle-mounted camera 100 .
- the first detection unit 242 detects a body shape area of the person U in the image by the first image recognition processing, and detects a set of skeletal points of the person U from the detected area.
- the skeleton point is information indicating a characteristic part of the skeleton of the person U, that is, a representative point.
- the skeletal points preferably include coordinate information (information indicating positions) in a three-dimensional space and information indicating parts of the body. That is, the skeletal points preferably include height information from the road in addition to information indicating the position when the road is a plane.
- body parts include, for example, the head, shoulders, elbows, hands, hips, knees, feet, etc., but are not limited to these.
- the first detection unit 242 may detect the posture of the person U through the first image recognition process. Further, the first detection unit 242 may detect a set of skeletal points of the person U from a plurality of images continuously captured by the vehicle-mounted camera 100, that is, video data.
- a known skeleton detection algorithm, posture estimation algorithm, or the like may be used for the first image recognition processing.
- the first image recognition processing may use a first AI (Artificial Intelligence) model that receives an image of a person as an input and outputs a set of skeletal points of the person.
- the first AI model is used for learning including images of various human postures such as falling postures, crouching postures, standing postures, etc., and correct data of a set of human skeleton points in each image. It is preferable that it is a trained model that has been machine-learned using data.
- the second detection unit 243 is an example of the second detection unit 12 described above.
- the second detection unit 243 detects a road area indicating a road area from the first image.
- the second detection unit 243 detects the road area in the image by the second image recognition processing.
- the road area may be coordinate information (information indicating position) in the same three-dimensional space as the skeleton points described above. However, if there is no height difference on the road, two-dimensional coordinate information omitting the height information may be used as the information indicating the position.
- Segmentation techniques such as instance segmentation and semantic segmentation may be used for the second image recognition processing.
- the second image recognition processing may attach a label indicating the type of region to each pixel in the image.
- the second image recognition processing may use a second AI model that outputs each pixel in the input image with a label indicating whether it is a road or not.
- the second AI model is used for learning including a plurality of images of roads captured by various in-vehicle cameras and correct answer data in which each pixel in each image is labeled to indicate whether it is a road or not. It is preferable that it is a trained model that has been machine-learned using data.
- the determination unit 244 is an example of the determination unit 13 described above.
- the determination unit 244 determines whether or not the person U has fallen on the road based on the positional relationship between the skeleton points and the road area. In particular, the determination unit 244 determines the distance from the ground at the skeleton point calculated from the position of the skeleton point and the position of the road area as the positional relationship.
- the determination unit 244 may also determine whether or not the first detection unit 242 has detected a set of skeleton points from the image.
- the determination unit 244 may also determine whether or not the second detection unit 243 has detected a road area from the image.
- the determination unit 244 determines whether or not the skeletal points of the head have been detected. When the skeletal point of the head is detected, the determination unit 244 determines whether or not the first distance between the head and the ground calculated by the calculation unit 245, which will be described later, is equal to or less than the first threshold value 212. . The determination unit 244 determines that the person U has fallen when the first distance is equal to or less than the first threshold value 212 .
- the determination unit 244 determines whether or not the skeletal point of the knee portion has been detected. When the skeletal point of the knee portion is detected, the determination unit 244 determines whether or not the second distance between the knee portion and the ground calculated by the calculation unit 245 is equal to or less than the second threshold value 213 . The determination unit 244 determines that the person U has fallen when the second distance is equal to or less than the second threshold value 213 .
- the determination unit 244 preferably determines whether the second distance is equal to or less than the second threshold value 213. . Accordingly, when the head is detected, the determination process using the second threshold value 213 can be omitted, and the processing cost can be reduced.
- the calculation unit 245 is an example of first calculation means and second calculation means.
- the calculation unit 245 calculates a first distance from the ground to the skeletal point of the head based on the road area.
- the calculator 245 calculates the first distance from the position of the skeletal point of the head and the position of the road region.
- the calculation unit 245 may compare the positional coordinates of the head on the plane with the positional coordinates of the road area on the plane, and calculate the difference between the coordinates in the height direction at the matching points as the first distance. .
- the calculation unit 245 may calculate the shortest distance between the position of the head and the position of the road area as the first distance.
- the calculation unit 245 calculates a second distance from the ground at the skeleton point of the knee portion based on the road area. Specifically, the calculation unit 245 calculates the second distance by replacing the skeletal points of the head in the first distance calculation process with the skeletal points of the knees.
- the output unit 246 When the determination unit 244 determines that the person U in the image is a person who has fallen, the output unit 246 outputs at least the fact that the person who has fallen has been detected. For example, when the vehicle 1001 is equipped with a display device, the output unit 246 outputs an image including the person U and information indicating that the person U is a fallen person to the display device, and displays the image on the screen of the display device. You may let In addition, when the vehicle 1001 can acquire the current position information (current position) by the GPS (Global Positioning System) function or the like, the fact that the fallen person has been detected and the current position are sent to the emergency system 300 via the network N. You may send.
- GPS Global Positioning System
- FIG. 5 is a flow chart showing the flow of overturn detection processing according to the second embodiment.
- in-vehicle camera 100 photographs the road and outputs the photographed image to fall detection device 200 .
- fall detection device 200 acquires an image captured by vehicle-mounted camera 100 (S101).
- fall detection device 200 detects a set of skeletal points of a person outside the vehicle from the image (S102).
- the fall detection device 200 also detects a road area from the image (S103).
- S101 vehicle-mounted camera 100
- S102 vehicle-mounted camera 100
- S103 road area from the image
- the fall detection device 200 determines whether or not the skeletal points of the head have been detected (S104). If the skeletal point of the head is detected (YES in S104), fall detection device 200 calculates a first distance between the head and the ground (S105). Then, the fall detection device 200 determines whether or not the first distance is equal to or less than the first threshold (S106). If the first distance is equal to or less than the first threshold (YES in S106), the fall detection device 200 determines that the person U in the image is a fallen person (S110). This is because the possibility that the person U has fallen is extremely high when the head is somewhat close to the ground. Therefore, by prioritizing determination over other sites among the skeleton points, the processing load for calculating and determining distances in other sites is reduced, and the detection speed of a fallen person is also improved.
- the fall detection device 200 determines whether or not the skeletal point of the knee is detected (S107). If the skeletal point of the knee portion is detected (YES in S107), fall detection device 200 calculates a second distance between the knee portion and the ground (S108). Then, the fall detection device 200 determines whether or not the second distance is equal to or less than the second threshold (S109). If the second distance is equal to or less than the second threshold (YES in S109), the fall detection device 200 determines that the person U in the image is a fallen person (S110).
- the in-vehicle camera 100 may not image the head, and the skeletal points of the head may not be detected.
- the skeletal points of the head may not be detected.
- the processing load can be reduced by not performing the calculation and determination processing of the second distance using the skeletal points of the knee portion.
- fall detection apparatus 200 identifies person U in the image as a person who has fallen. , and terminates the process. Further, even if the skeleton point of the knee portion is not detected in step S107, the fall detection device 200 ends the processing. Note that if the skeletal point of the knee portion is not detected in step S107, fall detection apparatus 200 calculates a third distance between the other portion of the skeletal points and the ground, and the third distance is the third distance. If it is equal to or less than the threshold, the person U in the image may be determined as the fallen person.
- step S107 may be performed prior to the detection and determination of the head in step S104.
- the detection and determination of parts other than the head and knee parts may be performed.
- step S110 the fall detection device 200 outputs that a fallen person has been detected as described above (S111).
- FIG. 6 is a diagram for explaining the concept of overturn detection according to the second embodiment.
- a captured image 5 is an example of an image captured by the vehicle-mounted camera 100 of the vehicle 1001 .
- the first detection unit 242 has detected the skeleton point set 51 from the captured image 5 and the second detection unit 243 has detected the road area 52 from the captured image 5 .
- a skeleton point set 51 includes a plurality of skeleton points of the person U.
- the set of skeletal points 51 includes a head skeletal point 511 and knee skeletal points 512 and 513 .
- the first distance between the skeletal point 511 of the head and the ground is less than or equal to the first threshold, and the person U is detected as a fallen person.
- the fallen person can be detected more quickly.
- the skeletal point 511 of the head is not detected and the second distance between the detected skeletal point 512 or 513 of the knee portion and the ground is equal to or less than the second threshold, the person U is also regarded as the fallen person. detectable. Therefore, it is possible to improve the accuracy of detecting an overturned person outside the vehicle from the image captured by the vehicle-mounted camera.
- Embodiment 3 is a modification of Embodiment 2 described above.
- FIG. 7 is a block diagram showing the overall configuration including a fall detection system 1000a according to the third embodiment.
- the turnover detection device 200a according to the third embodiment is an example installed as a server outside the vehicle 1001, as compared with FIG. 3 described above.
- the fall detection device 200a is connected to the vehicle-mounted camera 101 and the emergency system 300 via the network N so as to be able to communicate therewith.
- the vehicle-mounted camera 101 has a wireless communication function in addition to the functions of the vehicle-mounted camera 100 described above. Therefore, the vehicle-mounted camera 101 is connected to the network N by wireless communication. Vehicle-mounted camera 101 transmits the captured image and the current position via network N to fall detection device 200a.
- the fall detection device 200a acquires an image from the in-vehicle camera 101 via the network N.
- the fall detection device 200a performs the fall detection process on the acquired image in the same manner as in steps S102 to S110 in FIG. 5 described above.
- the fall detection device 200a transmits the detection of the fallen person and the current position to the emergency system 300 via the network N.
- the fall detection device 200a may transmit to the vehicle 1001 via the network N that a fallen person has been detected, and display the fact on the display device in the vehicle 1001.
- the third embodiment can also achieve the same effects as the second embodiment described above. Furthermore, in the third embodiment, there is no need to install an advanced in-vehicle device equivalent to the turnover detection device 200 in the vehicle 1001 . Further, in the third embodiment, since the turnover detection process is executed outside the vehicle 1001, power consumption of the vehicle 1001 can be suppressed.
- Embodiment 4 is an improved example of Embodiment 2 or 3 described above.
- Embodiment 2 and the like described above a person who has fallen can be detected with high accuracy, but when the person who has fallen immediately stands up, it can be said that there is little need to notify the emergency system 300 .
- the fall detection device 200 or the like detects a fall person, the passengers (driver or fellow passenger) of the vehicle 1001 may hesitate to decide whether to notify the emergency system 300 or not.
- the passenger of the vehicle 1001 may hesitate whether to report to the emergency system 300 when there is a person collapsed on the road.
- the fall detection device 200 calculates the fall duration of the person who has fallen from a plurality of images continuously captured by the in-vehicle camera, and when the fall duration exceeds a predetermined time, It notifies the emergency system 300 and the like.
- FIG. 8 is a block diagram showing the configuration of a fall detection device 200b according to the fourth embodiment.
- the fall detection device 200b has a fall detection program 211b, a calculation section 245b, and an output section 246b that are changed from those shown in FIG.
- the fall detection program 211b is a computer program in which the fall detection process and the like according to the fourth embodiment are implemented.
- the control unit 240 loads the overturn detection program 211b from the storage unit 210 into the memory 220, and executes the overturn detection program 211b. Thereby, the control unit 240 realizes the functions of the calculation unit 245b and the output unit 246b in addition to the functions of the acquisition unit 241, the first detection unit 242, the second detection unit 243, and the determination unit 244 described above.
- the calculation unit 245b calculates the first is an example of a third calculation means for calculating the falling duration of the person U based on the subsequent image.
- the output unit 246b is an example of notification means for notifying a predetermined notification destination when the overturning duration is equal to or longer than a predetermined time. Note that the predetermined time is set in advance in the fall detection device 200b and is a value that can be changed as appropriate.
- FIG. 9 is a flow chart showing the flow of overturn detection processing according to the fourth embodiment.
- the acquisition unit 241 acquires a first image captured by the vehicle-mounted camera 101 (S101). Then, steps S102 to S109 are executed as described above.
- the determination unit 244 determines whether or not the person U in the first image is a fallen person (S110b). If YES is determined in step S106 or S109, the determining unit 244 determines that the person U in the first image is the fallen person. In that case, the calculator 245b calculates the falling duration (S112). For example, when the person U is determined to be a faller for the first time in the first image, the calculation unit 245b starts counting the fall duration time. Then, the determination unit 244 determines whether or not the overturning duration is equal to or longer than a predetermined time (S113).
- step S110b when it is determined in step S110b that the person U in the first image is not the person who has fallen, the calculator 245b clears the duration of the fall (S114). After step S114, or when it is determined in step S113 that the overturning duration is less than the predetermined time, the process returns to step S101.
- the acquisition unit 241 acquires the first subsequent image captured by the vehicle-mounted camera 101 (S101).
- the first subsequent image is an image captured by the in-vehicle camera 101 after the first image described above.
- the fall detection device 200b performs steps S102 to S109 on the first subsequent image.
- step S110b when the person U in the first subsequent image is determined to be the faller, the calculator 245b calculates the fall duration from the first image (S112). For example, the calculation unit 245b adds the time interval between the first image and the first subsequent image to the last calculated fall duration time. That is, the calculator 245b updates the fall duration. Then, the determination unit 244 determines whether or not the updated fall duration time is equal to or longer than a predetermined time (S113).
- step S110b When it is determined in step S110b that the person U in the first subsequent image is not the faller, the calculator 245b clears the fall duration (S114). Note that even when it is determined that the person is not a person who has fallen, the calculation unit 245b does not have to clear the fall duration time immediately. For example, the calculation unit 245b may calculate the number of consecutive times that the person is determined not to be a fallen person in step S110b, and clear the fall duration time when the number of times is equal to or greater than a predetermined number. This makes it possible to eliminate temporary noise, such as when it is erroneously determined that the person is not a fallen person. At this time, the calculation unit 245b also clears the number of times. After step S114, or when it is determined in step S113 that the overturning duration is less than the predetermined time, the process returns to step S101.
- the output unit 246b notifies that the fallen person has been detected as described above (S111b). Specifically, the output unit 246b transmits to the emergency system 300 via the network N the fact that the fallen person has been detected and the current position of the vehicle 1001 . The output unit 246b may output to the display device of the vehicle 1001 that the fallen person has been detected.
- the duration of falling is measured, and the emergency system 300 or the like is notified when the duration of falling exceeds a predetermined time.
- the fall detection device 200b notifies the current position information of the vehicle 1001 in the same manner as in the above-described second embodiment. Therefore, the emergency system 300 can grasp the position of the rescuer more accurately.
- the fall detection device 200b automatically notifies the emergency system 300 regardless of the operation of the passenger of the vehicle 1001, the notification time can be shortened.
- the emergency system 300 and the like are not notified. For example, if the person U falls down once on the road and then stands up in a short period of time, no notification is given. In other words, in the case of a person who has only fallen slightly, no notification is given. Therefore, excessive notifications can be suppressed.
- Embodiment 5 is a modification of Embodiments 2 to 4 described above.
- the fall detection device uses a plurality of images captured by a plurality of vehicle-mounted cameras mounted on a plurality of vehicles to more accurately determine whether or not a person has fallen on the road. is.
- the determination unit detects skeleton points and roads detected from a second image captured by a second vehicle-mounted camera mounted on a second vehicle other than the first vehicle equipped with the first vehicle-mounted camera. Further based on the positional relationship with the area, it is determined whether or not the person has fallen on the road.
- FIG. 10 is a block diagram showing the overall configuration including a fall detection system 1000c according to the fifth embodiment.
- the fall detection system 1000 c includes vehicles 1001 to 100 n (n is a natural number of 2 or more), a fall detection device 200 c and an emergency system 300 .
- a vehicle 1001 has an on-board camera 101
- a vehicle 1002 has an on-board camera 102
- . . . a vehicle 100n has an on-board camera 10n.
- the functions of the vehicle-mounted cameras 101 to 10n are assumed to be equivalent.
- Each of the in-vehicle cameras 101 to 10n, the fall detection device 200c, and the emergency system 300 are connected via a network N so as to be able to communicate with each other.
- the fall detection device 200c is installed as a server outside the vehicle, similar to the fall detection device 200a in FIG. 7 described above. Therefore, each of the in-vehicle cameras 101 to 10n transmits the captured image via the network N to the fall detection device 200c.
- the fall detection device 200c analyzes a plurality of images acquired from each of the vehicle-mounted cameras 101 to 10n within a predetermined area, and comprehensively determines whether the person in the image has fallen.
- FIG. 11 is a diagram showing an example of the positional relationship between a person U on the roadway and a plurality of vehicles 1001 to 1003 according to the fifth embodiment.
- the example in FIG. 11 is an intersection, and the person U is present in the traveling directions of the vehicles 1001 and 1002 . Therefore, the shooting range of the vehicle-mounted camera 101 of the vehicle 1001 and the vehicle-mounted camera 102 of the vehicle 1002 includes the person U as well as the roadway. Also, the vehicle 1003 is traveling in the direction opposite to the traveling direction of the vehicle 1001 . Therefore, the imaging range of the vehicle-mounted camera 103 of the vehicle 1003 also includes the person U as well as the roadway.
- the first image captured by the vehicle-mounted camera 101, the second image captured by the vehicle-mounted camera 102, and the third image captured by the vehicle-mounted camera 103 each include a common roadway (intersection) and the person U and are included.
- FIG. 11 shows an example in which the person U exists on the roadway, this embodiment can also be applied when the person U exists on a road other than the roadway, such as a sidewalk.
- FIG. 12 is a flow chart showing the flow of overturn detection processing according to the fifth embodiment.
- the fall detection device 200c acquires a plurality of images captured by a plurality of in-vehicle cameras within a predetermined area (S101c).
- the fall detection device 200c detects a set of skeletal points of a person outside the vehicle from each image (S102c).
- the fall detection device 200c also detects a road area from each image (S103c).
- the fall detection device 200c acquires first to third images captured by the vehicle-mounted cameras 101-103. Fall detection device 200c then detects a set of skeleton points of person U from each of the first to third images.
- the fall detection device 200c combines these detected skeletal points to form a set of skeletal points. Therefore, some skeleton points may overlap in position. Also, the fall detection device 200c detects a road area from each of the first to third images. Then, the fall detection device 200c aligns the positions of these detected road areas and detects them as a road area.
- steps S102c and S103c steps S104 to S111 are executed in the same manner as in FIG. 5 described above. Therefore, when the person U is determined to be a fallen person, the fall detection device 200c transmits to the emergency system 300 via the network N the fact that the fallen person has been detected and the position information of the vehicle 1001 and the like. Note that the fall detection device 200c may calculate the fall duration as in the above-described fourth embodiment based on the determination results (detection results) from the images of a plurality of vehicle-mounted cameras.
- the fall detection device 200c collects captured images from onboard cameras of a plurality of vehicles, and detects a fallen person from the collected images.
- the fall detection device 200c collects images from a plurality of in-vehicle cameras and performs fall detection processing. Therefore, compared to the case of using an image from a single in-vehicle camera, it is possible to detect skeletal points of a person and a road area from multiple angles, and to detect a fallen person with higher accuracy.
- the program includes instructions (or software code) that, when read into the computer, cause the computer to perform one or more of the functions described in the embodiments.
- the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
- computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs -ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
- the program may be transmitted on a transitory computer-readable medium or communication medium.
- transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
- (Appendix A1) a first detection means for detecting a skeletal point of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area;
- a fall detection device comprising: (Appendix A2) further comprising: first calculating means for calculating a first distance from the ground at the skeletal point of the head of the person based on the road area when the skeletal point of the head of the person is detected by the first detecting means; prepared, The fall detection device according to Appendix A1, wherein the determining means determines that the person has fallen when the first distance is equal to or less than a first threshold.
- (Appendix A3) second calculating means for calculating a second distance from the ground at the knee skeletal point based on the road area when the first detecting means detects the skeletal point of the knee of the person; prepared, The fall detection device according to appendix A1 or A2, wherein the determination means determines that the person has fallen when the second distance is equal to or less than a second threshold. (Appendix A4) The determining means determines whether or not the second distance is equal to or less than a second threshold when the first detecting means does not detect the skeletal point of the head of the person. detection device.
- Appendix A5 If it is determined that the person is falling based on the positional relationship between the skeleton points detected from the first image and the road area, the first image captured after the first image is detected. a third calculating means for calculating the falling duration of the person based on the subsequent image; notification means for notifying a predetermined notification destination when the falling duration time is equal to or longer than a predetermined time;
- the fall detection device according to any one of Appendices A1 to A4, further comprising: (Appendix A6)
- the determination means determines the skeleton points detected from a second image captured by a second vehicle-mounted camera mounted on a second vehicle other than the first vehicle on which the first vehicle-mounted camera is mounted.
- the turnover detection device according to any one of Appendices A1 to A5, wherein it is determined whether or not the person has fallen on the road, further based on the positional relationship with the road area.
- Appendix A7 The fall detection device according to any one of Appendices A1 to A6, wherein the determining means defines a distance from the ground at the skeleton point calculated from the position of the skeleton point and the position of the road region as the positional relationship. .
- the fall detection device includes: a first detection means for detecting skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera; a second detection means for detecting a road area indicating a road area from the first image; determining means for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area; a fall detection system.
- the first detection means detects at least skeletal points of the knee portion of the person, The fall detection system according to appendix B1, wherein the determining means determines that the person has fallen when a distance from the ground at the skeleton point of the knee portion is equal to or less than a first threshold based on the road area.
- the computer Detecting the skeletal points of a person outside the vehicle from the first image captured by the first vehicle-mounted camera, detecting a road area indicating a road area from the first image; Determining whether the person has fallen on the road based on the positional relationship between the skeleton points and the road area; Fall detection method.
- (Appendix D1) a first detection process for detecting skeletal points of a person outside the vehicle from a first image captured by a first vehicle-mounted camera; a second detection process for detecting a road area indicating a road area from the first image; a determination process for determining whether or not the person has fallen on the road based on the positional relationship between the skeleton points and the road area;
- a non-transitory computer-readable medium storing a fall detection program that causes a computer to execute
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
本発明にかかる転倒検出装置(1)は、道路を走行中の車両に搭載された第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点の集合を検出する第1の検出部(11)と、第1の画像から道路の領域を示す道路領域を検出する第2の検出部(12)と、骨格点と道路領域との位置関係に基づいて、道路において人物が転倒しているか否かを判定する判定部(13)と、を備える。特に、判定部(13)は、骨格点の位置情報と道路領域の位置情報とから算出される骨格点における地面からの距離を位置関係とする。
Description
本発明は、転倒検出装置、システム、方法、及び、プログラムに関する。
特許文献1には、車載カメラにより撮影された監視対象画像から高齢者の行動を検出する技術が開示されている。また、特許文献2には、車載カメラにより撮影された前方の二輪車の画像から、二輪車が転倒する可能性を判定する技術が開示されている。
ここで、車載カメラの撮影画像から車外の転倒者を検出する技術には、精度に改善の余地がある。
本開示の目的は、上述した課題を鑑み、車載カメラの撮影画像から車外の転倒者を検出する精度を向上するための転倒検出装置、システム、方法、及び、プログラムを提供することにある。
本開示の第1の態様にかかる転倒検出装置は、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える。
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える。
本開示の第2の態様にかかる転倒検出システムは、
第1の車載カメラと、
転倒検出装置と、を備え、
前記転倒検出装置は、
前記第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える。
第1の車載カメラと、
転倒検出装置と、を備え、
前記転倒検出装置は、
前記第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える。
本開示の第3の態様にかかる転倒検出方法は、
コンピュータが、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出し、
前記第1の画像から道路の領域を示す道路領域を検出し、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する。
コンピュータが、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出し、
前記第1の画像から道路の領域を示す道路領域を検出し、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する。
本開示の第4の態様にかかる非一時的なコンピュータ可読媒体は、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出処理と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出処理と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
をコンピュータに実行させる転倒検出プログラムが格納される。
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出処理と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出処理と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
をコンピュータに実行させる転倒検出プログラムが格納される。
本開示により、車載カメラの撮影画像から車外の転倒者を検出する精度を向上するための転倒検出装置、システム、方法、及び、プログラムを提供することができる。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1は、本実施形態1にかかる転倒検出装置1の構成を示すブロック図である。転倒検出装置1は、人物の転倒を検出するための情報処理装置である。転倒検出装置1は、第1の検出部11、第2の検出部12及び判定部13を備える。
図1は、本実施形態1にかかる転倒検出装置1の構成を示すブロック図である。転倒検出装置1は、人物の転倒を検出するための情報処理装置である。転倒検出装置1は、第1の検出部11、第2の検出部12及び判定部13を備える。
第1の検出部11は、第1の車載カメラ(不図示)により撮影された第1の画像から、車外の人物の骨格点を検出する。第2の検出部12は、第1の画像から道路の領域を示す道路領域を検出する。ここで、第1の検出部11及び第2の検出部12のそれぞれは、画像認識処理により、骨格点や道路領域を検出するとよい。判定部13は、骨格点と道路領域との位置関係に基づいて、道路において人物が転倒しているか否かを判定する。
図2は、本実施形態1にかかる転倒検出方法の流れを示すフローチャートである。まず、第1の検出部11は、第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する(S11)。次に、第2の検出部12は、第1の画像から道路の領域を示す道路領域を検出する(S12)。そして、判定部13は、骨格点と道路領域との位置関係に基づいて、道路において人物が転倒しているか否かを判定する(S13)。
このように、本実施形態にかかる転倒検出装置1は、車載カメラによる撮影画像を解析して、人物の骨格点を検出することで、車外に存在する人物の姿勢を検出する。そのため、転倒検出装置1は、道路での当該人物の身体の部位の位置関係、例えば、各部位の三次元空間上での座標情報を特定できる。また、転倒検出装置1は、同じ撮影画像を解析して道路領域、つまり、地面の三次元空間上での座標情報を特定できる。転倒検出装置1は、骨格点と道路領域との位置関係を把握できるため、道路において人物が転倒しているか否かを精度良く判定でき、転倒者を精度良く検出することができる。
尚、転倒検出装置1は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる転倒検出方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラム等を前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、第1の検出部11、第2の検出部12及び判定部13の機能を実現する。
または、転倒検出装置1の各構成要素は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、量子プロセッサ(量子コンピュータ制御チップ)等を用いることができる。
<実施形態2>
本実施形態2は、上述した実施形態1の具体例である。図3は、本実施形態2にかかる転倒検出システム1000を含む全体構成を示すブロック図である。転倒検出システム1000は、車両1001の外の人物のうち転倒者を検出するための情報システムである。図3では、転倒検出システム1000は、車両1001が走行中の車道上の人物Uが転倒しているか否かを検出する例を示している。但し、人物Uは歩道にいても構わない。そのため、以下の説明において、「道路」とは、車道や歩道等を含むものとする。
本実施形態2は、上述した実施形態1の具体例である。図3は、本実施形態2にかかる転倒検出システム1000を含む全体構成を示すブロック図である。転倒検出システム1000は、車両1001の外の人物のうち転倒者を検出するための情報システムである。図3では、転倒検出システム1000は、車両1001が走行中の車道上の人物Uが転倒しているか否かを検出する例を示している。但し、人物Uは歩道にいても構わない。そのため、以下の説明において、「道路」とは、車道や歩道等を含むものとする。
車両1001は、車載カメラ100と転倒検出装置200を搭載して走行している。車載カメラ100は、車両1001の進行方向(前方)、後方、又は、側方の少なくともいずれかを撮影する撮影装置である。車載カメラ100は、所定間隔で撮影範囲を撮影し、撮影した画像を転倒検出装置200へ出力する。車載カメラ100は、上述した第1の車載カメラの一例である。
転倒検出装置200は、上述した転倒検出装置1の一例であり、車両1001に搭載された情報処理装置である。転倒検出装置200は、例えば、車両1001の制御を行うECU(Electronic Control Unit)等である。または、転倒検出装置200は、複数台のコンピュータに冗長化されていても良く、各機能ブロックが複数台のコンピュータで実現されてもよい。
転倒検出装置200は、ネットワークNを介して救急システム300と通信可能に接続されている。ここで、ネットワークNは、無線通信回線網、携帯電話回線網等を含む通信ネットワークである。ネットワークNは、インターネットを含んでも良い。また、通信ネットワークは、通信プロトコルの種別を問わない。
転倒検出装置200は、車載カメラ100から受け付けた画像を解析し、画像内の人物Uが転倒者か否かを判定し、転倒者と判定した場合、転倒者を検出した旨と現在位置とを、ネットワークNを介して救急システム300へ通知する。
救急システム300は、転倒検出装置200からの通知に応じて、現在位置が示す場所へ救急車等を出動させる指示を行う情報システムである。
図4は、本実施形態2にかかる転倒検出装置200の構成を示すブロック図である。転倒検出装置200は、記憶部210、メモリ220、IF(InterFace)部230及び制御部240を備える。記憶部210は、ハードディスク、フラッシュメモリ等の記憶装置の一例である。記憶部210は、転倒検出プログラム211、第1の閾値212及び第2の閾値213を記憶する。転倒検出プログラム211は、本実施形態2にかかる転倒検出処理等が実装されたコンピュータプログラムである。第1の閾値212は、人物Uが転倒していると判定するための人物Uの頭部と地面との距離の閾値である。第2の閾値213は、人物Uが転倒していると判定するための人物Uの膝部分と地面との距離の閾値である。
メモリ220は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部240の動作時に一時的に情報を保持するための記憶領域である。IF部230は、転倒検出装置200内部と、車載カメラ100及びネットワークNとの通信インタフェースである。
制御部240は、転倒検出装置200の各構成を制御するプロセッサつまり制御装置である。制御部240は、記憶部210から転倒検出プログラム211をメモリ220へ読み込ませ、転倒検出プログラム211を実行する。これにより、制御部240は、取得部241、第1の検出部242、第2の検出部243、判定部244、算出部245及び出力部246の機能を実現する。
取得部241は、車載カメラ100により撮影され、出力された画像を取得する。
第1の検出部242は、上述した第1の検出部11の一例である。第1の検出部242は、車載カメラ100により撮影された第1の画像から、車外の人物Uの骨格点を検出する。第1の検出部242は、第1の画像認識処理により、画像内の人物Uの体形の領域を検出し、検出した領域の中から人物Uの骨格点の集合を検出する。ここで、骨格点は、人物Uの骨格のうち特徴的な箇所、すなわち代表点を示す情報である。骨格点は、三次元空間上での座標情報(位置を示す情報)と身体の部位を示す情報とを含むとよい。つまり、骨格点は、道路を平面とした場合の位置を示す情報に加えて、道路からの高さの情報を含むとよい。また、身体の部位とは、例えば、頭部、肩、肘部分、手、腰、膝部分、足等であるが、これらに限定されない。また、第1の検出部242は、第1の画像認識処理により、人物Uの姿勢を検出してもよい。また、第1の検出部242は、車載カメラ100により連続して撮影された複数の画像、つまり映像データから人物Uの骨格点の集合を検出してもよい。
第1の画像認識処理には、公知の骨格検知アルゴリズム、姿勢推定アルゴリズム等を用いてもよい。また、第1の画像認識処理には、人物が撮影された画像を入力とし、当該人物の骨格点の集合を出力とする第1のAI(Artificial Intelligence)モデルを用いてもよい。このとき、第1のAIモデルは、様々な人物が転倒した姿勢、かがみ込んだ姿勢、立った姿勢等の画像と、各画像内の人物の骨格点の集合の正解データとを含めた学習用データを用いて機械学習された学習済みモデルであるとよい。
第2の検出部243は、上述した第2の検出部12の一例である。第2の検出部243は、第1の画像から道路の領域を示す道路領域を検出する。第2の検出部243は、第2の画像認識処理により、画像内の道路領域を検出する。ここで、道路領域は、上述した骨格点と同じ三次元空間上での座標情報(位置を示す情報)であるとよい。但し、道路に高低差が無い場合には、高さ情報を省略した二次元の座標情報を位置を示す情報としてもよい。
第2の画像認識処理には、インスタンスセグメンテーションやセマンティックセグメンテーション等のセグメンテーション技術を用いても良い。また、第2の画像認識処理は、画像内の各画素に、領域の種別を示すラベルを付すものであってもよい。例えば、第2の画像認識処理は、入力された画像内の各画素に、道路か否かを示すラベルを付して出力する第2のAIモデルを用いても良い。このとき、第2のAIモデルは、様々な車載カメラにより道路が撮影された複数の画像と、各画像内の各画素に道路か否かを示すラベルを付した正解データとを含めた学習用データを用いて機械学習された学習済みモデルであるとよい。
判定部244は、上述した判定部13の一例である。判定部244は、骨格点と道路領域との位置関係に基づいて、道路において人物Uが転倒しているか否かを判定する。特に、判定部244は、骨格点の位置と道路領域の位置とから算出される骨格点における地面からの距離を位置関係として、判定する。
また、判定部244は、第1の検出部242により画像から骨格点の集合が検出されたか否かを判定してもよい。また、判定部244は、第2の検出部243により画像から道路領域が検出されたか否かを判定してもよい。
また、判定部244は、頭部の骨格点が検出されたか否かを判定する。頭部の骨格点が検出された場合、判定部244は、後述する算出部245により算出された頭部と地面との第1の距離が第1の閾値212以下であるか否かを判定する。判定部244は、第1の距離が第1の閾値212以下である場合、人物Uが転倒していると判定する。
判定部244は、膝部分の骨格点が検出されたか否かを判定する。膝部分の骨格点が検出された場合、判定部244は、算出部245により算出された膝部分と地面との第2の距離が第2の閾値213以下であるか否かを判定する。判定部244は、第2の距離が第2の閾値213以下である場合、人物Uが転倒していると判定する。
特に、判定部244は、第1の検出部242により人物Uの頭部の骨格点が骨格点として検出されなかった場合、第2の距離が第2の閾値213以下か否かを判定するとよい。これにより、頭部が検出された場合には、第2の閾値213を用いた判定処理を省略することができ、処理コストを軽減できる。
算出部245は、第1の算出手段及び第2の算出手段の一例である。算出部245は、第1の検出部242により人物Uの頭部の骨格点が検出された場合、道路領域に基づき頭部の骨格点における地面からの第1の距離を算出する。具体的には、算出部245は、頭部の骨格点の位置と道路領域の位置とから第1の距離を算出する。例えば、算出部245は、頭部の平面上の位置座標と、道路領域の平面上の位置座標とを照合し、一致する地点における高さ方向の座標の差を第1の距離として算出するとよい。または、算出部245は、頭部の位置と道路領域の位置との最短距離を第1の距離として算出するとよい。
また、算出部245は、第1の検出部242により人物Uの膝部分の骨格点が検出された場合、道路領域に基づき膝部分の骨格点における地面からの第2の距離を算出する。具体的には、算出部245は、上述した第1の距離の算出処理における頭部の骨格点を膝部分の骨格点に置き換えて、第2の距離を算出する。
出力部246は、判定部244により画像内の人物Uが転倒者と判定された場合、少なくとも転倒者検出の旨を出力する。例えば、車両1001に表示装置が搭載されている場合、出力部246は、人物Uを含む画像と人物Uが転倒者である旨を示す情報とを表示装置へ出力し、表示装置の画面に表示させてもよい。また、車両1001は、GPS(Global Positioning System)機能等により現在の位置情報(現在位置)を取得可能とした場合、転倒者検出の旨と現在位置とを、ネットワークNを介して救急システム300へ送信してもよい。
図5は、本実施形態2にかかる転倒検出処理の流れを示すフローチャートである。まず、車載カメラ100は、道路を撮影し、撮影された画像を転倒検出装置200へ出力する。これに応じて、転倒検出装置200は、車載カメラ100により撮影された画像を取得する(S101)。次に、転倒検出装置200は、画像から車外の人物の骨格点の集合を検出する(S102)。また、転倒検出装置200は、画像から道路領域を検出する(S103)。ここでは、画像から人物の骨格点の集合と道路領域とが検出されたものとする。
ステップS102及びS103の後、転倒検出装置200は、頭部の骨格点が検出されたか否かを判定する(S104)。頭部の骨格点が検出された場合(S104でYES)、転倒検出装置200は、頭部と地面との第1の距離を算出する(S105)。そして、転倒検出装置200は、第1の距離が第1の閾値以下であるか否かを判定する(S106)。第1の距離が第1の閾値以下である場合(S106でYES)、転倒検出装置200は、画像内の人物Uを転倒者と判定する(S110)。頭部が地面からある程度近い場合には、人物Uが転倒している可能性が極めて高いためである。そのため、骨格点のうち他の部位よりも優先的に判定することで、他の部位における距離の算出や判定する処理負荷を軽減し、転倒者の検出速度も向上する。
ステップS104で頭部の骨格点が検出されなかった場合(S104でNO)、転倒検出装置200は、膝部分の骨格点が検出されたか否かを判定する(S107)。膝部分の骨格点が検出された場合(S107でYES)、転倒検出装置200は、膝部分と地面との第2の距離を算出する(S108)。そして、転倒検出装置200は、第2の距離が第2の閾値以下であるか否かを判定する(S109)。第2の距離が第2の閾値以下である場合(S109でYES)、転倒検出装置200は、画像内の人物Uを転倒者と判定する(S110)。例えば、人物Uの転倒方向によっては、車載カメラ100から頭部が撮影されず、頭部の骨格点が検出されない場合がある。このような場合、他の部位のうち、例えば、膝部分が地面からある程度近い場合には、人物Uが転倒しているか、少なくとも膝を付いている可能性が高い。そのため、画像から頭部の骨格点が検出されなかった場合に、膝部分の骨格点を用いた判定を行うことで、より妥当な判定を行うことができる。さらに、頭部が検出された場合には、膝部分の骨格点を用いた第2の距離の算出及び判定処理を行わないことで、処理負荷を軽減できる。
一方、ステップS106で第1の距離が第1の閾値より大きい場合、又は、ステップS109で第2の距離が第2の閾値より大きい場合、転倒検出装置200は、画像内の人物Uを転倒者と判定せず、処理を終了する。また、ステップS107で膝部分の骨格点が検出されなかった場合も、転倒検出装置200は、処理を終了する。尚、ステップS107で膝部分の骨格点が検出されなかった場合、転倒検出装置200は、骨格点のうち他の部位と地面との第3の距離を算出し、第3の距離が第3の閾値以下の場合、画像内の人物Uを転倒者と判定してもよい。他の部位としては、例えば、肩、肘部分、手、腰、足等が挙げられるが、これらに限定されない。また、ステップS104の頭部の検出判定より前に、ステップS107の膝部分の検出判定を行っても良い。または、ステップS104より前に、頭部や膝部分以外の他の部位の検出判定を行っても良い。
ステップS110の後、転倒検出装置200は、上述したように、転倒者検出の旨を出力する(S111)。
図6は、本実施形態2にかかる転倒検出の概念を説明するための図である。撮影画像5は、車両1001の車載カメラ100により撮影された画像の例である。ここでは、第1の検出部242が撮影画像5から骨格点の集合51を検出し、第2の検出部243が撮影画像5から道路領域52を検出したことを示す。骨格点の集合51は、人物Uの複数の骨格点を含む。特に、骨格点の集合51は、頭部の骨格点511、膝部分の骨格点512及び513を含む。
図6の例では、頭部の骨格点511と地面との第1の距離が第1の閾値以下を示すものとし、人物Uが転倒者として検出される。このとき、膝部分の骨格点512及び513を用いた算出や判定が行われないため、より早く転倒者を検出できる。また、仮に頭部の骨格点511が検出されず、検出された膝部分の骨格点512又は513と地面との第2の距離が第2の閾値以下である場合、やはり人物Uを転倒者として検出できる。よって、車載カメラの撮影画像から車外の転倒者を検出する精度を向上することができる。
<実施形態3>
本実施形態3は、上述した実施形態2の変形例である。図7は、本実施形態3にかかる転倒検出システム1000aを含む全体構成を示すブロック図である。本実施形態3にかかる転倒検出装置200aは、上述した図3と比べて、車両1001の外部にサーバとして設置された例である。つまり転倒検出装置200aは、ネットワークNを介して車載カメラ101及び救急システム300と通信可能に接続されている。車載カメラ101は、上述した車載カメラ100の機能に加えて、無線通信機能を備えている。そのため、車載カメラ101は、無線通信によりネットワークNと接続されている。車載カメラ101は、撮影した画像と現在位置を、ネットワークNを介して転倒検出装置200aへ送信する。
本実施形態3は、上述した実施形態2の変形例である。図7は、本実施形態3にかかる転倒検出システム1000aを含む全体構成を示すブロック図である。本実施形態3にかかる転倒検出装置200aは、上述した図3と比べて、車両1001の外部にサーバとして設置された例である。つまり転倒検出装置200aは、ネットワークNを介して車載カメラ101及び救急システム300と通信可能に接続されている。車載カメラ101は、上述した車載カメラ100の機能に加えて、無線通信機能を備えている。そのため、車載カメラ101は、無線通信によりネットワークNと接続されている。車載カメラ101は、撮影した画像と現在位置を、ネットワークNを介して転倒検出装置200aへ送信する。
転倒検出装置200aは、車載カメラ101からネットワークNを介して画像を取得する。転倒検出装置200aは、取得した画像から、上述した図5のステップS102からS110と同様に、転倒検出処理を行う。そして、画像内の人物Uが転倒者と判定された場合、転倒検出装置200aは、転倒者検出の旨と現在位置を、ネットワークNを介して救急システム300へ送信する。また、転倒検出装置200aは、転倒者検出の旨をネットワークNを介して車両1001へ送信し、車両1001内の表示装置にその旨を表示してもよい。
このように、本実施形態3においても、上述した実施形態2と同様の効果を奏することができる。さらに、本実施形態3では、車両1001内に転倒検出装置200相当の高度な車載装置を搭載する必要がない。また、本実施形態3では、車両1001の外部で転倒検出処理を実行するため、車両1001の電力消費を抑制できる。
<実施形態4>
本実施形態4は、上述した実施形態2又は3の改良例である。上述した実施形態2等では転倒者を精度良く検出できるが、転倒者がすぐに立ち上がった場合には、救急システム300への通知の必要性が低いといえる。つまり、車両1001の搭乗者(運転者や同乗者)は、転倒検出装置200等により転倒者が検出されたとしても、救急システム300へ通知するべきか判断に迷う場合もある。例えば、車両1001の搭乗者は、道路で倒れている人がいた場合に、救急システム300への通報をするべきか迷うことがあり得る。または、車両1001の搭乗者は、転倒検出装置200等により転倒者が検出されたとしても、他の人が救護や通報する可能性を考えて、救急システム300への通報を躊躇することもあり得る。そのため、転倒者に対する対応に遅れが生じる可能性もある。そこで、本実施形態4にかかる転倒検出装置は、車載カメラにより連続して撮影された複数の画像から、転倒者の転倒継続時間を算出し、転倒継続時間が所定時間以上となった場合に、救急システム300等へ通知するものである。
本実施形態4は、上述した実施形態2又は3の改良例である。上述した実施形態2等では転倒者を精度良く検出できるが、転倒者がすぐに立ち上がった場合には、救急システム300への通知の必要性が低いといえる。つまり、車両1001の搭乗者(運転者や同乗者)は、転倒検出装置200等により転倒者が検出されたとしても、救急システム300へ通知するべきか判断に迷う場合もある。例えば、車両1001の搭乗者は、道路で倒れている人がいた場合に、救急システム300への通報をするべきか迷うことがあり得る。または、車両1001の搭乗者は、転倒検出装置200等により転倒者が検出されたとしても、他の人が救護や通報する可能性を考えて、救急システム300への通報を躊躇することもあり得る。そのため、転倒者に対する対応に遅れが生じる可能性もある。そこで、本実施形態4にかかる転倒検出装置は、車載カメラにより連続して撮影された複数の画像から、転倒者の転倒継続時間を算出し、転倒継続時間が所定時間以上となった場合に、救急システム300等へ通知するものである。
図8は、本実施形態4にかかる転倒検出装置200bの構成を示すブロック図である。転倒検出装置200bは、上述した図4と比べて、転倒検出プログラム211b、算出部245b及び出力部246bが変更されたものである。転倒検出プログラム211bは、本実施形態4にかかる転倒検出処理等が実装されたコンピュータプログラムである。制御部240は、記憶部210から転倒検出プログラム211bをメモリ220へ読み込ませ、転倒検出プログラム211bを実行する。これにより、制御部240は、上述した取得部241、第1の検出部242、第2の検出部243及び判定部244の機能に加えて、算出部245b及び出力部246bの機能を実現する。
算出部245bは、第1の画像から検出された骨格点と道路領域との位置関係に基づいて、人物Uが転倒していると判定された場合、第1の画像の後に撮影された第1の後続画像に基づき人物Uの転倒継続時間を算出する第3の算出手段の一例である。出力部246bは、転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段の一例である。尚、所定時間は、予め転倒検出装置200bに設定され、適宜、変更可能な値とする。
図9は、本実施形態4にかかる転倒検出処理の流れを示すフローチャートである。まず、取得部241は、車載カメラ101により撮影された第1の画像を取得する(S101)。そして、上述したようにステップS102からS109が実行される。その後、判定部244は、第1の画像内の人物Uが転倒者か否かを判定する(S110b)。ステップS106又はS109でYESと判定されていた場合、判定部244は、第1の画像内の人物Uが転倒者と判定する。その場合、算出部245bは、転倒継続時間を算出する(S112)。例えば、第1の画像で初めて人物Uが転倒者と判定された場合、算出部245bは、転倒継続時間のカウントを開始する。そして、判定部244は、転倒継続時間が所定時間以上か否かを判定する(S113)。
また、ステップS110bで第1の画像内の人物Uが転倒者でないと判定された場合、算出部245bは、転倒継続時間をクリアする(S114)。ステップS114の後、又は、ステップS113で転倒継続時間が所定時間未満と判定された場合、ステップS101へ戻る。
そして、取得部241は、車載カメラ101により撮影された第1の後続画像を取得する(S101)。第1の後続画像は、車載カメラ101により、上述した第1の画像の後に撮影された画像である。そして、転倒検出装置200bは、第1の後続画像に対してステップS102からS109を行う。
そして、ステップS110bで、第1の後続画像内の人物Uが転倒者と判定された場合、算出部245bは、第1の画像からの転倒継続時間を算出する(S112)。例えば、算出部245bは、直前に算出された転倒継続時間に、第1の画像と第1の後続画像との撮影間隔の時間を加算する。つまり、算出部245bは、転倒継続時間を更新する。そして、判定部244は、更新後の転倒継続時間が所定時間以上か否かを判定する(S113)。
ステップS110bで第1の後続画像内の人物Uが転倒者でないと判定された場合、算出部245bは、転倒継続時間をクリアする(S114)。尚、転倒者でないと判定された場合であっても、算出部245bは、直ちに転倒継続時間をクリアしなくてもよい。例えば、算出部245bは、ステップS110bで転倒者でないと連続して判定された回数を算出し、当該回数が所定回数以上となった場合に、転倒継続時間をクリアしてもよい。これにより、転倒者でないと誤判定された場合など、一時的なノイズを除外することができる。このとき、併せて算出部245bは、当該回数をクリアする。ステップS114の後、又は、ステップS113で転倒継続時間が所定時間未満と判定された場合、ステップS101へ戻る。
一方、ステップS113で転倒継続時間が所定時間以上と判定された場合、出力部246bは、上述したように、転倒者検出の旨を通知する(S111b)。具体的には、出力部246bは、転倒者検出の旨と車両1001の現在位置とを、ネットワークNを介して救急システム300へ送信する。尚、出力部246bは、転倒者検出の旨を車両1001の表示装置に出力してもよい。
このように本実施形態4では、転倒継続時間を計測し、転倒継続時間が所定時間以上となった場合に救急システム300等へ通知する。これにより、救護の必要性の高い転倒者について救急システム300への通知を実現できる。そして、転倒検出処理の精度は、上述した実施形態2等と同等であるため、転倒者(要救助者)の見落としを軽減できる。また、転倒検出装置200bは、上述した実施形態2等と同様に、車両1001の現在の位置情報を通知する。よって、救急システム300は、より正確に要救助者の位置を把握できる。また、車両1001の搭乗者の操作によらず、転倒検出装置200bが自動的に救急システム300へ通知するため、通知の時間短縮につながる。
また、第1の画像で転倒者として検出されたが、その後に撮影された第1の後続画像において転倒者でないと判定された場合には、救急システム300等への通知が行われない。例えば、人物Uが道路で一度、転倒したが、その後、短時間で立ち上がった場合には通知されない。つまり、少し転んだだけの人の場合には、通知されない。よって、過剰な通知を抑制できる。
<実施形態5>
本実施形態5は、上述した実施形態2から4の変形例である。本実施形態5にかかる転倒検出装置は、複数の車両に搭載された複数の車載カメラにより撮影された複数の画像を用いて、道路において人物が転倒しているか否かをより精度良く判定するものである。特に、判定部は、第1の車載カメラが搭載された第1の車両以外の第2の車両に搭載された第2の車載カメラにより撮影された第2の画像から検出された骨格点と道路領域との位置関係にさらに基づいて、道路において人物が転倒しているか否かを判定する。
本実施形態5は、上述した実施形態2から4の変形例である。本実施形態5にかかる転倒検出装置は、複数の車両に搭載された複数の車載カメラにより撮影された複数の画像を用いて、道路において人物が転倒しているか否かをより精度良く判定するものである。特に、判定部は、第1の車載カメラが搭載された第1の車両以外の第2の車両に搭載された第2の車載カメラにより撮影された第2の画像から検出された骨格点と道路領域との位置関係にさらに基づいて、道路において人物が転倒しているか否かを判定する。
図10は、本実施形態5にかかる転倒検出システム1000cを含む全体構成を示すブロック図である。転倒検出システム1000cは、車両1001から100n(nは2以上の自然数。)、転倒検出装置200c及び救急システム300を備える。車両1001は車載カメラ101を備え、車両1002は車載カメラ102を備え、・・・車両100nは車載カメラ10nを備える。車載カメラ101から10nの機能は同等とする。車載カメラ101から10n、転倒検出装置200c及び救急システム300のそれぞれは、ネットワークNを介して通信可能に接続されている。
転倒検出装置200cは、上述した図7の転倒検出装置200aと同様に、車外にサーバとして設置されたものである。そのため、車載カメラ101から10nのそれぞれは、撮影した画像を、ネットワークNを介して転倒検出装置200cへ送信する。転倒検出装置200cは、所定エリア内の車載カメラ101から10nのそれぞれから取得した複数の画像を解析して、画像内の人物が転倒しているかを総合的に判定する。
図11は、本実施形態5にかかる車道上の人物Uと複数の車両1001~1003の位置関係の例を示す図である。図11の例は交差点であり、人物Uは、車両1001と車両1002の進行方向に存在しているものとする。よって、車両1001の車載カメラ101と車両1002の車載カメラ102との撮影範囲には、車道と共に人物Uが含まれる。また、車両1003は、車両1001の進行方向とは逆方向から走行している。そのため、車両1003の車載カメラ103の撮影範囲にも、車道と共に人物Uが含まれる。つまり、車載カメラ101が撮影した第1の画像、車載カメラ102が撮影した第2の画像、及び、車載カメラ103が撮影した第3の画像には、それぞれ、共通する車道(交差点)と人物Uとが含まれる。尚、図11では、車道上に人物Uが存在する例を示したが、車道以外の道路、例えば歩道上に人物Uが存在する場合にも本実施形態は適用可能である。
図12は、本実施形態5にかかる転倒検出処理の流れを示すフローチャートである。まず、転倒検出装置200cは、所定エリア内の複数の車載カメラにより撮影された複数の画像を取得する(S101c)。次に、転倒検出装置200cは、各画像から車外の人物の骨格点の集合を検出する(S102c)。また、転倒検出装置200cは、各画像から道路領域を検出する(S103c)。例えば、転倒検出装置200cは、車載カメラ101から103により撮影された第1から第3の画像を取得する。そして、転倒検出装置200cは、第1から第3の画像のそれぞれから人物Uの骨格点の集合を検出する。例えば、第1の画像から人物Uの骨格点の一部が検出され、第2及び第3の画像からも人物Uの骨格点の一部が検出されるものとする。そして、転倒検出装置200cは、これらの検出された骨格点を合わせて、骨格点の集合とする。そのため、各骨格点の一部は、位置が重複する場合もある。また、転倒検出装置200cは、第1から第3の画像のそれぞれから道路領域を検出する。そして、転倒検出装置200cは、これらの検出された道路領域の位置を合わせて、道路領域として検出する。
ステップS102c及びS103cの後、上述した図5と同様に、ステップS104からS111が実行される。そのため、人物Uが転倒者と判定された場合、転倒検出装置200cは、転倒者検出の旨及び車両1001等の位置情報を、ネットワークNを介して救急システム300へ送信する。尚、転倒検出装置200cは、複数の車載カメラの画像からの判定結果(検出結果)に基づいて、上述した実施形態4のように、転倒継続時間を算出してもよい。
このように、本実施形態5では、転倒検出装置200cは、複数の車両の車載カメラから撮影画像を収集し、収集された画像の中から転倒者を検出する。つまり、転倒検出装置200cは、複数の車載カメラからの画像を集約して転倒検出処理を行う。そのため、1台の車載カメラによる画像を用いる場合と比べて、人物の骨格点や道路領域を多角的に検出でき、転倒者をより精度よく検出することができる。
<その他の実施形態>
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える転倒検出装置。
(付記A2)
前記第1の検出手段により前記人物の頭部の骨格点が検出された場合、前記道路領域に基づき前記頭部の骨格点における地面からの第1の距離を算出する第1の算出手段をさらに備え、
前記判定手段は、前記第1の距離が第1の閾値以下である場合に、前記人物が転倒していると判定する
付記A1に記載の転倒検出装置。
(付記A3)
前記第1の検出手段により前記人物の膝部分の骨格点が検出された場合、前記道路領域に基づき前記膝部分の骨格点における地面からの第2の距離を算出する第2の算出手段をさらに備え、
前記判定手段は、前記第2の距離が第2の閾値以下である場合に、前記人物が転倒していると判定する
付記A1又はA2に記載の転倒検出装置。
(付記A4)
前記判定手段は、前記第1の検出手段により前記人物の頭部の骨格点が検出されなかった場合、前記第2の距離が第2の閾値以下か否かを判定する
付記A3に記載の転倒検出装置。
(付記A5)
前記第1の画像から検出された前記骨格点と前記道路領域との位置関係に基づいて、前記人物が転倒していると判定された場合、前記第1の画像の後に撮影された第1の後続画像に基づき前記人物の転倒継続時間を算出する第3の算出手段と、
前記転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段と、
をさらに備える付記A1乃至A4のいずれか1項に記載の転倒検出装置。
(付記A6)
前記判定手段は、前記第1の車載カメラが搭載された第1の車両以外の第2の車両に搭載された第2の車載カメラにより撮影された第2の画像から検出された前記骨格点と前記道路領域との位置関係にさらに基づいて、前記道路において前記人物が転倒しているか否かを判定する
付記A1乃至A5のいずれか1項に記載の転倒検出装置。
(付記A7)
前記判定手段は、前記骨格点の位置と前記道路領域の位置とから算出される前記骨格点における地面からの距離を前記位置関係とする
付記A1乃至A6のいずれか1項に記載の転倒検出装置。
(付記B1)
第1の車載カメラと、
転倒検出装置と、を備え、
前記転倒検出装置は、
前記第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える転倒検出システム。
(付記B2)
前記第1の検出手段は、少なくとも前記人物の膝部分の骨格点を検出し、
前記判定手段は、前記道路領域に基づき前記膝部分の骨格点における地面からの距離が第1の閾値以下である場合に、前記人物が転倒していると判定する
付記B1に記載の転倒検出システム。
(付記C1)
コンピュータが、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出し、
前記第1の画像から道路の領域を示す道路領域を検出し、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する、
転倒検出方法。
(付記D1)
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出処理と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出処理と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
をコンピュータに実行させる転倒検出プログラムが格納された非一時的なコンピュータ可読媒体。
(付記A1)
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える転倒検出装置。
(付記A2)
前記第1の検出手段により前記人物の頭部の骨格点が検出された場合、前記道路領域に基づき前記頭部の骨格点における地面からの第1の距離を算出する第1の算出手段をさらに備え、
前記判定手段は、前記第1の距離が第1の閾値以下である場合に、前記人物が転倒していると判定する
付記A1に記載の転倒検出装置。
(付記A3)
前記第1の検出手段により前記人物の膝部分の骨格点が検出された場合、前記道路領域に基づき前記膝部分の骨格点における地面からの第2の距離を算出する第2の算出手段をさらに備え、
前記判定手段は、前記第2の距離が第2の閾値以下である場合に、前記人物が転倒していると判定する
付記A1又はA2に記載の転倒検出装置。
(付記A4)
前記判定手段は、前記第1の検出手段により前記人物の頭部の骨格点が検出されなかった場合、前記第2の距離が第2の閾値以下か否かを判定する
付記A3に記載の転倒検出装置。
(付記A5)
前記第1の画像から検出された前記骨格点と前記道路領域との位置関係に基づいて、前記人物が転倒していると判定された場合、前記第1の画像の後に撮影された第1の後続画像に基づき前記人物の転倒継続時間を算出する第3の算出手段と、
前記転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段と、
をさらに備える付記A1乃至A4のいずれか1項に記載の転倒検出装置。
(付記A6)
前記判定手段は、前記第1の車載カメラが搭載された第1の車両以外の第2の車両に搭載された第2の車載カメラにより撮影された第2の画像から検出された前記骨格点と前記道路領域との位置関係にさらに基づいて、前記道路において前記人物が転倒しているか否かを判定する
付記A1乃至A5のいずれか1項に記載の転倒検出装置。
(付記A7)
前記判定手段は、前記骨格点の位置と前記道路領域の位置とから算出される前記骨格点における地面からの距離を前記位置関係とする
付記A1乃至A6のいずれか1項に記載の転倒検出装置。
(付記B1)
第1の車載カメラと、
転倒検出装置と、を備え、
前記転倒検出装置は、
前記第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える転倒検出システム。
(付記B2)
前記第1の検出手段は、少なくとも前記人物の膝部分の骨格点を検出し、
前記判定手段は、前記道路領域に基づき前記膝部分の骨格点における地面からの距離が第1の閾値以下である場合に、前記人物が転倒していると判定する
付記B1に記載の転倒検出システム。
(付記C1)
コンピュータが、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出し、
前記第1の画像から道路の領域を示す道路領域を検出し、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する、
転倒検出方法。
(付記D1)
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出処理と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出処理と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
をコンピュータに実行させる転倒検出プログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 転倒検出装置
11 第1の検出部
12 第2の検出部
13 判定部
1000 転倒検出システム
1001 車両
1002 車両
1003 車両
100n 車両
100 車載カメラ
101 車載カメラ
102 車載カメラ
103 車載カメラ
10n 車載カメラ
200 転倒検出装置
210 記憶部
211 転倒検出プログラム
212 第1の閾値
213 第2の閾値
220 メモリ
230 IF部
240 制御部
241 取得部
242 第1の検出部
243 第2の検出部
244 判定部
245 算出部
246 出力部
300 救急システム
N ネットワーク
U 人物
5 撮影画像
51 骨格点の集合
511 骨格点
512 骨格点
513 骨格点
52 道路領域
1000a 転倒検出システム
200a 転倒検出装置
200b 転倒検出装置
211b 転倒検出プログラム
245b 算出部
246b 出力部
1000c 転倒検出システム
200c 転倒検出装置
11 第1の検出部
12 第2の検出部
13 判定部
1000 転倒検出システム
1001 車両
1002 車両
1003 車両
100n 車両
100 車載カメラ
101 車載カメラ
102 車載カメラ
103 車載カメラ
10n 車載カメラ
200 転倒検出装置
210 記憶部
211 転倒検出プログラム
212 第1の閾値
213 第2の閾値
220 メモリ
230 IF部
240 制御部
241 取得部
242 第1の検出部
243 第2の検出部
244 判定部
245 算出部
246 出力部
300 救急システム
N ネットワーク
U 人物
5 撮影画像
51 骨格点の集合
511 骨格点
512 骨格点
513 骨格点
52 道路領域
1000a 転倒検出システム
200a 転倒検出装置
200b 転倒検出装置
211b 転倒検出プログラム
245b 算出部
246b 出力部
1000c 転倒検出システム
200c 転倒検出装置
Claims (11)
- 第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える転倒検出装置。 - 前記第1の検出手段により前記人物の頭部の骨格点が検出された場合、前記道路領域に基づき前記頭部の骨格点における地面からの第1の距離を算出する第1の算出手段をさらに備え、
前記判定手段は、前記第1の距離が第1の閾値以下である場合に、前記人物が転倒していると判定する
請求項1に記載の転倒検出装置。 - 前記第1の検出手段により前記人物の膝部分の骨格点が検出された場合、前記道路領域に基づき前記膝部分の骨格点における地面からの第2の距離を算出する第2の算出手段をさらに備え、
前記判定手段は、前記第2の距離が第2の閾値以下である場合に、前記人物が転倒していると判定する
請求項1又は2に記載の転倒検出装置。 - 前記判定手段は、前記第1の検出手段により前記人物の頭部の骨格点が検出されなかった場合、前記第2の距離が第2の閾値以下か否かを判定する
請求項3に記載の転倒検出装置。 - 前記第1の画像から検出された前記骨格点と前記道路領域との位置関係に基づいて、前記人物が転倒していると判定された場合、前記第1の画像の後に撮影された第1の後続画像に基づき前記人物の転倒継続時間を算出する第3の算出手段と、
前記転倒継続時間が所定時間以上である場合、所定の通知先へその旨を通知する通知手段と、
をさらに備える請求項1乃至4のいずれか1項に記載の転倒検出装置。 - 前記判定手段は、前記第1の車載カメラが搭載された第1の車両以外の第2の車両に搭載された第2の車載カメラにより撮影された第2の画像から検出された前記骨格点と前記道路領域との位置関係にさらに基づいて、前記道路において前記人物が転倒しているか否かを判定する
請求項1乃至5のいずれか1項に記載の転倒検出装置。 - 前記判定手段は、前記骨格点の位置と前記道路領域の位置とから算出される前記骨格点における地面からの距離を前記位置関係とする
請求項1乃至6のいずれか1項に記載の転倒検出装置。 - 第1の車載カメラと、
転倒検出装置と、を備え、
前記転倒検出装置は、
前記第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出手段と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出手段と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定手段と、
を備える転倒検出システム。 - 前記第1の検出手段は、少なくとも前記人物の膝部分の骨格点を検出し、
前記判定手段は、前記道路領域に基づき前記膝部分の骨格点における地面からの距離が第1の閾値以下である場合に、前記人物が転倒していると判定する
請求項8に記載の転倒検出システム。 - コンピュータが、
第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出し、
前記第1の画像から道路の領域を示す道路領域を検出し、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する、
転倒検出方法。 - 第1の車載カメラにより撮影された第1の画像から、車外の人物の骨格点を検出する第1の検出処理と、
前記第1の画像から道路の領域を示す道路領域を検出する第2の検出処理と、
前記骨格点と前記道路領域との位置関係に基づいて、前記道路において前記人物が転倒しているか否かを判定する判定処理と、
をコンピュータに実行させる転倒検出プログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/001285 WO2023135781A1 (ja) | 2022-01-17 | 2022-01-17 | 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/001285 WO2023135781A1 (ja) | 2022-01-17 | 2022-01-17 | 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023135781A1 true WO2023135781A1 (ja) | 2023-07-20 |
Family
ID=87278636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/001285 WO2023135781A1 (ja) | 2022-01-17 | 2022-01-17 | 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023135781A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056382A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018097185A (ja) * | 2016-12-14 | 2018-06-21 | パナソニックIpマネジメント株式会社 | 音声対話装置、音声対話方法、音声対話プログラム及びロボット |
JP2019153184A (ja) * | 2018-03-05 | 2019-09-12 | 株式会社 ディー・エヌ・エー | 自動運転車両を制御するためのシステム、方法、及びプログラム |
-
2022
- 2022-01-17 WO PCT/JP2022/001285 patent/WO2023135781A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056382A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2018097185A (ja) * | 2016-12-14 | 2018-06-21 | パナソニックIpマネジメント株式会社 | 音声対話装置、音声対話方法、音声対話プログラム及びロボット |
JP2019153184A (ja) * | 2018-03-05 | 2019-09-12 | 株式会社 ディー・エヌ・エー | 自動運転車両を制御するためのシステム、方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7052663B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
CN108062095B (zh) | 在概率框架内使用传感器融合的物体追踪 | |
JP7499256B2 (ja) | ドライバの挙動を分類するためのシステムおよび方法 | |
US11308717B2 (en) | Object detection device and object detection method | |
JP2019175451A (ja) | 交通状況のリアルタイム検出 | |
GB2547999A (en) | Tracking objects within a dynamic environment for improved localization | |
JP6556563B2 (ja) | 検出装置、検出方法、検出プログラムおよび情報処理システム | |
WO2022142786A1 (zh) | 驾驶行为识别方法、设备和存储介质 | |
CN111497741B (zh) | 碰撞预警方法及装置 | |
CN113469115B (zh) | 用于输出信息的方法和装置 | |
JP2009070344A (ja) | 画像認識装置、画像認識方法および電子制御装置 | |
JP6711982B1 (ja) | 交通安全支援装置、携帯情報端末、及びプログラム | |
Ijjina et al. | Accident detection from dashboard camera video | |
WO2023135781A1 (ja) | 転倒検出装置、システム及び方法、並びに、コンピュータ可読媒体 | |
Bhandari et al. | Fullstop: A camera-assisted system for characterizing unsafe bus stopping | |
US20220324387A1 (en) | Display control system, display control method, and non-transitory storage medium | |
WO2023095196A1 (ja) | 乗客監視装置、乗客監視方法、及び非一時的なコンピュータ可読媒体 | |
CN115100632A (zh) | 膨胀点云识别方法、装置、计算机设备和存储介质 | |
KR102084329B1 (ko) | 차량 내 유아 모니터링 방법 및 시스템 | |
JP6773854B2 (ja) | 検出装置、検出方法、および検出プログラム | |
WO2020194391A1 (ja) | 事故予測率算出コンピュータ、方法及びプログラム | |
CN111210617A (zh) | 适用于专用车道的车道判断方法、***、终端及介质 | |
US20220381566A1 (en) | Techniques for detecting a tracking vehicle | |
CN112596620B (zh) | 使用智能手机传感器数据的碰撞检测 | |
WO2023047535A1 (ja) | 利用者検出装置、利用者検出システム、利用者検出方法、及び非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22920306 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023573782 Country of ref document: JP |