CN114999222B - 异常举动通知装置、通知***、通知方法以及记录介质 - Google Patents

异常举动通知装置、通知***、通知方法以及记录介质 Download PDF

Info

Publication number
CN114999222B
CN114999222B CN202111611533.XA CN202111611533A CN114999222B CN 114999222 B CN114999222 B CN 114999222B CN 202111611533 A CN202111611533 A CN 202111611533A CN 114999222 B CN114999222 B CN 114999222B
Authority
CN
China
Prior art keywords
detection object
image
abnormal behavior
behavior
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111611533.XA
Other languages
English (en)
Other versions
CN114999222A (zh
Inventor
石川茉莉江
浜岛绫
堀田大地
伊藤隼人
佐佐木英一
小畠康宏
楠本光优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114999222A publication Critical patent/CN114999222A/zh
Application granted granted Critical
Publication of CN114999222B publication Critical patent/CN114999222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明涉及异常举动通知装置、异常举动通知***、异常举动通知方法以及记录介质。服务器具备：登记部，其将用于识别检测对象的识别信息登记于存储部；检测对象判定部，其基于识别信息判定拍摄路上或其周边而得到的图像中是否显示有检测对象；异常举动判定部，其在图像中显示有检测对象的情况下判定检测对象是否正在做出与检测对象的通常的举动不同的异常举动；以及警报发送部，其在检测对象正在做出异常举动的情况下发送警报。

Description

异常举动通知装置、通知***、通知方法以及记录介质
技术领域
本发明涉及异常举动(行为)通知装置、异常举动通知***、异常举动通知方法以及记录介质。
背景技术
以往，已知一种技术：第1车辆在通过车载摄像头(camera)检测到交通违章车辆时将交通违章的证据影像、该交通违章车辆的特征信息等发送给服务器，服务器将交通违章车辆的特征信息等发送给交通违章车辆的推定位置附近的第2车辆，第2车辆拍摄交通违章车辆的号码牌、驾驶员等的影像并向服务器发送，服务器将这些信息发送给客户端(公安***等)(例如参照日本特开2020-61079)。
发明内容
近来，车辆被盗的手段越来越巧妙，有时车辆悄无声息地就被盗了。另外，车辆被盗有时在几分钟左右时间内就可进行。因此，即使将车辆停在自家车库里，要捕捉被盗场面来抓捕罪犯也是困难的。因此，车辆的所有者有如下需求：希望在车辆遭遇被盗的情况下等、自身保有(拥有)的物品有与通常不同的举动的情况下被火速告知。
另外，随着少子老龄化社会的到来，照料需护理者(被认定为需要长期护理的人)和独居老人等在全社会已成为重要的事情。对于这些需护理者和老人的家人或者朋友等相关人员而言，当需护理者、老人的行动与日常不同或徘徊不前时，会有如需护理者、老人下落不明或者被卷入某些麻烦等安全方面的担忧。这些相关人员有如下需求：希望在需护理者、老人徘徊不前等有与通常不同的举动的情况下被火速告知。
日本特开2020-61079中记载的技术是在检测到非特定的交通违章车辆的情况下拍摄交通违章车辆的号码牌、驾驶员等的影像而提供给客户端的技术。因此，对于如上述这种在用户希望照看的人或物有与通常不同的举动的情况下向用户提供信息，则没有任何设想，尚有改善的余地。
鉴于上述问题，本公开的目的在于，提供在用户希望照看的检测对象做出与通常不同的异常举动的情况下能够通知警报(alert)的异常举动通知装置、异常举动通知***、异常举动通知方法以及记录介质。
本公开的主旨如下。
(1)一种异常举动通知装置，具备：登记部，其将用于识别检测对象的识别信息登记于存储部；判定部，其基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示(表示)有所述检测对象；异常举动判定部，其在所述图像中显示有所述检测对象的情况下，判定所述检测对象是否正在做出(存在)与所述检测对象的通常的举动不同的异常举动；以及发送部，其在所述检测对象正在做出所述异常举动的情况下发送警报。
(2)根据上述(1)所述的异常举动通知装置，所述图像是在路上行驶的移动体拍摄到的图像。
(3)根据上述(2)所述的异常举动通知装置，所述通常的举动是所述检测对象在预定的移动路径和预定的时间段移动，所述异常举动判定部在基于拍摄到显示有所述检测对象的所述图像时的所述移动体的位置的所述检测对象的位置不包含于所述预定的移动路径的情况下、或者在拍摄到该图像的时刻不包含于所述预定的时间段的情况下，判定为所述检测对象正在做出与所述通常的举动不同的所述异常举动。
(4)根据上述(1)～(3)中任一项所述的异常举动通知装置，所述检测对象是车辆，所述识别信息是该车辆的号码牌信息。
(5)根据上述(1)～(3)中任一项所述的异常举动通知装置，所述检测对象是特定的人，所述识别信息是该特定的人的面部(人脸)图像。
(6)根据上述(1)～(5)中任一项所述的异常举动通知装置，所述登记部登记从用户终端接收到的所述识别信息。
(7)根据上述(6)所述的异常举动通知装置，所述登记部将从所述用户终端接收到的所述通常的举动与所述识别信息一起进行登记。
(8)根据上述(6)或者(7)所述的异常举动通知装置，所述发送部向所述用户终端发送所述警报。
(9)根据上述(3)所述的异常举动通知装置，具备推定部，所述推定部基于所述识别信息，根据所述移动体过去拍摄到的显示有所述检测对象的多个图像，确定拍摄到该图像时的所述检测对象的位置，并基于所确定的所述检测对象的位置和该图像的拍摄时刻，推定所述预定的移动路径和所述预定的时间段。
(10)根据上述(1)所述的异常举动通知装置，所述检测对象是特定的人，所述通常的举动是该特定的人由随从人员陪同，所述异常举动判定部在所述图像中显示有所述特定的人、且所述图像中在与该特定的人相距预定距离以内持续预定时间以上地没有显示同一其他人的情况下，判定为该特定的人正在做出与所述通常的举动不同的所述异常举动。
(11)根据上述(10)所述的异常举动通知装置，所述识别信息是所述特定的人的面部图像。
(12)一种异常举动通知***，是具备用户所拥有的用户终端以及与该用户终端以能够通信的方式连接的异常举动通知装置的异常举动通知***，具备：取得部，其取得输入到所述用户终端的用于识别检测对象的识别信息；登记部，其将所述识别信息登记于存储部；判定部，其基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象；异常举动判定部，其在所述图像中显示有所述检测对象的情况下，判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动；以及发送部，其在所述检测对象正在做出所述异常举动的情况下，向所述用户终端发送警报。
(13)一种异常举动通知方法，包括以下步骤：将用于识别检测对象的识别信息登记于存储部的步骤；基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象的步骤；在所述图像中显示有所述检测对象的情况下判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动的步骤；以及在所述检测对象正在做出所述异常举动的情况下发送警报的步骤。
(14)一种记录介质，记录有用于使计算机作为以下单元发挥功能的程序：将用于识别检测对象的识别信息登记于存储部的单元；基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象的单元；在所述图像中显示有所述检测对象的情况下判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动的单元；以及在所述检测对象正在做出所述异常举动的情况下发送警报的单元。
根据本发明，能取得如下效果：能够提供在用户希望照看的检测对象做出与通常不同的异常举动的情况下能通知警报的异常举动通知装置、异常举动通知***、异常举动通知方法以及记录介质。
附图说明
以下，参照附图对本发明的示例性实施方式的特征、优点以及技术和产业意义进行说明，在附图中相同的附图标记表示相同的要素，并且其中：
图1是表示本发明的一个实施方式的异常举动通知***的构成的示意图。
图2是表示移动体、服务器以及用户终端的硬件结构的框图。
图3是表示移动体所具备的控制部的功能块(block)的示意图。
图4是表示服务器所具备的控制部的功能块的示意图。
图5是表示在检测对象为车辆的情况下判定从移动体接收到的图像中是否显示有作为检测对象的车辆的情形的示意图。
图6是表示在检测对象为需护理者的情况下判定从移动体接收到的图像中是否显示有作为检测对象的需护理者的情形的示意图。
图7是在道路被区划为棋盘状的区域上将通常举动推定部所确定的车辆的多个位置表示为点群的示意图。
图8是表示通常举动推定部使用基于规则的推定来推定车辆的通常举动的方法的一例的图。
图9是表示通常举动推定部使用机器学习来推定车辆的通常举动的方法的一例的图。
图10是相对于图7所示的车辆的通常的举动表示车辆表现出异常举动的情况的示意图。
图11是表示在图像中显示有作为检测对象的需护理者的情况下异常举动判定部判定为图像中示出的需护理者的状态是与通常举动的状态不同的异常举动的情形的示意图。
图12是表示用户终端所具备的控制部的功能块的示意图。
图13是表示在用户终端为具有触摸面板的智能手机的情况下用户操作输入部来输入与检测对象有关的登记信息并发送时的显示部的显示画面的一例的示意图。
图14是表示在用户终端为具有触摸面板的智能手机的情况下用户操作输入部来发送与检测对象有关的信息时的显示部的显示画面的另一例的示意图。
图15是表示显示在用户终端的显示部的显示画面中的警报的一例的示意图。
图16是表示由移动体、服务器以及用户终端进行的处理的时序图。
图17是表示服务器推定检测对象的通常举动的情况下的处理的流程图。
具体实施方式
以下，参照附图，对本发明涉及的若干个实施方式进行说明。然而，这些说明只是意在例示本发明的优选的实施方式，而并非意在将本发明限定于这样的特定的实施方式。
图1是表示本发明的一个实施方式的异常举动通知***1000的构成的示意图。该异常举动通知***1000构成为具有在道路上行驶的一个或多个移动体100、服务器200以及用户能够操作的用户终端300。移动体100、服务器200以及用户终端300经由互联网等通信网络500可通信地连接。此外，移动体100、服务器200以及用户终端300也可以经由WiFi等无线通信、LTE、LTE-Advance、4G、5G等手机网的无线网络、虚拟私有网络(VPN：VirtualPrivate Network)等专用网络、局域网(LAN)等网络连接。
移动体100是在道路上行驶的汽车等车辆。在本实施方式中，作为一例，移动体100是基于预先确定的指令在道路上行驶的输送乘客的自动驾驶公交车，在智慧城市(smartcity)内定期运行。此外，所谓智慧城市，是由日本国土交通厅提议的，针对都市具有的各种问题，活用ICT(Information and Communication Technology，信息和通信技术)等新技术，进行管理经营(计划、配备、管理/运营等)，实现整体优化的可持续的都市或地区。移动体100不限定于被自动驾驶的车辆，也可以是通过手动驾驶的车辆。
移动体100具备摄像头，在运行时对移动体100的周围进行拍摄，生成显示有周围的车辆、人、构造物(建筑物)等的图像。而且，移动体100将生成的图像向服务器200发送。
服务器200是管理多台移动体100的装置，发布对于各移动体100的运行指令。运行指令包含移动体100的运行路径、运行时刻、停车的公交站等信息，从服务器200向移动体100发送。另外，服务器200接收从移动体100发送来的图像，在图像中显示有预先登记的检测对象、且检测对象有与通常不同的异常举动的情况下发出警报(警告)。警报例如被发送给登记了检测对象的用户终端300。
用户终端300例如是智能手机、手机终端、平板终端、个人信息终端、可穿戴计算机(智能手表等)等可携带的计算机。用户终端300也可以是个人计算机(PC：PersonalComputer)。用户终端300为了将检测对象登记于服务器200而将与检测对象有关的登记信息发送给服务器200。另外，用户终端300接收从服务器200发送来的警报，并向用户通知警报。
检测对象是用户要求检测异常举动的对象，用户保有的车辆(汽车)或者用户照看的人(家人、朋友等)、物体或构造物等属于该对象。只要是能由移动体100的摄像头拍摄，检测对象广泛地包括用户饲养的宠物、用户自己的家(玄关、窗户、墙壁等)等用户要求检测异常举动的对象。
由于移动体100定期地在智慧城市内运行，因而由移动体100的摄像头拍摄到的图像中记录有智慧城市内的车辆、人或构造物等的状况。因此，服务器200通过收集并分析由移动体100拍摄到的图像，能够监视智慧城市内发生的事情和出现的现象。特别是在移动体100为多个的情况下，服务器200能够基于更多的图像详细地监视智慧城市内发生的事情和出现的现象。
此外，摄像头也可以不设置于移动体100，例如也可以是设置在智慧城市内的预定位置的多个监视摄像头(定点摄像头)。在该情况下，异常举动通知***1000由多个监视摄像头、服务器200以及用户终端300经由互联网等通信网络500可通信地连接而构成。在该情况下，服务器200也能够通过收集并分析由监视摄像头拍摄到的图像，监视智慧城市内发生的事情和出现的现象。
登记于服务器200的检测对象若在移动体100的运行期间存在于移动体100的运行路径上或其周边则会与移动体100相遇，被移动体100具备的摄像头拍摄到。当检测对象被拍摄到时，由服务器200利用拍摄到的图像和移动体100的位置信息，识别拍摄时的检测对象的位置和时刻。另外，当检测对象被拍摄到时，由服务器200从图像中识别拍摄时的检测对象的状态。服务器200识别了这些后，判定检测对象是否存在与登记于服务器200的检测对象的通常的举动不同的异常举动。
检测对象的异常举动包括检测对象存在于与通常不同的时间段的情况或者检测对象存在于与通常不同的地方的情况等、检测对象所在的时间或者地方与通常不同的情况。例如在检测对象为车辆且车辆主要用于早晚通勤的情况下，车辆被驾驶的时间段和路径大致是固定的。在该情况下，车辆的通常的举动是在早上和傍晚的时间段行驶于通勤路径，而车辆在白天的时间段行驶或者车辆行驶于与通勤路径不同的路径是与通常不同的异常的举动。另外，在检测对象为老人的情况下，老人散步的时间段和路径多数情况下大致是确定的。在该情况下，老人的通常的举动是在照常的时间段按照常的路径散步，而在与照常的时间段不同的时间段散步或者按与照常的路径不同的路径散步是与通常不同的异常的举动。
另外，检测对象的异常举动包括检测对象以与通常不同的状态行动的情况等、检测对象处于与通常不同的状态的情况。例如在检测对象为特定的人且通常该特定的人会与其他人一起两个人行动的情况下，检测对象的异常举动是该特定的人独自一人行动的情况。例如在检测对象为需护理者的情况下，需护理者在散步时大多会与随从的看护者一起散步。在该情况下，需护理者的通常的举动是与看护者一起散步，而需护理者独自一人外出走动是与通常不同的异常的举动。另外，例如在检测对象为自家的门且通常此门为关闭着的情况下，检测对象的异常举动是此门打开着的情况。
为了检测这些检测对象的异常举动，预先在服务器200中登记有检测对象与该检测对象的通常举动的组合。登记是基于从用户终端300发送来的与检测对象有关的登记信息进行的。
在检测对象存在与通常不同的异常举动的情况下接收到警报的用户能够基于警报进行适当的应对。例如在检测对象为用户保有的车辆的情况下，存在车辆被盗的可能性，用户能够及早注意到被盗，因而能够立即进行报警等应对。由此，达成早日逮捕罪犯。另外，在检测对象为需护理者或者老人的情况下，由于存在行动与日常的不同、徘徊不前的可能性，因此接收到警报的用户能够进行搜寻等应对。
图2是表示移动体100、服务器200以及用户终端300的硬件结构的框图。移动体100具有控制部110、通信I/F120、定位信息接收部130、摄像头140以及存储部150。控制部110、通信I/F120、定位信息接收部130、摄像头140和存储部150各自经由遵照诸如控制器域网络(CAN：Controller Area Network)、以太网(注册商标)(Ethernet(注册商标))之类的标准的车内网络可通信地连接。
移动体100的控制部110由处理器构成。处理器具有一个或多个CPU(CentralProcessing Unit)及其***电路。处理器也可以还具有诸如逻辑运算单元、数值运算单元或者图形处理单元之类的其他的运算电路。控制部110通过在存储部150的工作区域可执行地展开的计算机程序的执行，进行定位信息接收部130或者摄像头140等周边设备的控制，从而提供符合预定目的的功能。
移动体100的通信I/F120是与通信网络500的通信接口，例如具有天线和信号处理电路，信号处理电路执行如无线信号的调制和解调之类的与无线通信关联的各种处理。通信I/F120例如从连接于通信网络500的无线基站接收下行链路的无线信号，还向无线基站发送上行链路的无线信号。通信I/F120从接收到的下行链路的无线信号中取出从服务器200向移动体100传送的信号并交给控制部110。另外，通信I/F120生成并发送上行链路的无线信号，该无线信号包含从控制部110收到的要向服务器200发送的信号。
移动体100的定位信息接收部130取得表示移动体100的当前位置和姿势的定位信息。例如，定位信息接收部130能够设为GPS(Global Positioning System)接收机。定位信息接收部130每当接收定位信息时，将所取得的定位信息经由车内网络向控制部110输出。
移动体100的摄像头140是车载摄像头，具有由CCD(电荷耦合器件)或者C-MOS(互补金属氧化物半导体)等对可见光具有灵敏度的光电转换元件的阵列所构成的二维检测器、以及在该二维检测器上将成为拍摄检测对象的区域的像进行成像的成像光学***。摄像头140朝向移动体100外面而设置，按预定的拍摄周期(例如1/30秒～1/10秒)对路上或其周边等、移动体100的周围(例如移动体100的前方)进行拍摄，生成表示移动体100的周围的图像。摄像头140可以由立体摄像头构成，也可以构成为根据左右图像的视差取得到图像上的各构造物的距离。摄像头140每当生成图像时，将该生成的图像与拍摄时刻一起经由车内网络向控制部110输出。
移动体100的存储部150例如具有易失性的半导体存储器和非易失性的半导体存储器。存储部150中存储有摄像头140的内部参数等信息。内部参数包括摄像头140在移动体100中的安装位置、摄像头140相对于移动体100的姿势、摄像头140的焦距等。
服务器200具有控制部210、通信I/F220以及存储部230，控制部210是异常举动通知装置的一个技术方案。服务器200的控制部210与移动体100的控制部110同样地由处理器构成。服务器200的通信I/F220包括与通信网络500连接的通信模块(module)。例如，通信I/F220也可以包括与有线LAN(Local Area Network)标准对应的通信模块。服务器200经由通信I/F220连接于通信网络500。服务器200的存储部230与移动体100的存储部150同样，例如具有易失性的半导体存储器和非易失性的半导体存储器。
用户终端300具有控制部310、通信I/F320、存储部330、显示部340、输入部350、摄像头360以及扬声器370。控制部310与移动体100的控制部110同样地由处理器构成。
用户终端300的通信I/F320与移动体100的通信I/F120同样地构成。用户终端300的存储部330与移动体100的存储部150同样，例如具有易失性的半导体存储器和非易失性的半导体存储器。用户终端300的显示部340例如由液晶显示器(LCD)构成，在用户终端300从服务器200接收到警报的情况下显示警报。用户终端300的输入部350例如由触控传感器、鼠标、键盘等构成，被输入与用户的操作相应的信息。在输入部350由触控传感器构成的情况下，显示部340与输入部350也可以构成为一体的触摸面板。用户终端300的摄像头360与移动体100的摄像头140同样地构成，具有由光电转换元件的阵列构成的二维检测器以及在该二维检测器上将成为拍摄检测对象的区域的像进行成像的成像光学***。用户终端300的扬声器370在用户终端300从服务器200接收到警报的情况下通过语音发出警报。
图3是表示移动体100所具备的控制部110的功能块的示意图。移动体100的控制部110具有图像取得部110a以及发送部110b。控制部110具有的这些各部例如是由在控制部110上工作的计算机程序所实现的功能模块。也即是说，控制部110具有的这些各部由控制部110和用于使其发挥功能的程序(软件)构成。另外，该程序也可以记录于移动体100的存储部150或者从外部连接的记录介质。或者，控制部110具有的这些各部也可以是设置于控制部110的专用的运算电路。
控制部110的图像取得部110a取得摄像头140生成的图像数据。例如，图像取得部110a按每预定时间取得摄像头140生成的图像。此外，图像数据关联有拍摄时刻。
控制部110的发送部110b进行将图像取得部110a取得的图像、拍摄到该图像的拍摄时刻、在拍摄到该图像的拍摄时刻定位信息接收部130接收到的定位信息以及摄像头140的内部参数经由通信I/F120向服务器200发送的处理。
图4是表示服务器200所具备的控制部210的功能块的示意图。服务器200的控制部210具有接收部210a、登记部210b、检测对象判定部210c、通常举动推定部210d、异常举动判定部210e以及警报发送部210f。控制部210具有的这些各部例如是由在控制部210上工作的计算机程序所实现的功能模块。也即是说，控制部210具有的这些各部由控制部210和用于使其发挥功能的程序(软件)构成。另外，该程序也可以记录于服务器200的存储部230或者从外部连接的记录介质。或者，控制部210具有的这些各部也可以是设置于控制部210的专用的运算电路。
此外，图4所示的服务器200的控制部210的功能块也可以设置于移动体100的控制部110。换言之，移动体100也可以具备作为异常举动通知装置的服务器200的功能。在该情况下，异常举动通知***1000仅由移动体100和用户终端300构成。
控制部210的接收部210a经由通信I/F220接收从移动体100发送来的图像、拍摄时刻、移动体100的定位信息以及摄像头140的内部参数。另外，接收部210a经由通信I/F220接收从用户终端300发送来的与检测对象有关的登记信息。
控制部210的登记部210b将从用户终端300接收到的与检测对象有关的登记信息登记在存储部230中。具体而言，登记部210b将用于识别检测对象的识别信息与该检测对象的通常举动的组合登记在存储部230中。识别信息是车辆的车牌号或者人的面部图像等信息。在检测对象为车辆的情况下，登记部210b登记从用户终端300接收到的车辆的车牌号与车辆的通常举动的组合。另外，在检测对象为需护理者或者老人等人的情况下，登记部210b登记从用户终端300接收到的这些人的面部图像与这些人的通常举动的组合。
检测对象的通常举动包含于从用户终端300接收到的登记信息。在检测对象为车辆的情况下，登记部210b登记从用户终端300接收到的包括车辆行驶的时间段、车辆行驶的路径的通常举动。在检测对象为需护理者或者老人等人的情况下，登记部210b登记从用户终端300接收到的包括人步行的时间段、路径、有无看护者等的通常举动。另一方面，检测对象的通常举动也可以由服务器200进行推定。在该情况下，从用户终端300接收到的登记信息也可以不包含通常举动。
控制部210的检测对象判定部210c基于登记部210b登记的用于识别检测对象的识别信息，每当接收部210a从移动体100接收图像时，判定在移动体100一边移动一边拍摄的图像中是否显示有检测对象。
图5是表示在检测对象为车辆的情况下判定从移动体100接收到的图像10中是否显示有作为检测对象的车辆的情形的示意图。在检测对象为车辆的情况下，检测对象判定部210c基于登记部210b登记的车辆的车牌号，判定从移动体100接收到的图像10中是否包含具有与该车牌号相符的车牌号20a的车辆20。此时，例如通过显示有车辆的车牌号的模板图像与从移动体100接收到的图像10的模板匹配，或者通过将图像10输入到用于检测车辆的车牌号而机器学习出的识别器，在从移动体100接收到的图像10中检测车辆的车牌号20a。然后，使用特征点匹配等方法，判定检测出的车牌号20a是否与登记部210b登记的车辆的车牌号相符。而且，检测对象判定部210c在从图像10中检测出车牌号20a且车牌号20a与所登记的车辆的车牌号相符的情况下，判定为图像中显示有作为检测对象的车辆20。
图6是表示在检测对象为需护理者的情况下判定从移动体100接收到的图像10中是否显示有作为检测对象的需护理者的情形的示意图。在检测对象为需护理者的情况下，检测对象判定部210c基于登记部210b登记的需护理者的面部图像，判定从移动体100接收到的图像10中是否包含有与该面部图像相符的人脸。此时，例如通过显示有人脸的模板图像与从移动体100接收到的图像10的模板匹配，或者通过将图像10输入到用于检测人脸而机器学习出的识别器，在从移动体100接收到的图像10中检测人脸。然后，使用特征点匹配等方法，判定检测出的人脸是否与登记部210b登记的面部图像相符。而且，检测对象判定部210c在从图像10中检测出人脸且检测出的人脸与所登记的面部图像相符的情况下，判定为图像10中显示有作为检测对象的需护理者30。此外，在图6中，表示了看护需护理者30的看护者40与需护理者30一起显示在图像10中的情形。
此外，检测对象判定部210c能够使用分割用识别器作为上述的识别器，分割用识别器被预先学习为，例如根据被输入的图像，对于该图像的各像素，按有可能显示于该像素的物体的种类，输出该物体显示于该像素的准确度，并识别为显示有准确度最大的物体。检测对象判定部210c能够使用具有例如全卷积网络(FCN：Fully Convolutional Network)之类的分割用卷积神经网络型(CNN)架构的深度神经网络(DNN)作为那样的识别器。或者，检测对象判定部210c也可以利用按照诸如随机森林或者支持向量机之类的其他的机器学习方法的分割用识别器。在该情况下，检测对象判定部210c通过将图像输入到分割用识别器，在该图像中确定映现有任意物体的像素。而且，检测对象判定部210c将映现有相同种类的物体的像素集合作为显示有该物体的区域。
如上所述，检测对象的通常举动也可以由服务器200进行推定。在该情况下，控制部210的通常举动推定部210d推定检测对象的通常举动。通常举动推定部210d根据移动体100过去拍摄到的显示有检测对象的多个图像，确定拍摄到该图像时的检测对象的位置，基于所确定的检测对象的位置和该图像的拍摄时刻，推定通常举动中的预定的移动路径和预定的时间段。在检测对象为车辆的情况下，通常举动推定部210d基于由检测对象判定部210c得到的判定结果，在图像中包含有与登记部210b登记的车辆的车牌号相符的车辆的情况下，基于拍摄到图像时的移动体100的定位信息、图像中的车辆的位置(车辆相对于摄像头坐标系的位置)、和摄像头140的内部参数，确定车辆相对于世界坐标系的位置。
此时，具体而言，通常举动推定部210d求取从以移动体100的摄像头140的位置为原点且以摄像头140的光轴方向为一个轴方向的摄像头坐标系向世界坐标系的转换式。这样的转换式由表示坐标系间的旋转的旋转矩阵和表示坐标系间的平行移动的平移向量的组合来表示。而且，通常举动推定部210d按照该转换式，将在摄像头坐标系中示出的包含于图像的车辆的位置转换为世界坐标系的坐标。由此，求出拍摄到图像时的车辆的位置。此外，通常举动推定部210d也可以简单地在图像中包含有与登记部210b登记的车辆的车牌号相符的车辆的情况下将拍摄到图像时的移动体100的位置作为车辆的位置。
而且，通常举动推定部210d基于像这样得到的作为检测对象的车辆的多个位置信息和为了确定各位置信息所使用的图像的拍摄时刻，推定车辆行驶的通常的路径和通常的时间段作为该车辆的通常举动。
图7是在道路被区划为棋盘状的区域上将通常举动推定部210d所确定的车辆20的多个位置表示为点群的示意图。如图7所示，由〇记号的点P表示的车辆20的位置与车辆20存在于该位置的时刻相关联。图7所示的车辆20的位置可根据从移动体100的摄像头在预定期间(例如一个月、半年、一年等)拍摄到的图像确定车辆的位置和时刻所得到的结果来获得。
在图7所示的例子中，车辆20大致在上午7点至上午8点之间行驶于由箭头A1所示的路线A1。因此，通常举动推定部210d推定为车辆20的通常举动是在上午7点至上午8点的时间段内行驶于路线A1。
更详细而言，通常举动推定部210d例如通过基于规则的推定或者使用机器学习的推定，推定车辆进行行驶的通常的路径和时间段。图8是表示通常举动推定部210d使用基于规则的推定来推定车辆的通常举动的方法的一例的图。图8表示了将图7中所示的区域用虚线网格线G进行了区划的状态。而且，图8所示的区域由网格线G区划成多个正方形的小区域S。
在基于规则的推定中，例如基于在各小区域S内存在表示所确定的车辆的位置的点P的概率，推定为存在概率在预定值以上的小区域S的集合是通常的车辆的路径。存在概率例如由在收集车辆的位置信息(点P)的期间(例如一个月、半年、一年等)内在每个小区域S存在点P的数量表示。另外，推定为与存在概率在预定值以上的小区域S中包含的点P对应的时刻的范围是通常的时间段。
图9是表示通常举动推定部210d使用机器学习来推定车辆的通常举动的方法的一例的图。在使用机器学习的推定中，例如通过聚类将车辆的位置信息(点P)进行分类，并提取在树状图上成为最佳的簇数的簇、或者在树状图上簇间的距离成为预定值以上(或者预定范围)的簇。图9表示了对于由与图8相同的点P的集合构成的点群，通过聚类得到的7个簇C1～C7。推定为像这样得到的簇中的最大的簇、即最多的点P所属的簇C2是通常的车辆的路径。另外，推定为与簇C2所包含的点P对应的时刻的范围是通常的时间段。此外，对于时刻，也可以也以同样的方法进行聚类。
此外，关于点P的数量，只要能够收集到通过基于规则或者机器学习来推定通常举动所需的预定数量即可，该预定数量例如为100个。在机器学习的情况下，为了抑制由过度学习带来的弊端，也可以使得不进行基于预定数量以上的点群的学习。
另外，当在向用户终端300发送了警报的情况下后述的用户终端300的取消按钮被按下而从用户终端300发送来不需要警报这一意思的情况下，通常举动推定部210d也可以将成为警报源的检测对象的位置和时刻去除而进行学习。
通常举动推定部210d在检测对象为需护理者或者老人等人的情况下也利用与检测对象为车辆的情况下同样的方法推定这些人移动时的通常的路径和时间段作为通常举动。特别是对于有可能进行徘徊的人，存在用户难以掌握通常举动的情况，存在无法从用户终端300发送通常举动的情况。在这种情况下，优选在服务器200侧推定通常举动。
另外，通常举动推定部210d也可以基于由检测对象判定部210c得到的判定结果，在图像中包含有与识别信息对应的检测对象的情况下，根据图像中表示出的检测对象的状态，推定检测对象的通常举动。例如，在图6所示的检测对象为需护理者30的情况下，通常举动推定部210d基于移动体100的摄像头在预定期间(例如一个月、半年、一年等)拍摄到的多个图像，当在图像中显示有需护理者30并且在与需护理者30相距预定距离以内(例如1米以内)显示有其他人的情况下，推定为需护理者30的通常举动是与其他人一起行动。另外，例如在检测对象为用户自家的门的情况下，通常举动推定部210d基于移动体100的摄像头在预定期间拍摄到的多个图像，在自家的门关闭着的情况下，推定为自家的门的通常举动是关闭着。
像以上这样通常举动推定部210d推定出的检测对象的通常举动也可以与该检测对象的识别信息一起由登记部210b登记于存储部230。另一方面，也可以不将通常举动推定部210d推定出的检测对象的通常举动进行登记，而在取得成为推定源的图像时基于这些图像逐次进行更新。
控制部210的异常举动判定部210e基于登记部210b登记的用于识别检测对象的识别信息与该检测对象的通常举动的组合、以及接收部210a从移动体100接收到的图像，判定检测对象是否正在做出异常的举动。在检测对象的通常举动是检测对象按预定的移动路径和预定的时间段移动的情况下，异常举动判定部210e在基于拍摄到显示有检测对象的图像时的移动体100的位置的检测对象的位置不包含于预定的移动路径的情况下、或者在拍摄到显示有检测对象的图像的时刻不包含于预定的时间段的情况下，判定为所述检测对象正在做出与所述通常的举动不同的所述异常举动。
更详细而言，异常举动判定部210e基于由检测对象判定部210c得到的判定结果，在图像中包含有与登记部210b登记的识别信息对应的检测对象的情况下，基于拍摄到图像时的移动体100的定位信息、图像中的检测对象的位置(检测对象相对于摄像头坐标系的位置)、和摄像头140的内部参数，确定检测对象相对于世界坐标系的位置。而且，异常举动判定部210e将像这样得到的检测对象的位置和拍摄到包含检测对象的图像的时刻、与检测对象的通常举动中的路径和时间段进行比较。而且，异常举动判定部210e在检测对象的位置不包含于通常举动的路径的情况下或者拍摄到显示有检测对象的图像的时刻不包含于通常举动的时间段的情况下，判定为检测对象的举动异常。
此外，异常举动判定部210e也可以在检测对象的位置不包含于通常举动的路径并且拍摄到显示有检测对象的图像的时刻不包含于通常举动的时间段的情况下，判定为检测对象的举动异常。
例如在检测对象为用户保有的车辆的情况下，异常举动判定部210e与通常举动推定部210d同样地基于由检测对象判定部210c得到的判定结果，在图像中包含有与登记部210b登记的车辆的车牌号相符的车辆的情况下，基于拍摄到图像时的移动体100的定位信息、图像中的车辆的位置(车辆相对于摄像头坐标系的位置)、和摄像头140的内部参数，确定车辆相对于世界坐标系的位置。而且，异常举动判定部210e将像这样得到的车辆的位置和拍摄到包含车辆的图像的时刻、与车辆的通常举动中的路径和时间段进行比较。
图10是相对于图7所示的车辆的通常的举动表示车辆表现出异常举动的情况的示意图。在图10中，表示了车辆20在晚上8点至晚上8点30分之间行驶于路径A2这一情况。在晚上8点至晚上8点30分之间行驶于路径A2的车辆20的举动不同于在上午7点至上午8点的时间段行驶于路线A1的通常举动，因此，异常举动判定部210e判定为在晚上8点至8点30分之间行驶于路径A2的车辆20的举动异常。
此外，异常举动判定部210e也可以基于针对通常举动的路径而将路径宽度扩大所得到的区域，判定检测对象的位置是否包含于通常举动的路径。例如，在由用户登记的通常举动的路径是图7和图10所示的路线A1的情况下，也可以根据将路线A1向左右偏移预定量而得到的区域是否包含检测对象的位置来判定检测对象的位置是否包含于通常举动的路径。对于时间段，也同样地，异常举动判定部210e也可以基于将通常举动的时间段放大预定比例而得到的时间段，根据放大后的时间段是否包含显示出检测对象的图像的拍摄时刻来判定显示出检测对象的图像的拍摄时刻是否包含于通常举动的时间段。
另外，异常举动判定部210e在图像中包含有与识别信息对应的检测对象的情况下，在显示于图像的检测对象的状态与登记部210b登记的通常举动的状态不同的情况下，判定为检测对象的举动异常。例如，在检测对象为特定的人且通常举动是该特定的人由随从人员陪同的情况下，异常举动判定部210e在图像中显示有特定的人、且图像中在与特定的人相距预定距离以内持续预定时间以上地没有显示同一其他人的情况下，判定为特定的人有与通常举动不同的异常举动。
图11是表示在图像10中显示有作为检测对象的需护理者30的情况下异常举动判定部210e判定为图像中示出的需护理者30的状态是与通常举动的状态不同的异常举动的情形的示意图。异常举动判定部210e基于由检测对象判定部210c得到的判定结果，在图像10中显示有需护理者30的情况下，将图像10中的需护理者30的状态与所登记的需护理者30的通常举动中的状态进行比较，在图像10中的需护理者的状态与通常举动的状态不同的情况下，判定为需护理者30的举动异常。
在登记部210b登记的需护理者30的通常举动的状态是如图6所示那样需护理者30与看护者40一起行动的情况下，异常举动判定部210e判定在与图像10中显示出的需护理者30相距预定距离(例如1米左右)的范围内是否持续预定时间(例如5分钟左右)以上地存在同一其他人。判定例如通过以下方式进行：通过显示有人的模板图像与从移动体100接收到的图像10的模板匹配，或者通过将图像10输入到用于检测人而机器学习出的识别器，检测需护理者30身边的人，并通过基于图像的面部识别，判定在与需护理者30相距预定距离的范围内是否持续预定时间以上地存在同一其他人。而且，如图11所示，在与需护理者30相距预定距离的范围内持续预定时间以上地不存在同一其他人的情况下，由于不存在作为通常举动所登记的看护者40，因此异常举动判定部210e判定为需护理者30的举动异常。
另一方面，如图6所示，在与需护理者30相距预定距离的范围内持续预定时间以上地存在同一其他人(看护者40)的情况下，异常举动判定部210e判定为需护理者30的举动正常。此外，异常举动判定部210e也可以简单地在与需护理者30相距预定距离的范围内不存在其他人的情况下判定为需护理者30的举动异常。
控制部210的警报发送部210f在由异常举动判定部210e判定出检测对象的异常举动时，向发送了与该检测对象有关的登记信息的用户终端300发送警报。警报发送部210f也可以将被判定为举动异常的检测对象的最新位置信息与警报一起进行发送。
在图10的例子中，在由异常举动判定部210e判定为在晚上8点至8点30分之间行驶于路径A2的车辆20的举动异常时，向作为登记信息而发送了车辆20的车牌号的用户终端300发送警报。另外，在图11的例子中，在由异常举动判定部210e判定为在预定距离的范围内持续预定时间以上地不存在同一其他人的需护理者30的举动异常时，向作为登记信息而发送了需护理者30的面部图像的用户终端300发送警报。
保有被发送警报的用户终端300的用户在收到警报时，认识到所登记的检测对象有与通常不同的异常举动。如果异常举动是用户预先没有掌握的举动，那么用户能够对异常举动进行适当的应对。例如在检测对象为车辆的情况下，可考虑车辆被盗且由偷盗者在与通常不同的时间段或者路径上驾驶。因此，收到警报的用户能够采取报警等适当的措施。
另一方面，如果异常举动是保有被发送警报的用户终端300的用户预先所掌握的举动，那么用户可以取消警报。例如，在图10的例子中，在用户将车辆20借给家人或朋友等而预先掌握了车辆20在晚上8点至8点30分之间行驶于路径A2的情况下，警报被取消。
图12是表示用户终端300所具备的控制部310的功能块的示意图。用户终端300的控制部310具有登记信息取得部310a、登记信息发送部310b、警报接收部310c以及警报通知部310d。控制部310具有的这些各部例如是由在控制部310上工作的计算机程序所实现的功能模块。也即是说，控制部310具有的这些各部由控制部310和用于使其发挥功能的程序(软件)构成。另外，该程序也可以记录于用户终端300的存储部330或者从外部连接的记录介质。或者，控制部310具有的这些各部也可以是设置于控制部310的专用的运算电路。
控制部310的登记信息取得部310a取得用户操作输入部350而输入的与检测对象有关的登记信息。如上所述，与检测对象有关的登记信息包括用于识别检测对象的识别信息和检测对象的通常举动。如上所述，识别信息例如在检测对象为车辆的情况下是车辆的号码牌信息，在检测对象为需护理者或老人的情况下是面部图像。
在识别信息是面部图像的情况下，登记信息取得部310a例如取得用户通过利用用户终端300的摄像头360拍摄需护理者或老人而得到的显示有这些人的人脸的图像作为识别信息。
控制部310的登记信息发送部310b进行将登记信息取得部310a所取得的登记信息经由通信I/F320向服务器200发送的处理。
图13是表示在用户终端300为具有触摸面板的智能手机的情况下用户操作输入部350来输入与检测对象有关的登记信息而向服务器200发送时的显示部340的显示画面342的一例的示意图。图13表示了车辆的车牌号作为用于识别检测对象的识别信息而被输入并向服务器200发送的情况。如图13所示，用户在显示画面342上通过操作触摸面板而在输入栏342a输入车辆的车牌号，并在输入栏342b输入检测对象的通常举动(路径和时间段)。在用户输入这些信息后，当用户按下确定按钮342c时，登记信息取得部310a取得被输入到输入栏342a的车辆的号码牌信息作为用于确定检测对象的识别信息，还取得被输入到输入栏342b的车辆的通常举动。
而且，当用户按下发送按钮342d时，登记信息发送部310b将车辆的车牌号和通常举动向服务器200发送。此外，在图13所示的例子中，在服务器200的通常举动推定部210d推定检测对象的通常举动的情况下，用户无需输入通常举动。在该情况下，不向服务器200发送通常举动，而仅向服务器200发送作为识别信息的车辆的车牌号。
另外，图14是表示在用户终端300为具有触摸面板的智能手机的情况下用户操作输入部350来输入与检测对象有关的登记信息而向服务器200发送时的显示部340的显示画面342的另一例的示意图。图14表示了在检测对象为需护理者的情况下面部图像作为用于识别检测对象的识别信息而被发送的情况。用户通过操作触摸面板，从用户终端300的摄像头360拍摄到的图像中选择作为检测对象的需护理者或老人的面部图像，并使其显示于输入栏342e。此外，摄像头360拍摄到的图像预先存储于用户终端300的存储部330。另外，用户在输入栏342b输入检测对象的通常举动。在图14所示的例子中，作为检测对象的通常举动，除了路径和时间段之外，在状态一栏中输入了需护理者与看护者一起行动这一情况。在用户输入这些信息后，当用户按下确定按钮342c时，登记信息取得部310a取得被输入到输入栏342e的需护理者的面部图像作为用于确定检测对象的识别信息，还取得被输入到输入栏342b的需护理者的通常举动。而且，当用户按下发送按钮342d时，登记信息发送部310b将需护理者的面部图像和通常举动向服务器200发送。
控制部310的警报接收部310c经由通信I/F320接收从服务器200发送来的警报。在检测对象的最新位置信息与警报一起被从服务器200发送的情况下，警报接收部310c接收检测对象的最新位置信息。
控制部310的警报通知部310d进行用于将警报接收部310c接收到的警报通知给用户的处理。具体而言，警报通知部310d进行将警报显示于显示部340的处理或者将警报通过语音从扬声器370输出的处理。
图15是表示显示在用户终端300的显示部340的显示画面342中的警报的一例的示意图。在图15所示的例子中，在用户登记的检测对象是用户保有的车辆的情况下，显示了表示车辆有异常举动的警报。用户基于显示的警报，能够确认自己保有的车辆的所在，在必要的情况下进行报警等应对。此外，警告中也可以包含从服务器200发送来的车辆的最新位置信息，在该情况下，车辆的最新位置信息与警报一起显示于显示画面342。
被通知警报的用户在车辆的举动在预料之中、显示出的警报原本并不需要的情况下，通过按下用于取消警报的按钮342f，能够取消警报。在警报被取消的情况下，向服务器200发送这一意思。
图16是表示由移动体100、服务器200以及用户终端300进行的处理的时序图。图16表示了检测对象的通常举动包含于从用户终端300发送来的登记信息的情况。首先，用户终端300的控制部310的登记信息取得部310a取得用户操作输入部350而输入的与检测对象有关的登记信息(步骤S30)。接着，控制部310的登记信息发送部310b将登记信息取得部310a取得的登记信息向服务器200发送(步骤S32)。
接着，服务器200的控制部210的接收部210a接收从用户终端300发送来的与检测对象有关的登记信息(步骤S20)。接着，控制部210的登记部210b将从用户终端300接收到的与检测对象有关的登记信息登记在存储部230中(步骤S22)。通过以上，用于识别用户希望检测其异常举动的检测对象的识别信息和检测对象的通常举动被登记于服务器200。
另一方面，移动体100的控制部110的图像取得部110a在移动体100的摄像头140拍摄了移动体100的周围时取得摄像头140所生成的图像数据(步骤S10)。而且，控制部110的发送部110b将图像取得部110a取得的图像数据发送给服务器200(步骤S12)。此外，发送部110b将拍摄到图像的拍摄时刻、拍摄到图像时的移动体100的定位信息以及摄像头140的内部参数等信息与图像数据一起向服务器200发送。
服务器200的控制部210的接收部210a接收从移动体100发送来的图像数据，还接收拍摄时刻、移动体100的定位信息以及摄像头140的内部参数等信息(步骤S24)。接着，控制部210的检测对象判定部210c判定在从移动体100接收到的图像中是否存在检测对象(步骤S26)，在存在检测对象的情况下，异常举动判定部210e基于登记在存储部230中的检测对象的通常举动，判定检测对象的举动是否为与通常不同的异常举动(步骤S28)。在检测对象的举动是与通常不同的异常举动的情况下，控制部210的警报发送部210f向用户终端300发送警报(步骤S29)。
用户终端300的控制部310的警报接收部310c接收从服务器200发送来的警报(步骤S34)。接着，控制部310的警报通知部310d将警报接收部310c接收到的警报通知给用户(步骤S36)。由此，警报显示于显示部340，另外警报还通过语音从扬声器370输出。
在图16中，由于检测对象的通常举动包含于从用户终端300发送来的登记信息，因此在步骤S22中，从用户终端300接收到的识别信息以及通常举动被登记于服务器200。另一方面，在步骤S22中，关于检测对象的通常举动，也可以登记服务器200侧推定出的结果。图17是表示服务器200推定检测对象的通常举动的情况下的处理的流程图。
首先，服务器200的控制部210的接收部210a接收从移动体100发送来的图像数据、拍摄时刻、移动体100的定位信息以及摄像头140的内部参数(步骤S40)。接着，控制部210的检测对象判定部210c判定在从移动体100接收到的图像中是否存在检测对象(步骤S42)。在图像中存在检测对象的情况下，通常举动推定部210d基于图像中的检测对象的位置和拍摄到图像时的移动体100的位置，确定检测对象的位置(步骤S44)，并将检测对象的位置与图像的拍摄时刻的组合积存于存储部230(步骤S46)。另一方面，在步骤S42中，在图像中不存在检测对象的情况下，回到步骤S40，再次进行之后的处理。
在步骤S46之后，通常举动推定部210d判定是否积存有预定数量的检测对象的位置与时刻的组合(步骤S48)，在积存有预定数量的情况下，基于积存的预定数量的检测对象的位置及时刻，推定检测对象的通常举动(步骤S50)。在步骤S48中，没有积存到预定数量的情况下，回到步骤S40，再次进行之后的处理。
(变形例)
在用户终端300的存储部230中登记有用户的日程的情况下，也可以对服务器200共享日程信息。在该情况下，即使在由异常举动判定部210e判定为检测对象有异常举动的情况下，在该异常举动是基于登记于日程的行动的举动的情况下，服务器200的控制部210的警报发送部210f也可以不发送警报。由此，抑制发送对于用户而言无用的警报。
另外，在检测对象是用户保有的车辆的情况下，也可以在服务器200侧共享用户终端300的位置信息与车辆的位置信息，当在车辆移动期间用户终端300与车辆不在相同位置的情况下，判断为被盗而对车主发出警报。
另外，在作为检测对象的车辆具备驾驶员监控摄像头的情况下，也可以通过驾驶员监控摄像头一直对驾驶员进行确定，在预先没有登记的人正在驾驶车辆的情况下，从车辆向服务器200发送表示此意的信息，并从服务器200向保有车辆的用户的用户终端300发送警报。
如上所述，根据本实施方式，用户能够在希望守护的检测对象有与通常不同的异常举动的情况下收到警报，因而能够及早发现异常举动。因此，用户能够对有异常举动的检测对象采取适当的措施。

Claims (9)

1.一种异常举动通知装置，具备：
登记部，其将用于识别检测对象的识别信息登记于存储部；
判定部，其基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象，所述图像是在路上行驶的移动体拍摄到的图像；
异常举动判定部，其在所述图像中显示有所述检测对象的情况下，判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动，所述通常的举动是所述检测对象在预定的移动路径和预定的时间段移动；
推定部，其基于所述识别信息，根据所述移动体过去拍摄到的显示有所述检测对象的多个图像，确定拍摄到该图像时的所述检测对象的位置，并基于所确定的所述检测对象的位置和该图像的拍摄时刻，推定所述预定的移动路径和所述预定的时间段；以及
发送部，其在所述检测对象正在做出所述异常举动的情况下发送警报，
所述登记部，登记从用户终端接收到的所述识别信息，将从所述用户终端接收到的所述通常的举动与所述识别信息一起进行登记，
所述异常举动判定部在基于拍摄到显示有所述检测对象的所述图像时的所述移动体的位置的所述检测对象的位置不包含于所述预定的移动路径的情况下、或者在拍摄到该图像的时刻不包含于所述预定的时间段的情况下，判定为所述检测对象正在做出与所述通常的举动不同的所述异常举动。
2.根据权利要求1所述的异常举动通知装置，
所述检测对象是车辆，所述识别信息是该车辆的号码牌信息。
3.根据权利要求1所述的异常举动通知装置，
所述检测对象是特定的人，所述识别信息是该特定的人的面部图像。
4.根据权利要求1所述的异常举动通知装置，
所述发送部向所述用户终端发送所述警报。
5.根据权利要求1所述的异常举动通知装置，
所述检测对象是特定的人，所述通常的举动是该特定的人由随从人员陪同，
所述异常举动判定部在所述图像中显示有所述特定的人、且所述图像中在与该特定的人相距预定距离以内持续预定时间以上地没有显示同一其他人的情况下，判定为该特定的人正在做出与所述通常的举动不同的所述异常举动。
6.根据权利要求5所述的异常举动通知装置，
所述识别信息是所述特定的人的面部图像。
7.一种异常举动通知***，是具备用户所拥有的用户终端以及与该用户终端以能够通信的方式连接的异常举动通知装置的异常举动通知***，具备：
取得部，其取得输入到所述用户终端的用于识别检测对象的识别信息；
登记部，其将所述识别信息登记于存储部；
判定部，其基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象，所述图像是在路上行驶的移动体拍摄到的图像；
异常举动判定部，其在所述图像中显示有所述检测对象的情况下，判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动，所述通常的举动是所述检测对象在预定的移动路径和预定的时间段移动；
推定部，其基于所述识别信息，根据所述移动体过去拍摄到的显示有所述检测对象的多个图像，确定拍摄到该图像时的所述检测对象的位置，并基于所确定的所述检测对象的位置和该图像的拍摄时刻，推定所述预定的移动路径和所述预定的时间段；以及
发送部，其在所述检测对象正在做出所述异常举动的情况下，向所述用户终端发送警报，
所述登记部，登记从用户终端接收到的所述识别信息，将从所述用户终端接收到的所述通常的举动与所述识别信息一起进行登记，
所述异常举动判定部在基于拍摄到显示有所述检测对象的所述图像时的所述移动体的位置的所述检测对象的位置不包含于所述预定的移动路径的情况下、或者在拍摄到该图像的时刻不包含于所述预定的时间段的情况下，判定为所述检测对象正在做出与所述通常的举动不同的所述异常举动。
8.一种异常举动通知方法，包括以下步骤：
将用于识别检测对象的识别信息登记于存储部的步骤；
基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象的步骤，所述图像是在路上行驶的移动体拍摄到的图像；
在所述图像中显示有所述检测对象的情况下判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动的步骤，所述通常的举动是所述检测对象在预定的移动路径和预定的时间段移动；
基于所述识别信息，根据所述移动体过去拍摄到的显示有所述检测对象的多个图像，确定拍摄到该图像时的所述检测对象的位置，并基于所确定的所述检测对象的位置和该图像的拍摄时刻，推定所述预定的移动路径和所述预定的时间段的步骤；以及
在所述检测对象正在做出所述异常举动的情况下发送警报的步骤，
所述登记的步骤中，登记从用户终端接收到的所述识别信息，将从所述用户终端接收到的所述通常的举动与所述识别信息一起进行登记，
判定所述异常举动的步骤中，在基于拍摄到显示有所述检测对象的所述图像时的所述移动体的位置的所述检测对象的位置不包含于所述预定的移动路径的情况下、或者在拍摄到该图像的时刻不包含于所述预定的时间段的情况下，判定为所述检测对象正在做出与所述通常的举动不同的所述异常举动。
9.一种记录介质，记录有用于使计算机作为以下单元发挥功能的程序：
将用于识别检测对象的识别信息登记于存储部的单元；
基于所述识别信息判定拍摄路上或其周边所得到的图像中是否显示有所述检测对象的单元，所述图像是在路上行驶的移动体拍摄到的图像；
在所述图像中显示有所述检测对象的情况下判定所述检测对象是否正在做出与所述检测对象的通常的举动不同的异常举动的单元，所述通常的举动是所述检测对象在预定的移动路径和预定的时间段移动；
基于所述识别信息，根据所述移动体过去拍摄到的显示有所述检测对象的多个图像，确定拍摄到该图像时的所述检测对象的位置，并基于所确定的所述检测对象的位置和该图像的拍摄时刻，推定所述预定的移动路径和所述预定的时间段的单元；以及
在所述检测对象正在做出所述异常举动的情况下发送警报的单元，
所述登记的单元，登记从用户终端接收到的所述识别信息，将从所述用户终端接收到的所述通常的举动与所述识别信息一起进行登记，
判定所述异常举动的单元，在基于拍摄到显示有所述检测对象的所述图像时的所述移动体的位置的所述检测对象的位置不包含于所述预定的移动路径的情况下、或者在拍摄到该图像的时刻不包含于所述预定的时间段的情况下，判定为所述检测对象正在做出与所述通常的举动不同的所述异常举动。
CN202111611533.XA 2021-03-02 2021-12-27 异常举动通知装置、通知***、通知方法以及记录介质 Active CN114999222B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-032645 2021-03-02
JP2021032645A JP7363838B2 (ja) 2021-03-02 2021-03-02 異常挙動通知装置、異常挙動通知システム、異常挙動通知方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN114999222A CN114999222A (zh) 2022-09-02
CN114999222B true CN114999222B (zh) 2023-11-10

Family

ID=83018248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111611533.XA Active CN114999222B (zh) 2021-03-02 2021-12-27 异常举动通知装置、通知***、通知方法以及记录介质

Country Status (3)

Country Link
US (1) US11610469B2 (zh)
JP (1) JP7363838B2 (zh)
CN (1) CN114999222B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964645B (zh) * 2023-03-16 2023-07-14 北京数通魔方科技有限公司 一种基于大数据的信息处理方法与***

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003040086A (ja) * 2001-07-30 2003-02-13 Lecip Corp 車両位置異常検出システム
JP2004094696A (ja) * 2002-09-02 2004-03-25 Alpine Electronics Inc 車両警報装置およびシステム
JP2005029138A (ja) * 2003-06-20 2005-02-03 Kobateru Kk 自動車盗難防止システム
JP2006027356A (ja) * 2004-07-13 2006-02-02 Denso Corp 車両用異常報知システム
JP2009269434A (ja) * 2008-05-02 2009-11-19 Sony Corp 車載装置および車両状況検出方法
JP2011103115A (ja) * 2009-10-16 2011-05-26 Denso Corp 車載ナビゲーション装置
JP2012099013A (ja) * 2010-11-04 2012-05-24 Saxa Inc 通行車両監視システム及び車両用監視カメラ
JP2012198790A (ja) * 2011-03-22 2012-10-18 Nifty Corp 移動***置推定サーバ
JP2013074382A (ja) * 2011-09-27 2013-04-22 Nec Saitama Ltd 端末装置、異常検出システム、異常検出方法および異常検出プログラム
JP2013214143A (ja) * 2012-03-30 2013-10-17 Fujitsu Ltd 車両異常管理装置、車両異常管理システム、車両異常管理方法、及びプログラム
JP2017211888A (ja) * 2016-05-27 2017-11-30 三井金属アクト株式会社 画像情報認証システム
CN206871026U (zh) * 2017-05-08 2018-01-12 北京艾斯泰克科技有限公司 基于汽车位置及姿态信号的共享汽车防盗***
CN108614545A (zh) * 2018-05-31 2018-10-02 北京智行者科技有限公司 一种异常状态监控方法
CN109703513A (zh) * 2017-10-26 2019-05-03 丰田自动车株式会社 信息提供***和车辆
CN109760628A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 信息提供***和车辆
JP2019091162A (ja) * 2017-11-13 2019-06-13 トヨタ自動車株式会社 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
WO2019176222A1 (ja) * 2018-03-13 2019-09-19 コニカミノルタ株式会社 異常検知システム、異常検知方法および異常検知プログラム
CN110473372A (zh) * 2019-08-16 2019-11-19 深圳海翼智新科技有限公司 智能安防中异常通知方法、装置和***
JP2020061079A (ja) * 2018-10-12 2020-04-16 トヨタ自動車株式会社 交通違反車両識別システム、サーバ、及び車両制御プログラム
CN111246160A (zh) * 2018-11-29 2020-06-05 丰田自动车株式会社 信息提供***和方法、服务器、车载装置以及存储介质
CN111325088A (zh) * 2018-12-14 2020-06-23 丰田自动车株式会社 信息处理***、程序以及信息处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
JP2011048547A (ja) * 2009-08-26 2011-03-10 Toshiba Corp 異常行動検知装置、監視システム及び異常行動検知方法
US8988200B2 (en) * 2011-08-15 2015-03-24 Hana Micron America, Inc. Printed label-to-RFID tag data translation apparatus and method
US8786425B1 (en) * 2011-09-09 2014-07-22 Alarm.Com Incorporated Aberration engine
US9349275B2 (en) * 2012-03-15 2016-05-24 Behavorial Recognition Systems, Inc. Alert volume normalization in a video surveillance system
US20180316901A1 (en) * 2017-04-26 2018-11-01 Ford Global Technologies, Llc Event reconstruct through image reporting
US11256937B2 (en) * 2020-07-17 2022-02-22 Toyota Motor Engineering & Manufacturing North America, Inc. Anomalous event detection and/or validation using inherent human behavior
KR102280338B1 (ko) * 2020-12-01 2021-07-21 주식회사 블루시그널 상황 예측 기반 교차로 위험 경보 시스템

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003040086A (ja) * 2001-07-30 2003-02-13 Lecip Corp 車両位置異常検出システム
JP2004094696A (ja) * 2002-09-02 2004-03-25 Alpine Electronics Inc 車両警報装置およびシステム
JP2005029138A (ja) * 2003-06-20 2005-02-03 Kobateru Kk 自動車盗難防止システム
JP2006027356A (ja) * 2004-07-13 2006-02-02 Denso Corp 車両用異常報知システム
JP2009269434A (ja) * 2008-05-02 2009-11-19 Sony Corp 車載装置および車両状況検出方法
JP2011103115A (ja) * 2009-10-16 2011-05-26 Denso Corp 車載ナビゲーション装置
JP2012099013A (ja) * 2010-11-04 2012-05-24 Saxa Inc 通行車両監視システム及び車両用監視カメラ
JP2012198790A (ja) * 2011-03-22 2012-10-18 Nifty Corp 移動***置推定サーバ
JP2013074382A (ja) * 2011-09-27 2013-04-22 Nec Saitama Ltd 端末装置、異常検出システム、異常検出方法および異常検出プログラム
JP2013214143A (ja) * 2012-03-30 2013-10-17 Fujitsu Ltd 車両異常管理装置、車両異常管理システム、車両異常管理方法、及びプログラム
JP2017211888A (ja) * 2016-05-27 2017-11-30 三井金属アクト株式会社 画像情報認証システム
CN206871026U (zh) * 2017-05-08 2018-01-12 北京艾斯泰克科技有限公司 基于汽车位置及姿态信号的共享汽车防盗***
CN109703513A (zh) * 2017-10-26 2019-05-03 丰田自动车株式会社 信息提供***和车辆
CN109760628A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 信息提供***和车辆
JP2019091162A (ja) * 2017-11-13 2019-06-13 トヨタ自動車株式会社 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
WO2019176222A1 (ja) * 2018-03-13 2019-09-19 コニカミノルタ株式会社 異常検知システム、異常検知方法および異常検知プログラム
CN108614545A (zh) * 2018-05-31 2018-10-02 北京智行者科技有限公司 一种异常状态监控方法
JP2020061079A (ja) * 2018-10-12 2020-04-16 トヨタ自動車株式会社 交通違反車両識別システム、サーバ、及び車両制御プログラム
CN111246160A (zh) * 2018-11-29 2020-06-05 丰田自动车株式会社 信息提供***和方法、服务器、车载装置以及存储介质
CN111325088A (zh) * 2018-12-14 2020-06-23 丰田自动车株式会社 信息处理***、程序以及信息处理方法
CN110473372A (zh) * 2019-08-16 2019-11-19 深圳海翼智新科技有限公司 智能安防中异常通知方法、装置和***

Also Published As

Publication number Publication date
CN114999222A (zh) 2022-09-02
US11610469B2 (en) 2023-03-21
JP7363838B2 (ja) 2023-10-18
JP2022133766A (ja) 2022-09-14
US20220284796A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
KR101709521B1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
US9761135B2 (en) Method and system for integrating multiple camera images to track a vehicle
US10997430B1 (en) Dangerous driver detection and response system
US20190147252A1 (en) Rescue system and rescue method, and server used for rescue system and rescue method
JP6047910B2 (ja) 監視装置及び監視センタ
JP2019117449A (ja) 人物探索システム
CN109788242B (zh) 救援***、救援方法及其所使用的服务器
KR20150092545A (ko) 시공적 상황데이터를 이용한 경고 방법 및 시스템
KR102015959B1 (ko) 사물 인터넷 카메라를 이용하는 딥러닝 기반의 지능형 방범 시스템 및 그의 처리 방법
CN114999222B (zh) 异常举动通知装置、通知***、通知方法以及记录介质
JP7190088B2 (ja) 駐車場監視装置、駐車場管理システム及び駐車場管理プログラム
KR20190078688A (ko) 인공지능을 이용한 주차 인식 장치
JP6270410B2 (ja) サーバ装置、情報処理方法及びプログラム
JP2024009906A (ja) 監視装置、監視方法、およびプログラム
US20230274552A1 (en) Image-surveilled security escort
Kawthankar et al. A survey on smart automobiles using Internet of Things for digital India
JP2006172072A (ja) 侵入検知システム
WO2021111654A1 (ja) 処理装置、処理方法及びプログラム
Bhatnagar et al. Design of a CNN based autonomous in-seat passenger anomaly detection system
US20230188836A1 (en) Computer vision system used in vehicles
US20230274551A1 (en) Image-surveilled security escort
JP7301715B2 (ja) 監視カメラ利用車両システムに適用される状態予測サーバおよび注意喚起装置
KR102085645B1 (ko) 탑승자 카운팅 시스템 및 방법
JP2023038992A (ja) 情報処理装置、情報処理システム、情報処理方法、及びコンピュータプログラム
WO2024036045A1 (en) Image-surveilled security escort

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant