CN115484366A - 监视*** - Google Patents
监视*** Download PDFInfo
- Publication number
- CN115484366A CN115484366A CN202210662366.XA CN202210662366A CN115484366A CN 115484366 A CN115484366 A CN 115484366A CN 202210662366 A CN202210662366 A CN 202210662366A CN 115484366 A CN115484366 A CN 115484366A
- Authority
- CN
- China
- Prior art keywords
- captured image
- image
- analysis device
- image analysis
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 89
- 238000010191 image analysis Methods 0.000 claims abstract description 175
- 238000001514 detection method Methods 0.000 claims abstract description 142
- 230000005856 abnormality Effects 0.000 claims abstract description 86
- 230000008859 change Effects 0.000 claims abstract description 79
- 238000004891 communication Methods 0.000 claims abstract description 73
- 230000006835 compression Effects 0.000 claims description 43
- 238000007906 compression Methods 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 39
- 230000010365 information processing Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种监视***,其能够实现经由信息通信网络的高精度的异常检测。监视***(40)具备与照相机(8)一起设置于成为信息通信网络(15)的边缘(E)的车辆(1)的第一图像解析装置(11)。该第一图像解析装置(11)对照相机(8)拍摄的车室(6)的拍摄图像(Vd)进行解析,由此执行该车室(6)的状态变化的检测判定。另外,该第一图像解析装置(11)具有在作为监视空间(41)的车室(6)中检测出发生状态变化的情况下,作为执行经由该信息通信网络(15)的拍摄图像(Vd)的分发的图像分发装置80的功能。而且,监视***(40)具备对经由该信息通信网络(15)分发的车室(6)的拍摄图像(Vd)进行解析,由此执行在该车室(6)中发生的异常的检测判定的第二图像解析装置(22)。
Description
技术领域
本发明涉及监视***。
背景技术
以往,存在能够从外部经由信息通信网络确认照相机拍摄的监视空间的拍摄图像的监视***。例如,专利文献1所记载的车辆的状况管理***具备检测表示车辆的异常的记录事件的发生的多个传感器。而且,成为能够通过移动电话线路确认该发生的记录事件的种类以及发生时的拍摄图像的结构。
专利文献1:日本特开2012-190072号公报
然而,上述现有技术是使用人感传感器检测在监视空间中产生的状态变化的结构,所以能够检测该状态变化的产生的状况以及检测范围受限。因此,存在难以进行经由信息通信网络的高精度的异常检测这样的问题。
发明内容
解决上述课题的监视***具备:第一图像解析装置,其与照相机一起设置于信息通信网络的边缘并对上述照相机拍摄的监视空间的拍摄图像进行解析,由此执行在上述监视空间中产生的状态变化的检测判定;图像分发装置,其在检测出上述状态变化的产生的情况下,执行经由上述信息通信网络的上述拍摄图像的分发;以及第二图像解析装置,其对上述分发的上述拍摄图像进行解析,由此执行在上述监视空间中发生的异常的检测判定。
根据上述结构,通过设置于信息通信网络的边缘的第一图像解析装置,能够检测在显示于其拍摄图像的监视空间中产生的状态变化。而且,第二图像解析装置对通过该状态变化的检测而分发的监视空间的拍摄图像进行解析,从而能够经由信息通信网络高精度地检测在显示于其拍摄图像的监视空间中发生的异常。
另外,由拍摄图像的解析进行的状态变化的检测判定的运算负荷比由该拍摄图像的解析进行的异常检测判定的运算负荷小。因此,对于供第一图像解析装置安装的信息处理装置而言,具有能够将其要求的运算处理能力抑制得比较小这样的优点。而且,在未检测出监视空间的状态变化的情况下,不进行经由信息通信网络的拍摄图像的分发,从而能够减少其通信负荷。
在解决上述课题的监视***中,优选上述第一图像解析装置具备:像素差值运算部,其在每个解析周期取得上述拍摄图像,由此运算在前次上述解析周期中取得的上述拍摄图像的前次帧与在这次上述解析周期中取得的上述拍摄图像的这次帧的像素差值;履历保持部,其保持上述像素差值的运算履历;方差值运算部,其基于上述运算履历运算上述像素差值的方差值;以及状态变化判定部,其在上述方差值是规定的阈值以上的情况下,判定为在上述监视空间产生了上述状态变化。
根据上述结构,能够以比较少的运算负荷且能够高精度地进行基于该拍摄图像的解析的状态变化的检测判定。而且,由此能够确保高的设置自由度并且能够进行经由信息通信网络的高精度的异常检测。
此外,通过使用在每个解析周期取得的拍摄图像的前次帧与这次帧的像素差值,例如能够将光量变化等该监视空间的外部环境造成的影响抑制得较小。
在解决上述课题的监视***中,优选上述像素差值运算部仅对预先设定于上述监视空间的检测区域,运算上述像素差值。
根据上述结构,能够高精度地检测在预先设定于监视空间的检测区域中产生的状态变化。而且,由此能够抑制误判定的产生,并能够更高精度地进行经由该信息通信网络的异常检测。
在解决上述课题的监视***中,优选上述图像分发装置在上述第二图像解析装置中检测出上述异常的发生的情况下,对位于上述监视空间的外部的管理者执行上述拍摄图像的分发。
根据上述结构,管理者能够迅速地确认在监视空间中发生的异常。由此,能够确保对在该监视空间中发生的异常的迅速的应对。而且,通过限制向该管理者分发拍摄图像的状况,能够抑制通信负荷的增大。
在解决上述课题的监视***中,优选上述图像分发装置以比对上述第二图像解析装置进行上述分发的上述拍摄图像高的压缩率,对位于上述监视空间的外部的管理者执行上述拍摄图像的分发。
即、在大多数情况下,即使是分辨率低的高压缩率的拍摄图像,也能够通过人眼、即作为管理者进行确认,而毫无问题地掌握显示于该拍摄图像的监视空间的状况。因此,根据上述结构,能够抑制通信负荷的增大,并且能够构建增加了管理者的监视的多层***。而且,由此能够更高精度地进行经由该信息通信网络的异常检测。
解决上述课题的监视***,优选构成为能够基于上述管理者的要求,变更对该管理者进行上述分发的上述拍摄图像的上述压缩率。
根据上述结构,能够抑制通信负荷的增大,并且管理者能够以适当的分辨率确认该监视空间的拍摄图像。而且,由此能够更高精度地进行经由该信息通信网络的异常检测。
在解决上述课题的监视***中,优选上述图像分发装置在判定为在上述第二图像解析装置中无法进行上述检测判定或者上述检测判定的精度降低的情况下,执行对上述管理者的上述拍摄图像的分发。
根据上述结构,通过管理者确认监视空间的拍摄图像,能够确保经由该信息通信网络的高精度的异常检测。而且,通过限制对管理者分发拍摄图像的状况,能够抑制通信负荷的增大。
在解决上述课题的监视***中,优选上述第二图像解析装置检测上述拍摄图像所含的人的骨架点并且基于通过该骨架点的检测而取得的上述人的信息,来执行上述检测判定,基于上述骨架点的检测状态,判定是否执行对上述管理者的上述拍摄图像的分发。
根据上述结构,第二图像解析装置能够高精度确定无法进行基于该拍摄图像的解析的异常检测判定、或者该检测判定的精度降低的状态。而且,由此能够适当地进行是否执行对管理者的拍摄图像的分发的判定。其结果是,能够避免对管理者频繁地分发监视空间的拍摄图像的状况,而能够抑制通信负荷的增大。
另外,能够通过骨架点的检测高精度地取得人的姿势、体格等身体上的信息。而且,由此能够基于该取得的人的信息,进行高精度的异常检测判定。
在解决上述课题的监视***中,优选上述监视空间是车辆的车室。
根据上述结构,能够经由信息通信网络高精度地检测在车辆的车室中发生的异常。
根据本发明,能够进行经由信息通信网络的高精度的异常检测。
附图说明
图1是应用监视***的车辆的立体图。
图2是车室内的乘客以及拍摄该乘客的照相机的说明图。
图3是在俯视图中观察车室的情况的说明图。
图4是监视***的结构简图。
图5是监视***的框图。
图6是设置于第一图像解析装置的状态变化检测部的框图。
图7是表示拍摄图像的这次帧的示意图。
图8是表示拍摄图像的前次帧的示意图。
图9是表示将这次帧与前次帧的像素差值可视化的示意图。
图10是说明被履历保持部保持的像素差值的运算履历以及基于该运算履历的方差值的运算方法的示意图。
图11是表示由第一图像解析装置进行的状态变化的检测判定以及针对第二图像解析装置的图像分发的处理顺序的流程图。
图12是表示人的骨架点的说明图。
图13是设置于第二图像解析装置的人信息取得部的框图。
图14是表示由第二图像解析装置进行的异常检测判定以及骨架点的检测状态判定的处理顺序的流程图。
图15是表示第一图像解析装置的针对操作人员的图像分发的处理顺序的流程图。
图16是表示向操作人员分发的拍摄图像的显示以及基于操作人员的要求的通信连接的处理顺序的流程图。
图17是表示基于操作人员的要求的关于拍摄图像的压缩率变更的处理顺序的流程图。
图18是表示基于操作人员的正常确认操作的关于拍摄图像的分发停止的处理顺序的流程图。
图19是表示基于操作人员的要求的关于拍摄图像的分发的处理顺序的流程图。
图20是表示基于第二图像解析装置的正常确认判定的关于拍摄图像的分发停止的处理顺序的流程图。
图21是监视***的作用说明图。
图22是监视***的作用说明图。
具体实施方式
以下,结合附图来说明监视***的一实施方式。
如图1~图3所示,本实施方式的车辆1具有沿车辆前后方向延伸的四角大致箱状的车体2。另外,在车体2的侧面设置有成为乘客的乘降口的门开口部3。另外,在该门开口部3设置有在车辆前后方向上沿相反的方向进行开闭动作的一对滑动门4、4。而且,成为车辆1的乘客5以就座于设置在车室6内的座椅7“就座姿势”或者例如利用未图示的吊带、扶手等“站立姿势”乘坐该车辆1的结构。
另外,在本实施方式的车辆1设置有拍摄该车室6内的照相机8。在本实施方式的车辆1中,该照相机8在车室6的前方位置处,设置于其角部6fa附近的顶棚部9附近。另外,该照相机8例如能够使用红外线照相机等。而且,本实施方式的照相机8由此成为从设定在该车室6的规定的方向拍摄车辆1的乘客5的结构。
如图4以及图5所示,在本实施方式的车辆1中,将照相机8拍摄的车室6内的拍摄图像Vd向安装于车载的信息处理装置10的第一图像解析装置11输入。而且,该拍摄图像Vd经由信息通信网络15被向安装于构成云服务器17的车外的信息处理装置20的第二图像解析装置22以及在车辆1的运行中心30中待命的作为管理者31的操作人员32分发。另外,信息通信网络15由无线通信网、因特网等构成。另外,针对操作人员32的拍摄图像Vd的分发相对于该拍摄图像Vd的显像装置33以及设置在构成操作人员32的操作终端34的运行中心30的信息处理装置35进行。而且,本实施方式的车辆1由此构建了经由信息通信网络15而连接的车辆内外的信息处理装置10、20形成的第一图像解析装置11和第二图像解析装置22、以及基于管理者31的多层的监视***40。
即、在本实施方式的监视***40中,照相机8拍摄的车辆1的车室6被设定于该监视空间41。而且,第一图像解析装置11与该照相机8一起设置于车辆1,由此在信息通信网络15的边缘E中,监视显示在该拍摄图像Vd的车辆1的车室6。而且,本实施方式的监视***40成为第二图像解析装置22以及运行中心30的操作人员32从车辆1的外部监视经由信息通信网络15分发的车室6的拍摄图像Vd的结构。
(第一图像解析装置)
首先,对第一图像解析装置11的结构以及功能进行说明。
如图5所示,本实施方式的第一图像解析装置11具备通过对照相机8拍摄的车室6的拍摄图像Vd进行解析,检测在作为该监视空间41而设定的车辆1的车室6中产生的状态变化的状态变化检测部50。
详细而言,如图6~图10所示,本实施方式的状态变化检测部50周期性地取得照相机8拍摄的车室6的拍摄图像Vd。另外,该状态变化检测部50具备运算在前次解析周期中取得的拍摄图像Vd的前次帧Fb与在这次解析周期中取得的拍摄图像Vd的这次帧Fc的像素差值δ的像素差值运算部51。而且,该状态变化检测部50具备保持该运算出的像素差值δ的运算履历X的履历保持部52;以及基于保持在该履历保持部52的像素差值δ的运算履历X,来运算该像素差值δ的方差值Y的方差值运算部53。而且,本实施方式的状态变化检测部50具备基于该像素差值δ的方差值Y,来判定在显示于该拍摄图像Vd的车室6中产生的状态变化的状态变化判定部54。
即、状态变化检测部50在每个解析周期取得的拍摄图像Vd的帧F能够将把该帧F分割为格子状的最小单位作为“像素”,表示为该各像素的值。而且,本实施方式的像素差值运算部51对这些各像素的值,分别求出该前次解析周期中的值与这次解析周期中的值的差量,由此运算该前次帧Fb与这次帧Fc的像素差值δ。
例如,在图7~图10所示的例子中,图7是在这次解析周期中状态变化检测部50取得的拍摄图像Vd的这次帧Fc,图8是在前次解析周期中状态变化检测部50取得的拍摄图像Vd的前次帧Fb。而且,图9是将该这次帧Fc与前次帧Fb的像素差值δ以再现这些各帧F中的像素配置的方式可视化的图。
即、在比较图7所例示的这次帧Fc与图8所例示的前次帧Fb的情况下,显示在该拍摄图像Vd的乘客5的站立位置发生变化。而且,在图9所示的像素差值δ出现了在该地板区域A4移动的乘客5的动作。
另外,本实施方式的像素差值运算部51仅对乘客5以就座姿势乘车的后部座席区域A1、前部座席区域A2以及中间座席区域A3,以及乘客5以站立姿势乘车的地板区域A4,执行该像素差值δ的运算(参照图3)。即、本实施方式的像素差值运算部51将设定在车室6的乘客5的乘车区域α0作为其预先设定的检测区域α,例如对显示于拍摄图像Vd的车窗等不执行该像素差值δ的运算。而且,在本实施方式的状态变化检测部50中,由此,显示于拍摄图像Vd的乘客5的举动作为在该车室6中产生的状态变化,容易出现在该像素差值运算部51运算的像素差值δ。
更详细而言,如图10所示,本实施方式的像素差值运算部51在状态变化检测部50取得拍摄图像Vd的各解析周期中,执行该像素差值δ的运算。而且,在本实施方式的状态变化检测部50中,由该像素差值运算部51运算出的像素差值δ的前次值δb作为像素差值δ的运算履历X,以预先决定的过去的规定周期被该履历保持部52保持。另外,在图10中,示出了前次值δb1是在一次前的解析周期中运算出的像素差值δ的前次值δb,前次值δb2是在两次前的解析周期中运算出的像素差值δ的前次值δb。而且,本实施方式的状态变化检测部50读出该履历保持部52保持的像素差值δ的运算履历X,由此在每个该解析周期中,运算像素差值δ的方差值Y。
即、在显示于拍摄图像Vd的车室6中产生的状态变化越大,该像素差值δ的方差值Y的值越大。而且,在本实施方式的状态变化检测部50中,状态变化判定部54保持针对该像素差值δ的方差值Y预先决定的规定的阈值Yth。而且,本实施方式的状态变化判定部54成为在该像素差值δ的方差值Y是阈值Yth以上的情况下(Y≥Yth),判定为在显示于拍摄图像Vd的车室6中发生了状态变化的结构。
另外,如图5所示,本实施方式的第一图像解析装置11具备执行经由信息通信网络15的信息通信的通信控制部55。而且,该通信控制部55在上述状态变化检测部50针对显示于拍摄图像Vd的车室6,检测出其状态变化的发生的情况下,将照相机8拍摄的车室6的拍摄图像Vd分发给第二图像解析装置22。而且,本实施方式的监视***40由此成为在配置于车辆1的外部的第二图像解析装置22中,进行基于该拍摄图像Vd的解析的车室6的监视的结构。
即、如图11所示,在本实施方式的第一图像解析装置11中,以规定的解析周期为单位,该状态变化检测部50取得车室6的拍摄图像Vd(步骤101)。接下来,该状态变化检测部50运算在该前次解析周期中取得的拍摄图像Vd的前次帧Fb与在这次解析周期中取得的拍摄图像Vd的这次帧Fc的像素差值δ(步骤102)。接着,该状态变化检测部50读出在过去的解析周期中运算出的像素差值δ的运算履历X(步骤103),运算该像素差值δ的方差值Y(步骤104)。而且,该状态变化检测部50在该像素差值δ的方差值Y是阈值Yth以上的情况下(Y≥Yth,步骤105:是),判定为在显示于拍摄图像Vd的车室6中发生了状态变化(步骤106)。而且,本实施方式的第一图像解析装置11由此成为该通信控制部55开始对第二图像解析装置22的拍摄图像Vd的分发的结构(步骤107)。
另外,在本实施方式的状态变化检测部50中,履历保持部52保持的像素差值δ的运算履历X以像素差值运算部51运算的新的像素差值δ为最新的前次值δb而被依次更新。另外,状态变化判定部54在像素差值δ的方差值Y小于阈值Yth的情况下(Y<Yth,步骤105:否),判定为在显示于拍摄图像Vd的车室6中没有发生状态变化检测部50应检测的状态变化(步骤108)。而且,在本实施方式的第一图像解析装置11中,在该情况下成为该通信控制部55不执行对第二图像解析装置22的拍摄图像Vd的分发的结构(步骤109)。
更详细而言,如图5所示,在本实施方式的第一图像解析装置11设置有压缩照相机8拍摄的车室6的拍摄图像Vd的图像压缩部56。而且,本实施方式的第一图像解析装置11将在该图像压缩部56中被压缩的拍摄图像VdL向经由该信息通信网络15连接的第二图像解析装置22分发。
具体而言,在本实施方式的第一图像解析装置11中,上述图像压缩部56以规定的压缩率βL(β=βL)压缩向该第二图像解析装置22分发的车室6的拍摄图像Vd。而且,监视***40由此成为实现减少由经由该信息通信网络15的拍摄图像Vd的分发引起的通信负荷的结构。
另外,在本实施方式的第一图像解析装置11设置有进行输入到该第一图像解析装置11的拍摄图像Vd的前处理的前处理部57。具体而言,在本实施方式的第一图像解析装置11中,该前处理部57执行拍摄图像Vd所含的噪声的除去、构成该拍摄图像Vd的像素的亮度调整以及平滑化等。而且,本实施方式的第一图像解析装置11由此成为实现减少所谓映入、干扰光等对拍摄图像Vd造成的影响的结构。
(第二图像解析装置)
接下来,对第二图像解析装置22的结构以及功能进行说明。
如图5所示,在本实施方式的监视***40中,第二图像解析装置22具备如上述那样,具有接收第一图像解析装置11分发的车室6的拍摄图像Vd的功能的通信控制部60。而且,本实施方式的第二图像解析装置22具有对该接收到的拍摄图像Vd进行解析,由此执行在该车辆1的车室6中发生的异常的检测判定的功能。
详细而言,本实施方式的第二图像解析装置22具备识别显示于拍摄图像Vd的车室6内的人H、即车辆1的乘客5的人识别部61。在本实施方式的第二图像解析装置22中,该人识别部61通过使用由机器学习生成的推论模型,来执行该人H的识别处理。而且,本实施方式的第二图像解析装置22具备通过监视由此识别出的车辆1的乘客5,来检测在该照相机8拍摄的车室6内发生的异常的异常检测部62。
具体而言,如图5以及图12所示,本实施方式的第二图像解析装置22具备检测拍摄图像Vd所含的人H的骨架点SP的骨架点检测部63。即、骨架点SP是关节、体表上的点等对人H的身体赋予特征的固有的点,例如相当于头部、颈部、肩、腋、肘、手腕、手指、腰、髋关节、臀部、膝、脚踝等。而且,在本实施方式的第二图像解析装置22中,该骨架点检测部63也通过使用由机器学习生成的推论模型,来执行该骨架点SP的检测处理。
另外,如图5所示,本实施方式的第二图像解析装置22具备运算基于该骨架点SP的检测的特征量Vsp的特征量运算部64。具体而言,在本实施方式的第二图像解析装置22中,该特征量运算部64基于拍摄图像Vd的骨架点SP的二维坐标上的位置,运算显示于该拍摄图像Vd的人H的特征量Vsp。而且,该特征量运算部64例如基于乘客5的肩宽等该多个骨架点SP所示的身体尺寸,来运算显示于该拍摄图像Vd的人H的特征量Vsp。而且,本实施方式的第二图像解析装置22具备基于通过该一系列解析处理而得到的人H的特征量Vsp,取得在该照相机8拍摄的监视空间41中识别出的人H的信息Ih的人信息取得部65。
详细而言,如图13所示,本实施方式的人信息取得部65具备判定显示于拍摄图像Vd的人H的姿势的姿势判定部66。本实施方式的姿势判定部66将从上述特征量运算部64取得的人H的特征量Vsp向由机器学习生成的推论模型输入。而且,基于由此得到的姿势辨别概率值,来辨别显示于该车室6内的拍摄图像Vd的人H的姿势。
具体而言,本实施方式的姿势判定部66具备运算成为姿势辨别的对象者的乘客5的姿势是“站立姿势”的概率的站立辨别概率值运算部66a。另外,姿势判定部66具备运算成为对象者的乘客5的姿势是“就座姿势”的概率的就座辨别概率值运算部66b。而且,本实施方式的姿势判定部66具备运算成为对象者的乘客5的姿势是“跌倒姿势”的概率的跌倒辨别概率值运算部66c。
即、本实施方式的姿势判定部66作为姿势辨别概率值,站立辨别概率值运算部66a运算站立辨别概率值ZA,就座辨别概率值运算部66b运算就座辨别概率值ZB,跌倒辨别概率值运算部66c运算跌倒辨别概率值ZC。而且,本实施方式的姿势判定部66以这些站立辨别概率值ZA、就座辨别概率值ZB以及跌倒辨别概率值ZC的合计值成为“1.0”的方式,执行该姿势辨别概率值的运算。而且,本实施方式的姿势判定部66由此能够基于该姿势辨别概率值,无矛盾地判定乘客5的姿势。
另外,本实施方式的站立辨别概率值运算部66a运算的站立辨别概率值ZA还区分为处于该“站立姿势”的乘客5是“移动状态”的概率、是“静止状态”的概率以及是“利用吊带、扶手等的状态”的概率。而且,本实施方式的姿势判定部66由此成为能够对该“站立姿势”进行细分化并辨别的结构。
另外,在本实施方式的第二图像解析装置22中,在人信息取得部65中除了该姿势判定部66之外,还设置有判定显示于拍摄图像Vd的人H的属性的属性判定部67、判定其体格的体格判定部68等。而且,本实施方式的第二图像解析装置22由此能够高精度地检测显示于该拍摄图像Vd的人H的状态。
如图5以及图13所示,本实施方式的异常检测部62在通过设置于上述人信息取得部65的姿势判定部66判定为车辆1的乘客5跌倒了的情况下,判定为在显示于该照相机8的拍摄图像Vd的车室6内发生了异常。而且,本实施方式的第二图像解析装置22在该情况下,将检测出该异常的发生的意思的通知向车辆1以及运行中心30发送。另外,在本实施方式的第二图像解析装置22中,由该通信控制部60执行通知该异常的发生检测的异常检测信号S1的发送。而且,本实施方式的监视***40由此成为在车辆1的运行中心30待命的操作人员32能够迅速地应对在该车室6中发生的异常的结构。
另外,如图5所示,本实施方式的第二图像解析装置22具备判定由该骨架点检测部63进行的骨架点SP的检测状态的检测状态判定部69。具体而言,在本实施方式的第二图像解析装置22中,该检测状态判定部69判定在骨架点检测部63中能否通过该拍摄图像Vd的解析来检测骨架点SP。另外,该检测状态判定部69判定上述姿势判定等能否稳定地检测显示于拍摄图像Vd的人H的信息Ih、即用于乘客信息Ich的主要骨架点SP。而且,在本实施方式的第二图像解析装置22中,该检测状态判定部69在判定为无法进行骨架点SP的检测的情况下,将该意思的通知向车辆1以及运行中心30发送。而且,本实施方式的第二图像解析装置22成为在该检测状态判定部69中,在判定为处于无法稳定地检测骨架点SP的检测精度降低的状态的情况下,也将该意思的通知向车辆1以及运行中心30发送的结构。
即、往往因光源的影响、与照相机8的位置关系等,无法进行基于该拍摄图像Vd的解析的骨架点SP的检测或处于该检测精度降低的状态。考虑到这一点,在本实施方式的第二图像解析装置22设置有上述检测状态判定部69。另外,在本实施方式的第二图像解析装置22中,还由该通信控制部60执行通知无法进行上述骨架点SP的检测的意思的不能检测信号S2以及通知检测精度降低的意思的检测精度降低信号S3的发送。而且,本实施方式的监视***40由此基于该第二图像解析装置22执行的骨架点SP的不能检测通知以及检测精度降低通知,使在运行中心30待命的操作人员32能够迅速地掌握该状况。即、成为能够识别发生了判定为无法进行由第二图像解析装置22进行的异常检测或者判定为该检测判定的精度降低的状况的事实的结构。
另外,本实施方式的监视***40如上述那样,在第二图像解析装置22中,在检测出在车室6中发生的异常的情况下,向在运行中心30待命的操作人员32分发该照相机8拍摄的车室6内的拍摄图像Vd。而且,在本实施方式的监视***40中,在发生了判定为无法进行基于第二图像解析装置22的异常检测或者该检测判定的精度降低的状况的情况下,也执行对该操作人员32的拍摄图像Vd的分发。而且,本实施方式的监视***40由此成为作为管理者31的操作人员32能够利用设置于该运行中心30的显像装置33来确认车室6内的拍摄图像Vd的结构。
即、如图14所示,本实施方式的第二图像解析装置22若接收由第一图像解析装置11分发的车室6的拍摄图像Vd(步骤201),则执行该拍摄图像Vd所含的乘客5的骨架点检查测(步骤202)。然后,第二图像解析装置22执行该步骤202的骨架点SP的检测状态判定(步骤203)。
接下来,第二图像解析装置22基于上述步骤203中的检测状态判定的结果,判定能否进行骨架点SP的检测(步骤204)。然后,第二图像解析装置22在判定为在该步骤204中能够检测骨架点SP的情况下(步骤204:是),接着,判定是否处于该骨架点SP的检测精度降低的状态(步骤205)。
而且,本实施方式的第二图像解析装置22在该步骤205中,在判定为不是骨架点SP的检测精度降低的状态的情况下(步骤205:是),执行基于该骨架点SP的检测的异常检测判定(步骤206)。而且,在该异常检测判定中,在检测出在显示于该拍摄图像Vd的车室6中发生的异常的情况下(步骤207:是),执行异常检测信号S1的发送,以及决定针对管理者31的拍摄图像Vd的分发(步骤208)。
另外,本实施方式的第二图像解析装置22在上述步骤204中判定为无法检测骨架点SP的情况下(步骤204:否),执行表示该意思的不能检测信号S2的发送(步骤209)。而且,第二图像解析装置22在上述步骤205中判定为骨架点SP的检测精度降低的情况下(步骤205:否),执行表示该意思的检测精度降低信号S3的发送(步骤210)。而且,本实施方式的第二图像解析装置22成为在上述情况下,都决定针对作为该管理者31的操作人员32的拍摄图像Vd的分发的结构(步骤209以及步骤210)。
(拍摄图像的分发控制)
接下来,对本实施方式的监视***40的拍摄图像Vd的分发控制进行说明。
如图4以及图5所示,在本实施方式的监视***40中,针对作为其管理者31的操作人员32的拍摄图像Vd的分发通过与照相机8一起设置于车辆1的第一图像解析装置11来执行。
具体而言,如图15所示,本实施方式的第一图像解析装置11判定是否接收到第二图像解析装置22发送的上述异常检测信号S1(步骤301)。而且,在第一图像解析装置11接收到该异常检测信号S1的情况下(步骤301:是),开始对该运行中心30的操作人员32分发拍摄图像Vd(步骤302)。
另外,第一图像解析装置11判定是否接收到第二图像解析装置22发送的上述不能检测信号S2(步骤303)。而且,第一图像解析装置11在接收到该不能检测信号S2的情况下(步骤303:是),也通过上述步骤302的执行,开始对该运行中心30的操作人员32分发拍摄图像Vd。
而且,第一图像解析装置11判定是否接收到第二图像解析装置22发送的上述检测精度降低信号S3(步骤304)。而且,第一图像解析装置11在接收到该检测精度降低信号S3的情况下(步骤304:是),也通过上述步骤302的执行,开始对该运行中心30的操作人员32分发拍摄图像Vd。
另外,在本实施方式的第一图像解析装置11中,此时,上述图像压缩部56以比向上述第二图像解析装置22分发的拍摄图像VdL的压缩率βL高的压缩率βH压缩该照相机8拍摄的车室6的拍摄图像Vd(βH>βL)。而且,在本实施方式的监视***40中,成为具有该高的压缩率βH的车室6的拍摄图像VdH经由该信息通信网络15被向在运行中心30待命的操作人员32分发的结构。
即、即使是分辨率低的高压缩率的拍摄图像Vd,也能够通过人眼、即作为管理者31的操作人员32进行确认,而毫无问题地掌握显示于该拍摄图像Vd的车室6的状况的情况居多。考虑到这一点,在本实施方式的监视***40中,如上述那样,对该运行中心30的操作人员32分发具有更高压缩率βH的拍摄图像VdH。而且,本实施方式的监视***40由此成为实现减少经由该信息通信网络15的拍摄图像Vd的分发的通信负荷的结构。
更详细而言,本实施方式的监视***40成为通过运行中心30的操作人员32操作该操作终端34,能够确认显示于显像装置33的车室6的拍摄图像Vd并且能够应对该车室6的状况的结构。具体而言,在本实施方式的监视***40中,运行中心30的操作人员32通过对操作终端34进行操作,能够经由信息通信网络15与车室6内的乘客5通话。而且,本实施方式的监视***40由此成为例如操作人员32能够对在车室6内跌倒的乘客5进行呼叫等应对的结构。
具体而言,如图16所示,在本实施方式的监视***40中,构成显像装置33的运行中心30的信息处理装置35将从车辆1接收到的车室6的拍摄图像Vd显示于其显示器70(参照图4,步骤401)。而且,本实施方式的信息处理装置35此时,一并执行针对从该上述第二图像解析装置22接收到的异常检测信号S1、不能检测信号S2或者检测精度降低信号S3所表示的内容的报告输出(步骤402)。
另外,作为操作终端34的信息处理装置35判定是否有要求与车辆1的通话连接的操作输入(步骤403)。而且,信息处理装置35由此在检测出由操作人员32发出的与车辆1的通话要求的情况下(步骤403:是),向搭载于车辆1的信息处理装置10发送要求通话连接的通话要求信号S4(步骤404)。而且,本实施方式的监视***40由此成为确立经由该信息通信网络15的车辆1与运行中心30的通话连接的结构(步骤405)。
另外,在本实施方式的监视***40中,通过操作运行中心30的操作终端34,能够根据作为其管理者31的操作人员32的要求,改变向该操作人员32分发的拍摄图像Vd的压缩率β。例如,在从具有高压缩率βH的拍摄图像VdH难以确认该车室6的状况的情况下,操作人员32通过操作操作终端34,能够从作为初始值的压缩率βH降低该拍摄图像VdH的压缩率β。而且,本实施方式的监视***40由此成为该运行中心30的操作人员32能够以更高分辨率来确认车室6的拍摄图像Vd的结构。
具体而言,如图17所示,作为操作终端34的信息处理装置35判定针对拍摄图像Vd的压缩率β,是否存在要求其变更的操作输入(步骤501)。而且,信息处理装置35由此在检测出由操作人员32发出的变更拍摄图像Vd的压缩率β的意思的要求的情况下(步骤501:是),对车辆1的第一图像解析装置11发送压缩率变更要求信号S5(步骤502)。另外,在本实施方式的监视***40中,能够相对于运行中心30的操作终端34输入降低拍摄图像Vd的压缩率β的操作或者提高其压缩率β的操作的任一个。而且,本实施方式的监视***40成为通过第一图像解析装置11接收该压缩率变更要求信号S5,来变更向该操作人员32分发的拍摄图像Vd的压缩率β的结构(步骤503)。
另外,在本实施方式的监视***40中,在确认了在显示于拍摄图像Vd的车辆1的车室6中没有异常的情况下,操作人员32对该操作终端34输入正常确认操作。而且,本实施方式的监视***40成为基于该正常确认操作的输入,停止对作为该管理者31的操作人员32的拍摄图像Vd的分发的结构。
具体而言,如图18所示,作为操作终端34的信息处理装置35判定是否有表示在显示于拍摄图像Vd的车辆1的车室6中没有异常的正常确认操作的输入(步骤601)。而且,信息处理装置35由此在检测出由操作人员32进行的正常确认操作的输入的情况下(步骤601:是),向车辆1的第一图像解析装置11发送通知在该车室6中没有异常的意思的正常确认信号S6(步骤602)。而且,本实施方式的监视***40成为通过第一图像解析装置11接收该正常确认信号S6,停止对该操作人员32的拍摄图像Vd的分发的结构(步骤603)。
另外,在本实施方式的监视***40中,即使在不进行对操作人员32的拍摄图像Vd的分发的情况下,通过该操作人员32对操作终端34进行操作,也执行对该操作人员32的拍摄图像Vd的分发。
具体而言,如图19所示,作为操作终端34的信息处理装置35判定是否有要求拍摄图像Vd的分发的操作输入(步骤701)。而且,信息处理装置35由此在检测出由操作人员32进行的分发要求操作的输入的情况下(步骤701:是),向车辆1的第一图像解析装置11发送基于该分发要求操作的输入的分发要求信号S7(步骤702)。而且,本实施方式的监视***40成为第一图像解析装置11接收该分发要求信号S7,从而开始对该操作人员32的拍摄图像Vd的分发的结构(步骤703)。
而且,在本实施方式的监视***40中,上述第二图像解析装置22还执行在显示于该拍摄图像Vd的车室6中没有差异的正常确认判定。另外,该第二图像解析装置22的正常确认判定例如在该异常检测判定中,通过没有检测到在显示于拍摄图像Vd的车室6中发生的异常的状态说法持续规定时间的判定等来进行(参照图14,步骤207:否)。而且,本实施方式的监视***40成为基于该正常确认判定,停止针对安装于构成该云服务器17的车外的信息处理装置20的第二图像解析装置22的拍摄图像Vd的分发的结构。
即、如图20所示,本实施方式的第二图像解析装置22若执行正常确认判定(步骤801),则在该正常确认判定中,判定是否确认了在显示于拍摄图像Vd的车室6中没有异常(步骤802)。而且,第二图像解析装置22在确认了在显示于该拍摄图像Vd的车室6中没有异常的情况下(步骤802:是),向车辆1的第一图像解析装置11发送通知在该车室6中没有异常的意思的正常确认信号S8(步骤803)。而且,本实施方式的监视***40成为第一图像解析装置11接收该正常确认信号S8,从而停止对该第二图像解析装置22的拍摄图像Vd的分发的结构(步骤803)。
接下来,对如上述那样构成的本实施方式的监视***40的作用进行说明。
图21是在显示于照相机8的拍摄图像Vd的车室6中产生的状态变化为“没有异常”、即判定为“正常”的范畴的现象的情况下的例子。
在该情况下,首先,通过与照相机8一起设置于车辆1的第一图像解析装置11,检测在该车室6中产生的状态变化(步骤1101)。然后,基于该状态变化的检测,第一图像解析装置11经由信息通信网络15向安装于构成云服务器17的车外的信息处理装置20的第二图像解析装置22分发车室6的拍摄图像Vd(步骤1102)。另外,如上述那样,此时,向该第二图像解析装置22分发的拍摄图像Vd是以比较低的压缩率βL压缩的拍摄图像VdL。
接下来,接收到拍摄图像Vd的第二图像解析装置22执行显示于该拍摄图像Vd的车室6的异常检测判定(步骤1103)。另外,如上述那样,该异常检测判定通过检测显示于拍摄图像Vd的乘客5的骨架点SP,并取得该乘客信息Ich来进行。而且,在该例子中,能够通过该异常检测判定的执行,在第二图像解析装置22中,确认在显示于该拍摄图像Vd的车室6中没有异常的情况,由此该第二图像解析装置22发送正常确认信号S8(步骤1104)。而且,第一图像解析装置11接收该正常确认信号S8,由此停止对该第二图像解析装置22的拍摄图像Vd的分发(步骤1105)。
另一方面,图22是在显示于该拍摄图像Vd的车室6中产生的状态变化例如是应该判定为乘客5的跌倒等实际上“异常”的情况下的例子。
在该例子中,首先,也通过第一图像解析装置11,检测在该车室6中产生的状态变化(步骤1201)。而且,基于该状态变化的检测,第一图像解析装置11开始对第二图像解析装置22的拍摄图像Vd的分发(步骤1202)。而且,在该例子中,由此通过第二图像解析装置22执行的异常检测判定,来检测在显示于该拍摄图像Vd的车室6中发生的异常(步骤1203)。
另外,在该情况下,接着,该第二图像解析装置22发送异常检测信号S1(步骤1204)。而且,第一图像解析装置11接收该异常检测信号S1,从而相对于在车辆1的运行中心30待命的作为管理者31的操作人员32开始经由该信息通信网络15的拍摄图像Vd的分发(步骤1205)。而且,由此在设置于该运行中心30的显像装置33的显示器70显示车室6的拍摄图像Vd(步骤1206)。
另外,如上述那样,此时,向该操作人员32分发的车室6的拍摄图像Vd是以比向第二图像解析装置22分发的拍摄图像VdL的压缩率βL高的压缩率βH压缩的拍摄图像VdH(βH>βL)。而且,与该拍摄图像Vd的显示一起执行异常检测信号S1的内容、即检测出在作为该监视空间41的车辆1的车室6中发生异常的意思的报告输出。
另外,在该例子中,操作人员32相对于设置在运行中心30的操作终端34,进行要求与车辆1的通话连接的操作输入(步骤1207)。而且,通过该通话连接要求的输入,从运行中心30的信息处理装置35发送通话要求信号S4,并且车辆1接收该通话要求信号S4,从而车辆1与运行中心30的通话连接被确立(步骤1208)。而且,在该例子中,通过操作人员32向显示于车室6的拍摄图像Vd的乘客5发出“呼叫”(步骤1209),来确认在该车辆1的车室6中没有异常的情况。
接下来,操作人员32进行对操作终端34的正常确认操作的输入,从而从运行中心30的信息处理装置35发送正常确认信号S6(步骤1210)。而且,车辆1的第一图像解析装置11接收该正常确认信号S6,从而停止对该操作人员32的拍摄图像Vd的分发(步骤1211)。
接下来,对本实施方式的效果进行说明。
(1)监视***40具备与照相机8一起设置于成为信息通信网络15的边缘E的车辆1的第一图像解析装置11。该第一图像解析装置11通过对照相机8拍摄的车室6的拍摄图像Vd进行解析,来执行该车室6的状态变化的检测判定。另外,该第一图像解析装置11具有在检测出在作为监视空间41的车室6中发生状态变化的情况下,作为执行经由该信息通信网络15的拍摄图像Vd的分发的图像分发装置80的功能。而且,监视***40具备通过对经由该信息通信网络15分发的车室6的拍摄图像Vd进行解析,来执行在该车室6中发生的异常的检测判定的第二图像解析装置22。
根据上述结构,能够通过设置于车辆1的第一图像解析装置11,检测在显示于该拍摄图像Vd的车室6中产生的状态变化。而且,第二图像解析装置22解析根据该状态变化的检测而分发的车室6的拍摄图像Vd,从而能够经由信息通信网络15高精度地检测在显示于该拍摄图像Vd的车室6中发生的异常。
另外,基于拍摄图像Vd的解析的状态变化的检测判定与基于该拍摄图像Vd的解析的异常检测判定相比,运算负荷小。因此,对于供第一图像解析装置11安装的车载的信息处理装置10而言,具有将其要求的运算处理能力抑制得比较小这样的优点。而且,在没有检测出车室6的状态变化的情况下,不进行经由信息通信网络15的拍摄图像Vd的分发,从而能够减少其通信负荷。
(2)第一图像解析装置11具备通过在每个解析周期取得拍摄图像Vd,运算在前次解析周期中取得的前次帧Fb与在这次解析周期中的这次帧Fc的像素差值δ的像素差值运算部51。另外,第一图像解析装置11具备保持该像素差值δ的运算履历X的履历保持部52、以及基于该运算履历X来运算像素差值δ的方差值Y的方差值运算部53。而且,第一图像解析装置11具备在该像素差值δ的方差值Y是规定的阈值Yth以上的情况下,判定为在显示于拍摄图像Vd的车室6中发生了状态变化的状态变化判定部54。
根据上述结构,能够以比较少的运算负荷且精度良好地进行基于该拍摄图像Vd的解析的状态变化的检测判定。而且,由此能够确保优异的车载性能并且能够进行经由信息通信网络15的高精度的异常检测。
此外,通过使用在每个解析周期取得的拍摄图像Vd的前次帧Fb与这次帧Fc的像素差值δ,例如能够将光量变化等该车室6的外部环境造成的影响抑制得较小。
(3)像素差值运算部51将车室6的乘客5的乘车区域α0作为预先设定于车室6的检测区域α,仅对该乘车区域α0运算像素差值δ。
根据上述结构,能够将在设定于该检测区域α的乘车区域α0中产生的状态变化、即乘坐在车辆1的车室6内的乘客5作为对象,高精度地检测在该车室6中产生的状态变化。而且,由此能够抑制误判定的产生,能够更高精度地进行经由该信息通信网络15的异常检测。
(4)作为图像分发装置80的第一图像解析装置11具有经由信息通信网络15向位于车辆1的运行中心30的作为管理者31的操作人员32分发拍摄图像Vd的功能。而且,第一图像解析装置11以比向第二图像解析装置22分发的拍摄图像VdL高的压缩率β执行对该操作人员32的拍摄图像VdH的分发。
即、即使是分辨率低的高压缩率的拍摄图像Vd,也能够通过人眼、即作为管理者31的操作人员32进行确认,而毫无问题地掌握显示于该拍摄图像Vd的车室6的状况的情况居多。因此,根据上述结构,能够抑制通信负荷的增大并且能够构建增加了管理者31的监视的多层***。而且,由此能够更高精度地进行经由该信息通信网络15的异常检测。
(5)作为图像分发装置80的第一图像解析装置11在第二图像解析装置22中,在检测出在显示于该拍摄图像Vd的车室6中发生的异常的情况下,执行对操作人员32的拍摄图像Vd的分发。
根据上述结构,作为其管理者31的操作人员32能够迅速地确认在车室6中发生的异常。由此,能够确保对在该车室6中发生的异常的迅速的应对。而且,通过限制对操作人员32分发拍摄图像Vd的状况,能够抑制通信负荷的增大。
(6)作为图像分发装置80的第一图像解析装置11在第二图像解析装置22中,在判定为无法进行在该车室6中发生的异常的检测判定或者检测判定的精度降低的情况下,执行对操作人员32的拍摄图像Vd的分发。
根据上述结构,作为管理者31的操作人员32确认车室6的拍摄图像Vd,从而能够确保经由该信息通信网络15的高精度的异常检测。而且,通过限制对操作人员32分发拍摄图像Vd的状况,能够抑制通信负荷的增大。
(7)第二图像解析装置22具备检测拍摄图像Vd所含的乘客5的骨架点SP的骨架点检测部63。另外,第二图像解析装置22具备基于通过该骨架点SP的检测而取得的乘客信息Ich来检测在车室6内发生的异常的异常检测部62。而且,第二图像解析装置22具备判定该骨架点SP的检测状态的检测状态判定部69。而且,在监视***40中,基于该骨架点SP的检测状态,来判定是否执行对该操作人员32分发拍摄图像Vd。
根据上述结构,第二图像解析装置22能够高精度地判定无法进行该拍摄图像Vd的异常检测判定或者该检测判定的精度降低的状态。而且,由此能够适当地进行是否执行对该操作人员32的拍摄图像Vd的分发的判定。其结果是,能够避免对操作人员32频繁地分发车室6的拍摄图像Vd的状况,而能够抑制通信负荷的增大。
另外,通过骨架点SP的检测,能够高精度地取得乘客5的姿势、体格等身体上的乘客信息Ich。而且,由此能够基于取得的乘客信息Ich,对乘客5乘坐的车室6进行高精度的异常检测判定。
(8)监视***40构成为能够基于操作人员32的要求,变更向该操作人员32分发的拍摄图像Vd的压缩率β。
根据上述结构,能够抑制通信负荷的增大并且操作人员32能够以适当的分辨率确认该车室6的拍摄图像Vd。而且,由此能够更高精度地进行经由该信息通信网络15的异常检测。
此外,上述实施方式能够如下那样地变更来实施。上述实施方式以及以下的变更例能够在技术上不矛盾的范围内相互组合来实施。
·在上述实施方式中,虽照相机8使用红外线照相机,但其型式也可以任意变更。例如,也可以是使用可见光照相机等的结构。而且,也可以是使用多个照相机8来拍摄该监视空间41的结构。
·在上述实施方式中,将车室6的乘客5的乘车区域α0作为预先设定于车室6的检测区域α,仅对该乘车区域α0运算像素差值δ。然而,并不限于此,关于运算像素差值δ的检测区域α的设定也可以任意变更。
·关于向第二图像解析装置22分发的拍摄图像VdL的压缩率βL以及向作为管理者31的操作人员32分发的拍摄图像VdH的压缩率βH,也可以任意设定。从抑制通信负荷的增大的观点出发,优选向操作人员32分发的拍摄图像VdH的压缩率βH比向第二图像解析装置22分发的拍摄图像VdL的压缩率β高(βH>βL)。另外,关于向第二图像解析装置22分发的拍摄图像VdL,希望确保能够高精度地进行其骨架点SP的检测的程度的高分辨率。而且,关于向操作人员32分发的拍摄图像VdH,希望是能够抑制通信负荷的增大的小的通信量。
·另外,也可以设为以与向第二图像解析装置22分发的拍摄图像Vd相等的压缩率β执行对其操作人员32的拍摄图像Vd的分发的结构。而且,向操作人员32分发的拍摄图像Vd也可以具有比向第二图像解析装置22分发的拍摄图像Vd低的压缩率β。
·在上述实施方式中,基于骨架点SP的检测状态,判定是否执行对其操作人员32的拍摄图像Vd的分发。然而,并不限于此,能否进行拍摄图像Vd的分发的原因、即在第二图像解析装置22中无法进行在车室6中发生的异常的检测判定或者检测判定的精度降低的判定,也可以未必基于骨架点SP的检测状态。
·在上述实施方式中,基于骨架点SP的检测执行乘客5的姿势判定。而且,通过跌倒姿势的检测,来检测显示于其拍摄图像Vd的车室6的异常。然而,并不限于此,例如在车辆1的行驶中检测出在车室6内移动的乘客5的情况下等,也可以判定为在该车室6中发生了异常。而且,也可以是利用通过拍摄图像Vd的图像解析而取得的其它乘客信息Ich,执行该异常检测判定的结构。
·而且,由第二图像解析装置22进行的车室6中发生的异常的检测判定也可以未必基于骨架点SP的检测。若是基于照相机8拍摄的拍摄图像Vd的解析,则也可以以利用了深层学习、机器学习等所谓AI技术的其它的方法,来进行异常的检测判定。而且,也可以适用于以人H以外为对象,来检测在车室6中发生的异常的结构。
·另外,由第一图像解析装置11进行的车室6中产生的状态变化的检测判定也可以未必基于在每个解析周期取得的拍摄图像Vd的前次帧Fb与这次帧Fc的像素差值δ的方差值Y。只要基于照相机8拍摄的拍摄图像Vd的解析即可。其中,在考虑了运算能力的最佳分配的情况下,优选与由第二图像解析装置22进行的异常检测的判定相比,由第一图像解析装置11进行的状态变化的检测判定的运算负荷小。
·在上述实施方式中,将在车辆1的运行中心30待命的操作人员32作为管理者31,以高的压缩率βH对该管理者31进行拍摄图像VdH的分发。然而,并不限于此,管理者31的设定也可以任意变更。例如,也可以未必在一个位置待命。而且,关于拍摄图像Vd的显像装置33也可以任意变更,例如也可以是移动终端那样的装置。而且,管理者31也可以任意设定输入其要求的方法,例如声音输入等。
·在上述实施方式中,将第一图像解析装置11作为图像分发装置80,执行对其管理者31的拍摄图像Vd的分发。然而,并不限于此,也可以是第二图像解析装置22压缩其接收到的拍摄图像VdL,由此生成高压缩率βH的拍摄图像VdH,向运行中心30的信息处理装置35转送的结构。而且,该图像分发装置80也可以是与上述第一图像解析装置11、第二图像解析装置22不同的结构。
·另外,在上述实施方式中,在第二图像解析装置22检测出异常的情况下、无法进行第二图像解析装置22的异常检测的情况下或者该检测判定的精度降低的情况下,执行对操作人员32的拍摄图像Vd的分发。然而,并不限于此,关于对操作人员32的拍摄图像Vd的分发的状况也可以任意变更。而且,例如也可以是总是对管理者31分发比向其第二图像解析装置22分发的拍摄图像VdL的压缩率β高的压缩率βH的拍摄图像VdH的结构。而且,也可以是不进行这样的对管理者31的拍摄图像Vd的分发的结构。
·在上述实施方式中,具体化为将照相机8拍摄的车辆1的车室6作为监视空间41的监视***40。然而,并不限于此,也可以是将建筑物的室内作为监视空间41的结构。而且,例如也可以是在屋外设定监视空间41的结构。
接下来,对根据上述实施方式以及变更例能够掌握的技术思想进行记载。
(a)上述检测区域是乘客的乘车区域。由此,能够将乘坐在车辆的车室内的乘客作为对象,高精度地检测在该车室中产生的状态变化。
附图标记的说明
1…车辆
6…车室
8…照相机
11…第一图像解析装置
15…信息通信网络
22…第二图像解析装置
40…监视***
41…监视空间
80…图像分发装置
E…边缘
Vd…拍摄图像。
Claims (9)
1.一种监视***,其特征在于,具备:
第一图像解析装置,其与照相机一起设置于信息通信网络的边缘并对上述照相机拍摄的监视空间的拍摄图像进行解析,由此执行在上述监视空间中产生的状态变化的检测判定;
图像分发装置,其在检测出上述状态变化的产生的情况下,执行经由上述信息通信网络的上述拍摄图像的分发;以及
第二图像解析装置,其对上述分发的上述拍摄图像进行解析,由此执行在上述监视空间中发生的异常的检测判定。
2.根据权利要求1所述的监视***,其特征在于,
上述第一图像解析装置具备:
像素差值运算部,其在每个解析周期取得上述拍摄图像,由此运算在前次上述解析周期中取得的上述拍摄图像的前次帧与在这次上述解析周期中取得的上述拍摄图像的这次帧的像素差值;
履历保持部,其保持上述像素差值的运算履历;
方差值运算部,其基于上述运算履历运算上述像素差值的方差值;以及
状态变化判定部,其在上述方差值是规定的阈值以上的情况下,判定为在上述监视空间产生了上述状态变化。
3.根据权利要求2所述的监视***,其特征在于,
上述像素差值运算部仅对预先设定于上述监视空间的检测区域,运算上述像素差值。
4.根据权利要求1~3中任一项所述的监视***,其特征在于,
上述图像分发装置在上述第二图像解析装置中检测出上述异常的发生的情况下,对位于上述监视空间的外部的管理者执行上述拍摄图像的分发。
5.根据权利要求1~4中任一项所述的监视***,其特征在于,
上述图像分发装置以比对上述第二图像解析装置进行上述分发的上述拍摄图像高的压缩率,对位于上述监视空间的外部的管理者执行上述拍摄图像的分发。
6.根据权利要求5所述的监视***,其特征在于,
构成为能够基于上述管理者的要求,变更对该管理者进行上述分发的上述拍摄图像的上述压缩率。
7.根据权利要求4~6中任一项所述的监视***,其特征在于,
上述图像分发装置在判定为在上述第二图像解析装置中无法进行上述检测判定或者上述检测判定的精度降低的情况下,执行对上述管理者的上述拍摄图像的分发。
8.根据权利要求7所述的监视***,其特征在于,
上述第二图像解析装置检测上述拍摄图像所含的人的骨架点并且基于通过该骨架点的检测而取得的上述人的信息来执行上述检测判定,
基于上述骨架点的检测状态,判定是否执行对上述管理者的上述拍摄图像的分发。
9.根据权利要求1~8中任一项所述的监视***,其特征在于,
上述监视空间是车辆的车室。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-100248 | 2021-06-16 | ||
JP2021100248A JP2022191797A (ja) | 2021-06-16 | 2021-06-16 | 監視システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115484366A true CN115484366A (zh) | 2022-12-16 |
Family
ID=84420790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210662366.XA Pending CN115484366A (zh) | 2021-06-16 | 2022-06-13 | 监视*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220405956A1 (zh) |
JP (1) | JP2022191797A (zh) |
CN (1) | CN115484366A (zh) |
-
2021
- 2021-06-16 JP JP2021100248A patent/JP2022191797A/ja active Pending
-
2022
- 2022-06-02 US US17/830,948 patent/US20220405956A1/en active Pending
- 2022-06-13 CN CN202210662366.XA patent/CN115484366A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220405956A1 (en) | 2022-12-22 |
JP2022191797A (ja) | 2022-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
JP6845307B2 (ja) | 監視システム及び監視方法 | |
EP2670147A2 (en) | Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle | |
US20140085477A1 (en) | Vehicle monitoring device and method of monitoring vehicle | |
WO2019107167A1 (ja) | 画像処理装置、画像処理システム、撮像装置、撮像システム、及び画像処理方法 | |
JP6791108B2 (ja) | 顔位置検出装置 | |
CN115210163B (zh) | 电梯装置以及电梯控制装置 | |
JP2001211466A (ja) | 自己診断機能を有する画像処理システム | |
JP2599701B2 (ja) | エレベータの待機乗客数の検出方法 | |
CN107323114A (zh) | 印控仪的入侵检测方法、***及印控仪 | |
CN109761122A (zh) | 电梯控制*** | |
CN114842459A (zh) | 动作检测方法、装置、电子设备及存储介质 | |
CN113615166B (zh) | 事故检测装置及事故检测方法 | |
JP7186749B2 (ja) | 管理システム、管理方法、管理装置、プログラム及び通信端末 | |
KR20080026326A (ko) | 주성분 요소방법을 이용한 노인 움직임 영상 감시 장치 및방법 | |
CN115484366A (zh) | 监视*** | |
KR101970611B1 (ko) | 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 | |
JP2018160128A (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
WO2023095196A1 (ja) | 乗客監視装置、乗客監視方法、及び非一時的なコンピュータ可読媒体 | |
KR102374357B1 (ko) | 밀집 통제를 위한 영상 감시 장치 | |
KR20190080142A (ko) | 터널 내 유고상황 이벤트를 파노라마 영상에 표시하는 시스템 및 표시 방법 | |
JP2021019940A (ja) | 生体情報抽出装置 | |
KR20140059677A (ko) | 운송 차량의 사고 인식 시스템 | |
JP3806508B2 (ja) | 駐車場画像監視装置 | |
CN112535476A (zh) | 跌倒侦测***及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |