CN111954898A - 交通监视***及交通监视方法 - Google Patents

Abstract

本发明有助于提供交通监视***及交通监视方法，其融合相机和雷达这两个传感器装置来高精度且有效地监视道路状况。交通监视***包括：相机，其对包含道路的监视区域进行拍摄而产生图像数据；毫米波雷达，其对监视区域中所含的扫描区域进行扫描而产生毫米波数据；以及信息处理服务器，其与相机及毫米波雷达连接而取得图像数据及毫米波数据。信息处理服务器包括：数据同步部，其以使图像数据的产生时机与毫米波数据的产生时机之差达到一定值以下的方式，使图像数据和毫米波数据同步；以及画面产生部，其以使已同步的图像数据和毫米波数据对应起来的方式，产生表示道路状况的监视画面。

Description

交通监视***及交通监视方法

技术领域

本发明涉及交通监视***及交通监视方法。

背景技术

以往，已逐步在十字路口等道路导入对包含自行车在内的车辆及行人的移动进行监视的交通监视***。对于交通监视***，希望通过高精度、无遗漏地检测车辆及行人(以下记载为“移动体”)，来高效地通知道路状态和/或通知危险警示。

例如在专利文献1中公开了如下方法：基于监视相机所拍摄的图像，产生与道路的每个规定区间对应的道路状况图像，并通过既定的显示色来显示道路状况图像。

另外，例如在专利文献2中公开了如下装置，该装置通过毫米波雷达来测量行驶车辆，并一边自动判断车道数、各车道的宽度、中央隔离带宽度等，一边监视车辆交通量。

现有技术文献

专利文献

专利文献1：日本专利特开2004-102545号公报

专利文献2：日本专利特开2007-257536号公报

发明内容

但是，尚未充分研究融合监视相机和雷达这两个传感器装置来高精度且有效地监视道路状况的交通监视***。

本发明的非限定性的实施例有助于提供融合相机和雷达这两个传感器装置来高精度且有效地监视道路状况的交通监视***及交通监视方法。

本发明的一个方式的交通监视***包括：相机，其对包含道路的监视区域进行拍摄而产生图像数据；毫米波雷达，其对所述监视区域中所含的扫描区域进行扫描而产生毫米波数据；以及信息处理服务器，其与所述相机及所述毫米波雷达连接而取得所述图像数据及所述毫米波数据，所述信息处理服务器包括：数据同步部，其以使所述图像数据的产生时机与所述毫米波数据的产生时机之差达到一定值以下的方式，使所述图像数据和所述毫米波数据同步；以及画面产生部，其以使已同步的所述图像数据和所述毫米波数据对应起来的方式，产生表示所述道路的状况的监视画面。

本发明的一个方式的交通监视方法包括以下的步骤：从相机取得对包含道路的监视区域进行拍摄而产生的图像数据；从毫米波雷达取得对所述监视区域中所含的扫描区域进行扫描而产生的毫米波数据；以使所述图像数据的产生时机与所述毫米波数据的产生时机之差达到一定值以下的方式，使所述图像数据和所述毫米波数据同步；以及以使已同步的所述图像数据和所述毫米波数据对应起来的方式，产生表示所述道路的状况的监视画面。

应予说明，这些广泛或具体的方式可由***、集成电路、电脑程序或记录介质实现，也可由***、装置、方法、集成电路、电脑程序及记录介质的任意的组合实现。

根据本发明的一个方式，有助于提供融合相机和雷达这两个传感器装置来高精度且有效地监视道路状况的交通监视***及交通监视方法。

本发明的一个方式中的更进一步的优点及效果将由说明书及附图清楚呈现。上述优点和/或效果分别由若干个实施方式以及说明书及附图所记载的特征提供，但未必需要为了获得一个或一个以上的相同的特征而全部提供。

附图说明

图1是表示本发明的一实施方式的交通监视***的结构的一例的图。

图2是表示本发明的一实施方式的信息处理服务器的结构的一例的图。

图3是表示本发明的一实施方式的信息处理服务器的处理的一例的流程图。

图4是表示本发明的一实施方式中的显示画面的显示例1的图。

图5是表示本发明的一实施方式中的显示画面的显示例2的图。

图6是表示本发明的一实施方式中的显示画面的显示例3的图。

图7是表示本发明的一实施方式中的显示画面的显示例4的图。

图8是表示本发明的一实施方式中的显示画面的显示例5的图。

具体实施方式

以下，适当参照附图来详细地说明实施方式。但是，有时会省略过于详细的说明。例如，有时省略已广为人知的事项的详细说明或对于实质上相同的结构的重复说明。原因在于：避免以下的说明无必要地变得冗长，使本领域技术人员容易理解。

此外，提供附图及以下的说明的目的在于使本领域技术人员充分理解本发明，并无由此对权利要求书所记载的主题进行限定的意图。

(一实施方式)

＜交通监视***的结构＞

图1是表示本实施方式的交通监视***1的结构的一例的图。交通监视***1包括多个相机2、多个毫米波雷达3、信息处理服务器(控制装置)4及远程监视PC(PersonalComputer，个人电脑)5。在本实施方式中，以对车辆、行人等通行的道路的交通进行监视的交通监视***作为一例来进行说明。

相机2及毫米波雷达3经由网络N1与信息处理服务器4连接。网络N1可以是无线网络，也可以是有线网络，还可以是包含无线和有线的网络。

信息处理服务器4经由网络N2与远程监视PC5连接。网络N2可以是无线网络，也可以是有线网络，还可以是包含无线和有线的网络。

相机2例如设置在道路周边的构造物(例如用于设置道路标志的标志杆)的上方。相机2拍摄包含道路在内的道路周边的区域。此外，也可将相机2的拍摄范围即包含道路在内的道路周边的区域记载为“监视区域”。

相机2产生已拍摄的图像的数据(图像数据)，并向信息处理服务器4发送已拍摄的图像数据。发送的图像数据中包含表示图像数据的产生时机(例如时刻)的时刻信息。此外，时刻信息所表示的时刻也可以是相机2进行拍摄的时刻。另外，相机2例如也可以帧为单位，向信息处理服务器4发送图像数据。另外，相机2所拍摄的图像也可记载为“相机图像”。另外，例如也可将规定相机图像的横方向和纵方向的坐标系记载为“相机坐标系”。例如基于相机2的设置位置、相机2的朝向及相机2的视角来规定相机坐标系。

毫米波雷达3例如设置在道路周边的构造物的上方。毫米波雷达3对道路周边发送毫米波频段的雷达信号，并接收雷达信号被道路周边的物体反射而成的反射信号。此外，毫米波雷达3向多个方向依次发送雷达信号，由此，对道路周边进行扫描。也可将毫米波雷达3的雷达信号的扫描范围记载为“扫描区域”。

毫米波雷达3例如基于雷达信号的发送时刻与反射信号的接收时刻之间相差的时间、雷达信号的发送方向、反射信号的接收强度及反射信号的多普勒频率(Dopplerfrequency)中的至少一个信息来产生毫米波数据。

毫米波数据例如包含表示反射了雷达信号的道路周边的物体(以下记载为“反射物”)的信息。例如，毫米波数据是包含以毫米波雷达3的位置为基准而规定的坐标系中的表示反射物位置的点(以下记载为“反射点”)的集合的数据。以毫米波雷达3的位置为基准而规定的坐标系例如是由从毫米波雷达3的位置算起的距离和毫米波雷达3进行扫描的方位角形成的极坐标系。此外，以毫米波雷达3的位置为基准而规定的坐标系也可记载为“毫米波雷达坐标系”。例如基于毫米波雷达3的设置位置、毫米波雷达3的朝向及毫米波雷达3的扫描区域(检测范围)来规定毫米波雷达坐标系。

此外，对于一个反射物，反射点不限于一个。在毫米波数据中，一个反射物也可由多个反射点表示。

另外，反射物例如包含在道路周边移动的车辆及行人(以下记载为“移动体”)和设置在道路周边的构造物(道路标志、红绿灯等，以下记载为“静止物”)。毫米波数据也可包含表示移动***置的反射点和表示静止物位置的反射点。

毫米波雷达3将毫米波数据发送至信息处理服务器4。发送的毫米波数据中包含表示毫米波数据的产生时机(例如时刻)的时刻信息。此外，时刻信息所表示的时刻可以是发送了用于产生毫米波数据的雷达信号的时刻，也可以是接收了雷达信号的时刻。另外，可以是，毫米波雷达3以设定的周期对扫描区域进行扫描，并向信息处理服务器4发送毫米波数据。

相机2产生图像数据的时机和毫米波雷达3产生毫米波数据的时机也可以不一致，可以是不同的时机。另外，相机2发送图像数据的时机和毫米波雷达3发送毫米波数据的时机也可以不一致，可以是不同的时机。例如，相机2产生图像数据的频度比毫米波雷达3产生毫米波数据的频度更高。

此外，相机2和毫米波雷达3可以设置于同一构造物，也可以设置于互不相同的构造物。另外，相机2和毫米波雷达3可以设置于同一壳体，也可以设置于不同的壳体。

另外，相机2和毫米波雷达3的设置方法、设置位置、以及相机2与毫米波雷达3相对位置关系不受限定。另外，相机2的监视区域与毫米波雷达3的扫描区域之间的位置关系不受限定。本发明中，优选以使毫米波雷达3的扫描区域被包含于相机2的监视区域内的方式设置毫米波雷达3的扫描区域。

例如，至少一个相机2和至少一个毫米波雷达3成对地设置在一个进行监视的地点(以下记载为“监视地点”)。此外，在一个监视地点，可以是设置有两个以上的相机2，也可以是设置有两个以上的毫米波雷达3。

信息处理服务器4经由网络N1与在多个监视地点分别设置的相机2及毫米波雷达3连接。信息处理服务器4从相机2取得图像数据，并从毫米波雷达3取得毫米波数据。接着，信息处理服务器4基于图像数据及毫米波数据，产生与监视地点的道路状况相关的监视画面。信息处理服务器4经由网络N2向远程监视PC5发送已产生的监视画面的数据。

此外，信息处理服务器4也可从远程监视PC5接收包含与监视画面相关的设定和/或与监视地点相关的指示的指示信息。在此情况下，信息处理服务器4基于指示信息产生监视画面。

远程监视PC5经由网络N2从信息处理服务器4接收监视画面的数据。远程监视PC5对监视画面的数据进行处理，并在显示部(未图示)中显示监视画面。

此外，远程监视PC5例如也可经由操作部(未图示)从用户接受与监视画面相关的设定和/或与监视地点相关的指示。在此情况下，远程监视PC5也可向信息处理服务器4发送包含与监视画面相关的设定和/或与监视地点相关的指示的指示信息。

此外，图1中表示的虽是一台远程监视PC5，但远程监视PC5也可以是多个。另外，图1中虽表示了网络N1和网络N2，但网络N1和网络N2既可以是同一网络，也可以是不同的网络。另外，虽表示了信息处理服务器4经由网络N1与相机2及毫米波雷达3连接的例子，但信息处理服务器4也可不经由网络N1而直接与相机2和/或毫米波雷达3有线连接或无线连接。另外，远程监视PC5也可不经由网络N2而直接与信息处理服务器4有线连接或无线连接。

对于上述已说明的交通监视***1，例如在进行监视的用户经由远程监视PC5的操作部输入了(或选择了)特定的监视地点的情况下，远程监视PC5向信息处理服务器4发送表示所输入(或所选择)的监视地点的指示信息。

信息处理服务器4产生与指示信息所表示的监视地点处的道路状况相关的监视画面。接着，信息处理服务器4向指示信息的发送源即远程监视PC5发送已产生的监视画面的数据。

＜信息处理服务器的结构＞

接着，说明信息处理服务器4的结构的一例。图2是表示本实施方式的信息处理服务器4的结构的一例的图。

信息处理服务器4例如包括通信部41、数据同步部42、数据存储部43、画面产生部44及模式设定部45。

通信部41是经由网络N1与相机2及毫米波雷达3进行通信的接口。另外，通信部41是经由网络N2与远程监视PC5进行通信的接口。

数据同步部42经由通信部41从相机2取得图像数据。另外，数据同步部42经由通信部41从毫米波雷达3取得毫米波数据。

数据同步部42使图像数据和毫米波数据同步。例如，数据同步部42基于图像数据中所含的时刻信息和毫米波数据中所含的时刻信息，调整图像数据的产生时机和毫米波数据的产生时机。

例如，数据同步部42针对1帧的图像数据，选择包含的时刻信息所表示的时刻与图像数据中所含的时刻信息所表示的时刻之间的时间差为规定值以下的毫米波数据，并使所选择的毫米波数据对应于该1帧的图像数据。或者，数据同步部42也可针对1帧的图像数据，选择包含的时刻信息所表示的时刻与图像数据中所含的时刻信息所表示的时刻最接近的毫米波数据，并使所选择的毫米波数据对应于该1帧的图像数据。

此外，例如在相机2产生图像数据的频度和毫米波雷达3产生毫米波数据的频度不同的情况下，也可以是，数据同步部42以使一个图像数据对应于两个不同的毫米波数据的方式来使数据同步。或者，也可以是，数据同步部42以使一个毫米波数据对应于两个不同的图像数据的方式来使数据同步。数据同步部42使各自的时刻信息所表示的时刻相差的时间在规定时间内的图像数据和毫米波数据相对应。

数据同步部42向数据存储部43输出已同步的数据。另外，数据同步部42向画面产生部44输出已同步的数据。

数据存储部43对应地存储通过数据同步部42实现了同步的图像数据和毫米波数据。在数据存储部43中，例如基于时刻信息，按照时间顺序存储图像数据和毫米波数据。另外，也可在数据存储部43中存储多个监视地点各自的图像数据和毫米波数据。

画面产生部44从数据同步部42取得已同步(时机经过调整)的图像数据和毫米波数据。另外，画面产生部44也可经由通信部41从远程监视PC5取得包含与监视画面相关的设定和/或与监视地点相关的指示的指示信息。

接着，画面产生部44以使已同步(时机经过调整)的图像数据和毫米波数据对应起来的方式，产生表示道路状况的监视画面。

例如，画面产生部44对设置在指示信息所表示的监视地点的毫米波雷达3的毫米波数据进行信号处理(例如聚类(clustering)处理)，推断对应于反射物的区域。推断出的区域是毫米波数据的信息的一例。

另外，画面产生部44对与扫描区域对应的毫米波数据进行转换，以使其对应于监视区域。例如，也可以是，画面产生部44进行将由毫米波雷达坐标系规定的毫米波数据的信息转换成由相机坐标系规定的信息的坐标转换处理。画面产生部44将坐标转换后的毫米波数据的信息叠加于图像数据所表示的图像。

另外，画面产生部44也可进行与模式设定部45所指示的模式对应的信号处理，产生与模式对应的监视画面。此外，对于模式及与模式对应的监视画面的例子，将在后面进行说明。

接着，画面产生部44向远程监视PC5发送已产生的监视画面的数据。此外，也可以是，画面产生部44向远程监视PC5发送用于产生监视画面的数据的毫米波数据。

此外，也可以是，画面产生部44使用数据存储部43所存储的数据来产生监视画面。

模式设定部45经由通信部41取得指示信息。模式设定部45向画面产生部44指示指示信息中所含的与监视画面相关的模式。

＜信息处理服务器中的处理流程＞

接着，参照图3说明在信息处理服务器4中执行的处理流程的一例。

图3是表示本实施方式的信息处理服务器4的处理的一例的流程图。此外，图3所示的流程图表示对于从设置在一个监视地点的相机2及毫米波雷达3取得的数据的处理。信息处理服务器4也可对从设置在各监视地点的相机2及毫米波雷达3取得的数据并行地进行图3所示的处理。

数据同步部42从相机2取得图像数据(S101)。

数据同步部42从毫米波雷达3取得毫米波数据(S102)。

此外，S101和S102的顺序并不限定于此。另外，每当相机2发送图像数据时，执行S101的处理，每当毫米波雷达3发送毫米波数据时，执行S102的处理。

数据同步部42进行使图像数据和毫米波数据同步的数据同步处理(S103)。

数据同步部42进行将已同步的数据存储至数据存储部43的数据存储处理(S104)。

画面产生部44对毫米波数据进行聚类处理(S105)。

聚类处理是将毫米波数据中所含的对应于一个反射物的多个反射点分为一组的处理。也可以通过进行分组的处理来取得反射物的尺寸、形状、颜色之类的与反射物相关的信息。此外，以下，将如下区域记载为“反射区域”，该区域包含经聚类处理后，由对应于一个反射物的多个反射点构成的群组。

此外，在聚类处理中，画面产生部44也可使用数据存储部43所存储的当前时间点之前的毫米波数据。可以是，画面产生部44使用当前时间点之前的毫米波数据，按照时间顺序进行处理，由此，例如区分对应于移动体的反射点和对应于静止物的反射点。

接着，画面产生部44进行与所设定的模式对应的数据处理(S106)。

例如，在所设定的模式为监视移动体的移动方向的模式(例如后述的逆行检测模式)的情况下，画面产生部44进行移动体的追踪处理。例如，作为追踪处理的一例，画面产生部44进行判断与移动体对应的反射区域的移动方向的处理。

另外，例如在所设定的模式为识别反射物的种类的模式(例如后述的物体识别模式)的情况下，画面产生部44使用毫米波数据所表示的反射信号的接收强度、反射区域的尺寸等来识别反射物的种类。

另外，例如在所设定的模式为判断反射物的停留状况的模式(例如后述的热图(heat map)模式)的情况下，画面产生部44使用数据存储部43所存储的一定时间内的毫米波数据，针对每一个局部的范围，计算在扫描区域中检测出反射物的次数(频度)。

应予说明，与所设定的模式对应的数据处理并不限于上述例子。

接着，画面产生部44进行监视画面的产生处理(S107)，该监视画面中，图像数据和毫米波数据是对应起来的。

例如，画面产生部44进行将毫米波数据叠加于图像数据所表示的相机图像的处理。可以是，在该处理中，画面产生部44对毫米波数据的信息进行坐标转换，以使毫米波雷达坐标系向相机坐标系对齐。

画面产生部44进行发送已产生的监视画面的数据的处理(S108)。

接着，说明在信息处理服务器4中产生并显示于远程监视PC5的显示部的监视画面的显示例。

＜显示例1＞

显示例1是在进行监视的用户经由远程监视PC5的操作部选择了十字路口的监视地点的情况下，显示于远程监视PC5的显示部的画面的例子。

图4是表示本实施方式中的显示画面的显示例1的图。图4所示的显示例1包含基于从相机2和毫米波雷达3取得的数据而产生的监视画面，该相机2设置在从监视地点即十字路口的路面观察时位于斜上方的位置，该毫米波雷达3设置在与相机2大致相同的位置。

在图4的上部，显示有“逆行检测”按钮、“物体识别”按钮、“热图”按钮及“设定”按钮。在进行例如与监视画面相关的模式的设定等与监视画面相关的设定时，各按钮由用户按下。

在图4的下部，显示有用于显示毫米波数据的区域R1。而且，在区域R2中显示监视画面的一例。

例如在区域R1中，显示以毫米波雷达3的位置为基准(原点)而由多条纵线和横线划分的多个网格。而且，在区域R1中显示表示毫米波雷达3的扫描区域的区域A1和区域A1中的反射点。此外，例如也可根据用户的设定，适当省略区域R1的显示。

例如在区域R2的监视画面中，相机图像中叠加有由毫米波雷达3扫描而获得的毫米波数据。

此外，可以是，在将毫米波数据叠加于相机图像时，画面产生部44进行坐标转换处理。例如，画面产生部44将由毫米波雷达坐标系规定的区域A1及区域A1内的反射点转换成相机坐标系。在区域R2的监视画面中，已转换成相机2的监视区域的坐标系的毫米波数据叠加于相机图像。

例如，由毫米波雷达坐标系规定的区域R1中的区域A1，在由相机坐标系规定的区域R2的监视画面中，对应于夹在线条L1与线条L2之间的区域。

此外，区域R2中的夹在线条L1与线条L2之间的区域表示相机图像中的毫米波雷达3的扫描区域。例如也可以是，以使相机图像透过该区域而显示的方式，以与相机图像不同的形态(例如以不同的颜色)来显示夹在线条L1与线条L2之间的区域。另外，对于夹在线条L1与线条L2之间的区域，也可适当省略。

在区域R2中的夹在线条L1与线条L2之间的区域中，显示有框r1～框r6，该框r1～框r6表示与基于毫米波数据而检测出的反射物对应的反射区域。这样，在区域R2的监视画面中，利用框将对应于反射物的反射区域在相机图像中显示，因此，用户能够在视觉上确认处于监视区域且被毫米波雷达3检测出的反射物。

另外，将框r1～框r4以与框r5及框r6不同的形态(例如不同的颜色)显示。框的形态根据使用毫米波数据检测出的反射物是移动体还是静止物而不同。通过改变表示反射物的框的形态，用户能够在视觉上确认毫米波雷达3所检测出的反射物是移动体还是静止物这一信息。

例如，框r1～框r4表示移动体(车辆或行人)，框r5及框r6表示静止物(设置在道路的路边的构造物)。

此外，图4的上部的“逆行检测”按钮、“物体识别”按钮、“热图”按钮及“设定”按钮分别对应于逆行检测模式、物体识别模式、热图模式及设定模式。用户可对远程监视PC5的操作部进行操作来按下任一个按钮。在此情况下，远程监视PC5向信息处理服务器4发送如下信息，即，已设定了与被按下的按钮对应的模式。

接着，说明信息处理服务器4在变更了模式的情况下的显示例。

＜显示例2＞

显示例2是在进行监视的用户经由远程监视PC5的操作部按下“逆行检测”按钮而设定了逆行检测模式的情况下，显示于远程监视PC5的显示部的画面的例子。

图5是表示本实施方式中的显示画面的显示例2的图。图5所示的显示例2包含基于从相机2和毫米波雷达3取得的数据而产生的监视画面，该相机2设置在监视地点即单侧双车道的总计四车道的道路的路面的上方方向上，该毫米波雷达3设置在与相机2大致相同的位置。

在图5的上部，显示有“逆行检测”按钮、“物体识别”按钮、“热图”按钮及“设定”按钮。在图5中，因为已设定为逆行检测模式，所以“逆行检测”按钮处于已被按下的状态。

区域R3是在设定为逆行检测模式的情况下所显示的监视画面。在区域R3中，相机图像中叠加有毫米波数据。

此外，可以是，在将毫米波数据叠加于相机图像时，画面产生部44与在图4的例子中同样地，进行坐标转换处理。另外，在设定为逆行检测模式的情况下，画面产生部44进行检测移动体(例如车辆)的逆行的处理。

例如，在检测逆行的处理中，画面产生部44使用毫米波数据检测处于扫描区域的移动体。接着，画面产生部44对检测出的移动体的移动方向进行检测。移动体的移动方向的检测方法例如可以是利用多普勒频移(Doppler shift)的方法，也可以是对当前时间点和当前时间点之前的时间点的移动体的位置进行比较的方法。例如，可使用数据存储部43所存储的过去的毫米波数据来检测当前时间点之前的时间点的移动体的位置。

也可以是，画面产生部44使表示检测出的移动体的位置的框(图5的框r7及框r8)及表示检测出的移动体的移动方向的箭头(图5的箭头x7及箭头x8)叠加于相机图像。表示检测出的移动体的位置的框及表示移动方向的箭头是毫米波数据的信息的一例。

接着，画面产生部44判断检测出的移动体的移动方向是否与针对监视区域中所含的道路设定的既定的前行方向(以下记载为“顺方向”)不同。

此外，基本上，若决定了相机2及毫米波雷达3的位置及朝向，并决定了监视区域(及扫描区域)，则顺方向会唯一地确定。因此，例如也可根据相机2及毫米波雷达3的设置位置及朝向来预先设定顺方向。或者，画面产生部44也可监视在一定时间内通过监视区域的多个移动体的移动方向，从而判断出顺方向。

此外，在图5中，为了便于说明，示出了表示顺方向的箭头x0。

在检测出的移动体的移动方向与顺方向不同的情况下，画面产生部44判断为检测出的移动体正在逆行。

例如，在图5中，框r7所包围的移动体的箭头x7的方向与顺方向即箭头x0相同，因此，判断为框r7所包围的移动体未在逆行。另一方面，框r8所包围的移动体的箭头x8的方向与顺方向即箭头x0相反，因此，判断为框r8所包围的移动体正在逆行。

此外，在对是否正在逆行进行判断时，画面产生部44也可如图5所示，规定细致地对道路进行划分的刻度z，并针对各刻度z判断移动方向。通过针对多个刻度判断移动方向，能够抑制判断错误。

画面产生部44在检测出正在逆行的移动体的情况下，发送表示已检测出正在逆行的移动体的警告信息。

接收了警告信息的远程监视PC5在显示部中通知警告。警告的通知方法例如可以是使用符号和/或文字信息的方法，也可以是变更显示部的至少一部分的颜色的方法。或者，远程监视PC5也可使用声音来通知警告。

此外，画面产生部44也可使用当前时间点以前的毫米波数据来捕捉正在逆行的移动体，判断出移动体的逆行的状况。而且，画面产生部44也可在警告信息中加入表示移动体的逆行的状况的信息。移动体的逆行的状况例如是指是否是故意逆行，或者逆行是否是由驾驶人的操作失误引起的。

例如，画面产生部44在移动体持续逆行较长时间的情况下，判断为是故意逆行。或者，画面产生部44在移动体进行了突然将前行方向变更为相反方向的“U形转弯”的情况下，判断为是故意逆行。或者，画面产生部44在移动体短暂逆行后，将前行方向变更为顺方向的情况下，判断为逆行是由驾驶人的操作失误(例如“疏忽”)引起的。

例如，存在如下状况，即，在进入高速公路的服务区及停车区等休息设施后的车辆再次汇入高速公路主线时，因驾驶人的操作时的疏忽而导致逆行，并在中途意识到逆行而向顺方向变更。可以将此种状况判断为短暂逆行。此外，有时驾驶人也会未意识到逆行而无意识地持续逆行，因此，也可以将此种状况判断为故意逆行。

可以是，接收了警告信息的远程监视PC5根据表示移动体的逆行的状况的信息，变更在显示部中进行通知的警告。此外，可以是，在判断为逆行的情况下，画面产生部44在监视画面中进行强调显示，例如使框r8的框线的粗细、种类、色调、亮度及对比度中的至少一者发生变化，或者闪烁地显示框r8。

另外，信息处理服务器4也可包括警告控制部，该警告控制部基于从画面产生部44取得的警告信息来控制外部的设备，以对正在逆行的移动体进行警告和/或对在正在逆行的移动体的周边进行警告。

警告控制部例如控制设置在监视地点的周边且与网络N1连接的警告灯、LED(Light Emitting Diode，发光二极管)照明柱及显示板(指示牌)中的至少一者，以向监视地点的周边警告存在逆行的移动体。例如，警告控制部控制警告灯和/或LED照明柱的颜色、亮度、点亮与熄灭的间隔，从而在监视地点的周边通知异常。

这样，在逆行检测模式下，将使用毫米波数据检测逆行所得的结果叠加于相机图像，由此，能够检测出若仅使用相机图像则有可能过迟地被检测出的逆行，从而能够高效地对用户通过视觉进行的交通监视进行辅助。

＜显示例3＞

显示例3是在进行监视的用户经由远程监视PC5的操作部按下“物体识别”按钮而设定了物体识别模式的情况下，显示于远程监视PC5的显示部的画面的例子。

图6是表示本实施方式中的显示画面的显示例3的图。图6所示的显示例3包含基于从相机2和毫米波雷达3取得的数据而产生的监视画面，该相机2设置在从监视地点即十字路口的路面观察时位于斜上方的位置，该毫米波雷达3设置在与相机2大致相同的位置。

在图6的上部，显示有“逆行检测”按钮、“物体识别”按钮、“热图”按钮及“设定”按钮。在图6中，因为已设定为物体识别模式，所以“物体识别”按钮处于已被按下的状态。

区域R4是设定为物体识别模式后的监视画面。在区域R4中，相机图像中叠加有毫米波数据。

此外，可以是，在将毫米波数据叠加于相机图像时，画面产生部44与在图4的例子中同样地，进行坐标转换处理。另外，在设定为物体识别模式的情况下，画面产生部44进行识别在毫米波数据中检测出的物体的处理。

例如，画面产生部44使用毫米波数据来检测处于监视区域的物体。检测的物体可以是移动体，也可以是静止物。而且，画面产生部44对用于识别检测出的物体的特征进行检测。用于识别物体的特征例如可以是物体的种类(例如特大型车、大型车、普通车、二轮车及人)、大小(例如宽度及高度)、颜色及形状中的至少一者。

物体特征的检测方法例如可以是基于反射信号的接收强度和反射信号的多普勒频率中的至少一个信息的众所周知的方法，或是基于其他信息的众所周知的方法。

画面产生部44也可使表示检测出的物体的位置的框和表示检测出的物体的特征的信息叠加于相机图像。例如，可以是，作为移动的物体的种类，识别出人、自行车、摩托车、普通车、大型车等种类。

表示物体特征的信息例如也可以是文字信息。或者，也可根据物体特征来变更表示物***置的框的种类和/或颜色，由此显示物体的特征。

另外，也可叠加表示物体的、与种类对应的特征的确切度(可靠度)的信息。

例如，在图6中，使用与表示检测出的行人的位置的框r11和框r12不同的形态(例如不同的颜色)，来显示表示检测出的车辆的位置的框r9和框r10。而且，使用文字信息来显示框r9所示的车辆的种类为“普通车”。另外，使用文字信息来显示该特征的确切度为“0.95”。该数值例如表示框r9所示的反射物为普通车的可靠度是95％。

这样，在物体识别模式下，通过将表示使用毫米波数据检测出的物体的特征的、识别结果的信息叠加于相机图像，用户能够确认相机图像中难以确认的物体的特征，从而能够在视觉上进行交通监视。例如，在相机图像因天气和/或日期时刻而不清晰的情况下，也能够确认物体的特征。此外，在不受天气等影响的状况下，也可使用相机图像的分析结果，如图6所示，附加黑或白之类的信息作为物体的颜色信息。

＜显示例4＞

显示例4是在进行监视的用户经由远程监视PC5的操作部按下“热图”按钮而设定了热图模式的情况下，显示于远程监视PC5的显示部的画面的例子。

图7是表示本实施方式中的显示画面的显示例4的图。图7所示的显示例4包含基于从相机2和毫米波雷达3取得的数据而产生的监视画面，该相机2设置在从监视地点即十字路口的路面观察时位于斜上方的位置，该毫米波雷达3设置在与相机2大致相同的位置。

在图7的上部，显示有“逆行检测”按钮、“物体识别”按钮、“热图”按钮及“设定”按钮。在图7中，因为已设定为热图模式，所以“热图”按钮处于已被按下的状态。

区域R5是设定为热图模式后的监视画面。在区域R5中，相机图像中叠加有毫米波数据。

此外，可在是，在将毫米波数据叠加于相机图像的情况下，画面产生部44与在图4的例子中同样地，进行坐标转换处理。另外，在设定为热图模式的情况下，画面产生部44进行如下处理，即，使用当前时间点之前的毫米波数据来判断物体的停留状况，并产生表示停留状况的热图的信息。

例如，画面产生部44使用在当前时间点之前的一定时间内取得的毫米波数据，对在一定时间内，在将监视区域分割为多个网格而成的各个检测矩形框中检测出的反射物的数量进行计数。接着，画面产生部44根据检测出的反射物的数量对检测矩形框进行分类。此时，也可根据检测出的反射物的种类(例如车辆或行人)和数量对检测矩形框进行分类。

接着，可以是，画面产生部44使表示已分类的检测矩形框的热图的信息叠加于相机图像。

表示已分类的检测矩形框的热图的信息例如是颜色差异之类的形态差异。例如，可以是，画面产生部44以使相机图像透过该颜色而显示的形态，将与检测出的反射物的数量对应的颜色叠加于相机图像。

例如，在图7中，表示已被根据检测出的反射物的数量而分类的检测矩形框的信息由“Lv1”～“Lv4”这四种颜色的差异来显示。例如，在图7中，Lv2～Lv4的区域相当于车道区域。而且，Lv4的区域相当于与车辆和行人这两者通过的频度都高的人行横道对应的区域、或与车辆停止的次数多的停止线对应的区域。另外，通过对Lv4及Lv3的区域和Lv2的区域进行比较，可知监视地点的十字路口是左转弯较少的十字路口。

这样，通过使热图的信息叠加于相机图像，能够推断监视地点的道路结构(例如车道数量、车道种类(例如右转专用车道)及车道形状)。例如能够推断出车辆被检测到的次数多的区域是车道，行人被检测到的次数多的区域是步道，以及车辆和行人这两者被检测到的次数都多的区域是人行横道。另外，能够推断出车道区域中的车辆被检测出的次数较多的位置是在车道的停止线附近。

由此，因为能够高精度地推断监视区域的道路结构，所以能够进行对用户而言视觉效果好的显示。

另外，因为能够高精度地推断监视区域的道路结构，所以能够高精度地预测行人和/或车辆的突然冲出、二轮车的穿插之类的状况，从而能够在监视地点进行有效的警告。

另外，因为能够高精度地推断监视区域的道路结构，所以能减少在设置相机2及毫米波雷达3时，设定道路结构所费的工夫，因此，能够简化设定。

此外，上述显示例2～显示例4(图5～图7)示出了显示一个监视画面的例子。本发明并不限定于此。例如，在图5～图7中，也可与图4的区域R1同样地显示由毫米波雷达3扫描而获得的毫米波数据。

＜显示例5＞

显示例5是在进行监视的用户经由远程监视PC5的操作部按下“设定”按钮而设定了设定模式的情况下，显示于远程监视PC5的显示部的画面的例子。

图8是表示本实施方式中的显示画面的显示例5的图。在图8的上部，显示有“逆行检测”按钮、“物体识别”按钮、“热图”按钮及“设定”按钮。在图8中，因为已设定为设定模式，所以“设定”按钮处于已被按下的状态。

另外，在图8的显示画面中，显示有能够在设定模式下设定的“维护模式”、“天气推断模式”及“夜间模式”的按钮。进行监视的用户按下所显示的按钮来选择不同的模式。以下，对各模式进行说明。

“维护模式”

在维护模式下，通过选择监视地点，使信息处理服务器4进行设置于该监视地点的相机2和/或毫米波雷达3的定点观测。在通过定点观测检测出了监视地点的异常的情况下，信息处理服务器4调整相机2的参数(例如相机2的视角、分辨率及曝光)和/或毫米波雷达3的参数(例如分辨率、发送功率及接收灵敏度)。在虽反复调整了参数，但仍检测出异常的情况下，信息处理服务器4将告知异常的信息通知远程监视PC5。接收了通知的远程监视PC5在显示部中显示告知异常的信息。

“天气推断模式”

在天气推断模式下，信息处理服务器4使用毫米波数据来推断天气。例如，可以是，信息处理服务器4检测因天气不同而不同的、毫米波数据所表现出的反射信号的接收强度的衰减和/或反射信号的多普勒频率的波动，并基于检测出的量来推断天气。

“夜间模式”

在夜间模式下，信息处理服务器4不使毫米波数据与相机图像叠加，而是以基于毫米波数据的显示为主进行显示。由此，在夜间等相机2拍摄到的图像不清晰而难以识别物体的情况下，能够避免以叠加后反而不易看清的方式进行显示。

此外，能够在设定模式下设定的模式也可包含如以下例子所示的模式。

“交通流计数模式”

在交通流计数模式下，画面产生部44使用在当前时间点之前的一定时间内取得的毫米波数据，对在一定时间内，在将监视区域分割为多个网格而成的各个检测矩形框中检测出的车辆的数量进行计数。接着，画面产生部44根据检测出的物体的数量，产生与交通流相关的信息，并使其叠加于相机图像。

例如，在交通流计数模式下，画面产生部44根据检测出的车辆的数量，以统计方式计算车间距、速度及车辆长度之类的信息。接着，画面产生部44推断监视区域中的拥堵程度。

此外，画面产生部44也可按时段和/或按日期进行推断。进行推断的时段和/或日期也可由用户经由远程监视PC5指定。

另外，画面产生部44也可按检测出的物体的种类推断拥堵程度。例如，画面产生部44也可针对普通车、大型车、二轮车之类的车辆的种类分别推断拥堵程度。

“十字路口监视模式”

在十字路口监视模式下，信息处理服务器4使用设置在十字路口周围的相机2及毫米波雷达3，检测容易在十字路口发生的事件，并根据检测结果进行警告。

例如，信息处理服务器4在检测出左转车辆的情况下，确认左转车辆周围有无移动体(例如二轮车)，以防止车辆左转时牵连到该移动体。而且，在左转车辆的周围存在移动体的情况下，信息处理服务器4对二轮车及其周围进行警告(例如“突然冲出警报”)。

另外，例如，信息处理服务器4为了检测二轮车的穿插，使用毫米波数据，优先检测二轮车。而且，信息处理服务器4追踪检测出的二轮车的行驶路径，在二轮车在普通车等之间穿插的情况下，对二轮车及其周围进行警告(例如“突然冲出警报”)。

“动物检测模式”

在动物检测模式下，信息处理服务器4基于毫米波数据，检测道路上或道路周边是否存在动物。例如，信息处理服务器4从毫米波数据所含的反射信号的信息中，提取动物为反射物的情况下所特有的信息，从而检测是否存在动物。

此外，在本实施方式中，以对车辆、行人等通行的道路的交通进行监视的交通监视***作为一例进行了说明。本发明并不限定于此。例如也可以是对铁路和铁路使用者进行监视的交通监视***。例如，在对铁路的交通进行监视的交通监视***中，相机2及毫米波雷达3也可设置在环视站台及线路的位置和/或低于站台的靠近线路的位置。另外，在对铁路的交通进行监视的交通监视***中，可设定的模式中也可包含“掉落检测模式”等。

“掉落检测模式”

在掉落检测模式下，在设置在站台上方的相机2和/或毫米波雷达3(以下记载为“站台上相机/雷达”)检测出行走于站台的人或物品(伞、钱包等随行物)向站台下方下落的情况下，设置在站台下方的相机2和/或毫米波雷达3(以下记载为“站台下相机/雷达”)开始进行检测。而且，对应地保存从检测出向站台下方下落的时间点起的、站台上相机/雷达的数据和站台下相机/雷达的数据。

另外，在站台下雷达未检测出移动体的情况下，也可在站台下相机图形中提取静止物。

以上，在本实施方式中，说明了包括信息处理服务器的交通监视***，该信息处理服务器使相机拍摄到的图像数据和毫米波雷达取得的毫米波数据同步，并以使已同步的图像数据和上述毫米波数据对应起来的方式产生表示道路状况的监视画面。根据本实施方式，因为使从相机和毫米波雷达这两个传感器装置获得的数据同步，并产生使已同步的数据对应起来的监视画面，所以能够高精度且有效地监视道路状况。

例如，根据相机数据而获得的相机图像能够对进行监视的用户提供视觉上有效的信息，毫米波雷达的数据能够对进行监视的用户提供无法根据相机图像获得的详细信息。因此，在本实施方式中，通过使从毫米波雷达获得的详细信息与相机图像对应起来，能够高精度且有效地监视道路状况。

以上，参照附图说明了各种实施方式，但本发明当然不受相关的例子限定。本领域技术人员显然可在权利要求书记载的范畴内，想到各种变更例或修改例，这些例子当然也会被理解为属于本发明的技术范围。另外，也可在不脱离发明宗旨的范围内，任意地组合上述实施方式中的各结构要素。

在上述各实施方式中，说明了使用硬件来构成本发明的例子，但本发明也可在与硬件的协作下通过软件实现。

另外，在上述实施方式的说明中使用的各功能块典型地被实现为作为集成电路的LSI(Large Scale Integration，大规模集成电路)。集成电路也可控制上述实施方式的说明中使用的各功能块，并包括输入和输出。这些既可以分别实行单芯片化，也可以包含各功能块的一部分或全部而实行单芯片化。此处虽称为LSI，但根据集成度的不同，也可以称为IC(Integration Circuit，集成电路)、***LSI(System LSI)、超大LSI(Super LSI)、特大LSI(Ultra LSI)。

另外，集成电路化的方法不限于LSI，也可使用专用电路或通用处理器来实现。也可利用LSI制造后能够编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)、或可以对LSI内部的电路块的连接、设定进行重新构置的可重构处理器(Reconfigurable Processor)。

再有，如果随着半导体技术的进步或者其他技术的派生，出现了代替LSI的集成电路化的技术，当然也可以利用其他技术来实现功能块的集成化。还存在应用生物技术等的可能性。

此外，本发明可表现为在无线通信装置或控制装置中执行的控制方法。另外，本发明也可表现为用于通过电脑使该控制方法工作的程序。而且，本发明还可表现为以可由电脑读取的状态记录有该程序的记录介质。即，本发明可表现为装置、方法、程序、记录介质中的任一个类别。

另外，本发明的构件的种类、配置、个数等并不受上述实施方式限定，能够在不脱离发明宗旨的范围内适当变更，例如可将其结构要素适当替换为发挥同等的作用及效果的结构要素。

在2018年4月4日申请的特愿2018-072542的日本专利申请所包含的说明书、附图及说明书摘要的公开内容全部被引用于本申请。

工业实用性

本发明适合用于交通监视。

附图标记说明

1 交通监视***

2 相机

3 毫米波雷达

4 信息处理服务器(控制装置)

5 远程监视PC(Personal Computer，个人电脑)

41 通信部

42 数据同步部

43 数据存储部

44 画面产生部

45 模式设定部

Claims (9)

1.一种交通监视***，其特征在于，包括：

相机，其对包含道路的监视区域进行拍摄而产生图像数据；

毫米波雷达，其对所述监视区域中所含的扫描区域进行扫描而产生毫米波数据；以及

信息处理服务器，其与所述相机及所述毫米波雷达连接而取得所述图像数据及所述毫米波数据，

所述信息处理服务器包括：

数据同步部，其以使所述图像数据的产生时机与所述毫米波数据的产生时机之差达到一定值以下的方式，使所述图像数据和所述毫米波数据同步；以及

画面产生部，其以使已同步的所述图像数据和所述毫米波数据对应起来的方式，产生表示所述道路的状况的监视画面。

2.如权利要求1所述的交通监视***，其中，

还包括数据存储部，该数据存储部存储通过所述数据同步部而实现了同步的所述图像数据和所述毫米波数据，

所述画面产生部使用所述数据存储部所存储的过去的所述图像数据和所述毫米波数据来产生所述监视画面。

3.如权利要求1所述的交通监视***，其中，

所述画面产生部对与所述扫描区域对应的毫米波数据进行转换，以使其对应于所述监视区域。

4.如权利要求1所述的交通监视***，其中，

所述画面产生部基于所述毫米波数据来识别所述扫描区域中所含的物体，并使表示所述物体的识别结果的信息叠加于所述图像数据。

5.如权利要求4所述的交通监视***，其中，

表示所述物体的识别结果的信息包含文字信息和/或表示所述图像数据中的所述物体的范围的框。

6.如权利要求1所述的交通监视***，其中，

所述画面产生部基于所述毫米波数据来判断所述扫描区域中的物体的停留状况，并使表示所述停留状况的信息叠加于所述图像数据。

7.如权利要求6所述的交通监视***，其中，

表示所述停留状况的信息是与所述物体被检测出的频度对应的颜色的信息，

所述画面产生部以使所述图像数据从所述颜色的信息透过的方式，将所述颜色的信息叠加于所述图像数据。

8.如权利要求1所述的交通监视***，其中，

还包括模式设定部，该模式设定部进行由用户指示的、对与所述监视画面相关的设定的变更，

所述画面产生部产生与所述设定对应的监视画面。

9.一种交通监视方法，其特征在于，包括以下的步骤：

从相机取得对包含道路的监视区域进行拍摄而产生的图像数据；

从毫米波雷达取得对所述监视区域中所含的扫描区域进行扫描而产生的毫米波数据；

以使所述图像数据的产生时机与所述毫米波数据的产生时机之差达到一定值以下的方式，使所述图像数据和所述毫米波数据同步；以及

以使已同步的所述图像数据和所述毫米波数据对应起来的方式，产生表示所述道路的状况的监视画面。

Images