CN114051720A - 图像处理装置、拍摄装置、移动体、以及图像处理方法 - Google Patents

图像处理装置、拍摄装置、移动体、以及图像处理方法 Download PDF

Info

Publication number
CN114051720A
CN114051720A CN202080046133.6A CN202080046133A CN114051720A CN 114051720 A CN114051720 A CN 114051720A CN 202080046133 A CN202080046133 A CN 202080046133A CN 114051720 A CN114051720 A CN 114051720A
Authority
CN
China
Prior art keywords
behavior
moving body
image processing
processing apparatus
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080046133.6A
Other languages
English (en)
Other versions
CN114051720B (zh
Inventor
茂木亮介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN114051720A publication Critical patent/CN114051720A/zh
Application granted granted Critical
Publication of CN114051720B publication Critical patent/CN114051720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Acoustics & Sound (AREA)

Abstract

图像处理装置(10)具有输出部(14)和处理器(16)。输出部(14)向移动体(12)输出指示使移动体(12)执行的举动的信息。处理器(16)基于从周边图像检测到的对象物的状态来确定移动体(12)的第一举动。处理器(16)使输出部(14)输出指示第一举动的信息。处理器(16)基于根据移动体(12)的第一举动后的周边图像检测到的对象物的状态来确定移动体(12)的第二举动。处理器(16)在与对象物的规定动作的速度相应的定时，使输出部(14)输出指示第二举动的信息。对象物的规定动作是指第一举动的确定前或者移动体(12)的第一举动后的动作。

Description

图像处理装置、拍摄装置、移动体、以及图像处理方法
相关申请的相互参照
本申请主张2019年6月25日在日本进行专利申请的日本特愿2019-117763的优先权，并将该在先申请的全部公开内容援引入本申请用于参照。
技术领域
本发明涉及图像处理装置、拍摄装置、移动体、以及图像处理方法。
背景技术
以往，已知一种根据照相机的拍摄图像来检测对象物的技术。
例如，提出了一种通过车载摄像头来拍摄车辆的周边，根据车载摄像头的拍摄图像检测行人的膝部位置的移动速度以及上半身部位置的移动速度的方案(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2010-066810号公报
发明内容
本公开的第一观点的图像处理装置，具有：
输出部，向移动体输出指示使所述移动体执行的举动的信息；以及
处理器，基于根据对所述移动体的周边进行拍摄而得到的周边图像检测出的对象物的状态来确定所述移动体的第一举动，使所述输出部输出指示所述第一举动的信息，基于根据所述移动体的所述第一举动后的周边图像检测出的所述对象物的状态来确定所述移动体的第二举动，在与所述第一举动的确定前或者所述移动体的所述第一举动后的所述对象物的规定动作的速度相应的定时，使所述输出部输出指示所述第二举动的信息。
本公开的第二观点的拍摄装置，具有：
图像处理装置，所述图像处理装置具有：输出部，向移动体输出指示使所述移动体执行的举动的信息；以及处理器，基于根据对所述移动体的周边进行拍摄而得到的周边图像检测出的对象物的状态来确定所述移动体的第一举动，使所述输出部输出指示所述第一举动的信息，基于根据所述移动体的所述第一举动后的周边图像检测出的所述对象物的状态来确定所述移动体的第二举动，在与所述第一举动的确定前或者所述移动体的所述第一举动后的所述对象物的规定动作的速度相应的定时，使所述输出部输出指示所述第二举动的信息，
以及拍摄部，生成所述周边图像。
本公开的第三观点的移动体载有拍摄装置，
所述拍摄装置，具有：
图像处理装置，所述图像处理装置具有：输出部，向移动体输出指示使所述移动体执行的举动的信息；以及处理器，基于根据对所述移动体的周边进行拍摄而得到的周边图像检测出的对象物的状态来确定所述移动体的第一举动，使所述输出部输出指示所述第一举动的信息，基于根据所述移动体的所述第一举动后的周边图像检测出的所述对象物的状态来确定所述移动体的第二举动，在与所述第一举动的确定前或者所述移动体的所述第一举动后的所述对象物的规定动作的速度相应的定时，使所述输出部输出指示所述第二举动的信息，
以及拍摄部，生成所述周边图像。
本公开的第四观点的图像处理方法，
根据对移动体的周边进行拍摄而得到的周边图像检测对象物的状态，
基于所述对象物的状态来确定所述移动体的第一举动，
向所述移动体输出指示所述第一举动的信息，
根据所述移动体的所述第一举动后的周边图像检测所述对象物的状态，
基于所述对象物的状态来确定所述移动体的第二举动，
在与所述第一举动的确定前或者所述移动体的所述第一举动后的所述对象物的规定动作的速度相应的定时，向所述移动体输出指示所述第二举动的信息。
附图说明
图1是表示本公开的一个实施方式的图像处理装置的结构例的框图。
图2是示例在移动体与对象物之间产生胶着状态的第一例的图。
图3是示例在移动体与对象物之间产生胶着状态的第二例的图。
图4是用于说明图1的控制器所执行的反应处理的流程图。
具体实施方式
以下，参照附图对应用了本发明的图像处理装置的实施方式进行说明。
如图1所示，包含本公开的一个实施方式的图像处理装置10的拍摄装置11例如搭载于移动体12。
移动体12可以包括例如车辆等。车辆可以包括例如汽车、工业车辆、铁路车辆、生活车辆、以及行驶在跑道上的固定翼飞机等。汽车可以包括例如乘用车、卡车、公共汽车、摩托车、以及无轨电车等。工业车辆可以包括例如面向农业以及面向建筑业的工业车辆等。工业车辆可以包括例如叉车以及高尔夫球车。面向农业的工业车辆可以包括例如拖拉机、耕种机、移植机、收割扎束机、联合收割机、以及割草机等。面向建筑业的工业车辆可以包括例如推土机、铲土机、挖掘机、铲车、吊车、翻斗车、以及压路机。车辆可以包括靠人力行驶的车辆。车辆的分类不限于上述。例如，汽车可以包括能够在道路行驶的工业车辆。可以在多种分类中包括相同的车辆。
拍摄装置11具有拍摄部13以及图像处理装置10。
拍摄部13例如是搭载于移动体12的车载摄像头。拍摄部13生成对移动体12的周边进行拍摄而得到的周边图像，并向图像处理装置10输出。拍摄部13也可以在移动体12上搭载有多台。例如，在移动体12上搭载有四台车载摄像头的情况下，在能够拍摄移动体12的前方的周边区域的位置、在能够拍摄移动体1的后方的周边区域的位置、在能够拍摄移动体1的左侧方的周边区域的位置、以及在能够拍摄移动体12的右侧方的周边区域的位置分别配置有拍摄部13。通过这样的配置，能够拍摄移动体12的四周的周边区域。
拍摄部13至少具有拍摄光学***和拍摄元件。拍摄光学***例如包括一个以上的透镜以及光圈等光学构件。拍摄光学***所具备的透镜例如可以是鱼眼透镜等视角广的透镜。拍摄光学***使被拍摄体像在拍摄元件的受光面上成像。拍摄元件例如包括CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)图像传感器等。拍摄元件生成对在受光面上成像的被拍摄体像进行拍摄而得到的周边图像。
拍摄部13将在拍摄元件生成的周边图像经由有线或无线向图像处理装置10输出。拍摄部13也可以向搭载于移动体12的ECU(Electronic Control Unit：电子控制单元)、显示器、以及导航装置等外部装置输出周边图像。
图像处理装置10根据移动体12的周边的周边图像来检测对象物的状态，基于检测到的对象物的状态来确定使移动体12执行的举动。作为对象物，例如有人、其他移动体、动物等。另外，作为对象物的人包括行人、骑自行车的人等。作为移动体12是例如具备自动驾驶功能的车辆。在本实施方式，“自动驾驶”包括使驾驶车辆的用户操作的一部分或全部自动化。例如，自动驾驶也可以包括在SAE(Society of Automotive Engineers：汽车工程师协会)中定义的等级1至5。以下，以移动体12具备在SAE中定义的等级4以上的全自动驾驶功能为例进行说明。另外，以下，有时将具备全自动驾驶功能的车辆称为全自动驾驶车辆。
图像处理装置10具有输出部14、存储部15、以及处理器16。
输出部14例如是通信接口，并且，经由有线或无线与移动体12的各种ECU进行通信。输出部14将指示使移动体12执行的举动的信息向该移动体12输出。例如，输出部14通过与控制移动体12的行驶的ECU、以及控制移动体12的灯和方向指示灯的闪烁以及喇叭的鸣动等的ECU进行通信，输出指示该举动的信息。
作为通信接口的输出部14也可以通过与移动体12的各种ECU的通信，从各种ECU获取前进、后退、停止、减速、变更行进路线、点亮照明、前灯闪烁、方向指示灯闪烁、鸣动喇叭、外部显示、保持现状、输出声音、以及投影规定的图像等移动体12所执行的举动、移动体12的行进预定路线、以及周围的交通状况等信息。
存储部15包含一个以上的存储器。在本实施方式中，“存储器”例如有半导体存储器、磁存储器、或光存储器等，但不限于此。存储部15所含的各存储器例如也可以作为主存储装置、辅助存储装置、或高速缓冲存储器发挥功能。存储部15可以存储用于图像处理装置10的动作的任意的信息。存储部38也可以存储例如***程序、应用程序等。
处理器16可以包括读入特定的程序并执行特定的功能的通用的处理器以及专用于特定的处理的专门的处理器中的至少任一种。专门的处理器可以包括面向特定用途的IC(ASIC；Application Specific Integrated Circuit：专用集成电路)。处理器16可以包括可编程逻辑器件(PLD；Programmable Logic Device)。PLD可以包括FPGA(Field-Programmable Gate Array：现场可编程门阵列)。处理器16控制图像处理装置10的各构成要素的动作。
处理器16例如在从拍摄部13获取到的周边图像中，辨别是否存在对象物。对象物例如是特定状况下的疏导员、特定状况下的路人、以及其他移动体等。例如，如图2所示，特定状况下的疏导员17是指移动体12的行进预定路线被限定在施工中单侧一车道时进行交通管理的人。例如，如图3所示，特定状况下的路人18是指移动体12的行进预定路线上的人行横道19的一端附近的人。
在周边图像中检测到对象物的存在时，处理器16检测该对象物的状态。例如在对象物为特定状况下的疏导员17或路人18的情况下，处理器16基于疏导员17或路人18的移动的方向、脸或视线的方向、表情、以及手脚中的至少一个来检测状态。
例如，如图2所示，在对象物为特定状况下的疏导员17的情况下，检测出的状态是正在执行行进许可的手势、行进禁止的手势、指示行进方向的手势、以及不明的手势中的任一个的状态。另外，例如，如图3所示，在对象物为特定状况下的路人18的情况下，检测出的状态是在人行横道19的近前站立的状态、开始横穿的状态、以及执行表示不横穿人行横道19的手势以及促使移动体12先走的手势中的任一个的状态等。
在对象物为疏导员17以及路人18等的人的情况下，处理器16可以基于帧连续的多个周边图像来检测表情的变化。表情的变化例如可以将愤怒等的特定情绪的程度以通常的表情为基准进行分数化，并检测为该分数的变化。
当检测对象物的状态时，处理器16从移动体12所能够执行的多种举动中确定基于该对象物的状态使移动体12执行的第一举动。移动体12所能够执行的多种举动例如有前进、后退、停止、减速、变更行进路线、点亮照明、前灯闪烁、方向指示灯闪烁、鸣动喇叭、外部显示、保持现状、输出声音、以及投影规定的图像等。
例如，在特定状况下的疏导员17正在进行不明的手势的情况或者在特定状况下的路人18止步的情况等这些针对对象物确定的特定状态的情况下，处理器16确定停止作为第一举动。处理器16在确定第一举动时，使输出部14向各种ECU输出指示第一举动的信息。
在第一举动的输出后或者在基于来自检测到第一举动的执行的ECU的通知的识别后，处理器16在从拍摄部13获取到的周边图像中，检测作为第一举动的确定的对象的对象物的状态。
处理器16计算针对确定了第一举动的对象物的状态而确定的规定动作的、第一举动的确定前或移动体12的第一举动后的速度。例如在对象物为特定状况下的疏导员17的情况下，规定动作是上述的不明手势。另外，例如在对象物为特定的状况下的路人18的情况下，规定动作是该路人18的行走或步行。处理器16基于帧连续的多个周边图像，来计算规定动作的速度。
处理器16从前述的移动体12能够执行的多种举动中确定基于检测到的该对象物的状态使移动体12执行的第二举动。在基于检测到的对象物的状态而未得到针对第一举动的有意义的反应的情况下，处理器16确定将唤起对象物的注意的举动作为第二举动。
有意义的反应是能够识别对象物的意图的反应。例如在对象物为特定状况下的疏导员17的情况下，有意义的反应是指行进许可的手势、行进禁止的手势、以及指示行进方向的手势。例如在对象物为特定状况下的路人18的情况下，有意义的反应是指开始横穿的状态、以及表示不横穿人行横道19的手势和催促移动体12先行的手势。
唤起对象物的注意的举动例如是使移动体12的灯瞬间向上(远光)点亮的前灯闪烁、以数十厘米的程度使移动体12前进的稍微前进、鸣动喇叭、输出声音、以及投影规定的图像等。第二举动可以单独是这些唤起对象物的注意的举动，也可以适当组合。
处理器16可以在第二举动的确定过程中，使用在第一举动后且经过与计算出的规定动作的速度相应的时间间隔为止的周边图像来确定。可以设定为规定动作的速度越快，则该时间间隔越短。
处理器16在与计算出的规定动作的速度相应的定时，使输出部14向各种ECU输出指示所确定的第二举动的信息。该定时可以是以输出指示第一举动的信息的时点为基准的定时。规定动作的速度越快，则该定时越早。
处理器16也可以使该定时与规定动作一起与移动体12的周围的交通状况相应地变动。移动体12的周围的交通状况越混乱，则该定时越早。在对象物为人的情况下，处理器16也可以使该定时与规定动作一起，进一步与周围的交通状况一起，与被检测的对象物的表情的变化相应地变动。对象物的表情的变化越大，则该定时越早。
在第二举动的输出后或者基于来自检测到第二举动的执行的ECU的通知的识别后，处理器16在从拍摄部13获取到的周边图像中，检测作为第二举动的确定的对象的对象物的状态。
以后，处理器16直到对象物的状态为特定状态为止，或者从第一举动的执行后到输出指示第二举动的信息为止，类似地，反复进行规定的次数的周边图像中的对象物的状态的检测、使移动体12执行的举动的确定、以及所确定的举动的输出。特定状态是指例如进行对象物的有意义的反应的状态。规定的次数例如是三次。
在第一举动以后使移动体12执行多次举动的情况下，处理器16可以分别确定各个不同的举动。在将第一举动以后的多次举动分别确定为不同的举动的情况下，处理器16可以根据对象物的每个状态的规定的优先级来确定。
处理器16可以与移动体12的周边环境相应地变更规定的优先级。例如，处理器16也可以将在夜间鸣动喇叭这样造成噪音的举动的优先级降低，将点亮照明、前灯闪烁、以及方向指示灯闪烁等不会产生噪音的动作的优先级升高。
处理器16也可以在对象物的状态成为特定状态之前，在使移动体12执行规定的次数的举动的情况下，解除移动体12的全自动驾驶。
接着，使用图4的流程图对在本实施方式中处理器16执行的反应处理进行说明。反应处理开始于移动体12的全自动驾驶的开始时。
在步骤S100中，处理器16辨别在从拍摄部13获取的周边图像中是否检测到了对象物。在未检测到对象物的情况下，工序返回步骤S100。在检测到对象物的情况下，工序进入步骤S101。
在步骤S101中，处理器16辨别在步骤S100中检测到的对象物的状态是否为特定状态。在对象物的状态不是特定状态的情况下，工序返回步骤S100。在对象物的状态是特定状态的情况下，工序进入步骤S102。
在步骤S102中，处理器16确定使移动体12执行的第一举动。确定后，工序进入步骤S103。
在步骤S103中，处理器16计算相对于步骤S102中确定了第一举动的对象物的状态而确定的规定动作的速度。计算出速度后，工序进入步骤S104。
在步骤S104中，处理器16基于在步骤S103中计算出的速度，来确定输出指示第二举动的信息的定时、用于确定第二举动的周边图像的时间间隔。另外，处理器16根据在步骤S102中已确定第一举动的对象物的状态，来确定对对象物执行的举动的次数。确定后，工序进入步骤S105。
在步骤S105中，处理器16经由输出部14向各种ECU输出指示已确定的第一举动的信息。输出后，工序进入步骤S106。
在步骤S106中，处理器16基于在根据移动体12的第一举动的执行后的周边图像中检测到的对象物的状态，来辨别对象物是否存在有意义的反应。在存在有意义的反应的情况下，进行与该有意义的反应相应的全自动驾驶，工序返回步骤S100。在不存在有意义的反应的情况下，工序进入步骤S107。
在步骤S107中，处理器16辨别在第一举动的执行后已确定的举动是否超过在步骤S104中已确定的次数。在未超过的情况下，工序进入步骤S108。在超过的情况下，工序进入步骤S110。
在步骤S108中，处理器16使用从第一举动后经过在步骤S104中已确定的时间间隔为止的周边图像来检测对象者的状态。处理器16基于检测到的对象者的状态，确定移动体12应执行的举动。举动的确定后，工序进入步骤S109。
在步骤S109中，处理器16在在步骤S104中已确定的定时，经由输出部14向各种ECU输出指示在步骤S108中已确定的举动的信息。输出后，工序返回步骤S106。
在步骤S110中，处理器16经由输出部14向各种ECU输出指示全自动驾驶的解除的信息。输出后，反应处理结束。
在以上结构的本实施方式的图像处理装置10中，基于根据周边图像检测出的对象物的状态，确定移动体12的第一举动，基于根据移动体12的第一举动后的周边图像检测出的对象物的状态来确定移动体12的第二举动。以下对具有这样结构的图像处理装置10所起到的效果进行说明。
在以往考虑的全自动驾驶车辆中，有时相对于对象物发生胶着状态。
例如，如图2所示，在疏导员17站立在作为以往考虑的全自動车辆的移动体的行进预定路线上的状况下，可能发生胶着状态。疏导员17通常进行该移动体的行进许可的手势或行进禁止的手势中的任一个。然而，由于疏导员17的手势本身与通常进行的手势不同等理由，该移动体可能无法辨别手势。在这样的状况下，一般考虑以该移动体的安全优先而停止。对于停止而言，若无法辨别疏导员17的手势的状况继续，则该移动体保持停止的状态。这样，在该移动体与疏导员17之间发生胶着状态，可能妨碍顺畅的交通。
另外，例如，如图3所示，在路人18站立在作为以往考虑的全自動车辆的移动体的行进预定路线上的人行横道19的一端附近的状况下，可能发生胶着状态。在这样的状况下，为了路人18能够横跨人行横道19，该移动体在人行横道19的近前停止。然而，路人18未必一定限定于要横跨人行横道19，可能就站立在该处。在这样的状况下，无论路人18有没有横跨人行横道19的意图，由于路人18始终站立在人行横道19的一端附近，因此该移动体保持停止在人行横道19的近前的状态。这样，在该移动体与路人18之间发生胶着状态，有可能妨碍顺畅的交通。
另一方面，具有上述结构的图像处理装置10在可能发生上述那样的胶着状态的状况下，在无法从对象物得到有意义的反应的情况下，通过对对象物执行进一步的举动，来促进对象物的新的反应，从而能够检测对象物的意图。因此，图像处理装置10通过减少发生胶着状态的可能性，能够实现交通的顺畅化，其结果是，能够提高基于移动体12的交通的便利性。
另外，本实施方式的图像处理装置10在与对象物的规定动作的速度相应的定时输出指示第二举动的信息。一般而言，对于针对第一举动的行动而求出第二举动的定时，可能根据各个对象物而不同。例如，在对象物是人的情况下，急躁的人以及着急的人等存在急于得到移动体12对于自身的动作或状态的反应的举动的倾向。另外，急躁的人以及着急的人一般来说，手势等的动作以及步行或行走等的动作均较快。针对这样的现象，具有上述结构的图像处理装置10在对象物期望的倾向较大的定时，针对对象物的反应向移动体12输出第二举动，因此，能够更顺畅地促进对象物的反应。因此，图像处理装置10能够进一步提高基于移动体12的交通的便利性。
另外，本实施方式的图像处理装置10在第二举动的确定过程中，使用在移动体12的第一举动后且经过与规定动作的速度相应的时间间隔为止的周边图像。一般而言，相对于移动体12的第一举动，表示反应为止的时间间隔也可能因各个对象物而不同。例如，在对象物为人的情况下，存在急躁的人以及着急的人等针对第一举动立即地反应，而沉稳的人以及不着急的人等针对第一举动缓慢地反应的倾向。针对这样的现象，具有上述结构的图像处理装置10能够等到对象物对移动体12的第一举动反应为止，再确定第二举动。因此，图像处理装置10能够提高掌握的对象物的意图的准确性，因此能够进一步提高移动体12的交通的便利性。
另外，本实施方式的图像处理装置10根据移动体12的周围的交通状况使输出指示第二举动的信息的定时变动。一般而言，根据交通状况，对移动体12的举动的速度的要求会发生变动。针对这样的现象，具有上述结构的图像处理装置10不仅反映对象物的动作的速度，还反映交通状况，因此能够进一步提高移动体12的交通的便利性。
另外，本实施方式的图像处理装置10根据规定的优先级来确定第一举动以后的多个举动。移动体12能够执行的多种举动在唤起对象物的注意的能力以及对周围造成困扰的程度不同。针对这样的现象，基于上述结构的图像处理装置10以适应于状况的顺序来确定举动，减少对周围造成的困扰，并且提高唤起对象物的注意的能力。
另外，本实施方式的图像处理装置10根据周边环境来变更规定的优先级。唤起对象物的注意的能力以及对周围造成困扰的程度，能够根据移动体12的存在空间以及时间段等而变动。因此，具有上述结构的图像处理装置10能够减少对周围造成的困扰，并且进一步提高唤起对象物的注意的能力。
基于附图和实施例对本公开的一个实施方式进行了说明，需要注意的是，本领域技术人员容易基于本公开进行各种变形和修正。因此，需要注意这些变形和修正包含在本公开的范围内。
例如，在本实施方式中，图像处理装置10搭载于移动体12，但也可以不搭载于移动体12。例如，图像处理装置10也可以是网络上的服务器等，可以通过经由网络与服务器进行通信，图像处理装置10从移动体12获取周边图像，将指示第一举动以及第一举动以后的举动的信息向移动体12分配。
本公开内容的多个方面能够示出为通过能够执行程序指令的计算机***及其他硬件来执行的一系列的动作。计算机***及其他硬件例如包括通用计算机、PC(个人计算机)、专门计算机、工作站、PCS(Personal Communications System：个人移动通信***)、移动(蜂窝)电话机、具备数据处理功能的移动电话机、RFID接收机、游戏机、电子记事本、膝上型计算机、GPS(Global Positioning System：全球定位***)接收机或其他可编程数据处理装置。在各实施方式中，需要注意的是，各种动作通过由程序指令(软件)安装的专门电路(例如，用于执行特定功能而相互连接的单独的逻辑门)、由一个以上的处理器执行的逻辑块、程序模块等来执行。执行逻辑块、程序模块等的一个以上的处理器例如包括一个以上的微处理器、CPU(中央运算处理单元)、ASIC(Application Specific Integrated Circuit：专用集成电路)、DSP(Digital Signal Processor：数字信号处理器)、PLD(ProgrammableLogic Device：可编程逻辑器件)、FPGA(Field Programmable Gate Array：现场可编程门阵列)、处理器、控制器、微控制器、微处理器、电子设备、以能够执行此处记载的功能的方式设计的其他装置和/或这些中的任意一种的组合。在此所示的实施方式例如通过硬件、软件、固件、中间件、微代码、或者这些中的任意一种的组合来实现。指令可以是用于执行所需的任务的程序代码或代码段。而且，指令能够存储于能够进行机械读取的非暂时性的存储介质及其他的介质。代码段可以表示步骤、函数、子程序、程序、例行程序、子例行程序、模块、软件包、任务或指令、数据结构或者程序语句中的任意一种组合。代码段与其他代码段或硬件电路进行信息、数据自变量、变量或存储内容的发送和/或接收，由此，代码段与其他代码段或硬件电路连接。
附图标记说明
10图像处理装置
11拍摄装置
12移动体
13拍摄部
14输出部
15存储部
16处理器
17疏导员
18路人
19人行横道

Claims (12)

1.一种图像处理装置，其中，具有：
输出部，向移动体输出指示使所述移动体执行的举动的信息；以及
处理器，基于根据对所述移动体的周边进行拍摄而得到的周边图像检测出的对象物的状态来确定所述移动体的第一举动，使所述输出部输出指示所述第一举动的信息，基于根据所述移动体的所述第一举动后的周边图像检测出的所述对象物的状态来确定所述移动体的第二举动，在与所述第一举动的确定前或者所述移动体的所述第一举动后的所述对象物的规定动作的速度相应的定时，使所述输出部输出指示所述第二举动的信息。
2.如权利要求1所述的图像处理装置，其中，
在所述第二举动的确定过程中，所述处理器使用在所述移动体的第一举动后且经过与所述规定动作的速度相应的时间间隔为止的所述周边图像。
3.如权利要求1或2所述的图像处理装置，其中，
所述规定动作的速度越快，则所述定时越早。
4.如权利要求1至3中任一项所述的图像处理装置，其中，
所述处理器还根据所述移动体的周围的交通状况使所述定时变动。
5.如权利要求4所述的图像处理装置，其中，
所述移动体的周围的交通状况越混乱，则所述定时越早。
6.如权利要求1所述的图像处理装置，其中，
所述处理器在基于从所述移动体的所述第一举动后的周边图像检测到的所述对象物的状态而无法得到所述对象物针对所述第一举动的有意义的反应的情况下，确定所述第二举动。
7.如权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器确定前进、后退、停止、减速、变更行进路线、点亮照明、前灯闪烁、方向指示灯闪烁、鸣动喇叭、外部显示、保持现状、输出声音、以及投影规定的图像中的至少一个，作为所述第一举动以及所述第二举动。
8.如权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器根据规定的优先级，从前进、后退、停止、减速、变更行进路线、点亮照明、前灯闪烁、方向指示灯闪烁、鸣动喇叭、外部显示、保持现状、输出声音以及投影规定的图像中确定所述第一举动以后的多个举动。
9.如权利要求8所述的图像处理装置，其中，
所述处理器根据周边环境来变更所述规定的优先级。
10.一种拍摄装置，其中，具有：
权利要求1至9中任一项所述的图像处理装置；以及
拍摄部，生成所述周边图像。
11.一种移动体，其中，
搭载有权利要求10所述的拍摄装置。
12.一种图像处理方法，其中，
根据对移动体的周边进行拍摄而得到的周边图像检测对象物的状态，
基于所述对象物的状态来确定所述移动体的第一举动，
向所述移动体输出指示所述第一举动的信息，
根据所述移动体的所述第一举动后的周边图像检测所述对象物的状态，
基于所述对象物的状态来确定所述移动体的第二举动，
在与所述第一举动的确定前或者所述移动体的所述第一举动后的所述对象物的规定动作的速度相应的定时，向所述移动体输出指示所述第二举动的信息。
CN202080046133.6A 2019-06-25 2020-06-02 图像处理装置、拍摄装置、移动体、以及图像处理方法 Active CN114051720B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-117763 2019-06-25
JP2019117763A JP7326041B2 (ja) 2019-06-25 2019-06-25 画像処理装置、撮像装置、移動体、および画像処理方法
PCT/JP2020/021797 WO2020261898A1 (ja) 2019-06-25 2020-06-02 画像処理装置、撮像装置、移動体、および画像処理方法

Publications (2)

Publication Number Publication Date
CN114051720A true CN114051720A (zh) 2022-02-15
CN114051720B CN114051720B (zh) 2024-07-19

Family

ID=74061227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080046133.6A Active CN114051720B (zh) 2019-06-25 2020-06-02 图像处理装置、拍摄装置、移动体、以及图像处理方法

Country Status (5)

Country Link
US (1) US20220319187A1 (zh)
EP (1) EP3992048A4 (zh)
JP (2) JP7326041B2 (zh)
CN (1) CN114051720B (zh)
WO (1) WO2020261898A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003343305A (ja) * 2002-05-30 2003-12-03 Toyota Motor Corp クルーズコントロール装置
JP2005255091A (ja) * 2004-03-15 2005-09-22 Fujitsu Ten Ltd 自車存在報知装置および自車存在報知方法
US20110208790A1 (en) * 2009-12-03 2011-08-25 Kotaro Sakata Lifestyle collecting apparatus, user interface device, and lifestyle collecting method
JP2012156903A (ja) * 2011-01-27 2012-08-16 Kyocera Corp 車両周辺監視装置
CN104885448A (zh) * 2013-02-21 2015-09-02 本田技研工业株式会社 驾驶辅助装置以及图像处理程序
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges
CN105321375A (zh) * 2014-06-04 2016-02-10 丰田自动车株式会社 驾驶辅助装置
CN109155106A (zh) * 2016-06-02 2019-01-04 欧姆龙株式会社 状态推定装置、状态推定方法和状态推定程序
CN109305167A (zh) * 2017-07-28 2019-02-05 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及程序
CN109844838A (zh) * 2016-10-25 2019-06-04 三菱电机株式会社 周边信息判定装置及周边信息判定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
DE102011121442A1 (de) * 2011-12-16 2013-06-20 Gm Global Technology Operations, Llc Autonomes Anfahren
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
WO2019054092A1 (ja) * 2017-09-12 2019-03-21 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
WO2019147939A1 (en) * 2018-01-26 2019-08-01 Nvidia Corporation Detection of hazardous driving using machine learning
JP7014822B2 (ja) * 2018-01-29 2022-02-01 京セラ株式会社 画像処理装置、撮像装置、移動体および画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003343305A (ja) * 2002-05-30 2003-12-03 Toyota Motor Corp クルーズコントロール装置
JP2005255091A (ja) * 2004-03-15 2005-09-22 Fujitsu Ten Ltd 自車存在報知装置および自車存在報知方法
US20110208790A1 (en) * 2009-12-03 2011-08-25 Kotaro Sakata Lifestyle collecting apparatus, user interface device, and lifestyle collecting method
JP2012156903A (ja) * 2011-01-27 2012-08-16 Kyocera Corp 車両周辺監視装置
CN104885448A (zh) * 2013-02-21 2015-09-02 本田技研工业株式会社 驾驶辅助装置以及图像处理程序
CN105321375A (zh) * 2014-06-04 2016-02-10 丰田自动车株式会社 驾驶辅助装置
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges
CN109155106A (zh) * 2016-06-02 2019-01-04 欧姆龙株式会社 状态推定装置、状态推定方法和状态推定程序
CN109844838A (zh) * 2016-10-25 2019-06-04 三菱电机株式会社 周边信息判定装置及周边信息判定方法
CN109305167A (zh) * 2017-07-28 2019-02-05 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNQIU XIAO; DAKAI REN: "A Hierarchical Decision Architecture for Network-Assisted Automatic Driving", 2018 IEEE INTERNATIONAL CONFERENCE ON ENERGY INTERNET (ICEI), pages 35 - 37 *
孟柯;吴超仲;陈志军;吕能超;邓超;刘钢;: "人车碰撞风险识别及智能车辆控制***", 交通信息与安全, vol. 34, no. 6, pages 22 - 28 *

Also Published As

Publication number Publication date
JP7326041B2 (ja) 2023-08-15
JP7511727B2 (ja) 2024-07-05
EP3992048A4 (en) 2023-06-28
EP3992048A1 (en) 2022-05-04
CN114051720B (zh) 2024-07-19
WO2020261898A1 (ja) 2020-12-30
JP2021005169A (ja) 2021-01-14
JP2023133522A (ja) 2023-09-22
US20220319187A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US10176720B2 (en) Auto driving control system
JP6575492B2 (ja) 自動運転システム
JP7014822B2 (ja) 画像処理装置、撮像装置、移動体および画像処理方法
CN109564734B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
CN111278702B (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
WO2017199529A1 (ja) 運転支援装置及び運転支援プログラム
CN113246993B (zh) 驾驶支援***
US11618482B2 (en) State determination device, driving support device, state determination method, and driving support method
CN113165575B (zh) 图像处理装置、拍摄装置、移动体、以及图像处理方法
JP2018075900A (ja) 車両制御装置、車両制御方法、および車両制御プログラム
JP2024518934A (ja) 車両ナビゲーション中の光干渉検出
CN112977451B (zh) 行驶辅助***及其控制方法
CN111098864B (zh) 提示方法、装置、自动驾驶车辆及存储介质
WO2019187626A1 (ja) 画像処理装置、撮像装置、および移動体
CN114051720B (zh) 图像处理装置、拍摄装置、移动体、以及图像处理方法
JP2020088604A (ja) 走行制御装置、制御方法およびプログラム
JP7110914B2 (ja) 情報処理装置、プログラム、および情報処理方法
CN111216631B (zh) 行驶控制装置、控制方法以及存储程序的存储介质
KR20190070693A (ko) 자율주행장치 및 그의 제어 방법
JP2019038541A (ja) 車両制御装置、車両制御方法、および車両制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant