CN108496056B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN108496056B CN108496056B CN201780006341.1A CN201780006341A CN108496056B CN 108496056 B CN108496056 B CN 108496056B CN 201780006341 A CN201780006341 A CN 201780006341A CN 108496056 B CN108496056 B CN 108496056B
- Authority
- CN
- China
- Prior art keywords
- region
- image
- object detection
- processing
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 128
- 238000001514 detection method Methods 0.000 claims abstract description 117
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 description 22
- 238000003702 image correction Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000006837 decompression Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明的目的在于提供一种摄像装置，其在即使有多个成为检测对象的物体情况下，也能够兼顾检测精度的提高和运算负荷的降低。为此，本发明的摄像装置具有多个摄像部，并具备：第1物体检测处理部，其对用摄像部取得的图像中应关注的一部分区域进行第1物体检测处理，所述第1物体检测处理指：在通过立体处理而针对所述区域内的多个图像要素的每一个检测出距离之后，基于检测出的距离来提取所述图像要素的组而检测出物体；以及第2物体检测处理部，其对所述图像中应关注的其它部分区域中的部分区域进行利用立体处理检测物体的距离的第2物体检测处理。
Description
技术领域
本发明涉及一种摄像装置。
背景技术
作为本技术领域的背景技术，例如在专利文献1中，提出采用基于立体相机的距离检测及基于单眼相机的距离检测这两者的方法。
具体来说，在专利文献1中，记述有如下内容：首先通过基于单眼相机的距离检测来检测出车辆和对象物的距离，由此抑制运算量而追踪对象物的位置，在车辆和对象物的距离变得小于预先设定的切换距离时，切换成基于立体相机的检测，从而更高精度地辨识靠近车辆的对象物的位置。
另外，在专利文献1中，记述有如下内容：一方面，在利用单眼相机时运算量减少，另一方面，在利用立体相机时检测精度提高。
现有技术文献
专利文献
专利文献1：日本专利特开2013-058829号公报
发明内容
发明要解决的问题
然而，专利文献1记载的技术在成为检测对象的物体为一个的情况下能够减少运算负荷。但是，通常，因为远处近处都有成为检测对象的物体，所以会发生必须对多个物体的每一个分别进行单眼处理和立体处理的情况，而有无法有效降低运算负荷之虞。
因此，本发明的目的在于提供一种摄像装置，其在即使有多个成为检测对象的物体的情况下，也能够兼顾检测精度的提高和运算负荷的降低。
解决问题的技术手段
本发明的摄像装置具有多个摄像部，该摄像装置在由所述多个摄像部所拍摄的各自的拍摄图像中共通的共通摄像区域中的一部分即第1区域中，以遍及该第1区域整体的方式，基于所述多个拍摄图像间的视差来算出关于该一部分区域内的图像要素的距离，在所述拍摄图像中的包含和所述第1区域不同的其它部分区域的第2区域中，基于所述多个图像间的视差，对该第2区域中的一部分即部分区域来算出关于该部分区域内的图像要素的距离。
发明的效果
本发明即使在有多个成为检测对象的物体的情况下，也能够兼顾检测精度的提高和运算负荷的降低。
附图说明
图1是表示本发明的实施例的摄像装置的构成的图。
图2是表示本发明的实施例所拍摄的拍摄图像的一例的图。
图3是表示本发明的实施例所拍摄的拍摄图像和区域控制的一例的图。
图4是表示本发明的实施例的摄像装置的处理时刻的图。
图5是表示本发明的实施例的摄像装置的处理流程的图。
图6是表示本发明的实施例的拍摄图像和辨识结果的一例的图。
图7是表示本发明的实施例的控制区域的示例的图。
图8是表示本发明的实施例的距离检测部的消耗电流的一例的图。
图9是表示本发明的实施例的控制区域的另一例的图。
图10是表示本发明的另一实施例的摄像装置的构成的图。
图11是表示本发明的又一实施例的摄像装置的构成的图。
具体实施方式
以下，使用附图说明本发明的实施方式。
图1是表示本发明的摄像装置的一实施例的构成的图。1是本实施例的摄像装置，例如搭载在车辆的前方，辨识信号及标志、障碍物等，构成为辅助驾驶员的安全***的一部分。
101、102是摄像部，在图像传感器上安装有光学镜头。这些摄像部按照规定的时刻反复拍摄1张图像，并输出拍摄到的图像。
摄像部101和摄像部102以规定的距离左右分开设置，从而能够根据由摄像部101和摄像部102拍摄到的图像的偏差、即所谓的视差来算出距被摄体的距离。
另外，图1中虽然示出了将摄像装置1的构成要素收纳在同一框体内的例子，但是例如也可将摄像部101、102收纳在和其它构成要素不同的框体内(该图虚线框)，也可将摄像部101、102分别收纳在不同框体内而安装在车辆上。在此情况下，图像信号用未图示的连接电缆连接即可。作为使用连接电缆来传输图像的方法，有采用LVDS(Low VoltageDifferential Signaling：低电压差分信号)方式的差动传输线路的传输方法等。
另外，通过将摄像部101和摄像部102的图像传感器设为彩色图像传感器，能够获得拍摄到的图像的颜色信息。
103是图像校正部，其获取来自摄像部101、102的图像，并用预先测量的校正值进行校正以使各个图像的亮度一致，进而同样用预先测量的校正值进行校正，以使镜头导致的图像失真的校正和摄像部101、102的图像的水平位置一致，然后存储到图像存储器。校正值的测量是在摄像装置的制造工序中进行的。针对应用校正值前的每一台装置来拍摄特定的被摄体，求出所获得的图像的亮度变得均一的每一像素的亮度校正值，以及消除镜头失真、图像变得水平的每一像素的几何校正值，并分别作为校正表，针对每一装置而预先保存在例如未图示的非易失性存储器中。
104是区域控制部，其指定在后述的距离检测部105中检测距离的图像的区域，并输出到距离检测部105，并且，其指定在后述的物体检测部107中检测物体的图像的区域，并输出到物体检测部107，并接收由该物体检测部107检测出的结果。即，对距离检测部105指定应进行距离检测的图像的区域，对物体检测部107指定应进行物体检测的图像的区域。
105是距离检测部，其输入来自图像校正部103的图像而检测被摄体的距离。作为检测距离的方法，例如有如下方法。距离检测部105获取来自图像校正部103的图像，从而进行视差的计算。如上所述，因为摄像部101和摄像部102以规定的距离左右分开配置，所以拍摄到的图像具有视差。进行算出该视差的所谓立体处理。作为视差的计算方法，例如有块匹配方式。距离检测部105例如对来自图像校正部103的图像之中的由区域控制部104指定的图像的区域进行距离检测。具体来说，首先，沿水平方向侦测和从摄像部101的图像上小块切出的特定尺寸的块区域相对应的摄像部102的图像上的相同被摄体被拍到的区域。然后，摄像部101和摄像部102的一致的块区域的位置的差成为视差。能够利用该视差求出拍摄在块区域中的对象物在实际环境中的距离。另外，该例是采用块区域，作为成为求出距离的对象的图像要素。作为一致比较的方法，例如，将块区域内的像素的亮度的差分的总和变小的位置设为视差。距离则公认为根据摄像部101、摄像部102的镜头焦距、摄像部101和摄像部102的距离、按上述求出的视差、及摄像传感器的像素间距求出。但是，距离的计算方法并不限定于此。另外，作为成为求距离的对象的图像要素，并不限于上述的块区域，也可采用构成摄像传感器的各个像素。
106是基于距离信息的物体检测部，其基于用距离检测部105求出的区域控制部104所指定的区域的距离信息来检测物体。检测物体的方法为：例如，在附近存在表示大致相同的距离的距离信息的情况下，将该等距离信息作为一个集合小组化，并在所述组的大小变成一定以上时将该组视为物体。然后，基于检测出的组的大小和形状，检测出例如是车辆还是行人。有一种方法，其通过和作为参照数据预先保持的图形数据比较，来检测物体的大小和形状。通过这种处理方式，能够高精度地获得自己车辆前方的行人和车辆的距离，因此，能够用作令自己车辆减速或停止等避免冲撞的信息。
107是另一个物体检测部，其输入摄像部101或摄像部102中任意一个的图像来检测物体。作为检测物体的方法，例如有如下方法。物体检测部106获取来自摄像部101或摄像部102中任意一个的图像，在所获取的图像中检测出预想的交通信号及道路标志等。作为该检测方法，例如有根据图像中的亮度分布及轮廓的形状信息、与同保持为参照数据的形状数据的类似量，检测交通信号及道路标志等物体的方法等。由此，能够掌握图像中的物体和其在画面上的位置。
物体检测部107将该检测结果输出到区域控制部104，区域控制部104基于该结果对距离检测部105指定应检测距离的区域。距离检测部105对来自图像校正部103的图像中被指定的区域，进行所述距离检测，并将其结果输出到后述的辨识部108。由此，能够限定距离检测部105检测距离的区域，而能够避免处理负荷增大。
108是辨识部，其接收物体检测部106、物体检测部107和距离检测部105的检测结果，进行图像上物体的辨识，并将辨识结果的信息输出到摄像装置1的外部。
另外，摄像装置1中，例如虚线框11内的摄像部101、102、图像校正部103、距离检测部105是由电子电路构成的，除此以外的构成要素是通过基于未图示的微型计算机等的软件处理来实现的。
图2是表示本发明的摄像装置的一实施例所拍摄的拍摄图像的一例的图。该图中，1001表示由摄像部101拍摄的、经图像校正部103校正后的拍摄图像，1002表示由摄像部102拍摄的、经图像校正部103校正后的拍摄图像。202、203、204是被摄体。
另外，201、208表示拍摄图像1001及拍摄图像1002中共通拍摄的区域即共通摄像区域。如上所述，在拍摄图像1001和拍摄图像1002之间，存在共通摄像区域的偏差，根据该偏差量即视差来算出被摄体的距离。
图3是表示本发明的摄像装置的一实施例所拍摄的拍摄图像和区域控制的一例的图。该图中，201例如表示由摄像部101拍摄的、经图像校正部103校正后的拍摄图像之中，和如上所述的摄像部102拍摄到的图像所共通拍摄的区域。
205及206是拍摄图像201之中由区域控制部104所指定的处理区域，处理区域205是经距离检测部105进行距离检测处理后，由物体检测部106进行物体检测的处理区域。即，处理区域205是共通摄像区域中的一部分区域(为方便起见，设为第1区域)，在该第1区域中，以遍及该第1区域的整体的方式，基于所述多个拍摄图像间的视差来算出关于该一部分区域内的图像要素的距离。另外，处理区域206是物体检测部107进行物体检测处理后，根据其结果进一步指定区域，用距离检测部105进行距离检测处理的图像区域。即，处理区域206是包含和第1区域不同的其它部分区域的区域(为方便起见，设为第2区域)，该第2区域中，基于所述多个图像间的视差，对该第2区域中的一部分即部分区域来算出关于该部分区域内的图像要素的距离。另外，关于上述的第1区域、其它部分区域、第2区域、部分区域，在下文使用图6、7叙述。
207是处理区域206之中、基于物体检测部107检测物体的结果而由区域控制部104指定的处理区域。在此情况下，由物体检测部107从处理区域206检测交通信号204，由区域控制部104指定包含该交通信号的处理区域207，再由距离检测部105对该处理区域207进行距离检测处理。
图4是表示本发明的摄像装置的一实施例的处理时刻的图。该图中，(3-1)表示处理区域205的处理时刻，(3-2)表示处理区域206的处理时刻，(3-3)表示处理区域206中的处理区域207的处理时刻。
在(3-1)中，关于处理区域205，在通过距离检测部105进行距离检测处理后，通过物体检测部106进行物体检测。另外，在(3-2)中，关于处理区域206，通过物体检测部107进行物体检测。进而，在(3-3)中，基于在(3-2)中由物体检测部107检测出的结果，通过距离检测部105对区域控制部104所指定的处理区域即处理区域207进行距离检测处理。
如此，距离检测部105进行的距离检测处理仅针对指定的必要处理区域进行，因此，无需对所拍摄的图像的全部区域进行处理，从而能够减轻处理的负荷。另外，距离检测部105的动作可以在(3-1)的处理和(3-3)的处理中分时处理，因此，例如能够用实现距离检测部105的一个硬件来进行处理，所以能够减小电路规模。另外，(3-1)的处理和从(3-2)到(3-3)的处理能够并行处理。进而，能够在摄像部101、102的拍摄间隔即1帧期间(即处理周期)内进行这些处理，并针对每一帧切换指定的处理区域，由此，能够实现适用于各种物体的检测处理。
图5是表示本发明的摄像装置的一实施例的处理流程的图。首先，利用摄像部101及102拍摄图像(S401：S表示步骤)。通过图像校正部103对拍摄到的各个图像进行如上所述的亮度校正、镜头失真校正及水平位置对准(S402)。其次，利用区域控制部104来指定后续应处理的图像的处理区域(S403)。
首先，针对图3所示的处理区域205，使用由摄像部101、102拍摄到的图像，并利用距离检测部105检测距离(S404)。然后，基于获得的距离信息，利用物体检测部106来进行物体检测(S405)。
另外，针对图3所示的的处理区域206，使用摄像部101、102中任意一个的图像，利用物体检测部107来检测处理区域206中的物体(S406)。该处理也被称为单眼处理。在该单眼处理中，用图形匹配等方法来检测物体。
接下来，基于获得的检测结果，利用区域控制部104来指定应检测距离的处理区域(S407)。然后，针对该区域207，使用由摄像部101、102所拍摄的图像，利用距离检测部105来检测距离(S408)。
最后，基于各处理区域的物体的检测结果，通过辨识部108来进行物体辨识处理，并输出辨识结果(S409)。例如在每1帧反复进行这些处理。
图6是表示本发明的摄像装置的一实施例的拍摄图像和辨识结果的一例的图。501是某一时刻由摄像部101拍摄到的图像，摄像部102也拍摄并获取大致相同的图像。另外，502、503、504是物体辨识结果，图像内的框是用来明确表示辨识到的动态物体的，在所拍摄的图像上并不存在。
从所述的处理区域205检测出行人202和行人203，并检测从处理区域206检测到的处理区域207的交通信号204。如此，能够以遍及拍摄到的图像整体的方式实现物体辨识。
另外，处理区域205相当于上述的第1区域。以及，处理区域206相当于上述的第2区域，并且也相当于上述的其它部分区域，在本例中，第2区域和其它部分区域为相同区域。此外，处理区域207相当于上述的部分区域。
根据本实施例，划分拍摄图像的处理区域，针对处理区域205，通过2个摄像部来检测被摄体的距离，并根据该结果来检测物体，针对处理区域206，从由1个摄像部拍摄到的图像来检测物体，并基于检测出的结果进一步指定处理区域，利用2个摄像部检测该处理区域的物体的距离。由此，不增大处理负荷，就能够对拍摄图像整体进行物体辨识。
图7是表示本发明的摄像装置的一实施例的区域设定的一例的图。如上所述，201是摄像部101及102所拍摄的图像的共通摄像区域。
如上所述，602是使用由摄像部101、102拍摄到的图像而利用距离检测部105检测距离、然后基于获得的距离信息而利用物体检测部106进行物体检测的处理区域，603如下的处理区域：使用摄像部101、102中的任意一个的图像并利用物体检测部107来检测处理区域603中的物体，然后对于根据获得的检测结果而由区域控制部104指定应进行距离检测的处理区域后而得的处理区域，使用摄像部101、102拍摄的图像并利用距离检测部105来检测距离。这些处理区域是利用区域控制部104来控制处理区域的位置和大小。
在图7(A)中，处理区域602被指定在共通摄像区域201中的下方，处理区域603被设定在上方。这样指定处理区域的话，如上所述那样在处理区域602中，在检测出车辆前方的行人或车辆的情况下，能够高精度地进行检测，进而在处理区域603中，能够检测出交通信号、道路标志。另外，在图7(A)的例子中，处理区域602相当于上述的第1区域。另外，处理区域603相当于上述的其它部分区域，并且也相当于上述的第2区域，在本例中，其它部分区域和第2区域为相同区域。
另外，在图7(B)中，处理区域603被指定在共通摄像区域201中的下方，处理区域602被设定在上方。例如在检测出路侧一带的白线的情况下，通过物体检测部107进行辨识来指定处理区域，从而能够不增加处理负荷就检测出白线。另外，在图7(B)的例子中，处理区域602相当于上述的第1区域。另外，处理区域603相当于上述的其它部分区域，并且也相当于上述的第2区域，在本例中，其它部分区域和第2区域为相同区域。
如图7(C)及(D)所示，也能够以一部分重叠的方式指定处理区域602和处理区域603。另外，在图7(C)、(D)的示例中，处理区域602相当于上述的第1区域。并且，处理区域603a相当于上述的其它部分区域，处理区域603相当于上述的第2区域。在本例中，其它部分区域是从第2区域之中除去与第1区域重叠的区域后而得的区域。
区域选择能够按拍摄单位即帧单位进行切换。此外，虽然没有图示，但是通过沿车辆的操纵方向移动并指定处理区域、或配合上下左右的振动来指定处理区域，能够更精细地限定处理区域而进一步减少负荷。另外，在摄像部101或摄像部102中任意一个发生故障而无法拍摄的情况下，能够以遍及图像区域201整体的方式来指定处理区域601，由此可以继续进行物体检测处理。
如此，通过根据检测的对象物来改变处理区域的指定，能够针对各种检测对象物来选择合适的处理方法，从而不增大处理负荷就能以遍及图像的全部区域的方式进行处理。
图8是表示本发明的摄像装置的一实施例的距离检测动作时的距离检测部105的消耗电流波形的示意图。
图8(A)是不利用本发明，以遍及拍摄图像全区域的方式的、基于立体处理的距离检测时的动作电流波形，其跨及整帧而消耗电力。图8(B)是本发明的摄像装置的一实施例的距离检测动作时的电流波形，其相对于图8(A)，只在1帧内的有限时间消耗电力，所以能够实现消耗电力的削减。
图9是表示本发明的摄像装置的控制区域的另一实施例的图。图9(A)～(D)表示每1帧的区域指定，在本例中，利用区域控制部104来指定处理区域603的大小和位置，且针对每一帧不断错开而指定其位置。
根据本实施例，因为物体检测部107进行物体辨识处理的处理区域缩窄，从而能够进一步减少处理负荷。处理区域603因为在每一帧逐步移动，所以能够网罗全区域，适合检测交通信号等不动的物体的情况。
图10是表示本发明的摄像装置的另一实施例的构成的图。摄像装置1搭载在汽车等车辆上，图10中的801是车辆控制部。辨识部108的输出被输入到车辆控制部801。
车辆控制部801接收辨识部108的辨识结果，并对车辆的其它未图示的装置进行控制。作为车辆的控制，有检测到行人靠近、红灯信号或道路标志而引发针对驾驶员点亮警告灯、发出警告音、刹车制动引起的减速、停止控制、追随前方车辆时的减速、刹车控制、及其它用于避免冲撞和维持车线的舵角控制等。这些车辆控制信息是从摄像装置1经由车内网络对未图示的其它装置输出的。
另外，图10中虽然表示将车辆控制部801和摄像装置1收纳在同一框体内的示例，但并不限定于此，也可如上所述，将摄像部101、102设置在不同框体内。
图11是表示本发明的摄像装置的另一实施例的构成的图。901是网络摄像部，903是LAN(Local Area Network：局域网)，904是控制部。网络摄像部901经由LAN903而与控制部904连接。另外，902是图像压缩·接口部，905是网络接口部，906是图像解压缩部。
图像校正部103对由摄像部101、摄像部102拍摄到的图像进行亮度校正、镜头失真校正及水平位置对准。接下来，图像压缩·接口部902压缩来自图像校正部103的图像并发送到LAN903。作为图像压缩方式，有为了减少处理时间，而采用不使用多个图像的时间相关关系，在一张图像内进行压缩的画面内压缩方式的方式。另外，也可选择切换为影像压缩编码方式。
图像压缩·接口部902生成压缩编码数据，并遵照规定的网络协议发送数据。另外，图像校正部103虽然可以通过在图像压缩·接口部902的前段处理，在校正镜头失真等后压缩图像，从而期望图像压缩的高效化和高画质化，但也可设置在控制部904的图像解压缩部906的后段。
在控制部904中，经由LAN903在网络接口部905进行压缩图像数据的接收。由控制部904的网络接口部905接收到的压缩图像数据在图像解压缩部906中被解压为原先的图像，并由距离检测部105、及物体检测部107对由区域控制部104指定的处理区域的图像进行上述的处理。之后的处理和上述一样。
根据本实施例，因为经由LAN903交换图像和拍摄时刻信息，所以能够减少摄像部侧的处理量，从而能够通过摄像部侧的轻量化、低消耗电力化、框体变小来减少对车辆设置的尺寸限制。
另外，本发明并不限定于上述的实施例，还包含各种变形例。
例如，上述的实施例是为了便于理解地说明本发明而详细说明的，并不限定于必须包括所说明的全部构成。另外，能将某一实施例的构成的一部分置换为另一实施例的构成，还可以对某一实施例的构成添加另一实施例的构成。还有，能对各实施例的构成，添加、删除、置换其它构成。
另外，上述各构成既可用硬件构成其中一部分或全部，也可够成为通过用处理器执行程序而实现。另外，控制线和信息线仅显示说明上认为有必要的，并非显示了实际产品中所有控制线和信息线。实际上，可认为几乎所有构成都相互连接。
符号说明
1 摄像装置
101～102 摄像部
103 图像校正部
104 区域控制部
105 距离检测部
106 物体检测部
107 物体检测部
108 辨识部
201 共通摄像区域
202～204 被摄体
205～207 处理区域
602～603 处理区域
801 车辆控制部
901 网络摄像部
902 图像压缩·接口部
903 LAN
904 控制部
905 网络接口部
906 图像解压缩部。
Claims (7)
1.一种摄像装置，其具有多个摄像部，所述摄像装置的特征在于，
在由所述多个摄像部拍摄到的各自的拍摄图像所共通的共通摄像区域中的一部分即第1区域中，以遍及该第1区域整体的方式，基于所述多个拍摄图像间的视差来算出关于该一部分区域内的图像要素的距离，
在所述拍摄图像中的包含和所述第1区域不同的其它部分区域的第2区域中，基于所述多个拍摄图像间的视差，对该第2区域中的一部分即部分区域来算出关于该部分区域内的图像要素的距离，
所述摄像装置具备：
第1物体检测处理部，其对所述第1区域进行第1物体检测处理，所述第1物体检测处理指：在利用根据视差算出距离的立体处理而针对所述第1区域内的多个图像要素的每一个检测出距离之后，基于检测出的距离来提取所述图像要素的组而检测出物体；以及
第2物体检测处理部，其利用单眼处理对所述第2区域检测物体，对包含所述物体的所述部分区域进行第2物体检测处理，所述第2物体检测处理是利用所述立体处理而检测所述物体的距离的处理。
2.根据权利要求1所述的摄像装置，其特征在于，
根据检测对象物的种类来设定是通过所述第1物体检测处理及第2物体检测处理的哪一个来进行物体检测。
3.根据权利要求1所述的摄像装置，其特征在于，
在一个处理周期内，以并行方式进行所述第1物体检测处理及第2物体检测处理。
4.根据权利要求3所述的摄像装置，其特征在于，
以分时方式处理所述第1物体检测处理及第2物体检测处理中进行的所述立体处理。
5.根据权利要求1所述的摄像装置，其特征在于，
所述第1物体检测处理部检测行人或者车辆。
6.根据权利要求1所述的摄像装置，其特征在于，
所述第2物体检测处理部检测信号、标志或者分道线。
7.根据权利要求1所述的摄像装置，其特征在于，具备：
车辆控制部，其控制车辆的运动，
所述车辆控制部基于所述第1物体检测处理部以及所述第2物体检测处理部的处理结果来控制所述车辆。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016019401A JP6660751B2 (ja) | 2016-02-04 | 2016-02-04 | 撮像装置 |
| JP2016-019401 | 2016-02-04 | ||
| PCT/JP2017/000362 WO2017134982A1 (ja) | 2016-02-04 | 2017-01-10 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108496056A CN108496056A (zh) | 2018-09-04 |
| CN108496056B true CN108496056B (zh) | 2020-09-15 |
Family
ID=59499505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780006341.1A Active CN108496056B (zh) | 2016-02-04 | 2017-01-10 | 摄像装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11650052B2 (zh) |
| EP (1) | EP3413015B1 (zh) |
| JP (1) | JP6660751B2 (zh) |
| CN (1) | CN108496056B (zh) |
| WO (1) | WO2017134982A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018086133A1 (en) * | 2016-11-14 | 2018-05-17 | SZ DJI Technology Co., Ltd. | Methods and systems for selective sensor fusion |
| JP6841331B2 (ja) * | 2017-07-24 | 2021-03-10 | 富士通株式会社 | 車両駐車支援装置、車両駐車支援プログラム |
| JP7150508B2 (ja) * | 2018-07-24 | 2022-10-11 | 株式会社東芝 | 鉄道車両用撮像システム |
| JP7042185B2 (ja) * | 2018-07-27 | 2022-03-25 | 日立Astemo株式会社 | 距離算出装置 |
| JP7157330B2 (ja) * | 2018-11-27 | 2022-10-20 | 富士通株式会社 | 監視装置、監視方法および監視プログラム |
| CN111422190B (zh) * | 2020-04-03 | 2021-08-31 | 北京四维智联科技有限公司 | 一种后装车机的前向碰撞预警方法及*** |
| JP2021190848A (ja) * | 2020-05-29 | 2021-12-13 | ソニーセミコンダクタソリューションズ株式会社 | 検出装置、検出システム及び検出方法 |
| US11468688B2 (en) * | 2020-07-31 | 2022-10-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle sensor data sharing |
| US20220191385A1 (en) * | 2020-12-16 | 2022-06-16 | Irobot Corporation | Dynamic camera adjustments in a robotic vacuum cleaner |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090244263A1 (en) * | 2007-10-29 | 2009-10-01 | Toru Saito | Object Detecting System |
| CN102997900A (zh) * | 2011-09-15 | 2013-03-27 | 歌乐株式会社 | 外界识别方法、装置以及车辆*** |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3633368B2 (ja) * | 1999-05-19 | 2005-03-30 | 日産自動車株式会社 | 障害物検出装置 |
| WO2006121088A1 (ja) | 2005-05-10 | 2006-11-16 | Olympus Corporation | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2006322795A (ja) * | 2005-05-18 | 2006-11-30 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5468426B2 (ja) * | 2010-03-12 | 2014-04-09 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| JP2013058829A (ja) | 2011-09-07 | 2013-03-28 | Honda Motor Co Ltd | 車両周辺監視装置 |
| JP5587930B2 (ja) * | 2012-03-09 | 2014-09-10 | 日立オートモティブシステムズ株式会社 | 距離算出装置及び距離算出方法 |
| JP6313646B2 (ja) * | 2014-04-24 | 2018-04-18 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
| JP6306735B2 (ja) | 2014-10-24 | 2018-04-04 | 京セラ株式会社 | ステレオカメラ装置及びステレオカメラ装置を備える車両 |
| JP6606369B2 (ja) * | 2015-07-21 | 2019-11-13 | 株式会社Ｓｏｋｅｎ | 物体検出装置及び物体検出方法 |
| WO2017057041A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 信号処理装置、信号処理方法、およびプログラム |
| EP3392830B1 (en) * | 2015-12-14 | 2023-09-06 | Ricoh Company, Ltd. | Image processing device, object recognition device, apparatus control system, image processing method and program |
| JP6587000B2 (ja) * | 2016-01-28 | 2019-10-09 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
-
2016
- 2016-02-04 JP JP2016019401A patent/JP6660751B2/ja active Active
-
2017
- 2017-01-10 US US16/066,274 patent/US11650052B2/en active Active
- 2017-01-10 WO PCT/JP2017/000362 patent/WO2017134982A1/ja active Application Filing
- 2017-01-10 CN CN201780006341.1A patent/CN108496056B/zh active Active
- 2017-01-10 EP EP17747146.3A patent/EP3413015B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090244263A1 (en) * | 2007-10-29 | 2009-10-01 | Toru Saito | Object Detecting System |
| CN102997900A (zh) * | 2011-09-15 | 2013-03-27 | 歌乐株式会社 | 外界识别方法、装置以及车辆*** |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3413015A1 (en) | 2018-12-12 |
| EP3413015B1 (en) | 2020-10-07 |
| CN108496056A (zh) | 2018-09-04 |
| JP2017139631A (ja) | 2017-08-10 |
| US20200284580A1 (en) | 2020-09-10 |
| US11650052B2 (en) | 2023-05-16 |
| WO2017134982A1 (ja) | 2017-08-10 |
| JP6660751B2 (ja) | 2020-03-11 |
| EP3413015A4 (en) | 2019-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108496056B (zh) | 摄像装置 | |
| CN109196304B (zh) | 物体距离检测装置 | |
| US10148938B2 (en) | Vehicle-mounted image recognition device to set a stereoscopic-vision and monocular-vision image areas | |
| CN107431747B (zh) | 摄像装置 | |
| EP2109061B1 (en) | Image processing apparatus for vehicle | |
| JP2014090233A (ja) | 画像処理装置 | |
| JP6899673B2 (ja) | 物体距離検出装置 | |
| JP7278846B2 (ja) | 物***置検出装置、走行制御システム、および走行制御方法 | |
| EP3690812A1 (en) | Object distance detection device | |
| JP4797441B2 (ja) | 車両用画像処理装置 | |
| CN112544066A (zh) | 图像处理装置 | |
| CN114521180B (zh) | 物体检测装置、行驶控制***以及行驶控制方法 | |
| US11272111B2 (en) | Image processing apparatus | |
| KR101030210B1 (ko) | 자동차용 장애물 인식 시스템 및 그 방법 | |
| US20200111227A1 (en) | Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle | |
| JP5017921B2 (ja) | 車両用画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Ibaraki Patentee after: Hitachi astemo Co.,Ltd. Address before: Ibaraki Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd. |