JP2014032542A - Image processor and, vehicle control system using image processor - Google Patents
Image processor and, vehicle control system using image processor Download PDFInfo
- Publication number
- JP2014032542A JP2014032542A JP2012172960A JP2012172960A JP2014032542A JP 2014032542 A JP2014032542 A JP 2014032542A JP 2012172960 A JP2012172960 A JP 2012172960A JP 2012172960 A JP2012172960 A JP 2012172960A JP 2014032542 A JP2014032542 A JP 2014032542A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- area
- weight
- processing apparatus
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車載カメラの画像内から歩行者等の対象物を検出する技術に関する。 The present invention relates to a technique for detecting an object such as a pedestrian from an image of a vehicle-mounted camera.
従来、車両走行の障害となる物体との衝突回避等を目的として、車載カメラの画像内から歩行者を検出する技術が提案されている。例えば、車載カメラの画像内から判別対象となる物体を検出し、その物体に対して歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法を適用し、歩行者を検出する技術が提案されている。 Conventionally, a technique for detecting a pedestrian from an image of a vehicle-mounted camera has been proposed for the purpose of avoiding a collision with an object that becomes an obstacle to vehicle travel. For example, a technique for detecting a pedestrian by detecting an object to be discriminated from an image of an in-vehicle camera and applying a neural network object discrimination method using a pedestrian's contour pattern to the object has been proposed. Yes.
ところが、歩行者の輪郭パターンを用いたニューラルネットワークの物体判別手法では、歩行者の輪郭パターンに類似した例えば樹木などの物体を歩行者として検出する虞があり、歩行者の検出精度が低下してしまうことがある。 However, in the neural network object discrimination method using the pedestrian contour pattern, an object such as a tree similar to the pedestrian contour pattern may be detected as a pedestrian, and the detection accuracy of the pedestrian decreases. May end up.
この課題を解決するための手法として、歩行者を構成する所定部位に関する判定を行い、各所定部位の判定出力値の総和が閾値を上回っているか否かで歩行者を判定する技術が提案されている（例えば、特許文献１参照）。例えば、頭、胴体、手、足という所定部位に関する判定を行い、各所定部位の判定出力値の総和を基に検出するという具合である。 As a technique for solving this problem, a technique has been proposed in which a determination regarding a predetermined part constituting a pedestrian is performed and a pedestrian is determined based on whether or not the sum of determination output values of each predetermined part exceeds a threshold value. (For example, refer to Patent Document 1). For example, a determination regarding a predetermined part such as a head, a torso, a hand, and a leg is performed, and detection is performed based on the sum of determination output values of each predetermined part.
しかしながら、上記特許文献１に記載の技術には、歩行者の後ろにいる歩行者や、物陰に隠れた歩行者を精度よく検出できないという課題がある。すなわち、歩行者の頭、胴体、手、足などの所定部位のいくつかが画像内に写らない場合、その所定部位の判定出力値が小さくなることにより、判定出力値の総和が小さくなる。そのため、判定出力値の総和を基に歩行者を検出した場合、歩行者が検出されないことが懸念される。 However, the technique described in Patent Document 1 has a problem that a pedestrian behind a pedestrian or a pedestrian hidden behind a pedestrian cannot be accurately detected. That is, when some of the predetermined parts such as the pedestrian's head, torso, hand, and foot are not shown in the image, the determination output value of the predetermined part is reduced, so that the sum of the determination output values is reduced. Therefore, when a pedestrian is detected based on the sum of the determination output values, there is a concern that no pedestrian is detected.
なお、ここに挙げた課題は、歩行者に限られるものではなく、画像内の対象物を検出する場合にも同様に生じるものである。
本発明は、上述した課題を解決するためになされたものであり、その目的は、画像内の対象物を適切に検出することが可能な画像処理装置及び、当該画像処理装置を用いた車両制御システムを提供することにある。
Note that the problems listed here are not limited to pedestrians, but also occur when an object in an image is detected.
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an image processing apparatus capable of appropriately detecting an object in an image and vehicle control using the image processing apparatus. To provide a system.
上記目的を達成するためになされた請求項１に記載の画像処理装置（１０）は、車両に搭載される撮像装置（３２）からの画像に基づいて対象物を検出する。
この画像処理装置では、パーツモデル記憶部（６１）に、対象物の各部位であるパーツを検出してスコア化するためのパーツモデルが記憶されている。パーツモデルは、例えば対象物が歩行者であれば、頭部に対応する頭部パーツモデル、腕部に対応する腕部パーツモデル、腰部に対応する腰部パーツモデル、脚部に対応する脚部パーツモデルなどとして用意される。また例えば対象物が車両であれば、タイヤに対応するタイヤパーツモデル、テールライトに対応するテールライトパーツモデル、窓に対応する窓パーツモデルなどとして用意される。
The image processing device (10) according to claim 1 made to achieve the above object detects an object based on an image from an imaging device (32) mounted on a vehicle.
In this image processing apparatus, the part model storage unit (61) stores a part model for detecting and scoring parts that are parts of the object. For example, if the object is a pedestrian, the part model is a head part model corresponding to the head, an arm part model corresponding to the arm, a waist part model corresponding to the waist, and a leg part corresponding to the leg. Prepared as a model. For example, if the object is a vehicle, a tire part model corresponding to a tire, a taillight part model corresponding to a taillight, a window part model corresponding to a window, and the like are prepared.
ここで特に、基準領域検出手段（５１ａ）が、画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する。基準領域の形状は特に限定されないが、例えば矩形領域とすることが考えられる。また、探索領域設定手段（５１ｂ）は、基準領域検出手段にて検出された基準領域に一部が隠れる探索領域を設定する。探索領域も、例えば矩形領域とすることが考えられる。 Here, in particular, the reference area detecting means (51a) detects the reference area of the reference object that is present on the near side of the image and is not hidden by other objects. The shape of the reference area is not particularly limited, but for example, a rectangular area can be considered. The search area setting means (51b) sets a search area that is partially hidden in the reference area detected by the reference area detection means. The search area may be a rectangular area, for example.
ウェイト設定手段（５１ｃ）は、探索領域設定手段にて設定される探索領域における各パーツの基準位置を基に、基準領域との関係から、各パーツのウェイトを設定する。これにより、スコア算出手段（５１ｄ）は、ウェイト設定手段にて設定されるウェイトを加味して各パーツをスコア化し、各パーツのスコアを足し合わせて探索領域のスコアを算出する。そして、対象物検出手段（５１ｅ）によって、スコア算出手段にて算出される探索領域のスコアに基づき、対象物が検出される。 The weight setting means (51c) sets the weight of each part from the relationship with the reference area based on the reference position of each part in the search area set by the search area setting means. Thus, the score calculation means (51d) scores each part in consideration of the weight set by the weight setting means, and adds the scores of each part to calculate the score of the search area. Then, the object detection means (51e) detects the object based on the score of the search area calculated by the score calculation means.
つまり、対象物の各部位であるパーツをスコア化する際、当該パーツが画像内で検出される基準領域に隠れているか否かによってウェイトを設定し、重み付けを変えるのである。このようにすれば、画像内の対象物を適切に検出することができる。 That is, when scoring a part that is a part of an object, a weight is set depending on whether or not the part is hidden in a reference region detected in an image, and the weight is changed. In this way, the object in the image can be detected appropriately.
以下、本発明の一実施形態を図面に基づいて説明する。以下、対象物として歩行者を
想定して説明する。
本実施形態の車両制御システムは、画像処理装置１０および車両制御装置２０を中心に構成されている。画像処理装置１０には、測距装置３１および撮像装置３２が接続されている。また、車両制御装置２０には、スピーカ４１、ブレーキ４２およびステアリング４３が接続されている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. Hereinafter, description will be made assuming a pedestrian as the object.
The vehicle control system of the present embodiment is configured with the image processing device 10 and the vehicle control device 20 as the center. A distance measuring device 31 and an imaging device 32 are connected to the image processing device 10. In addition, a speaker 41, a brake 42 and a steering 43 are connected to the vehicle control device 20.
画像処理装置１０および車両制御装置２０は、いわゆるコンピュータとして構成されている。これにより、画像処理装置１０では、撮像装置３２からの画像に基づき歩行者を検出し、測距装置３１による距離情報に基づき、衝突危険度を判定する。これに対し、車両制御装置２０は、画像処理装置１０から出力される衝突危険度に応じて、スピーカ４１による報知を行ったり、緊急度合が大きい場合には、ブレーキ４２およびステアリング４３による回避制御を行ったりする。 The image processing device 10 and the vehicle control device 20 are configured as a so-called computer. As a result, the image processing device 10 detects a pedestrian based on the image from the imaging device 32, and determines the collision risk based on the distance information from the distance measuring device 31. On the other hand, the vehicle control device 20 performs notification by the speaker 41 according to the collision risk output from the image processing device 10, or performs avoidance control by the brake 42 and the steering 43 when the degree of emergency is large. To go.
次に、各部の構成について具体的に説明する。
測距装置３１は、レーザレーダなどとして具現化される。もちろん、ミリ波レーダなどの別の構成を用いてもよい。この測距装置３１により、車両前方の物体までの距離を検知することが可能となる。
Next, the configuration of each unit will be specifically described.
The distance measuring device 31 is embodied as a laser radar or the like. Of course, another configuration such as a millimeter wave radar may be used. The distance measuring device 31 can detect the distance to the object in front of the vehicle.
撮像装置３２は、単眼カメラなどとして具現化される。この撮像装置３２により、車両前方が撮像される。画像処理装置１０では、上述したように、この画像に基づいて歩行者を検出する。 The imaging device 32 is embodied as a monocular camera or the like. The imaging device 32 images the front of the vehicle. As described above, the image processing apparatus 10 detects a pedestrian based on this image.
スピーカ４１は、音声出力のための構成である。歩行者との衝突危険度が大きくなると、このスピーカ４１を介して「前方に歩行者がいます」や「注意してください」などの音声が出力される。 The speaker 41 is configured for audio output. When the risk of collision with a pedestrian increases, sounds such as “There is a pedestrian in front” and “Be careful” are output via the speaker 41.
ブレーキ４２は、ブレーキの駆動装置を含み、車両制御装置２０からの信号によって、車両を減速させる。また、ステアリング４３は、ＥＰＳ（Electric Power Steering ）装置を含み、車両制御装置２０からの信号によって運転者の操舵をアシストする。このような車両制御が行われるのは、歩行者との衝突危険度がさらに大きくなった場合であり、緊急性の大きい場合である。 The brake 42 includes a brake driving device, and decelerates the vehicle by a signal from the vehicle control device 20. The steering 43 includes an EPS (Electric Power Steering) device, and assists the driver's steering by a signal from the vehicle control device 20. Such vehicle control is performed when the risk of collision with a pedestrian is further increased, and when the urgency is high.
画像処理装置１０は、制御部５０および記憶部６０を有している。制御部５０は、いわゆるマイコン（マイクロコンピュータ）として具現化される。制御部５０は、対象物検出部５１および衝突危険度判定部５２を具備する。また、記憶部６０は、例えばＲＯＭなどとして具現化される。もちろん、ＲＯＭ以外のフラッシュメモリやＨＤＤなどを用いてもよい。記憶部６０は、パーツモデル記憶部６１および衝突危険度判定テーブル記憶部６２を具備している。 The image processing apparatus 10 includes a control unit 50 and a storage unit 60. The control unit 50 is embodied as a so-called microcomputer. The control unit 50 includes an object detection unit 51 and a collision risk determination unit 52. The storage unit 60 is embodied as a ROM, for example. Of course, a flash memory or HDD other than the ROM may be used. The storage unit 60 includes a parts model storage unit 61 and a collision risk determination table storage unit 62.
ここで対象物検出部５１は、撮像装置３２から出力される画像内の歩行者を検出する。具体的には後述するが、手前に存在する基準物の基準領域を特定し、次に、当該基準領域に隠れている歩行者を検出する。 Here, the object detection unit 51 detects a pedestrian in the image output from the imaging device 32. Specifically, as will be described later, a reference area of a reference object existing in front is specified, and then a pedestrian hidden in the reference area is detected.
衝突危険度判定部５２は、歩行者が検出された後、当該歩行者までの距離が測距装置３１にて分かるため、当該歩行者との距離に応じて衝突危険度を判定する。また、検出された歩行者の確からしさがスコアとして算出されるため、当該歩行者のスコアに応じて衝突危険度を判定する。この衝突危険度は、車両制御装置２０へ出力される。 Since the distance to the pedestrian is known by the distance measuring device 31 after the pedestrian is detected, the collision risk level determination unit 52 determines the collision risk level according to the distance from the pedestrian. Moreover, since the probability of the detected pedestrian is calculated as a score, the collision risk is determined according to the score of the pedestrian. The collision risk is output to the vehicle control device 20.
パーツモデル記憶部６１には、パーツモデルが記憶されている。パーツモデルは、歩行者の各パーツをモデル化したものである。本実施形態では、頭部、腕部、腰部、および、脚部をパーツとして用意する。以下では、これらのパーツに対応するパーツモデルを「頭部パーツモデル」、「腕部パーツモデル」、「腰部パーツモデル」および「脚部パーツモデル」として適宜区別する。なお、パーツモデルは、例えば、輪郭情報等の各パーツの特徴を表現する特徴ベクトルである。 The part model storage unit 61 stores a part model. The parts model is a model of each part of the pedestrian. In the present embodiment, the head, arms, waist, and legs are prepared as parts. Hereinafter, the part models corresponding to these parts are appropriately distinguished as “head part model”, “arm part model”, “waist part model”, and “leg part model”. The part model is a feature vector that expresses the feature of each part such as contour information.
衝突危険度判定テーブル記憶部６２には、衝突危険度判定テーブルが記憶されている。この衝突危険度判定テーブルは、図２に示すように、歩行者までの距離（Ｄ）及び歩行者のスコア（Ｓ）と衝突危険度及び車両制御情報とを対応付けるテーブルである。衝突危険度判定部５２は、この衝突危険度判定テーブルを参照することで、衝突危険度を判定する。例えば図２の例では、歩行者までの距離（Ｄ）又はスコア（Ｓ）の少なくともいずれか一方の条件成立によって危険度が判定される。具体的には、距離Ｄが「Ｄ≦Ｄ１」の場合、又は、スコアＳが「Ｓ≦Ｓ１」の場合は、危険度「レベル１」と判定され、車両制御は「警報処理」と判定される。また、距離Ｄが「Ｄ１＜Ｄ≦Ｄ２」の場合、又は、スコアＳが「Ｓ１＜Ｓ≦Ｓ２」の場合は、危険度「レベル２」と判定され、車両制御は「ブレーキ制御」と判定される。さらにまた、距離Ｄが「Ｄ＞Ｄ２」の場合、又は、スコアＳが「Ｓ＞Ｓ２」の場合は、危険度「レベル３」と判定され、車両制御は「ステア制御」と判定される。 The collision risk determination table storage unit 62 stores a collision risk determination table. As shown in FIG. 2, the collision risk determination table is a table that associates the distance (D) to the pedestrian and the pedestrian score (S) with the collision risk and the vehicle control information. The collision risk determination unit 52 determines the collision risk by referring to the collision risk determination table. For example, in the example of FIG. 2, the degree of risk is determined based on the satisfaction of at least one of the distance (D) to the pedestrian and the score (S). Specifically, when the distance D is “D ≦ D1” or the score S is “S ≦ S1”, the risk level is determined as “level 1”, and the vehicle control is determined as “alarm processing”. The When the distance D is “D1 <D ≦ D2” or the score S is “S1 <S ≦ S2”, the risk level is determined as “level 2”, and the vehicle control is determined as “brake control”. Is done. Furthermore, when the distance D is “D> D2” or when the score S is “S> S2,” the risk level is determined as “level 3”, and the vehicle control is determined as “steer control”.
車両制御装置２０は、報知制御部７０および車両制御部８０を有している。いずれもいわゆるマイコンとして具現化される。報知制御部７０は、スピーカ４１を介した報知を行うための構成であり、衝突の危険度が大きくなると、まずはスピーカ４１を介した報知が行われる。車両制御部８０は、ブレーキ４２およびステアリング４３を介した車両制御を行うための構成であり、衝突の危険度がさらに大きくなった場合に衝突回避制御が行われる。 The vehicle control device 20 includes a notification control unit 70 and a vehicle control unit 80. Both are embodied as so-called microcomputers. The notification control unit 70 is configured to perform notification via the speaker 41. When the risk of collision increases, notification is first performed via the speaker 41. The vehicle control unit 80 is configured to perform vehicle control via the brake 42 and the steering 43, and collision avoidance control is performed when the risk of collision further increases.
具体的に、衝突危険度判定部５２は、図２の衝突危険度判定テーブルで危険度「レベル１」と判定した場合は車両制御「警報処理」を実現するため、報知制御部７０へ信号出力を行う。これにより、報知制御部７０によるスピーカ４１を介した報知が行われる。また、衝突危険度判定部５２は、図２の衝突危険度判定テーブルで危険度「レベル２」と判定した場合は車両制御「ブレーキ制御」を実現するため、車両制御部８０へ信号出力を行う。これにより、車両制御部８０によるブレーキ４２を介した減速制御が行われる。さらにまた、衝突危険度判定部５２は、図２の衝突危険度判定テーブルで危険度「レベル３」と判定した場合は車両制御「ステア制御」を実現するため、車両制御部８０へ信号出力を行う。これにより、車両制御部８０によるステアリング４３を介した回避制御が行われる。 Specifically, the collision risk determination unit 52 outputs a signal to the notification control unit 70 in order to realize vehicle control “alarm processing” when the risk is determined as “level 1” in the collision risk determination table of FIG. I do. Thereby, the notification through the speaker 41 by the notification control unit 70 is performed. Further, the collision risk determination unit 52 outputs a signal to the vehicle control unit 80 in order to realize vehicle control “brake control” when it is determined that the risk is “level 2” in the collision risk determination table of FIG. . Thereby, deceleration control via the brake 42 by the vehicle control unit 80 is performed. Furthermore, the collision risk determination unit 52 outputs a signal output to the vehicle control unit 80 in order to realize the vehicle control “steer control” when it is determined that the risk is “level 3” in the collision risk determination table of FIG. Do. Accordingly, avoidance control is performed by the vehicle control unit 80 via the steering 43.
なお、本実施形態は、対象物検出部５１の機能としての対象物検出処理に特徴を有する。そこで、以下では、この対象物検出処理の詳細を説明する。対象物検出処理は、所定時間間隔で繰り返し実行される。 The present embodiment is characterized by an object detection process as a function of the object detection unit 51. Therefore, details of the object detection process will be described below. The object detection process is repeatedly executed at predetermined time intervals.
図３に示すように、最初のＳ１１０では、画像入力を行う。この処理は、撮像装置３２から出力される画像を入力するものである。
続くＳ１２０では、画像内の基準領域を検出する。この処理は、撮像装置３２からの画像内で基準物を示す矩形範囲を検出するものである。基準物とは、画像の手前側に写っている立体物である。基準物には、歩行者だけでなく車両などが含まれることとしてもよい。具体的な検出方法としては既存の技術を用いる。例えば、歩行者の各パーツをモデル化したパーツモデルがパーツモデル記憶部６１に記憶されることは上述したが、当該パーツモデルによって画像をスキャンすることで手前の歩行者を抽出するという具合である。
As shown in FIG. 3, in the first S110, image input is performed. In this process, an image output from the imaging device 32 is input.
In subsequent S120, a reference region in the image is detected. This process detects a rectangular range indicating a reference object in the image from the imaging device 32. The reference object is a three-dimensional object shown on the near side of the image. The reference object may include not only a pedestrian but also a vehicle. As a specific detection method, an existing technique is used. For example, as described above, a part model obtained by modeling each part of a pedestrian is stored in the part model storage unit 61, but a pedestrian in the foreground is extracted by scanning an image using the part model. .
次のＳ１３０では、探索矩形との重複矩形を算出する。探索矩形は、Ｓ１２０で検出される基準領域に対し一部が重なるように、適当な大きさで取られる矩形である。例えば図４（ａ）に示すように、基準領域Ｒが画像内に検出された場合、その周辺に探索矩形Ｔ１，Ｔ２が設定されるという具合である。基準領域Ｒの周辺には複数の探索矩形が設定されるのであるが、すべての探索矩形に対し同様の処理が行われるため、探索矩形Ｔ１を例に挙げて説明する。ここで算出される重複矩形は、図４（ｂ）にハッチングを施して示すように、基準領域Ｒと探索矩形Ｔ１との重複矩形Ｃとなる。 In the next S130, an overlapping rectangle with the search rectangle is calculated. The search rectangle is a rectangle that is taken in an appropriate size so that a part of the search rectangle overlaps the reference region detected in S120. For example, as shown in FIG. 4A, when the reference region R is detected in the image, search rectangles T1 and T2 are set around the reference region R. A plurality of search rectangles are set around the reference region R. Since the same processing is performed for all the search rectangles, the search rectangle T1 will be described as an example. The overlap rectangle calculated here is an overlap rectangle C between the reference region R and the search rectangle T1, as shown by hatching in FIG.
続くＳ１４０では、各パーツのウェイトを決定する。探索矩形に対しては、各パーツの基準位置が設定される。これについて説明する。
探索矩形が歩行者を示すものである場合、頭部パーツ、腕部パーツ、腰部パーツ、および、脚部パーツが含まれる。そこで、パーツモデル記憶部６１に記憶された「頭部パーツモデル」、「腕部パーツモデル」、「腰部パーツモデル」および「脚部パーツモデル」を用い、これらパーツモデルとの一致度によって、探索矩形内部の各パーツを後にスコア化する（Ｓ１５０）。
In subsequent S140, the weight of each part is determined. The reference position of each part is set for the search rectangle. This will be described.
When the search rectangle indicates a pedestrian, a head part, an arm part, a waist part, and a leg part are included. Therefore, the “head part model”, “arm part model”, “waist part model”, and “leg part model” stored in the part model storage unit 61 are used and searched according to the degree of coincidence with these part models. Each part inside the rectangle is scored later (S150).
このとき、探索矩形内部の各パーツの基準位置を基に、各パーツのウェイトを決定する。このウェイトによって、各パーツをスコア化する際、各パーツに重み付けをするのである。各パーツの基準位置とは、探索矩形に対して設定される位置であり、統計的に算出されるものである。例えば図４（ｃ）に示すように、６つのパーツＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６が探索矩形Ｔ１に対し設定されているものとする。 At this time, the weight of each part is determined based on the reference position of each part inside the search rectangle. This weight is used to weight each part when scoring each part. The reference position of each part is a position set with respect to the search rectangle, and is calculated statistically. For example, as shown in FIG. 4C, it is assumed that six parts P1, P2, P3, P4, P5, and P6 are set for the search rectangle T1.
ここで、６つのパーツＰ１〜Ｐ６のうちパーツＰ１，Ｐ３，Ｐ４，Ｐ６は、少なくともその一部が基準領域Ｒの陰になっている。すなわち、重複矩形Ｃと重なる部分が存在する。そこで、重複矩形Ｃと重なるパーツＰ１，Ｐ３，Ｐ４，Ｐ６を「隠れありパーツ」ということにする。それ以外のパーツ、すなわち重複矩形Ｃと重ならないパーツＰ２，Ｐ５を「隠れなしパーツ」ということにする。 Here, among the six parts P1 to P6, at least a part of the parts P1, P3, P4, and P6 is behind the reference region R. That is, there is a portion that overlaps the overlapping rectangle C. Therefore, the parts P1, P3, P4, and P6 that overlap with the overlapping rectangle C are referred to as “parts with hidden”. Other parts, that is, parts P2 and P5 that do not overlap with the overlapping rectangle C are referred to as “non-hidden parts”.
ウェイト決定については、種々の手法を採用可能である。ここでは、図４（ｃ）にハッチングを施して示した「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目する。例えば隠れありパーツＰ６を見ると、隠れあり面積がＰａ６であり、隠れなし面積がＰｎ６となっている。
このとき、本実施形態では、隠れありパーツＰｋのウェイトＷａｋを、次の式１で算出する。
Ｗａｋ＝（Ｐｋの隠れなし面積（Ｐｎｋ））／（パーツＰｋの面積） … 式１
具体的に、Ｐ６の場合、Ｗａ６＝Ｐｎ６／（Ｐｎ６＋Ｐａ６）となる。
Various methods can be adopted for the weight determination. Here, attention is paid to “area with hiding” which is a hidden area of “part with hiding” shown by hatching in FIG. For example, when the hidden part P6 is viewed, the hidden area is Pa6 and the non-hidden area is Pn6.
At this time, in this embodiment, the weight Wak of the hidden part Pk is calculated by the following equation 1.
Wak = (Pk non-hidden area (Pnk)) / (part Pk area) Equation 1
Specifically, in the case of P6, Wa6 = Pn6 / (Pn6 + Pa6).
また、隠れなしパーツのウェイトＷｎを次の式２で算出する。
Ｗｎ＝（パーツの総面積）／（隠れなしパーツの総面積） … 式２
なお、隠れありパーツのウェイトＷａｋはパーツＰｋごとに算出される。また、隠れなしパーツのウェイトＷｎは、パーツに関係なく一律に算出される。
Further, the weight Wn of the non-hidden part is calculated by the following formula 2.
Wn = (total area of parts) / (total area of non-hidden parts)
The weight Wak of the hidden part is calculated for each part Pk. Further, the weight Wn of the non-hidden part is uniformly calculated regardless of the part.
次のＳ１５０では、ウェイトを加味して各パーツのスコアを足しこむ。図４（ｃ）の例では、各パーツＰ１〜Ｐ６のスコアＳ１〜Ｓ６を算出し、隠れありパーツＰ１，Ｐ３，Ｐ４，Ｐ６に対しては上記式１で算出したＷａｋを乗じ、隠れなしパーツＰ２，Ｐ５に対しては上記式２で算出したＷｎを乗じて足し合わせる。 In the next S150, the score of each part is added by taking the weight into consideration. In the example of FIG. 4 (c), the scores S1 to S6 of the parts P1 to P6 are calculated, and the hidden parts P1, P3, P4, and P6 are multiplied by the Wak calculated by the above formula 1, and the parts that are not hidden. P2 and P5 are multiplied by Wn calculated by the above equation 2 and added together.
続くＳ１６０では、閾値処理により歩行者を検出する。すなわち、ウェイトを加味した各パーツのスコアの総和として探索矩形のスコアが算出されるため、当該スコアが閾値を越えている場合に、歩行者であると判断する。 In subsequent S160, a pedestrian is detected by threshold processing. In other words, since the score of the search rectangle is calculated as the sum of the scores of the parts with the weight added, it is determined that the person is a pedestrian when the score exceeds the threshold value.
以上詳述したように本実施形態では、パーツモデル記憶部６１に、対象物の各部位であるパーツを検出してスコア化するためのパーツモデルが記憶されている。本実施形態では、パーツモデルは、歩行者の各部位に対応するものであり、頭部に対応する頭部パーツモデル、腕部に対応する腕部パーツモデル、腰部に対応する腰部パーツモデル、脚部に対応する脚部パーツモデルとして用意される。 As described above in detail, in the present embodiment, the part model storage unit 61 stores a part model for detecting and scoring parts that are parts of the object. In this embodiment, the part model corresponds to each part of the pedestrian, and the head part model corresponding to the head, the arm part model corresponding to the arm, the waist part model corresponding to the waist, the leg It is prepared as a leg part model corresponding to the part.
このとき本実施形態では、基準領域検出手段５１ａが、画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する（図３中のＳ１２０）。探索領域設定手段５１ｂは、基準領域検出手段５１ａにて検出された基準領域に一部が隠れる探索領域を設定し（Ｓ１３０）、重複矩形を算出する。ウェイト設定手段５１ｃは、探索領域設定手段５１ｂにて設定される探索領域における各パーツの基準位置を基に、基準領域との関係から、各パーツのウェイトを設定する（Ｓ１４０）。これにより、スコア算出手段５１ｄは、ウェイト設定手段５１ｃにて設定されるウェイトを加味して各パーツをスコア化し、各パーツのスコアを足し合わせて探索領域のスコアを算出する（Ｓ１５０）。そして、対象物検出手段５１ｅによって、スコア算出手段５１ｄにて算出される探索領域のスコアに基づき、対象物としての歩行者が検出される（Ｓ１６０）。 At this time, in the present embodiment, the reference area detection unit 51a detects the reference area of the reference object that is present on the near side of the image and is not hidden by other objects (S120 in FIG. 3). The search area setting means 51b sets a search area that is partially hidden in the reference area detected by the reference area detection means 51a (S130), and calculates an overlapping rectangle. The weight setting means 51c sets the weight of each part from the relationship with the reference area based on the reference position of each part in the search area set by the search area setting means 51b (S140). Thereby, the score calculation means 51d scores each part in consideration of the weight set by the weight setting means 51c, and adds the scores of each part to calculate the score of the search area (S150). And the pedestrian as a target object is detected by the target object detection means 51e based on the score of the search area calculated by the score calculation means 51d (S160).
つまり、対象物の各部位であるパーツをスコア化する際、当該パーツが画像内で検出される基準領域に隠れているか否かによってウェイトを設定し、重み付けを変えるのである。このようにすれば、画像内の対象物を適切に検出することができる。 That is, when scoring a part that is a part of an object, a weight is set depending on whether or not the part is hidden in a reference region detected in an image, and the weight is changed. In this way, the object in the image can be detected appropriately.
また、本実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、隠れありパーツＰｋのウェイトＷａｋを、上記式１で算出する。具体的にＰ６の場合、Ｗａ６＝Ｐｎ６／（Ｐｎ６＋Ｐａ６）となる。また、隠れなしパーツのウェイトＷｎを上記式２で算出する。すなわち、ウェイト設定手段５１ｃは、基準領域に少なくとも一部が重なるパーツである隠れありパーツの面積に基づき、ウェイトを設定する。ここで「隠れありパーツの面積に基づき」とは、パーツの総面積が分かるため「隠れなしパーツの面積に基づく」場合を含む。これにより、基準領域に隠されている面積が大きくなればなるほどパーツのウェイトが大きく設定されるため、画像内の対象物を適切に検出することができる。 Further, in the present embodiment, paying attention to the “area with hiding” that is the hidden area of the “part with hiding”, the weight Wak of the part with hiding Pk is calculated by the above formula 1. Specifically, in the case of P6, Wa6 = Pn6 / (Pn6 + Pa6). Further, the weight Wn of the non-hidden part is calculated by the above formula 2. That is, the weight setting means 51c sets the weight based on the area of the hidden part that is a part that at least partially overlaps the reference region. Here, “based on the area of the part with hiding” includes the case of “based on the area of the part without hiding” since the total area of the part is known. As a result, the larger the area hidden in the reference region, the larger the weight of the part, so that the object in the image can be detected appropriately.
特に、隠れありパーツのウェイトＷａｋはパーツＰｋごとに算出される。すなわち、ウェイト設定手段５１ｃは、隠れありパーツの面積における重なり面積に基づき、ウェイトを設定する。これにより、実際の重なり面積でウェイトが設定されるため、詳細なウェイト設定をすることができる。 In particular, the weight Wak of the hidden part is calculated for each part Pk. That is, the weight setting means 51c sets the weight based on the overlapping area in the area of the hidden part. Thereby, since the weight is set with the actual overlap area, it is possible to set a detailed weight.
さらにまた、本実施形態では、探索矩形が歩行者を示す場合の距離（Ｄ）又はスコア（Ｓ）を用い、衝突危険度判定テーブル記憶部６２に記憶された衝突危険度判定テーブルに基づき、衝突危険度を判定する。すなわち、対象物検出手段にて検出された対象物の位置、サイズ、スコア、及び、対象物までの距離の少なくとも一つに基づき、衝突危険度を判定する。これにより、衝突危険度の判定が妥当なものとなる。 Furthermore, in the present embodiment, the collision (R) or score (S) when the search rectangle indicates a pedestrian is used, and the collision is determined based on the collision risk determination table stored in the collision risk determination table storage unit 62. Determine the risk. That is, the collision risk is determined based on at least one of the position, size, score, and distance to the object detected by the object detection means. Thereby, the determination of the collision risk is appropriate.
衝突危険度判定部５２にて判定される衝突危険度に応じ、車両制御装置２０の報知制御部７０によるスピーカ４１を介した運転者への報知、および、車両制御部８０によるブレーキ４２、ステアリング４３を介した衝突回避制御が行われる。すなわち、本実施形態の車両制御システムでは、車両制御装置２０が、衝突危険度判定部５２にて判定された衝突危険度に基づき、運転者への報知を行う報知制御部７０及び衝突回避制御を行う車両制御部（８０）を有している。これにより、より安全性の高い運転支援が実現される。 In accordance with the collision risk determined by the collision risk determination unit 52, notification to the driver through the speaker 41 by the notification control unit 70 of the vehicle control device 20, and the brake 42 and steering 43 by the vehicle control unit 80. Collision avoidance control is performed via In other words, in the vehicle control system of the present embodiment, the vehicle control device 20 performs the notification control unit 70 and the collision avoidance control for notifying the driver based on the collision risk determined by the collision risk determination unit 52. A vehicle control unit (80) is provided. Thereby, driving assistance with higher safety is realized.
以上、本発明は、上述した実施形態に何ら限定されるものではなく、その技術的範囲を逸脱しない限り、種々なる形態で実施可能である。
（イ）上記実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、ウェイトを設定していた（図３中のＳ１４０）。
As described above, the present invention is not limited to the embodiment described above, and can be implemented in various forms without departing from the technical scope thereof.
(A) In the above embodiment, the weight is set by paying attention to the “area with hidden” which is the hidden area of the “part with hidden” (S140 in FIG. 3).
これに対し、「隠れありパーツ」の数に着目してウェイトを設定するようにしてもよい。もちろん、パーツの総数が分かっているため「隠れなしパーツ」の数に着目してウェイトを設定するようにしてもよい。一例として、隠れありパーツのウェイトをＺａとし、隠れなしパーツのウェイトをＺｎとして、次の式３，４でウェイトを設定することが考えられる。
Ｚａ＝（隠れなしパーツの数）／（パーツの総数） … 式３
Ｚｎ＝（パーツの総数）／（隠れなしパーツの数） … 式４
この場合、Ｓ１４０の処理を修正すればよい。
On the other hand, the weight may be set by paying attention to the number of “parts with hidden”. Of course, since the total number of parts is known, the weight may be set by paying attention to the number of “non-hidden parts”. As an example, it is conceivable to set the weight according to the following equations 3 and 4, where Za is the weight of the hidden part and Zn is the weight of the non-hidden part.
Za = (number of non-hidden parts) / (total number of parts) Equation 3
Zn = (total number of parts) / (number of non-hidden parts)
In this case, the process of S140 may be corrected.
すなわち、ウェイト設定手段５１ｃは、基準領域に少なくとも一部が重なるパーツである隠れありパーツの数に基づき、ウェイトを設定することとしてもよい。ここで「隠れありパーツの数に基づき」とは、パーツの総数が分かるため「隠れなしパーツの数に基づく」場合を含む。このようにすれば、上記実施形態と同様、基準領域に隠されているパーツ数が大きくなればなるほどパーツのウェイトが大きく設定されるため、画像内の対象物を適切に検出することができる。 That is, the weight setting means 51c may set the weight based on the number of hidden parts that are parts that at least partially overlap the reference region. Here, “based on the number of hidden parts” includes the case of “based on the number of non-hidden parts” since the total number of parts is known. In this way, as in the above embodiment, the larger the number of parts hidden in the reference area, the larger the weight of the parts, so that the object in the image can be detected appropriately.
（ロ）上記実施形態では、「隠れありパーツ」の隠れた面積である「隠れあり面積」に着目し、ウェイトを設定していた（図３中のＳ１４０）。
これに対し、「隠れありパーツ」が存在することで探索領域のスコアが不当に小さくなるようなことがなく、探索領域のスコアが「隠れありパーツ」の影響を受けないようなアルゴリズムでスコアを算出するようにしてもよい。例えば、隠れありパーツのスコアがマイナスにならないようにウェイトを「０」にするという具合である。また例えば、隠れありパーツのスコアは予め決められた標準値を用いるという具合である。この場合、Ｓ１４０の処理を修正すればよい。すなわち、ウェイト設定手段５１ｃは、基準領域に少なくとも一部が重なるパーツである隠れありパーツのスコアが探索領域のスコアに影響しないようウェイトを設定することとしてもよい。
このようにすれば、基準領域に隠されているパーツが探索領域のスコアに影響しないため、画像内の対象物を適切に検出することができる。
(B) In the above embodiment, the weight is set by paying attention to the “area with hidden” which is the hidden area of the “part with hidden” (S140 in FIG. 3).
On the other hand, the score of the search area is not unduly reduced by the existence of “parts with hiding”, and the score of the search area is not affected by “parts with hiding”. You may make it calculate. For example, the weight is set to “0” so that the score of the hidden part does not become negative. Also, for example, the score of the hidden part is a predetermined standard value. In this case, the process of S140 may be corrected. That is, the weight setting means 51c may set the weight so that the score of the hidden part that is a part at least partially overlapping the reference area does not affect the score of the search area.
In this way, since the parts hidden in the reference area do not affect the score of the search area, the object in the image can be detected appropriately.
（ハ）上記実施形態では探索矩形における各パーツのウェイトを設定していたが、さらに、基準領域の信頼度を算出し、この信頼度を用いてパーツをスコア化してもよい。例えば、基準領域のスコアを「０」〜「１」に正規化したものを信頼度Ｃとし、上記隠れありパーツのウェイトＷａｋを補正して、新たなウェイトＷａｋ’を次の式５で算出する。
Ｗａｋ’＝ｍａｘ(０，Ｗａｋ−Ｃ) … 式５
同様に、隠れなしパーツのウェイトＷｎを補正して、新たなウェイトＷｎ’を次の式６で算出する。
Ｗｎ’＝Ｗｎ＋Ｃ … 式６
すなわち、基準領域検出手段５１ａは、基準領域を検出するとともに、当該基準領域の信頼度を算出し、スコア算出手段５１ｄは、信頼度を加味して各パーツをスコア化し探索領域のスコアを算出することとしてもよい。このようにすれば、各パーツのスコアがさらに妥当なものとなる。
(C) In the above embodiment, the weight of each part in the search rectangle is set. However, the reliability of the reference area may be calculated, and the part may be scored using this reliability. For example, the standard area score normalized from “0” to “1” is set as the reliability C, the weight Wak of the hidden part is corrected, and a new weight Wak ′ is calculated by the following formula 5. .
Wak ′ = max (0, Wak−C) Equation 5
Similarly, the weight Wn of the non-hidden part is corrected, and a new weight Wn ′ is calculated by the following Expression 6.
Wn ′ = Wn + C Expression 6
That is, the reference area detection unit 51a detects the reference area and calculates the reliability of the reference area, and the score calculation unit 51d scores each part and calculates the search area score in consideration of the reliability. It is good as well. In this way, the score of each part becomes more appropriate.
なお、ここでは、信頼度を用いて新たなウェイトを求めているが、すなわちＳ１４０の処理を修正するのであるが、スコアを足し込む際に信頼度を用いてもよい。すなわちＳ１５０の処理を修正してもよい。 Here, the new weight is obtained using the reliability, that is, the process of S140 is corrected, but the reliability may be used when adding the score. That is, you may correct the process of S150.
（ニ）上記実施形態では、測距装置３１から出力される歩行者までの距離（Ｄ）又は歩行者のスコア（Ｓ）に基づき、衝突危険性を判定していた。このような距離（Ｄ）、スコア（Ｓ）の他、探索領域の位置及びサイズの少なくとも一つを用いて、衝突危険性を判定するようにしてもよい。 (D) In the above embodiment, the collision risk is determined based on the distance (D) to the pedestrian output from the distance measuring device 31 or the score (S) of the pedestrian. In addition to such distance (D) and score (S), the risk of collision may be determined using at least one of the position and size of the search area.
（ホ）上記実施形態では、歩行者までの距離を測距装置３１にて測定していたが、測距装置３１に代え、撮像装置３２からの画像情報を基に距離を測定してもよい。すなわち、測距装置３１を省略した構成としてもよい。もちろん、測距装置３１を備えることで、精度の高い測定が可能となる。 (E) In the above embodiment, the distance to the pedestrian is measured by the distance measuring device 31, but the distance may be measured based on the image information from the imaging device 32 instead of the distance measuring device 31. . That is, the distance measuring device 31 may be omitted. Of course, by providing the distance measuring device 31, highly accurate measurement is possible.
１０…画像処理装置、２０…車両制御装置、３１…測距装置、３２…撮像装置、４１…スピーカ、４２…ブレーキ、４３…ステアリング、５０…制御部、５１…対象物検出部、５１ａ…基準領域検出手段、５１ｂ…探索領域検出手段、５１ｃ…ウェイト設定手段、５１ｄ…スコア算出手段、５１ｅ…対象物検出手段、５２…衝突危険度判定部、６０…記憶部、６１…パーツモデル記憶部、６２…衝突危険度判定テーブル記憶部、７０…報知制御部、８０…車両制御部 DESCRIPTION OF SYMBOLS 10 ... Image processing device, 20 ... Vehicle control device, 31 ... Distance measuring device, 32 ... Imaging device, 41 ... Speaker, 42 ... Brake, 43 ... Steering, 50 ... Control part, 51 ... Object detection part, 51a ... Reference | standard Area detection means, 51b ... Search area detection means, 51c ... Weight setting means, 51d ... Score calculation means, 51e ... Object detection means, 52 ... Collision risk determination part, 60 ... Storage part, 61 ... Parts model storage part, 62 ... Collision risk determination table storage unit, 70 ... Notification control unit, 80 ... Vehicle control unit
Claims (10)
前記対象物の各部位であるパーツを検出してスコア化するためのパーツモデルを記憶するパーツモデル記憶部（６１）と、
前記画像の手前側に存在して他の物体に隠れていない基準物の基準領域を検出する基準領域検出手段（５１ａ）と、
前記基準領域検出手段にて検出された前記基準領域に一部が隠れる探索領域を設定する探索領域設定手段（５１ｂ）と、
前記探索領域設定手段にて設定される前記探索領域における前記各パーツの基準位置を基に、前記基準領域との関係から、前記各パーツのウェイトを設定するウェイト設定手段（５１ｃ）と、
前記ウェイト設定手段にて設定される前記ウェイトを加味して前記各パーツをスコア化し、前記各パーツのスコアを足し合わせて前記探索領域のスコアを算出するスコア算出手段（５１ｄ）と、
前記スコア算出手段にて算出される前記探索領域のスコアに基づき、前記対象物を検出する対象物検出手段（５１ｅ）と、
を備えていることを特徴とする画像処理装置。 An image processing device (10) for detecting an object based on an image from an imaging device (32) mounted on a vehicle,
A part model storage unit (61) for storing a part model for detecting and scoring parts that are parts of the object;
A reference area detecting means (51a) for detecting a reference area of a reference object that is present on the front side of the image and is not hidden by another object;
Search area setting means (51b) for setting a search area partially hidden in the reference area detected by the reference area detection means;
Based on the reference position of each part in the search area set by the search area setting means, weight setting means (51c) for setting the weight of each part from the relationship with the reference area;
Score calculating means (51d) for scoring each part in consideration of the weight set by the weight setting means, and adding the scores of the parts to calculate the score of the search area;
Object detection means (51e) for detecting the object based on the score of the search area calculated by the score calculation means;
An image processing apparatus comprising:
前記対象物は、歩行者であること
を特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the object is a pedestrian.
前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツのスコアが前記探索領域のスコアに影響しないよう前記ウェイトを設定すること（Ｓ１４０）
を特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The weight setting means sets the weight so that the score of a hidden part that is a part that at least partially overlaps the reference area does not affect the score of the search area (S140).
An image processing apparatus.
前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツの数に基づき、前記ウェイトを設定すること（Ｓ１４０）
を特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The weight setting means sets the weight based on the number of hidden parts that are parts at least partially overlapping the reference region (S140).
An image processing apparatus.
前記ウェイト設定手段は、前記基準領域に少なくとも一部が重なるパーツである隠れありパーツの面積に基づき、前記ウェイトを設定すること（Ｓ１４０）
を特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The weight setting means sets the weight based on an area of a hidden part that is a part that at least partially overlaps the reference region (S140).
An image processing apparatus.
前記ウェイト設定手段は、前記隠れありパーツの面積における重なり面積に基づき、前記ウェイトを設定すること（Ｓ１４０）
を特徴とする画像処理装置。 The image processing apparatus according to claim 5.
The weight setting means sets the weight based on an overlapping area in the area of the hidden part (S140).
An image processing apparatus.
前記基準領域検出手段は、前記基準領域を検出するとともに、当該基準領域の信頼度を算出し、
前記スコア算出手段は、前記信頼度を加味して前記各パーツをスコア化し前記探索領域のスコアを算出すること
を特徴とする画像処理装置。 In the image processing apparatus according to any one of claims 1 to 6,
The reference area detection means detects the reference area and calculates the reliability of the reference area,
The image processing apparatus characterized in that the score calculation means scores each part in consideration of the reliability and calculates a score of the search area.
前記対象物検出手段にて検出された前記対象物の位置、サイズ、スコア、及び、前記対象物までの距離の少なくとも一つに基づき、衝突危険度を判定する衝突危険度判定部（５２）をさらに備えていること
を特徴とする画像処理装置。 In the image processing device according to any one of claims 1 to 7,
A collision risk determination unit (52) for determining a collision risk based on at least one of the position, size, score, and distance to the object detected by the object detection means; An image processing apparatus, further comprising:
前記衝突危険度判定部にて判定された前記衝突危険度に基づき、運転者への報知を行う報知制御部（７０）を有する車両制御装置（２０）と、
を備えていることを特徴とする車両制御システム。 An image processing apparatus according to claim 8,
A vehicle control device (20) having a notification control unit (70) for reporting to the driver based on the collision risk determined by the collision risk determination unit;
A vehicle control system comprising:
前記衝突危険度判定手段にて判定された前記衝突危険度に基づき、衝突回避制御を行う車両制御部（８０）を有する車両制御装置（２０）と、
を備えていることを特徴とする車両制御システム。 An image processing apparatus according to claim 8,
A vehicle control device (20) having a vehicle control unit (80) for performing collision avoidance control based on the collision risk determined by the collision risk determination means;
A vehicle control system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012172960A JP5870871B2 (en) | 2012-08-03 | 2012-08-03 | Image processing apparatus and vehicle control system using the image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012172960A JP5870871B2 (en) | 2012-08-03 | 2012-08-03 | Image processing apparatus and vehicle control system using the image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014032542A true JP2014032542A (en) | 2014-02-20 |
| JP5870871B2 JP5870871B2 (en) | 2016-03-01 |
Family
ID=50282319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012172960A Expired - Fee Related JP5870871B2 (en) | 2012-08-03 | 2012-08-03 | Image processing apparatus and vehicle control system using the image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5870871B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016095808A (en) * | 2014-11-17 | 2016-05-26 | キヤノン株式会社 | Object detection device, object detection method, image recognition device and computer program |
| JP2016130966A (en) * | 2015-01-14 | 2016-07-21 | 株式会社デンソーアイティーラボラトリ | Risk estimation device, risk estimation method and computer program for risk estimation |
| WO2017158958A1 (en) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | Image processing apparatus, object recognition apparatus, device control system, image processing method, and program |
| KR20190032387A (en) | 2016-08-03 | 2019-03-27 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | An imaging device, an imaging module, an electronic device, and an imaging system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021034A (en) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller |
| JP2010218246A (en) * | 2009-03-17 | 2010-09-30 | Toyota Motor Corp | Object identification device |
-
2012
- 2012-08-03 JP JP2012172960A patent/JP5870871B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021034A (en) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller |
| JP2010218246A (en) * | 2009-03-17 | 2010-09-30 | Toyota Motor Corp | Object identification device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016095808A (en) * | 2014-11-17 | 2016-05-26 | キヤノン株式会社 | Object detection device, object detection method, image recognition device and computer program |
| JP2016130966A (en) * | 2015-01-14 | 2016-07-21 | 株式会社デンソーアイティーラボラトリ | Risk estimation device, risk estimation method and computer program for risk estimation |
| WO2017158958A1 (en) * | 2016-03-15 | 2017-09-21 | 株式会社リコー | Image processing apparatus, object recognition apparatus, device control system, image processing method, and program |
| US10937181B2 (en) | 2016-03-15 | 2021-03-02 | Ricoh Company, Ltd. | Information processing apparatus, object recognition apparatus, device control system, movable body, image processing method, and computer-readable recording medium |
| KR20190032387A (en) | 2016-08-03 | 2019-03-27 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | An imaging device, an imaging module, an electronic device, and an imaging system |
| KR20210134066A (en) | 2016-08-03 | 2021-11-08 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Imaging device, imaging module, electronic device, and imaging system |
| US11699068B2 (en) | 2016-08-03 | 2023-07-11 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, imaging module, electronic device, and imaging system |
| KR20230133409A (en) | 2016-08-03 | 2023-09-19 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Imaging device, imaging module, electronic device, and imaging system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5870871B2 (en) | 2016-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105702088B (en) | Alarm device | |
| JP5379543B2 (en) | Automobile external recognition device | |
| CN104662592B (en) | For the method for the driver assistance system for running vehicle | |
| JP6284644B2 (en) | Information providing apparatus and program for motorcycle | |
| CN107848459A (en) | Automobile is close to warning system | |
| JP5870871B2 (en) | Image processing apparatus and vehicle control system using the image processing apparatus | |
| JP2007333486A (en) | Obstacle detector for vehicle | |
| JP2008021035A (en) | Image recognition device, image recognition method, and vehicle control device | |
| EP2557550A1 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device | |
| CN109583416B (en) | Pseudo lane line identification method and system | |
| JP2010093610A (en) | Device and method for recognizing outside of automobile | |
| US20180326905A1 (en) | On-vehicle apparatus, alert output method, and computer readable medium | |
| JP2012103969A (en) | Driving support device | |
| JP5780249B2 (en) | Image processing apparatus and vehicle control system using the image processing apparatus | |
| JP5362770B2 (en) | Driving assistance device | |
| KR102669061B1 (en) | System for detecting vehicle object collision risk based on aritificial intelligence | |
| KR20150051551A (en) | Driver assistance systems and controlling method for the same | |
| JP2017162178A (en) | Determination device, determination method and determination program | |
| KR102035922B1 (en) | Apparatus and method for predicting degree of risk by forward vehicle | |
| JP2009151566A (en) | Display device for vehicle | |
| JP2015141553A (en) | Risk avoidance control device, risk avoidance control method, and program | |
| WO2019127310A1 (en) | Vehicle control method, vehicle control device, and vehicle | |
| US11948461B2 (en) | Information processing device, information processing method, and program | |
| US20200257897A1 (en) | Recognition apparatus, recognition method, and non-transitory computer readable medium | |
| JP2017125702A (en) | Object detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151228 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5870871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |