JP4985491B2 - Seat belt twist determination device and belt winding force control device - Google Patents

Seat belt twist determination device and belt winding force control device Download PDF

Info

Publication number
JP4985491B2
JP4985491B2 JP2008063107A JP2008063107A JP4985491B2 JP 4985491 B2 JP4985491 B2 JP 4985491B2 JP 2008063107 A JP2008063107 A JP 2008063107A JP 2008063107 A JP2008063107 A JP 2008063107A JP 4985491 B2 JP4985491 B2 JP 4985491B2
Authority
JP
Japan
Prior art keywords
seat belt
belt
twist
straight line
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008063107A
Other languages
Japanese (ja)
Other versions
JP2009214835A (en
Inventor
岳史 流石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008063107A priority Critical patent/JP4985491B2/en
Publication of JP2009214835A publication Critical patent/JP2009214835A/en
Application granted granted Critical
Publication of JP4985491B2 publication Critical patent/JP4985491B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automotive Seat Belt Assembly (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、シートベルトのねじれ判定装置、及びベルト巻取り力制御装置に関するものである。   The present invention relates to a seat belt twist determination device and a belt winding force control device.

従来、車両の運転者が装着するシートベルトの引き出し量に基づいて、運転者の顔位置を検出する技術が知られている（例えば、特許文献１参照）。また、シートベルトの引き出し量に基づいて、運転者の体格を推定し、推定された体格に応じて、シートベルトの張力を制御する技術が知られている（例えば、特許文献２参照）。
特開２００５−６６０２３号公報 特開２００４−３３８５１７号公報 Conventionally, a technique for detecting a driver's face position based on a pull-out amount of a seat belt worn by a driver of a vehicle is known (for example, see Patent Document 1). Further, a technique is known in which the physique of the driver is estimated based on the amount of the seat belt pulled out, and the tension of the seat belt is controlled according to the estimated physique (see, for example, Patent Document 2).
JP 2005-66023 A JP 2004-338517 A

しかしながら上記従来技術では、シートベルトの引き出し量の応じた制御を行っているため、シートベルトにねじれが生じた場合に、適切な制御が行えないおそれがあった。   However, in the above prior art, since the control is performed according to the amount of the seat belt pulled out, there is a possibility that appropriate control cannot be performed when the seat belt is twisted.

本発明は、このような課題を解決するために成されたものであり、シートベルトのねじれを検出することが可能なシートベルトのねじれ判定装置、及びこれを備えたベルト巻取り力制御装置を提供することを目的とする。   The present invention has been made to solve such a problem, and provides a seat belt twist determination device capable of detecting a seat belt twist and a belt winding force control device including the seat belt twist determination device. The purpose is to provide.

本発明によるシートベルトのねじれ判定装置は、運転者に装着されたシートベルトの撮像画像を入力し、入力された撮像画像に基づいて、シートベルトの長手方向に延在する両端部に起因する一対の直線成分を取得する直線成分取得手段と、一対の直線成分が互いに交わる交点を検出する交点検出手段と、交点検出手段によって検出された交点の位置に基づいてシートベルトのねじれ状態を判定するねじれ判定手段と、を備えることを特徴としている。   A seatbelt torsion determination device according to the present invention inputs a captured image of a seatbelt worn by a driver, and based on the input captured image, a pair caused by both ends extending in the longitudinal direction of the seatbelt. A straight line component obtaining means for obtaining a straight line component, an intersection detecting means for detecting an intersection where a pair of straight line components intersect with each other, and a twist for determining a twisted state of the seat belt based on the position of the intersection detected by the intersection detecting means And a determination unit.

このようなシートベルトのねじれ判定装置によれば、運転者に装着されたシートベルトの撮像画像を入力し、入力された撮像画像に基づいて、シートベルトの長手方向に延在する両端部に起因する一対の直線成分を取得する。そして、取得された一対の直線成分の交点を検出し、この交点の位置に基づいてシートベルトのねじれ状態を判定する。シートベルトにねじれが有る場合と、シートベルトにねじれが無い場合とでは、シートベルトの長手方向に延在する両端部に起因する一対の直線成分の交点は、互いに異なる位置となるため、一対の直線成分の交点を検出することで、シートベルトのねじれ状態を判定することができる。また、このねじれ状態の判定手法によれば、既存の顔向き判定装置を利用して実行可能であるため、特別なハードウエアを追加することなく、簡素な構成でシートベルトのねじれの有無を検出することができる。   According to such a seatbelt torsion determination device, a captured image of the seatbelt worn by the driver is input, and based on the input captured image, both ends extending in the longitudinal direction of the seatbelt are caused. A pair of linear components to be acquired is acquired. And the intersection of a pair of acquired linear component is detected, and the twist state of a seatbelt is determined based on the position of this intersection. In the case where the seat belt is twisted and the case where the seat belt is not twisted, the intersections of the pair of linear components caused by both ends extending in the longitudinal direction of the seat belt are different from each other. By detecting the intersection of the linear components, the twisted state of the seat belt can be determined. In addition, according to the determination method of the twisted state, since it can be performed using an existing face orientation determination device, the presence or absence of twisting of the seat belt is detected with a simple configuration without adding special hardware. can do.

また、一対の直線成分を横切る他の直線成分である横切直線成分を取得する横切直線成分取得手段を更に備え、ねじれ判定手段は、横切直線成分の取得の有無に基づいてシートベルトのねじれ状態を判定することが好ましい。シートベルトにねじれが生じた場合には、一対の直線成分を横切る横切り直線成分を検出する可能性が高いため、横切直線成分を取得した場合には、シートベルトのねじれが有ると判定することができる。   Further, it further comprises a crossing straight line component acquisition means for acquiring a crossing straight line component that is another straight line component that crosses the pair of straight line components, and the torsion determination means is configured to determine whether the seat belt It is preferable to determine the twist state. If the seat belt is twisted, there is a high possibility of detecting a cross-straight line component that crosses a pair of straight line components. Therefore, if the cross-straight line component is acquired, it is determined that the seat belt is twisted. Can do.

また、ねじれ判定手段は、設定された判定領域内に交点が存在するか否かを判定し、判定領域内に交点が存在しない場合に、シートベルトのねじれが有ると判定することが好ましい。   Further, the torsion determination means determines whether or not an intersection exists in the set determination region, and preferably determines that the seat belt is twisted when there is no intersection in the determination region.

また、本発明のベルト巻取り力制御装置は、上記のシートベルトのねじれ判定装置と、シートベルトを巻き取るベルト巻取り力を制御する巻取り力制御手段と、を備え、巻取り力制御手段は、ねじれ判定手段によって、ねじれ有りと判定された場合には、ねじれ無しと判定された場合と比較して、ベルト巻取り力を大きくすることを特徴としている。   Further, a belt winding force control device of the present invention comprises the above-described seat belt twist determination device, and a winding force control means for controlling the belt winding force for winding the seat belt, and the winding force control means. Is characterized in that the belt winding force is increased when it is determined by the twist determination means that the twist is present, compared to when it is determined that there is no twist.

このようなベルト巻取り力制御装置によれば、運転者に装着されたシートベルトの撮像画像を入力し、入力された撮像画像に基づいて、シートベルトの長手方向に延在する両端部に起因する一対の直線成分を取得する。そして、取得された一対の直線成分の交点を検出し、この交点の位置に基づいてシートベルトのねじれ状態を判定する。シートベルトにねじれが有る場合と、シートベルトにねじれが無い場合とでは、シートベルトの長手方向に延在する両端部に起因する一対の直線成分の交点は、異なる位置となるため、一対の直線成分の交点を検出することで、シートベルトのねじれ状態を判定することができる。また、このねじれ状態の判定手法によれば、既存の顔向き判定装置を利用して実行可能であるため、特別なハードウエアを追加することなく、簡素な構成でシートベルトのねじれの有無を検出することができる。また、ねじれ有りと判定された場合には、ねじれ無しと判定された場合と比較して、ベルト巻取り力を大きくする巻取り力制御手段を備えているため、シートベルトのねじれ状態に応じて、好適に巻取り力を制御することができる。   According to such a belt winding force control device, a captured image of the seat belt worn by the driver is input, and based on the input captured image, due to both ends extending in the longitudinal direction of the seat belt. A pair of linear components to be acquired is acquired. And the intersection of a pair of acquired linear component is detected, and the twist state of a seatbelt is determined based on the position of this intersection. In the case where the seat belt is twisted and in the case where the seat belt is not twisted, the intersection of the pair of linear components caused by both end portions extending in the longitudinal direction of the seat belt is at different positions. By detecting the intersection of the components, the twisted state of the seat belt can be determined. In addition, according to the determination method of the twisted state, since it can be performed using an existing face orientation determination device, the presence or absence of twisting of the seat belt is detected with a simple configuration without adding special hardware. can do. Further, since it is provided with a winding force control means for increasing the belt winding force when it is determined that there is torsion, compared with the case where it is determined that there is no twist, depending on the twisted state of the seat belt. The winding force can be suitably controlled.

本発明によれば、簡素な構成でシートベルトのねじれを検出することが可能なシートベルトのねじれ判定装置、及びこれを備えたベルト巻取り力制御装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the twist determination apparatus of a seat belt which can detect the twist of a seat belt with a simple structure, and a belt winding force control apparatus provided with the same can be provided.

以下、本発明の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において同一または相当要素には同一の符号を付し、重複する説明は省略する。本実施形態では、本発明のシートベルトのねじれ判定装置及びベルト巻取り力制御装置を有する車両制御装置（車両状態取得装置）について説明する。図１は、本発明の実施形態に係る車両制御装置を示す概略構成図である。   Preferred embodiments of the present invention will be described below with reference to the drawings. In the description of the drawings, the same or corresponding elements are denoted by the same reference numerals, and redundant description is omitted. In the present embodiment, a vehicle control device (vehicle state acquisition device) having a seat belt twist determination device and a belt winding force control device of the present invention will be described. FIG. 1 is a schematic configuration diagram illustrating a vehicle control device according to an embodiment of the present invention.

図１に示す車両制御装置１０は、車両（以下、「自車両」ともいう）に搭載され運転者Ｄが装着しているシートベルトの画像（以下、「シートベルト画像」という）を検出し、検出されたシートベルト画像に基づいて、シートベルトのねじれを判定する機能、及び、シートベルトの巻取り力を制御する機能を有している。   The vehicle control apparatus 10 shown in FIG. 1 detects an image of a seat belt (hereinafter referred to as “seat belt image”) that is mounted on a vehicle (hereinafter also referred to as “own vehicle”) and is worn by the driver D, Based on the detected seat belt image, it has a function of determining the twist of the seat belt and a function of controlling the seat belt winding force.

この車両制御装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、この顔画像撮像カメラ１２からの画像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４、自車両の衝突判定を行う衝突判定ＥＣＵ１６、シートベルト巻取り力を制御するシートベルトＥＣＵ１８、及びシートベルトを巻き取るシートベルトアクチュエータ２０を備えている。   The vehicle control apparatus 10 includes a face image capturing camera 12 that captures a face image of the driver D, and a face image processing electronic control unit (hereinafter referred to as “face”) that performs image processing based on an image signal from the face image capturing camera 12. 14), a collision determination ECU 16 that determines the collision of the host vehicle, a seat belt ECU 18 that controls the seat belt retracting force, and a seat belt actuator 20 that winds up the seat belt.

また、これらの顔画像処理ＥＣＵ１４、衝突判定ＥＣＵ１６、及びシートベルトＥＣＵ１８は、例えばＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回路で接続されることにより、相互にデータ交換が可能な構成とされている。また、顔画像処理ＥＣＵ１４、衝突判定ＥＣＵ１６、及びシートベルトＥＣＵ１８は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。   Further, the face image processing ECU 14, the collision determination ECU 16, and the seat belt ECU 18 are configured to be able to exchange data with each other by being connected by a communication circuit such as a CAN (Control Area Network). The face image processing ECU 14, the collision determination ECU 16, and the seat belt ECU 18 are configured by a CPU that performs arithmetic processing, a ROM and a RAM that serve as a storage unit, an input signal circuit, an output signal circuit, a power supply circuit, and the like.

顔画像撮像カメラ１２は、例えばコラムカバー２２の上面に設置され、運転者Ｄの顔画像を取得するものであり、顔画像処理ＥＣＵ１４と電気的に接続されている。顔画像撮像カメラ１２は、例えば近赤外線カメラであり、近赤外線投射装置（不図示）から照射された近赤外線光が物体（運転者Ｄの顔）に反射した反射光を受光することによって、運転者Ｄの顔を撮像する。顔画像撮像カメラ１２では、例えば、毎秒３０フレームの画像を取得することができる。そして、顔画像撮像カメラ１２によって取得された運転者Ｄの顔画像に関する画像信号は、顔画像処理ＥＣＵ１４に送信される。なお、顔画像撮像カメラ１２によって撮像された顔画像には、運転者Ｄが装着しているシートベルトも同時に撮像されている。   The face image capturing camera 12 is installed, for example, on the upper surface of the column cover 22 and acquires the face image of the driver D, and is electrically connected to the face image processing ECU 14. The face image capturing camera 12 is, for example, a near-infrared camera, and receives near-infrared light irradiated from a near-infrared projection device (not shown) and receives reflected light reflected from an object (the face of the driver D), thereby driving. The face of the person D is imaged. For example, the face image capturing camera 12 can acquire an image of 30 frames per second. Then, the image signal regarding the face image of the driver D acquired by the face image capturing camera 12 is transmitted to the face image processing ECU 14. In addition, the seat belt worn by the driver D is simultaneously captured in the face image captured by the face image capturing camera 12.

衝突判定ＥＣＵ１６は、図示しない各種センサと電気的に接続され、各種センサにより検出されたデータに基づいて自車両と対象物（他車両）との衝突の可能性を判定する衝突判定を行う。この衝突判定ＥＣＵ１６は、衝突の可能性が有ると判定した場合には、シートベルトＥＣＵ１８に指令信号を送信して、予めシートベルトを巻き取ることでシートベルトのたるみを除去するプリテンショナーの効果を高めるＰＳＢ（pre crush seat belt）機能を作動させる。   The collision determination ECU 16 is electrically connected to various sensors (not shown), and performs a collision determination that determines the possibility of a collision between the host vehicle and an object (another vehicle) based on data detected by the various sensors. When the collision determination ECU 16 determines that there is a possibility of a collision, the collision determination ECU 16 transmits a command signal to the seat belt ECU 18 and takes up the effect of the pretensioner to remove the seat belt slack by winding the seat belt in advance. Activate the PSB (pre crush seat belt) function to enhance.

シートベルトＥＣＵ１８は、シートベルトアクチュエータ（例えばモータ）２０を制御するものであり、シートベルトアクチュエータ２０は、シートベルトＥＣＵ１８からの指令信号に従って、シートベルトを巻取り、たるみを除去する。そして、このシートベルトＥＣＵ１８は、顔画像処理ＥＣＵ１４によって、シートベルトにねじれ有りと判定された場合に、シートベルト巻取り力を増加可能な構成とされている。なお、シートベルトＥＣＵは、図示しない制動装置を制御するブレーキＥＣＵからの信号に基づいて、急制動時にＰＳＢ機能を作動させてもよい。   The seat belt ECU 18 controls a seat belt actuator (for example, a motor) 20. The seat belt actuator 20 winds up the seat belt and removes slack according to a command signal from the seat belt ECU 18. The seat belt ECU 18 is configured to increase the seat belt retracting force when the face image processing ECU 14 determines that the seat belt is twisted. Note that the seatbelt ECU may activate the PSB function during sudden braking based on a signal from a brake ECU that controls a braking device (not shown).

顔画像処理ＥＣＵ１４は、顔画像撮像カメラ１２から入力された画像信号について画像処理を行い運転者Ｄの顔画像を検出する。検出された顔画像は、例えば、運転者Ｄの覚醒度判定、脇見判定等に利用される。また、この顔画像処理ＥＣＵ１４は、顔画像撮像カメラ１２によって取得された顔画像と同時に取得されたシートベルト画像を認識し、シートベルトのねじれ判定を行う。   The face image processing ECU 14 performs image processing on the image signal input from the face image capturing camera 12 to detect the face image of the driver D. The detected face image is used for, for example, determination of arousal level of driver D, determination of looking aside, and the like. Further, the face image processing ECU 14 recognizes the seat belt image acquired at the same time as the face image acquired by the face image capturing camera 12, and determines the twist of the seat belt.

顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部に記憶されているプログラムを実行することで、顔特徴点抽出部２４、領域設定部２６、ベルトエッジ線検出部２８、ベルトエッジ線交点検出部３０、ねじれ判定部３２が構築される。   The CPU of the face image processing ECU 14 executes a program stored in the storage unit, whereby a face feature point extraction unit 24, a region setting unit 26, a belt edge line detection unit 28, a belt edge line intersection detection unit 30, a twist. A determination unit 32 is constructed.

顔画像処理ＥＣＵ１４の記憶部には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また、記憶部は、撮像された画像データ、顔特徴点に関するデータを記憶する記憶手段として機能する。また、記憶部には、シートベルトの形状に関するデータなどが記憶されている。   The storage unit of the face image processing ECU 14 stores a plurality of three-dimensional face models in addition to a program for operating the CPU. The storage unit functions as a storage unit that stores captured image data and data related to facial feature points. Further, the storage unit stores data relating to the shape of the seat belt.

顔特徴点抽出部２４は、入力された画像信号に基づいて画像処理を行い、例えば、エッジベース手法、パターン認識手法等を用いて、顔の横幅、顔中心位置を検出する。例えば、顔中心位置は、鼻、口の位置に基づいて検出される。また、顔特徴点抽出部２４は、取得された画像全体について、Ｓｏｂｅｌフィルタ処理、Ｐｒｅｗｉｔｔフィルタ処理などを実行して、横方向に延在する水平エッジ、縦方向に延在する垂直エッジを抽出する。そして、顔特徴点抽出部２４は、検出された顔の横幅、顔中心位置、水平エッジ、垂直エッジ等に基づいて、顔の正面を取り囲む顔領域（枠体）Ａ（図２参照）を設定する。   The face feature point extraction unit 24 performs image processing based on the input image signal, and detects the width of the face and the face center position using, for example, an edge-based method, a pattern recognition method, or the like. For example, the face center position is detected based on the positions of the nose and mouth. In addition, the face feature point extraction unit 24 performs a Sobel filter process, a Prewitt filter process, and the like on the entire acquired image, and extracts a horizontal edge extending in the horizontal direction and a vertical edge extending in the vertical direction. . Then, the face feature point extraction unit 24 sets a face area (frame) A (see FIG. 2) surrounding the front of the face based on the detected face width, face center position, horizontal edge, vertical edge, and the like. To do.

図２は、取得された画像の一例を示す図であり、シートベルトがねじれていない状態の図、図３は、ベルト上部エッジ直線、及びベルト下部エッジ直線を示す概略図である。領域設定部２６は、図２及び図３に示すように、取得された画像内のシートベルト３４を探索するための領域であるシートベルト探索領域Ｂ、後述するシートベルト３４のねじれ判定に利用される領域であるねじれ判定領域Ｃを設定する。シートベルト探索領域Ｂ及びねじれ判定領域Ｃは、例えば、顔領域Ａの位置、大きさ等に基づいて設定され、シートベルト３４が正常に装着された正常状態、シートベルト３４にねじれがあるねじれ状態を判別するための領域である。シートベルト探索領域Ｂ内には、正常に装着されたシートベルト３４の一部（運転者Ｄの右肩近傍部分）が存在する。ねじれ判定領域Ｃ内には、正常に装着されたシートベルト３４に基づいて設定されたベルト上部エッジ直線及びベルト下部エッジ直線の交点（後述）が存在する。   2 is a diagram illustrating an example of an acquired image, and is a diagram illustrating a state in which the seat belt is not twisted, and FIG. 3 is a schematic diagram illustrating a belt upper edge straight line and a belt lower edge straight line. As shown in FIGS. 2 and 3, the region setting unit 26 is used to determine the twist of the seat belt search region B, which is a region for searching for the seat belt 34 in the acquired image, which will be described later. Torsion determination area C, which is an area to be detected. The seat belt search area B and the torsion determination area C are set based on, for example, the position and size of the face area A, and a normal state in which the seat belt 34 is normally worn, and a torsion state in which the seat belt 34 is twisted This is an area for discriminating between. In the seat belt search area B, there is a part of the seat belt 34 that is normally worn (a portion near the right shoulder of the driver D). In the twist determination area C, there is an intersection (described later) of the belt upper edge straight line and the belt lower edge straight line set based on the seat belt 34 that is normally worn.

ベルトエッジ線検出部２８は、図３に示すように、領域設定部２６によって設定されたシートベルト探索領域Ｂ内のエッジ（エッジ値）を利用し、例えばハフ変換などの直線検出手法を適用して、ベルト上部エッジ直線Ｅ、及びベルト下部エッジ直線Ｆを抽出する。ベルト上部エッジ直線Ｅ及びベルト下部エッジ直線Ｆは、シートベルト３４の長手方向に延在する両端部（両側部）３４ａ，３４ｂ（図２参照）に起因する直線成分であり、シートベルト３４の上側の端部３４ａに起因する直線成分をベルト上部エッジ直線Ｅ、シートベルト３４の下側の端部３４ｂに起因する直線成分をベルト下部エッジ直線Ｆと設定する。以下の説明において、ベルト上部エッジ直線Ｅ及びベルト下部エッジ直線Ｆを区別する必要がない場合には、一対のベルトエッジ直線Ｅ，Ｆと記す。   As shown in FIG. 3, the belt edge line detection unit 28 uses an edge (edge value) in the seat belt search region B set by the region setting unit 26 and applies a straight line detection method such as Hough transform, for example. Thus, the belt upper edge straight line E and the belt lower edge straight line F are extracted. The belt upper edge straight line E and the belt lower edge straight line F are linear components caused by both end portions (both side portions) 34a and 34b (see FIG. 2) extending in the longitudinal direction of the seat belt 34, and are located on the upper side of the seat belt 34. The linear component resulting from the end 34a of the belt is set as the belt upper edge straight line E, and the linear component resulting from the lower end 34b of the seat belt 34 is set as the belt lower edge straight line F. In the following description, when it is not necessary to distinguish the belt upper edge straight line E and the belt lower edge straight line F, they are described as a pair of belt edge straight lines E and F.

ベルトエッジ線交点検出部３０は、ベルトエッジ線検出２８によって設定された一対のベルトエッジ直線Ｅ，Ｆの交点Ｐを検出する。   The belt edge line intersection detection unit 30 detects an intersection P between a pair of belt edge straight lines E and F set by the belt edge line detection 28.

ねじれ判定部３２は、運転者Ｄが装着しているシートベルト３４にねじれが有るか否か判定する。具体的には、一対のベルトエッジ直線Ｅ，Ｆの交点Ｐが、ねじれ判定領域Ｃ内に存在するか否かを判定する。交点Ｐが領域Ｃ内に存在する場合には、シートベルトにねじれ無しと判定し、交点Ｐが領域Ｃ内に存在しない場合には、シートベルトにねじれ有りと判定する。   The twist determination unit 32 determines whether the seat belt 34 worn by the driver D is twisted. Specifically, it is determined whether or not the intersection point P between the pair of belt edge straight lines E and F exists in the twist determination region C. If the intersection point P exists in the region C, it is determined that the seat belt is not twisted. If the intersection point P does not exist in the region C, it is determined that the seat belt is twisted.

そして、顔画像処理ＥＣＵ１４は、シートベルト３４にねじれ有りと判定した場合には、シートベルトＥＣＵ１８に指令信号を送信し、シートベルトアクチュエータ２０によるシートベルトの巻取り力を変更させる。具体的には、シートベルト３４にねじれがある場合には、シートベルト３４にねじれがない場合に比して、シートベルト３４の巻取り力を大きくするように変更する。また、顔画像処理ＥＣＵ１４は、シートベルト３４にねじれが有る場合に、図示しない報知手段（例えば、スピーカ、表示装置）を用いて、シートベルト３４にねじれが有ることを運転者Ｄに対して報知することが好ましい。   When it is determined that the seat belt 34 is twisted, the face image processing ECU 14 transmits a command signal to the seat belt ECU 18 to change the seat belt winding force of the seat belt actuator 20. Specifically, when the seat belt 34 is twisted, the winding force of the seat belt 34 is changed to be larger than when the seat belt 34 is not twisted. Further, when the seat belt 34 is twisted, the face image processing ECU 14 notifies the driver D that the seat belt 34 is twisted by using notifying means (for example, a speaker or a display device) (not shown). It is preferable to do.

次に、このように構成された車両制御装置１０の作用について説明する。図４は、本発明の第１実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。図４に示す制御処理は、顔画像処理ＥＣＵ１４の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。   Next, the operation of the vehicle control device 10 configured as described above will be described. FIG. 4 is a flowchart showing a processing procedure executed by the face image processing ECU according to the first embodiment of the present invention. The control process shown in FIG. 4 is repeatedly executed at a predetermined timing from when the face image processing ECU 14 is turned on until it is turned off.

まず、顔画像処理ＥＣＵ１４では、顔画像撮像カメラ１２から画像信号を入力し、入力した画像信号に基づいて、フィルタ処理を行い、水平エッジ、垂直エッジの抽出を行うとともに、顔特徴点の抽出を行う（Ｓ１）。次に、顔画像処理ＥＣＵ１４は、抽出された水平エッジ、垂直エッジ、顔特徴点に基づいて、運転者Ｄの顔を認識して、顔領域Ａを設定する（Ｓ２）。   First, the face image processing ECU 14 inputs an image signal from the face image capturing camera 12, performs a filtering process based on the input image signal, extracts a horizontal edge and a vertical edge, and extracts a face feature point. Perform (S1). Next, the face image processing ECU 14 recognizes the face of the driver D based on the extracted horizontal edge, vertical edge, and face feature point, and sets the face area A (S2).

次に、顔画像処理ＥＣＵ１４は、ステップ２で設定された顔領域Ａに基づいて、シートベルト探索領域Ｂ、ねじれ判定領域Ｃを設定する（Ｓ３）。続いて、顔画像処理ＥＣＵ１４は、ステップ３で設定されたシートベルト探索領域Ｂ内のエッジ値を利用して、ハフ変換（直線検出手法）を行い、シートベルト３４の長手方向の縁３４ａ，３４ｂに沿う直線成分（一対のベルトエッジ直線Ｅ，Ｆ）を検出する（Ｓ４）。   Next, the face image processing ECU 14 sets a seat belt search area B and a twist determination area C based on the face area A set in step 2 (S3). Subsequently, the face image processing ECU 14 performs the Hough transform (straight line detection method) using the edge value in the seat belt search area B set in step 3, and the longitudinal edges 34a, 34b of the seat belt 34 are detected. (A pair of belt edge straight lines E and F) is detected (S4).

次に、顔画像処理ＥＣＵ１４は、ステップ４で検出された一対のベルトエッジ直線Ｅ，Ｆの交点Ｐを算出し（Ｓ５）、算出された一対のベルトエッジ直線Ｅ，Ｆの交点Ｐが、ステップ３で設定されたねじれ判定領域Ｃ内に存在するか否かを判定する（Ｓ６）。交点Ｐがねじれ判定領域Ｃ内に存在する場合には、ステップ７に進み、「シートベルトのねじれ無し（正常状態である）」と判定し、処理を終了する。   Next, the face image processing ECU 14 calculates the intersection point P of the pair of belt edge straight lines E and F detected in step 4 (S5), and the calculated intersection point P of the pair of belt edge straight lines E and F is the step. It is determined whether or not it exists in the twist determination area C set in 3 (S6). If the intersection P exists in the torsion determination area C, the process proceeds to step 7, where it is determined that “the seat belt is not twisted (it is in a normal state)”, and the process ends.

一方、ステップ６で、交点Ｐがねじれ判定領域Ｃ内に存在しないと判定された場合には、ステップ８に進み、「シートベルトのねじれ有り」と判定する。続く、ステップ９では、顔画像処理ＥＣＵ１４は、ＰＳＢ作動時のシートベルトアクチュエータ２０による巻取り力を通常状態に比して増大させるように、シートベルトＥＣＵ１８に指令信号を送信し、処理を終了する。   On the other hand, if it is determined in step 6 that the intersection point P does not exist in the torsion determination region C, the process proceeds to step 8 and it is determined that “the seat belt is twisted”. Subsequently, in step 9, the face image processing ECU 14 transmits a command signal to the seat belt ECU 18 so as to increase the winding force by the seat belt actuator 20 when the PSB is operated as compared with the normal state, and ends the processing. .

このような車両制御装置１０によれば、入力された撮像画像に基づいて、シートベルト３４の長手方向に延在する両端部３４ａ，３４ｂに起因する一対のベルトエッジ直線Ｅ，Ｆを取得し、取得された一対のベルトエッジ直線Ｅ，Ｆの交点Ｐを検出し、この交点Ｐの位置に基づいてシートベルト３４のねじれ状態が判定される。シートベルト３４にねじれが有る場合と、シートベルト３４にねじれが無い場合とでは、一対のベルトエッジ直線Ｅ，Ｆの交点Ｐは、互いに異なる位置となる。車両制御装置１０では、一対のベルトエッジ直線Ｅ，Ｆの交点Ｐの位置に基づいて、シートベルト３４のねじれの有無を判定することができる。また、このねじれ状態の判定手法によれば、既存の顔向き判定装置を利用して実行可能であるため、特別なハードウエアを追加することなく、簡素な構成でシートベルト３４のねじれの有無を検出することができる。また、この車両制御装置１０では、ねじれの有無に応じて、シートベルト３４の巻取り力を調整するため、シートベルト３４にねじれが発生している場合であっても、シートベルト３４の巻取り力を増大させて、好適にＰＳＢを作動させることが可能となる。   According to such a vehicle control device 10, based on the input captured image, a pair of belt edge straight lines E and F caused by both end portions 34 a and 34 b extending in the longitudinal direction of the seat belt 34 are acquired, An intersection P of the acquired pair of belt edge straight lines E and F is detected, and the twisted state of the seat belt 34 is determined based on the position of the intersection P. When the seat belt 34 is twisted and when the seat belt 34 is not twisted, the intersection point P between the pair of belt edge straight lines E and F is different from each other. The vehicle control device 10 can determine whether the seat belt 34 is twisted based on the position of the intersection point P between the pair of belt edge straight lines E and F. Further, according to the determination method of the twisted state, since it can be performed using an existing face orientation determination device, the presence or absence of twisting of the seat belt 34 can be detected with a simple configuration without adding special hardware. Can be detected. Further, in this vehicle control device 10, the winding force of the seat belt 34 is adjusted according to the presence / absence of the twist, so that even if the seat belt 34 is twisted, the seat belt 34 is retracted. It becomes possible to increase the force and to preferably operate the PSB.

次に、本発明の第２実施形態に係る車両制御装置について、図面を参照して説明する。図５は、ベルト上部エッジ直線及びベルト下部エッジ直線間を横断する横断エッジ直線を示す概略図である。   Next, a vehicle control device according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a schematic diagram showing a transverse edge straight line that crosses between the belt upper edge straight line and the belt lower edge straight line.

第２実施形態の車両制御装置が第１実施形態の車両制御装置１０と違う点は、顔画像処理ＥＣＵで実行される処理が異なる点であり、具体的には、一対のベルトエッジ直線Ｅ，Ｆを横断する横切りエッジ直線Ｇを検出する処理を行う点である。なお、第２実施形態に係る車両制御装置の装置構成は、第１実施形態の車両制御装置１０と略同一である。   The vehicle control device of the second embodiment is different from the vehicle control device 10 of the first embodiment in that the processing executed by the face image processing ECU is different. Specifically, a pair of belt edge straight lines E, This is a point where a process of detecting a crossing edge straight line G crossing F is performed. The device configuration of the vehicle control device according to the second embodiment is substantially the same as that of the vehicle control device 10 of the first embodiment.

第２実施形態の車両制御装置の顔画像処理ＥＣＵでは、一対のベルトエッジ直線Ｅ，Ｆを横断する横切りエッジ直線Ｇ（横切り直線成分）を検出する横切直線成分取得部を更に備えている。この横切直線成分取得部では、シートベルト探索領域Ｂ内のエッジ（エッジ値）を利用し、例えばハフ変換などの直線検出手法を適用して、一対のベルトエッジ直線Ｅ，Ｆ間を横断する横切りエッジ直線Ｇを検出する。   The face image processing ECU of the vehicle control device of the second embodiment further includes a crossing straight line component acquisition unit that detects a crossing edge straight line G (crossing straight line component) that crosses the pair of belt edge straight lines E and F. In this transverse straight line component acquisition unit, an edge (edge value) in the seat belt search region B is used, and a straight line detection method such as Hough transform is applied to cross between a pair of belt edge straight lines E and F. A transverse edge straight line G is detected.

次に、第２実施形態の車両制御装置の動作について説明する。図６は、本発明の第２実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。図６に示す制御処理は、顔画像処理ＥＣＵの電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。なお、第１実施形態の制御処理と同一の説明については、省略する。   Next, the operation of the vehicle control device of the second embodiment will be described. FIG. 6 is a flowchart showing a processing procedure executed by the face image processing ECU according to the second embodiment of the present invention. The control process shown in FIG. 6 is repeatedly executed at a predetermined timing from when the face image processing ECU is turned on until it is turned off. Note that the same description as the control process of the first embodiment is omitted.

第２実施形態の顔画像処理ＥＣＵでは、ステップ６において、交点Ｐがねじれ判定領域Ｃ内に存在しないと判定された場合には、ステップ１０に進む。このステップ１０では、顔画像処理ＥＣＵは、横切りエッジ直線（横断エッジ直線）Ｇの探索を行い、横切りエッジ直線Ｇが検出された場合には、ステップ９に進み、「シートベルトのねじれ有り」と判定する。一方、横切りエッジ直線Ｇが検出されなかった場合には、処理を終了する。   In the face image processing ECU of the second embodiment, if it is determined in step 6 that the intersection point P does not exist in the twist determination region C, the process proceeds to step 10. In step 10, the face image processing ECU searches for a crossing edge straight line (transverse edge straight line) G. If the crossing edge straight line G is detected, the process proceeds to step 9 where “the seat belt is twisted”. judge. On the other hand, if the crossing edge straight line G is not detected, the process is terminated.

このような第２実施形態の車両制御装置によれば、第１実施形態の車両制御装置と同様な作用、効果を奏する。さらに、第２実施形態の車両制御装置では、横切りエッジ直線Ｇの検出することで、シートベルトのねじれ状態の判定精度の向上が図られている。   According to such a vehicle control device of the second embodiment, the same operations and effects as the vehicle control device of the first embodiment are exhibited. Furthermore, in the vehicle control apparatus of the second embodiment, the detection accuracy of the torsional state of the seat belt is improved by detecting the crossing edge straight line G.

以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるもではない。上記実施形態では、顔領域Ａ、シートベルト探索領域Ｂ、ねじれ判定領域Ｃを設定しているが、これらの顔領域Ａ、シートベルト探索領域Ｂ、ねじれ判定領域Ｃを設定しなくてもよい。要は、一対のベルトエッジ直線Ｅ，Ｆの交点Ｐの位置に基づいて、シートベルトのねじれ状態を判定すればよい。   As mentioned above, although this invention was concretely demonstrated based on the embodiment, this invention is not limited to the said embodiment. In the above embodiment, the face area A, the seat belt search area B, and the twist determination area C are set. However, the face area A, the seat belt search area B, and the twist determination area C may not be set. In short, the twisted state of the seat belt may be determined based on the position of the intersection point P between the pair of belt edge straight lines E and F.

本発明の実施形態に係る車両制御装置を示す概略構成図である。It is a schematic block diagram which shows the vehicle control apparatus which concerns on embodiment of this invention. 取得された画像の一例を示す図であり、シートベルトがねじれていない状態の図である。It is a figure which shows an example of the acquired image, and is a figure of the state which has not twisted the seatbelt. ベルト上部エッジ直線、及びベルト下部エッジ直線を示す概略図である。It is the schematic which shows a belt upper edge straight line and a belt lower edge straight line. 本発明の第１実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。It is a flowchart which shows the process sequence performed by face image process ECU which concerns on 1st Embodiment of this invention. ベルト上部エッジ直線及びベルト下部エッジ直線間を横断する横断エッジ直線を示す概略図である。It is the schematic which shows the crossing edge straight line which crosses between belt upper edge straight lines and belt lower edge straight lines. 本発明の第２実施形態に係る顔画像処理ＥＣＵで実行される処理手順を示すフローチャートである。It is a flowchart which shows the process sequence performed by face image process ECU which concerns on 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１０…車両制御装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…衝突判定ＥＣＵ、１８…シートベルトＥＣＵ、２０…シートベルトアクチュエータ、２２…コラムカバー、２４…顔特徴点抽出部、２６…領域設定部、２８…ベルトエッジ線検出部、３０…ベルトエッジ線交点検出部、３２…ねじれ判定部、３４…シートベルト、Ａ…顔領域、Ｂ…シートベルト探索領域、Ｃ…ねじれ判定領域、Ｄ…運転者、Ｅ…ベルト上部エッジ直線、Ｆ…ベルト下部エッジ直線、Ｇ…横切りエッジ直線。   DESCRIPTION OF SYMBOLS 10 ... Vehicle control apparatus, 12 ... Face image pick-up camera, 14 ... Face image processing ECU, 16 ... Collision determination ECU, 18 ... Seat belt ECU, 20 ... Seat belt actuator, 22 ... Column cover, 24 ... Face feature point extraction part , 26 ... area setting section, 28 ... belt edge line detection section, 30 ... belt edge line intersection detection section, 32 ... twist determination section, 34 ... seat belt, A ... face area, B ... seat belt search area, C ... twist Determination region, D ... driver, E ... belt upper edge straight line, F ... belt lower edge straight line, G ... crossing edge straight line.

Claims (4)

運転者に装着されたシートベルトの撮像画像を入力し、入力された前記撮像画像に基づいて、前記シートベルトの長手方向に延在する両端部に起因する一対の直線成分を取得する直線成分取得手段と、
前記一対の直線成分が互いに交わる交点を検出する交点検出手段と、
前記交点検出手段によって検出された前記交点の位置に基づいて前記シートベルトのねじれ状態を判定するねじれ判定手段と、
を備えることを特徴とするシートベルトのねじれ判定装置。 Linear image acquisition for inputting a captured image of a seat belt worn by a driver and acquiring a pair of linear components caused by both ends extending in the longitudinal direction of the seat belt based on the input captured image Means,
Intersection detecting means for detecting an intersection where the pair of linear components intersect with each other;
A torsion determination means for determining a torsion state of the seat belt based on the position of the intersection detected by the intersection detection means;
A twist determination apparatus for a seat belt, comprising: 前記一対の直線成分を横切る他の直線成分である横切直線成分を取得する横切直線成分取得手段を更に備え、
前記ねじれ判定手段は、前記横切直線成分の取得の有無に基づいて前記シートベルトのねじれ状態を判定することを特徴とする請求項１記載のシートベルトのねじれ判定装置。 A cross-straight line component acquisition means for acquiring a cross-straight line component that is another straight line component crossing the pair of straight line components;
2. The seat belt torsion determining apparatus according to claim 1, wherein the torsion determining means determines the torsion state of the seat belt based on whether or not the transverse straight line component is acquired. 前記ねじれ判定手段は、設定された判定領域内に前記交点が存在するか否かを判定し、前記判定領域内に前記交点が存在しない場合に、前記シートベルトのねじれが有ると判定することを特徴とする請求項１又は２記載のシートベルトのねじれ判定装置。   The twist determination means determines whether or not the intersection exists in a set determination region, and determines that the seat belt is twisted when the intersection does not exist in the determination region. 3. The seat belt twist determination apparatus according to claim 1, wherein the seat belt is twisted. 請求項１〜３の何れか一項に記載のシートベルトのねじれ判定装置と、
前記シートベルトを巻き取るベルト巻取り力を制御する巻取り力制御手段と、を備え、
前記巻取り力制御手段は、前記ねじれ判定手段によって、ねじれ有りと判定された場合には、ねじれ無しと判定された場合と比較して、前記ベルト巻取り力を大きくすることを特徴とするベルト巻取り力制御装置。 A twist determination device for a seat belt according to any one of claims 1 to 3,
A winding force control means for controlling a belt winding force for winding the seat belt,
The winding force control means increases the belt winding force when the twist determining means determines that the twist is present, compared with the case where it is determined that the twist is not present. Winding force control device.
JP2008063107A 2008-03-12 2008-03-12 Seat belt twist determination device and belt winding force control device Expired - Fee Related JP4985491B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008063107A JP4985491B2 (en) 2008-03-12 2008-03-12 Seat belt twist determination device and belt winding force control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008063107A JP4985491B2 (en) 2008-03-12 2008-03-12 Seat belt twist determination device and belt winding force control device

Publications (2)

Publication Number Publication Date
JP2009214835A JP2009214835A (en) 2009-09-24
JP4985491B2 true JP4985491B2 (en) 2012-07-25

Family

ID=41187161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008063107A Expired - Fee Related JP4985491B2 (en) 2008-03-12 2008-03-12 Seat belt twist determination device and belt winding force control device

Country Status (1)

Country Link
JP (1) JP4985491B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182960A (en) * 2013-05-22 2014-12-03 浙江大华技术股份有限公司 Method and device for detecting whether driver fastens safety belt or not

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384415B2 (en) * 2015-07-08 2018-09-05 株式会社豊田中央研究所 Seat belt, sensor unit, and occupant protection device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3762118B2 (en) * 1998-10-23 2006-04-05 エヌエスケー・オートリブ株式会社 Vehicle occupant restraint protection device
JP4355899B2 (en) * 2003-05-15 2009-11-04 トヨタ自動車株式会社 Vehicle device control device
JP2005066023A (en) * 2003-08-25 2005-03-17 Nissan Motor Co Ltd Apparatus for detecting driver's condition
JP2005247150A (en) * 2004-03-04 2005-09-15 Denso Corp Pretensioner device for vehicle seat belt
JP2005280483A (en) * 2004-03-29 2005-10-13 Denso Corp Seat belt device of vehicle
JP2008049718A (en) * 2006-08-22 2008-03-06 Toyota Motor Corp Occupant crash protection device for vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182960A (en) * 2013-05-22 2014-12-03 浙江大华技术股份有限公司 Method and device for detecting whether driver fastens safety belt or not
CN104182960B (en) * 2013-05-22 2017-03-29 浙江大华技术股份有限公司 A kind of driver's wear safety belt detection method and device

Also Published As

Publication number Publication date
JP2009214835A (en) 2009-09-24

Similar Documents

Publication Publication Date Title
KR101362324B1 (en) System and Method for Lane Departure Warning
JP6222785B2 (en) Steering support device
US20160262682A1 (en) Driver monitoring apparatus
US20180197030A1 (en) Driver abnormality detection device and driver abnormality detection method
JP6235425B2 (en) Safety confirmation determination device and driving support device
KR101715014B1 (en) Apparatus for assisting parking and method for assisting thereof
US9619717B2 (en) Lane-line recognition apparatus
JP2001022933A (en) Face image processor using two-dimensional template
JP2009294753A (en) Image processor and image processing method
US9542607B2 (en) Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
JP5720627B2 (en) Human detection device
JP6805716B2 (en) Display device, display method, program
JP6814977B2 (en) Image processing device, detection device, learning device, image processing method, and image processing program
JP4397415B2 (en) Image processing method, image processing system, image processing apparatus, and computer program
JP4985491B2 (en) Seat belt twist determination device and belt winding force control device
JP2007112213A (en) Pedestrian determining device
JP5511987B2 (en) Vehicle object collision warning system and vehicle object collision warning method
JP2014146267A (en) Pedestrian detection device and driving support device
JP6011450B2 (en) Vehicle braking device
JP2010198205A (en) Collision avoidance support device
JP2020009179A (en) Abnormality determination device
JP2008250859A (en) Arousal determining device
JP5045628B2 (en) Lane departure prevention device
KR20150067679A (en) System and method for gesture recognition of vehicle
KR100571038B1 (en) The passenger recognition system which uses the stereo camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R151 Written notification of patent or utility model registration

Ref document number: 4985491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees