JP7438045B2 - Information recording device, information recording method, and information recording system - Google Patents
Information recording device, information recording method, and information recording system Download PDFInfo
- Publication number
- JP7438045B2 JP7438045B2 JP2020121633A JP2020121633A JP7438045B2 JP 7438045 B2 JP7438045 B2 JP 7438045B2 JP 2020121633 A JP2020121633 A JP 2020121633A JP 2020121633 A JP2020121633 A JP 2020121633A JP 7438045 B2 JP7438045 B2 JP 7438045B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- line
- sight
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000010365 information processing Effects 0.000 description 11
- 239000013256 coordination polymer Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Closed-Circuit Television Systems (AREA)
Description
開示の実施形態は、情報記録装置、情報記録方法及び情報記録システムに関する。 The disclosed embodiments relate to an information recording device, an information recording method, and an information recording system.
従来、車載カメラで車両の周囲を撮像し、映像データを記録するドライブレコーダが知られている（例えば、特許文献１参照）。ドライブレコーダを搭載した車両が関与する交通事故が発生した場合、ドライブレコーダに記録された映像データを用いることにより、交通事故の原因を特定することが容易となる。 BACKGROUND ART Drive recorders that capture images of the surroundings of a vehicle using an on-vehicle camera and record video data are conventionally known (for example, see Patent Document 1). When a traffic accident involving a vehicle equipped with a drive recorder occurs, the cause of the traffic accident can be easily identified by using the video data recorded on the drive recorder.
ドライブレコーダに記録された画像等の情報は、事後的に参照することができる。このため、ドライブレコーダに記録された情報の中から所望の画像等を容易に検索できる機能等、記録された情報を参照する際のユーザの利便性を向上できる機能の提供が望まれている。例えばドライブレコーダに記録された画像等の情報を様々な観点で検索できる機能が望まれている。しかし、特許文献１に係るドライブレコーダは、車両の運転者の挙動に基づいて画像等の情報を検索することができない。
Information such as images recorded on the drive recorder can be referenced after the fact. Therefore, it is desired to provide a function that can improve the user's convenience when referring to recorded information, such as a function that allows a user to easily search for a desired image or the like from among the information recorded on the drive recorder. For example, a function that allows searching information such as images recorded on a drive recorder from various viewpoints is desired. However, the drive recorder according to
実施形態の一態様は、上記に鑑みてなされたものであって、記録された情報の中から運転手の挙動に基づく情報を検索できる情報記録装置、情報記録方法及び情報記録システムを提供することを目的とする。 One aspect of the embodiment is to provide an information recording device, an information recording method, and an information recording system that can search for information based on a driver's behavior from recorded information. With the goal.
上記課題を解決し、目的を達成するために、実施形態の一態様に係る情報記録装置は、車両関連情報取得部と、視線情報取得部と、記録部とを備える。車両関連情報取得部は、少なくとも自車両の周囲を撮像した画像である車両周辺画像と、自車両の乗員を撮像した画像とを含む画像情報を取得する。視線情報取得部は、前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する。記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する。 In order to solve the above problems and achieve the objective, an information recording device according to one aspect of the embodiment includes a vehicle-related information acquisition section, a line-of-sight information acquisition section, and a recording section. The vehicle-related information acquisition unit acquires image information including at least a vehicle surrounding image, which is an image of the surroundings of the own vehicle, and an image of the occupant of the own vehicle. The line-of-sight information acquisition unit detects the line-of-sight position of the occupant of the host vehicle based on the image information, and acquires line-of-sight information based on the detected line-of-sight position and object information corresponding to the line-of-sight position. The recording unit records the line of sight information and the object information at the same time in association with each other.
実施形態の一態様によれば、記録された情報の中から運転手の挙動に基づく情報を検索できる情報記録装置、情報記録方法、及び情報記録システムを提供できる。 According to one aspect of the embodiment, it is possible to provide an information recording device, an information recording method, and an information recording system that can search for information based on a driver's behavior from recorded information.
以下、添付図面を参照して、本願の開示する情報記録装置、情報記録方法及び情報記録システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of an information recording device, an information recording method, and an information recording system disclosed in the present application will be described in detail with reference to the accompanying drawings. Note that the present invention is not limited to the embodiments described below.
＜第１の実施形態＞
＜１．概要＞
第１の実施形態に係る情報記録システムの概要について、図１～図３を用いて説明する。図１は、第１の実施形態に係る情報記録システムの概略構成を示す図である。図２及び図３は、第１の実施形態に係る情報記録装置による処理の概要を説明するための図である。
<First embodiment>
<1. Overview＞
An overview of the information recording system according to the first embodiment will be explained using FIGS. 1 to 3. FIG. 1 is a diagram showing a schematic configuration of an information recording system according to a first embodiment. 2 and 3 are diagrams for explaining an overview of processing by the information recording device according to the first embodiment.
図１に示すように、第１の実施形態に係る情報記録システムＳＹＳは、情報記録装置１００Ｘ、１００Ｙ、及び画像管理装置２００を備える。情報記録装置１００Ｘは車両ＶＸに搭載され、情報記録装置１００Ｙは車両ＶＹに搭載される。情報記録装置１００Ｘ，１００Ｙ、及び画像管理装置２００は、ネットワークＮに接続される。情報記録装置１００Ｘ，１００Ｙは、ネットワークＮを介して、画像管理装置２００と相互に通信する。また、情報処理装置４００は、ネットワークＮを介して、画像管理装置２００と相互に通信する。
As shown in FIG. 1, the information recording system SYS according to the first embodiment includes
以下では、車両ＶＸ，ＶＹを特に区別して説明する必要がない車両全般を指す場合には「車両Ｖ」と記載し、情報記録装置１００Ｘ、１００Ｙを特に区別して説明する必要がない情報記録装置全般を指す場合、「情報記録装置１００」と記載する。また、図１では、説明の便宜上、情報記録システムＳＹＳが情報記録装置１００Ｘ、１００Ｙ、並びに画像管理装置２００を備える例を示すが、図１に示す画像記録システムＳＹＳの構成要素の数は、図１に示す例に限られず、図１に示す場合よりも多くの情報記録装置１００や画像管理装置２００を含んでよい。
In the following, when referring to vehicles in general that do not require a special distinction between vehicles VX and VY, the term "vehicle V" will be used, and information recording devices in general that do not require a special distinction between
情報記録装置１００は、車両Ｖに搭載されるドライブレコーダである。情報記録装置１００は、フロントカメラ１３１及び車室カメラ１３２により撮像された画像情報を取得し、データとして記録する。フロントカメラ１３１は、車両Ｖの周囲を撮像する。フロントカメラ１３１は、車両Ｖの周囲を撮像可能な位置に取り付けられる。情報記録装置１００は、フロントカメラ１３１により撮像された車両周辺画像を記録する。車室カメラ１３２は、車両Ｖの乗員を撮像する。車室カメラ１３２は、車両の乗員である運転者の顔を撮像可能な位置に取り付けられる。情報記録装置１００は、車載カメラにより撮像された乗員の画像（例えば、乗員である運転者の顔画像）を取得する。情報記録装置１００は、カメラの他、加速度センサやＧＰＳ（Global Positioning System）センサ、ジャイロセンサといった各種センサ、記憶デバイス、マイクロコンピュータなどを有してもよい。なお、以下の説明において、特に説明のない限り、乗員は、車両Ｖの運転者である。車両Ｖの運転者とは、車両Ｖの運転席に着座した乗員である。
The
情報記録装置１００は、図１に示すように、画像情報を取得する（ステップＳ１－１）。画像情報は、例えば、自車両の一例である車両Ｖの周囲を撮像した画像である車両周辺画像と、車両Ｖの運転者の顔画像とを有する。図２に示すように、車両周辺画像及び運転者の顔画像は、予め設定されているフレームレート（例えば、Ｔ秒ごと）に従って取得される。予め設定されているフレームレートが３０ｆｐｓ（frames per second）である場合、図２に示すＴ（秒）は、約３３ミリ秒である。
The
また、情報記録装置１００は、図１に示すように、ステップＳ１－１で取得した画像情報に基づいて、視線情報を取得する（ステップＳ１－２）。情報記録装置１００は、画像情報に含まれる車両Ｖの運転者の顔画像から、視線情報を取得する。情報記録装置１００は、図２に示すように、予め設定される時刻ごと、例えば、３Ｔ秒ごとに視線情報を取得する。
Furthermore, as shown in FIG. 1, the
視線情報は、車両Ｖの運転者の視線位置に基づく情報である。視線は、運転者が見ている方向である。視線位置は、運転者の視線が注がれている位置である。つまり、視線位置は、視点と言い換えることができる。視線情報は、視線の移動量又は視線の移動速度のいずれかの情報を含む。視線の移動量は、運転者の視線位置の移動量に基づいて、例えば、視線の移動量を推定した値である。また、視線の移動速度は、前述の視線の移動量をある単位時間あたりの移動量に換算した値である。視線情報は、その数値によりランキング化しておいて、視線の移動量又は視線の移動速度に紐付く情報検索時に利用することもできる。 The line of sight information is information based on the line of sight position of the driver of the vehicle V. The line of sight is the direction in which the driver is looking. The line of sight position is the position where the driver's line of sight is focused. In other words, the line-of-sight position can be translated as a viewpoint. The line of sight information includes information on either the amount of movement of the line of sight or the speed of movement of the line of sight. The amount of movement of the line of sight is, for example, a value obtained by estimating the amount of movement of the line of sight based on the amount of movement of the driver's line of sight position. Furthermore, the moving speed of the line of sight is a value obtained by converting the amount of movement of the line of sight described above into the amount of movement per a certain unit time. The line-of-sight information can also be ranked based on its numerical value and used when searching for information linked to the amount of movement of the line-of-sight or the speed of movement of the line-of-sight.
また、情報記録装置１００は、ステップＳ１－２で取得した視線情報と、画像情報に含まれる車両周辺画像とに基づいて物体情報を取得する（ステップＳ１－３）。物体情報は、車両Ｖの乗員の視線位置に対応する物体の情報である。視線位置は、車両Ｖの運転者の視線が注がれている位置である。つまり、物体情報は、車両Ｖの運転者が見ている物体の名称等の情報である。物体情報は、車両Ｖの運転者の視線位置にある物体の名称、物体の色、物体の動きをキーワード化した情報や、車両Ｖと物体との位置関係を示す情報などを有する。
Furthermore, the
情報記録装置１００は、視線情報が後述する予め規定される条件を満たすとき、車両Ｖの運転者の視線位置にある物体の物体情報を取得する。予め規定される条件とは、例えば、車両Ｖの運転者の視線の移動量又は移動速度が予め定められた閾値を超えたという条件や、車両Ｖの運転者の視線位置が注視領域から外れたという条件である。
The
注視領域は、注視すべき領域として予め設定される領域である。例えば、車両Ｖが前方へ直進している場合、注視領域は、車両Ｖが走行する車線のうち、車両Ｖの進行方向前方に対応する領域である。 The gaze area is an area that is preset as an area to be watched. For example, when the vehicle V is traveling straight ahead, the gaze area is an area corresponding to the front of the vehicle V in the traveling direction of the lane in which the vehicle V is traveling.
図３の左図は、運転者Ｄｒの視線ＶＬが注視領域に注がれている場合を示している。一方、図３の右図は、運転者Ｄｒの視線ＶＬが移動して注視領域から外れ、物体５００に注がれている例を示している。例えば、図３において、予め規定される条件を満たす場合、情報記録装置１００は、車両Ｖの運転者の視線位置ＶＰにある物体５００の物体情報を取得する。例えば、情報記録装置１００は、運転者Ｄｒの視線の移動量又は移動速度が予め定められた閾値を超えた場合、物体５００の物体情報として「黒い猫」を取得する。また、情報記録装置１００は、運転者Ｄｒの視線位置が注視領域から外れた場合、物体５００の物体情報として「黒い猫」を取得する。
The left diagram in FIG. 3 shows a case where the driver Dr's line of sight VL is focused on the gaze area. On the other hand, the right diagram in FIG. 3 shows an example in which the driver Dr's line of sight VL moves and leaves the gaze area and focuses on the
なお、情報記録装置１００は、ステップＳ１－１の画像取得、ステップＳ１－２の視線情報の取得、及びステップＳ１－３の物体情報の取得を同期させて実行する。例えば、情報記録装置１００は、フロントカメラ１３１により生成された画像フレームの番号を視線情報に記録する、又は画像情報と視線情報との各々に時刻情報を付加する等の任意の方法で各情報の取得を同期させる。
Note that the
図１に戻り、情報記録装置１００は、同じ時刻における視線情報と物体情報とを関連付けて記録する（ステップＳ１－４）。例えば、情報記録装置１００は、車両Ｖの運転者の視線の移動量又は移動速度が予め定められた閾値を超えた場合、図２に示すように、同じ時刻における視線情報と物体情報とを関連付けて記録する。ここで、同じ時刻における視線情報と物体情報とは、前述のステップＳ１―２で取得した視線情報の取得元となる運転者の顔画像と、前述のステップＳ１０３で取得した物体情報の取得元となる車両周辺画像の撮影時刻とが一致することを意味する。例えば、図２において、時刻Ｔ３、Ｔ６に撮影された顔画像に基づいて取得された視線情報と、時刻Ｔ３、Ｔ６に撮影された車両周辺画像に基づいて取得された物体情報とは、同じ時刻における視線情報と物体情報である。なお、情報記録装置１００は、同じ時刻における視線情報と物体情報とを関連付けて記録する際、物体情報の取得元となった車両周辺画像をさらに関連付けて記録してもよい。視線情報、物体情報、及び車両周辺画像は、タイムスタンプ又はフロントカメラ１３１により生成された画像フレームの番号等の固有な識別情報により関連付けできる。なお、必要に応じて、運転者の顔画像をさらに関連付けて記録してもよい。
Returning to FIG. 1, the
情報記録装置１００は、同じ時刻における視線情報と物体情報とを関連付けて記録する。このため、事後的に、車両Ｖの運転者が大きく視線を動かした原因となる物体を確認することができる。また、情報記録装置１００が同じ時刻における視線情報と物体情報と画像情報とを関連付けて記録する場合、事後的に、車両Ｖの運転者が大きく視線を動かした原因となる物体の画像を確認できる。
The
情報記録装置１００は、同じ時刻における視線情報と、物体情報とを、画像管理装置２００に送信する（ステップＳ２－１）。なお、ステップＳ２－１において、情報記録装置１００は、同じ時刻における視線情報と、物体情報と、画像情報とを相互に関連付けて記録している場合、視線情報、物体情報及び画像情報を画像管理装置２００に送信してもよい。この場合、情報記録装置１００は、画像情報に含まれる車両周辺画像のみを画像管理装置２００に送信してもよい。また、情報記録装置１００は、視線情報、物体情報、及び画像情報を画像管理装置２００にアップロードした後、アップロードした情報を削除してもよい。これにより、記憶領域の圧迫を防止できる。また、情報記録装置１００は、画像管理装置２００にアップロードした情報を直ちに削除するのではなく、アップロード後、一定時間の経過後に削除してもよい。これにより、アップロードした情報をある程度バックアップできる。
The
画像管理装置２００は、サーバ装置やクラウドシステムにより実現される。画像管理装置２００は、例えば、情報記録装置１００が記録した情報の検索に特化したポータルサイトとして機能する。画像管理装置２００は、記録部２０１及び検索部２０２を備える。記録部２０１は、情報記録装置１００からアップロードされた情報を記録する。なお、記録部２０１は、情報記録装置１００が備える記録部１７３と同様の機能を備えてもよい。検索部２０２は、情報記録装置１００が備える検索部１７４と同様の機能を備える。また、画像管理装置２００は、情報記録装置１００等と通信するための通信部等の当然に備えることが想定される機能部を有する。
The
画像管理装置２００は、情報記録装置１００によって送信された視線情報と、物体情報とを関連付けて記録する（ステップＳ２－２）。画像管理装置２００は、情報記録装置１００から送信された視線情報及び物体情報を、同じ時刻の情報で予め相互に関連付けられた情報としてそのまま記録する。画像管理装置２００には、情報記録装置１００と同一の情報が記録される。
The
なお、画像管理装置２００は、情報記録装置１００によって送信された視線情報と、物体情報と、画像情報とを取得してもよい。この場合、画像管理装置２００は、情報記録装置１００から送信された視線情報、物体情報、及び画像情報を、同じ時刻の情報で予め相互に関連付けられた情報としてそのまま記録する。
Note that the
図１に戻り、情報処理装置４００は、情報取得要求を画像管理装置２００に送信する（ステップＳ２－３）。画像管理装置２００は、情報処理装置４００からの求めに応じ、記録された視線情報と、物体情報とを検索する（ステップＳ２－４）。画像管理装置２００は、検出された視線情報と、物体情報とを、情報処理装置４００に提供する（ステップＳ２－５）。情報処理装置４００は、ユーザＵにより操作、制御される。このため、ユーザＵは、情報処理装置４００に提供された情報を確認することができる。
Returning to FIG. 1, the
上述してきたように、情報記録システムＳＹＳにより、記録された情報の中から運転手の挙動に基づく情報の検索が実現される。本実施形態において、運転手の挙動は、例えば視線の動きである。情報処理装置４００のユーザＵは、視線の移動量又は移動速度を検索キーをとして、記録された情報の中から、車両Ｖの運転者が大きく視線を動かした原因となる物体の物体情報等を検索できる。また、例えば、情報処理装置４００のユーザＵは、物体の名称、物体の色、物体の動き、又は車両Ｖと物体との位置関係などを検索キーとして、記録された情報の中から所望の情報を検索できる。
As described above, the information recording system SYS realizes the search for information based on the driver's behavior from among the recorded information. In this embodiment, the driver's behavior is, for example, a movement of the driver's line of sight. The user U of the
＜２．情報記録装置の構成＞
第１の実施形態に係る情報記録装置１００の構成について、図４を用いて説明する。図４は、情報記録装置の構成例を示すブロック図である。なお、図４に示すブロック図では、本願が開示する実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。
<2. Configuration of information recording device>
The configuration of the
換言すれば、図４に示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各構成要素の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。 In other words, each component shown in FIG. 4 is functionally conceptual, and does not necessarily need to be physically configured as shown. For example, the specific form of distribution and integration of each component is not limited to what is shown in the diagram, and all or part of it can be functionally or physically distributed in arbitrary units depending on various loads and usage conditions. - Can be configured in an integrated manner.
図４に示す情報記録装置１００は、例えば、前方に向かって走行する車両Ｖ（図１参照）に搭載される。つまり、情報記録装置１００は、運転者の視線が車両Ｖの前方を向いた状態で走行する車両Ｖに搭載される。情報記録装置１００は、図１～図３を用いて前述した情報記録方法を実現する情報記録装置として機能する。
The
図４に示すように、情報記録装置１００は、入力部１１０と、出力部１２０と、フロントカメラ１３１と、車室カメラ１３２と、加速度センサ１４０と、通信部１５０と、記憶部１６０と、制御部１７０とを備える。
As shown in FIG. 4, the
入力部１１０は、車両Ｖの乗員などから、記録された情報の検索要求の入力を受け付けて、制御部１７０に入力する。入力部１１０は、車両Ｖの運転者どの操作を可能とするボタンやタッチパネルなどの入力デバイスにより実現される。 The input unit 110 receives an input of a search request for recorded information from an occupant of the vehicle V, etc., and inputs the input to the control unit 170 . The input unit 110 is realized by an input device such as a button or a touch panel that allows the driver of the vehicle V to perform various operations.
出力部１２０は、車両Ｖの運転者などの操作に応じて、記録された情報の検索結果を出力する。出力部１２０は、ディスプレイなどの表示デバイスにより実現される。
The
フロントカメラ１３１は、車両Ｖの周囲を撮像する。フロントカメラ１３１は、車両Ｖの周囲を撮像可能な位置に取り付けられる。フロントカメラ１３１は、車両Ｖの周囲を撮像した車両周辺画像を電子的に取得する。フロントカメラ１３１は、例えば、レンズと撮像素子とを備える単眼カメラなどで実現される。
The
車室カメラ１３２は、車両Ｖの乗員を撮像する。車室カメラ１３２は、車両の乗員である運転者の顔を撮像可能な位置に取り付けられる。情報記録装置１００は、車載カメラにより撮像された運転者の顔画像を電子的に取得する。
The vehicle
加速度センサ１４０は、情報記録装置１００が搭載される車両Ｖの加速度を検出する。
なお、情報記録装置１００は、フロントカメラ１３１、車室カメラ１３２、及び加速度センサ１４０を備えなくてもよい。この場合、情報記録装置１００は、情報記録装置１００とは別に、車両Ｖに搭載されたフロントカメラ、車室カメラ、及び加速度センサと接続される。また、情報記録装置１００は、接続されるフロントカメラ及び車室カメラから画像情報を取得する。また、情報記録装置１００は、接続される加速度センサから車両Ｖに作用する加速度を取得する。
Note that the
通信部１５０は、インターネットなどのネットワークと有線又は無線で接続され、ネットワークを介して、車両Ｖの外部に位置する通信装置との間で各種情報を送受信する。このとき、通信部１５０は、たとえばＮＩＣ（Network Interface Card）等によって実現される。 The communication unit 150 is connected to a network such as the Internet by wire or wirelessly, and transmits and receives various information to and from a communication device located outside the vehicle V via the network. At this time, the communication unit 150 is realized by, for example, a NIC (Network Interface Card).
記憶部１６０は、制御部１７０が実行する各機能を実現するための各種プログラム及びデータを記憶する。記憶部１６０は、例えば、フラッシュメモリ等の不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスにより実現される。 The storage unit 160 stores various programs and data for realizing each function executed by the control unit 170. The storage unit 160 is realized, for example, by a storage device such as a nonvolatile memory such as a flash memory, a data flash, or a hard disk drive.
記憶部１６０は、カメラ情報格納部１６１と、乗員情報格納部１６２と、閾値情報格納部１６３と、記録情報格納部１６４とを有する。
The storage unit 160 includes a camera information storage unit 161 , an occupant
カメラ情報格納部１６１に記憶されるカメラ情報は、情報記録装置１００が設置される車両Ｖ１の車種や、撮像部１３０として機能するカメラの設置位置および取付角度に関する情報等を含む。カメラの設置位置および取付角度に関する情報は、車両空間におけるカメラの３次元位置を規定する３次元座標、カメラの撮像方向を３次元座標で示すデータ、カメラの画角、及び焦点距離等で構成される。なお、カメラの設置位置および取付角度に関する情報は、フロントカメラ１３１により撮像される画像の仮想面を特定する際に用いられる。
The camera information stored in the camera information storage unit 161 includes information regarding the type of vehicle V1 in which the
乗員情報格納部１６２に記憶される乗員情報は、車両Ｖ１に乗車することが想定されている各乗員に関する情報を含む。乗員情報は、乗員に一意に割り当てられるユーザＩＤと、着座位置ごとに乗員の情報に応じて予め算出される乗員の目の位置の情報とが相互に対応付けられた情報である。目の位置は、瞳の位置であってもよい。乗員情報は、車両Ｖの乗員の視野範囲を特定する際に利用される。なお、乗員情報は、乗員の属性である性別や年齢、乗員の身体情報である身長、座高、視力などを含んでよい。また、乗員情報は、各乗員が有する免許証の目の位置を特定するためのパラメータ情報を含んでよい。このように、乗員情報格納部１６２に記憶される乗員情報が複数の目の位置の情報を有することによって、乗員と、乗員の目の位置とを正確に関連付けることができる。
The occupant information stored in the occupant
閾値情報格納部１６３に記憶される閾値情報は、視線の移動量又は視線の移動速度を判定するための閾値、視線位置が注視領域から外れている時間を判定するための閾値、及び車両Ｖに加わる加速度を判定するための閾値などを含む。 The threshold information stored in the threshold information storage unit 163 includes a threshold for determining the amount of movement of the line of sight or the speed of movement of the line of sight, a threshold for determining the time period during which the line of sight position is out of the gaze area, and a threshold for determining the amount of movement of the line of sight or the speed of movement of the line of sight, It includes a threshold value for determining the applied acceleration.
記録情報格納部１６４に記録された情報は、視線情報と物体情報とを関連付けて構成される。また、記録された情報は、画像情報と視線情報と物体情報とを関連付けて構成されてもよい。 The information recorded in the recorded information storage section 164 is configured by associating line-of-sight information and object information. Further, the recorded information may be configured by associating image information, line-of-sight information, and object information.
制御部１７０は、情報記録装置１００の各部を制御するコントローラである。制御部１７０は、車両関連情報取得部１７１と、視線情報取得部１７２と、記録部１７３と、検索部１７４とを備える。
The control section 170 is a controller that controls each section of the
制御部１７０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）のプロセッサにより実現される。制御部１７０は、情報記録装置１００の内部に記憶された各種プログラムを、プロセッサがＲＡＭ（Random Access Memory）等を作業領域として実行することにより、情報記録装置１００の各種処理を実現する。なお、制御部１７０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
The control unit 170 is realized by, for example, a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a GPU (Graphics Processing Unit). The control unit 170 realizes various processes of the
これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部１７０は上述の機能ブロックとは異なる機能単位で構成されていてもよい。 These functional blocks may be software blocks or hardware blocks. For example, each of the above functional blocks may be one software module realized by software (including a microprogram), or one circuit block on a semiconductor chip (die). Of course, each functional block may be one processor or one integrated circuit. The functional blocks can be configured in any way. Note that the control unit 170 may be configured in a functional unit different from the above-mentioned functional blocks.
車両関連情報取得部１７１は、フロントカメラ１３１により撮像された車両周辺画像及び車室カメラ１３２により撮像された運転者の顔画像を含む画像情報を取得する。また、車両関連情報取得部１７１は、加速度センサ１４０により検出された車両Ｖに作用する加速度を取得する。
The vehicle-related information acquisition unit 171 acquires image information including a vehicle surrounding image captured by the
＜２－１．視線情報の取得＞
視線情報取得部１７２は、車両Ｖ１の乗員の視線を検出する。視線情報取得部１７２は、検出した視線に基づいて視線情報を取得する。視線情報は、例えば、視線の移動量又は移動速度のいずれか一方を含む。なお、視線の移動量又は移動速度は、視線の移動方向を含んでよい。
<2-1. Obtaining line of sight information>
The line of sight information acquisition unit 172 detects the line of sight of the occupant of the vehicle V1. The line-of-sight information acquisition unit 172 acquires line-of-sight information based on the detected line of sight. The line of sight information includes, for example, either the amount of movement or the speed of movement of the line of sight. Note that the amount of movement or the speed of movement of the line of sight may include the direction of movement of the line of sight.
＜２－１－１．視線の移動量と移動速度＞
視線の移動量と移動速度の算出について、具体的に説明する。図５は、第１の実施形態に係る視線の移動量と移動速度の算出例の説明に用いる図である。視線情報取得部１７２は、乗員情報格納部１４２に記憶されている運転者の情報を参照し、運転者のユーザＩＤに関連付けられた運転者の目の位置ＵＰＶを取得する。また、視線情報取得部１７２は、車室カメラ１３２によって撮像された運転者の顔画像から、運転者の目の特徴点（虹彩、目頭、目尻）や口の特徴点（口角）などを取得し、取得した特徴点に基づいて、運転者の視線方向Ｄ２を導出する。
<2-1-1. Amount of line of sight movement and movement speed>
Calculation of the movement amount and movement speed of the line of sight will be specifically explained. FIG. 5 is a diagram used to explain an example of calculating the movement amount and movement speed of the line of sight according to the first embodiment. The line of sight information acquisition unit 172 refers to the driver's information stored in the occupant information storage unit 142 and acquires the driver's eye position UPV associated with the driver's user ID. Additionally, the line of sight information acquisition unit 172 acquires feature points of the driver's eyes (iris, inner and outer corners of the eyes) and mouth (corners of the mouth) from the driver's face image captured by the vehicle
視線情報取得部１７２は、カメラ情報を参照し、図５に示すように、車両空間におけるフロントカメラ１３１の３次元位置１３１Ｐから、フロントカメラ１３１の撮像方向Ｄ１に沿って、距離ｄだけ離れた位置に仮想面Ｒｃを設定する。仮想面Ｒｃは、仮想面Ｒｃに含まれる点Ｒｐと、仮想面Ｒｃの法線ベクトルにより特定される。仮想面Ｒｃの法線ベクトルは、車両前方の点ＥＰを通り、車両Ｖの前後方向に延びる仮想的な軸ＰＬに平行である。フロントカメラ１３１により撮像された車両周辺画像は、仮想面Ｒｃに投影される。
The line-of-sight information acquisition unit 172 refers to the camera information and, as shown in FIG. A virtual surface Rc is set at . The virtual surface Rc is specified by a point Rp included in the virtual surface Rc and a normal vector to the virtual surface Rc. A normal vector to the virtual plane Rc is parallel to a virtual axis PL that passes through a point EP in front of the vehicle and extends in the longitudinal direction of the vehicle V. The vehicle surrounding image captured by the
本来撮像された画像に映し出される物体までの距離はそれぞれ異なる。しかし、一般的に、単眼カメラにより撮影された画像フレームは、カメラから物体までの距離の情報を含まない。そこで、フロントカメラ１３１により撮像された画像フレームに写っている物体が仮想面Ｒｃに存在すると仮定する。これにより、視線情報取得部１７２は、物体までの距離を考慮することなく、運転者の視線位置が仮想面Ｒｃ上を動くものとして視線情報を取得する。なお、図５及び後述する図６に示す仮想面Ｒｃは、運転者の目の位置ＵＰＶから所定の距離にある平面である。図５及び図６においては、説明の便宜上、仮想面Ｒｃの一部を示している。
The distance to the object originally displayed in the captured image is different. However, image frames captured by a monocular camera generally do not include information about the distance from the camera to the object. Therefore, it is assumed that the object shown in the image frame captured by the
視線情報取得部１７２は、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰを、運転者の視線位置と推定する。視線情報取得部１７２は、交点ＣＰの移動量に基づいて、視線の移動量を推定する。視線情報取得部１７２は、交点ＣＰの移動方向を、視線の移動方向と推定する。視線情報取得部１７２は、視線の移動量と視線の移動方向とに基づいて、視線の移動速度を推定する。 The line-of-sight information acquisition unit 172 estimates the intersection point CP between the line-of-sight direction D2 and the virtual plane Rc as the driver's line-of-sight position. The line-of-sight information acquisition unit 172 estimates the amount of movement of the line of sight based on the amount of movement of the intersection point CP. The line of sight information acquisition unit 172 estimates the moving direction of the intersection point CP as the moving direction of the line of sight. The line-of-sight information acquisition unit 172 estimates the moving speed of the line-of-sight based on the amount of movement of the line-of-sight and the direction of movement of the line-of-sight.
＜２－１－２．注視領域と脇見運転＞
まず、注視領域について説明する。視線情報取得部１７２は、仮想面Ｒｃに対して、車両Ｖの運転者が注視すべき仮想的な注視領域を固定領域として設定する。図６は、第１の実施形態に係る注視領域の一例を示す図である。例えば、車両Ｖが前方に直進している場合、視線情報取得部１７２は、図６に示す注視領域ＧＡを、車両Ｖの前方中央付近（仮想面Ｒｃの中央付近）に設定する。車両Ｖが後方に直進している場合、視線情報取得部１７２は、注視領域ＧＡを、車両Ｖ１の後方中央付近（仮想面Ｒｃの中央付近）に設定する。
<2-1-2. Gaze area and distracted driving>
First, the gaze area will be explained. The line-of-sight information acquisition unit 172 sets a virtual gaze area that the driver of the vehicle V should gaze at as a fixed area on the virtual plane Rc. FIG. 6 is a diagram illustrating an example of a gaze area according to the first embodiment. For example, when the vehicle V is moving straight ahead, the line-of-sight information acquisition unit 172 sets the gaze area GA shown in FIG. 6 near the center in front of the vehicle V (near the center of the virtual plane Rc). When the vehicle V is traveling straight backward, the line-of-sight information acquisition unit 172 sets the gaze area GA near the rear center of the vehicle V1 (near the center of the virtual plane Rc).
視線情報取得部１７２は、視線位置、すなわち、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰが、注視領域ＧＡの外に位置するか否かを判定する。視線情報取得部１７２は、予め設定される一定期間、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰが、注視領域ＧＡの外に位置していると判定した場合、車両Ｖの運転者が脇見運転をしていると判断する。そして、視線情報取得部１７２は、脇見運転検出時に交点ＣＰに位置する物体、すなわち、視線位置にある物体の物体情報を取得する。 The line-of-sight information acquisition unit 172 determines whether the line-of-sight position, that is, the intersection CP between the line-of-sight direction D2 and the virtual plane Rc, is located outside the gaze area GA. If the line-of-sight information acquisition unit 172 determines that the intersection point CP between the line-of-sight direction D2 and the virtual plane Rc is located outside the gaze area GA for a preset fixed period, the driver of the vehicle V is driving inattentively. It is determined that the person is doing the following. Then, the line-of-sight information acquisition unit 172 acquires object information of an object located at the intersection CP, that is, an object located at the line-of-sight position when distracted driving is detected.
＜２－１－３．視線位置がルームミラーにある場合＞
運転者がルームミラー等を見ている場合も考えられる。この場合、運転者の視線位置は、注視領域ＧＡの外に位置する。視線位置がルームミラーやサイドミラーに位置する場合、視線情報取得部１７２は、運転者がルームミラーやサイドミラーに映し出された領域を見ていると判断する。例えば、運転者がルームミラーやサイドミラーに頻繁に見ている場合、車両Ｖの運転者が後方車両による煽り運転などを受けている可能性がある。このため、視線情報取得部１７２は、一定時間、予め設定される閾値よりも多く、視線位置がルームミラーやサイドミラーに位置する場合、視線位置にある物体、すなわち、ルームミラーやサイドミラーに映し出された物体の物体情報を取得する。ルームミラー及びサイドミラーがスマートミラーである場合、スマートミラーと運転者の視線方向との交点位置にある物体をスマートミラーに写す画像から検出する。ルームミラー及びサイドミラーが可視光を反射する鏡である場合、ルームミラーやサイドミラーを撮像する車室カメラにより生成される画像から、鏡上の視点位置にある物体を検出する。
<2-1-3. When the line of sight is on the rearview mirror>
It is also possible that the driver is looking in the rearview mirror. In this case, the driver's line of sight position is located outside the gaze area GA. When the line-of-sight position is located on the rear-view mirror or side mirror, the line-of-sight information acquisition unit 172 determines that the driver is looking at the area reflected in the rear-view mirror or side mirror. For example, if the driver frequently looks in the room mirror or side mirror, there is a possibility that the driver of vehicle V is being hit by a vehicle behind him. For this reason, the line-of-sight information acquisition unit 172 detects objects at the line-of-sight position, that is, objects reflected on the rear-view mirror or side mirror, when the line-of-sight position is located on the rear-view mirror or side mirror more than a preset threshold for a certain period of time. Obtain the object information of the object. When the room mirror and side mirror are smart mirrors, an object located at the intersection of the smart mirror and the driver's line of sight is detected from the image reflected in the smart mirror. When the room mirror and side mirrors are mirrors that reflect visible light, an object located at a viewpoint on the mirror is detected from an image generated by a vehicle interior camera that captures images of the room mirror and side mirrors.
＜２－１－４．車両バック時＞
運転者が、例えば車両Ｖのリアウィンドウを見ながら車両Ｖをバックさせる場合、視線情報取得部１７２は、前述の方法と同様にして、運転操作中の運転者の顔画像に基づき運転者の視線位置を検出できる。具体的には、視線情報取得部１７２は、車両がバックする際の車両後方を撮像するリアカメラの撮像方向に沿って所定の距離離れた位置に仮想面を設定する。視線情報取得部１７２は、この仮想面に、リアカメラにより撮像される画像フレームに写っている物体が存在すると仮定する。そして、視線情報取得部１７２は、仮想面と運転者の視線方向との交点を視線位置と推定する。視線情報取得部１７２は、かかる交点の移動量に基づいて、視線の移動量等を推定する。なお、車両Ｖの後部座席側から運転席側を撮像する車室カメラを設置してもよい。また、運転者が、ルームミラー及びサイドミラーを見ながら車両Ｖをバックさせる場合、前述した方法と同様の方法により運転者の視線位置にある物体を検出できる。例えば、ルームミラー及びサイドミラーがスマートミラーである場合、スマートミラーと運転者の視線方向との交点位置にある物体をスマートミラーに写す画像から検出する。ルームミラー及びサイドミラーが可視光を反射する鏡である場合、ルームミラーやサイドミラーを撮像する車載カメラにより取得される画像情報から、鏡上の視点位置にある物体を検出する。
<2-1-4. When backing up the vehicle>
For example, when the driver backs up the vehicle V while looking at the rear window of the vehicle V, the line-of-sight information acquisition unit 172 determines the line-of-sight of the driver based on the facial image of the driver during driving operations, in the same manner as the method described above. Can detect location. Specifically, the line-of-sight information acquisition unit 172 sets a virtual plane at a position a predetermined distance apart along the imaging direction of a rear camera that images the rear of the vehicle when the vehicle backs up. The line-of-sight information acquisition unit 172 assumes that an object appearing in the image frame captured by the rear camera exists on this virtual plane. Then, the line-of-sight information acquisition unit 172 estimates the intersection of the virtual plane and the driver's line-of-sight direction as the line-of-sight position. The line-of-sight information acquisition unit 172 estimates the amount of movement of the line of sight based on the amount of movement of the intersection. Note that an interior camera may be installed to take an image of the driver's seat side from the rear seat side of the vehicle V. Further, when the driver backs up the vehicle V while looking at the rearview mirror and the side mirror, an object at the driver's line of sight can be detected using a method similar to the method described above. For example, if the room mirror and side mirrors are smart mirrors, an object located at the intersection of the smart mirror and the driver's line of sight is detected from the image captured by the smart mirror. When the room mirror and side mirrors are mirrors that reflect visible light, an object located at a viewpoint on the mirror is detected from image information acquired by an on-vehicle camera that captures images of the room mirror and side mirrors.
＜２－２．物体情報の取得＞
また、視線情報取得部１７２は、検出した運転者の視線位置にある物体の物体情報を取得する。視線情報取得部１７２が検出する視線位置にある物体の物体情報は、乗員の視野範囲にある物体の物体情報である。物体情報は、運転者が見ている物体の物体情報と言い換えることができる。視線情報取得部１７２は、物体情報として、物体の名称並びに動き、車両Ｖと物体との相対的な位置関係等を取得できる。
<2-2. Obtaining object information>
Furthermore, the line-of-sight information acquisition unit 172 acquires object information of an object located at the detected line-of-sight position of the driver. The object information about the object located at the line-of-sight position detected by the line-of-sight information acquisition unit 172 is the object information about the object within the visual field of the occupant. Object information can be rephrased as object information about the object that the driver is looking at. The line of sight information acquisition unit 172 can acquire, as object information, the name and movement of the object, the relative positional relationship between the vehicle V and the object, and the like.
視線情報取得部１７２は、運転者の視線の移動量又は移動速度が予め定められた閾値を超えた場合、運転者の視線位置にある物体の物体情報を取得する。具体的には、視線情報取得部１７２は、仮想面Ｒｃに投影される物体を、乗員が認識可能な物体として特定する。視線情報取得部１７２は、かかる物体のうち、視線方向Ｄ２と仮想面Ｒｃとの交点ＣＰに位置する物体を視線位置にある物体として特定する。視線情報取得部１７２は、視線位置にある物体の物体情報を取得する。 The line-of-sight information acquisition unit 172 acquires object information of an object located at the driver's line-of-sight position when the amount or speed of movement of the driver's line of sight exceeds a predetermined threshold. Specifically, the line-of-sight information acquisition unit 172 identifies the object projected onto the virtual plane Rc as an object that can be recognized by the occupant. Among these objects, the line-of-sight information acquisition unit 172 identifies an object located at the intersection CP of the line-of-sight direction D2 and the virtual plane Rc as an object at the line-of-sight position. The line-of-sight information acquisition unit 172 acquires object information of an object located at the line-of-sight position.
なお、仮想面Ｒｃに映し出された物体の名称並びに動きは、画像認識処理により、予め識別される。物体の名称（例えば、猫）は、テンプレートマッチングによる画像認識や、ＣＮＮ（Convolutional Neural Network）などを用いた機械学習により獲得されるＡＩ（学習済みモデル）による推論結果などにより特定できる。物体の名称の識別結果として、「黒い猫」などのように、形容詞を含んだ情報がラベリングされてもよい。また、認識した物体が車両である場合、物体の名称の識別結果として、車種やナンバープレートの情報がラベリングされてもよい。 Note that the name and movement of the object projected on the virtual plane Rc are identified in advance by image recognition processing. The name of the object (for example, a cat) can be specified by image recognition using template matching or inference results by an AI (trained model) obtained by machine learning using a CNN (Convolutional Neural Network) or the like. As a result of identifying the name of the object, information including an adjective, such as "black cat", may be labeled. Further, when the recognized object is a vehicle, information on the vehicle type and license plate may be labeled as the identification result of the name of the object.
物体の動きは、時系列的に連続する複数の画像フレームを解析することにより特定できる。例えば、直前の画像フレームに含まれていない物体が、直後の画像フレームに含まれる場合、物体の動きが「飛び出し」であると特定する。 The movement of an object can be identified by analyzing a plurality of chronologically consecutive image frames. For example, if an object that is not included in the immediately preceding image frame is included in the immediately following image frame, the movement of the object is determined to be "jumping out."
また、車両Ｖと、仮想面Ｒｃに映し出された物体との位置関係（例えば、自車両の左前方）は、例えば、仮想面Ｒｃに映し出された物体の位置等に基づいて、予め取得できる。 Further, the positional relationship between the vehicle V and the object projected on the virtual surface Rc (for example, the left front of the host vehicle) can be obtained in advance based on, for example, the position of the object projected on the virtual surface Rc.
上述してきたように、運転者の視線位置に対応する物体に対して、複数の情報がラベリングされることにより、例えば、「黒い猫の自車両の左前方からの飛び出し」というような具体的なキーワードにより記録された情報の検索が可能となる。 As mentioned above, by labeling objects that correspond to the driver's line of sight with multiple pieces of information, for example, a specific item such as ``a black cat jumping out from the front left of the driver's vehicle'' can be detected. It becomes possible to search recorded information using keywords.
記録部１７３は、視線情報取得部１７２により取得された視線情報及び物体情報を、対応する視線情報及び物体情報に対して付与する固有の識別情報により関連付けて、記録情報格納部１４４に記録する。固有の識別情報としては、ＩＤやタイムスタンプなどが考えられる。固有の識別情報としてタイムスタンプを用いる場合、タイムスタンプは、車両周辺画像のフレームが撮影された時刻を示してもよい。また、記録部１７３は、不図示のＧＰＳ（Global Positioning System）等により取得した車両の位置情報を固有情報として用い、視線情報及び物体情報を関連付けて記録してもよい。なお、記録部１７３は、視線情報と物体情報とを関連付けて記録する場合、視線情報と物体情報の取得元となる画像情報を関連付けて、記録情報格納部１４４に記録してもよい。例えば、画像情報のうち車両周辺画像を関連付ける場合、視線情報と、物体情報と、車両周辺画像とを関連付ける識別情報として、ＩＤやタイプスタンプの代わりに、物体情報の取得元となった車両周辺画像の画像フレームのフレーム番号を利用してもよい。 The recording unit 173 associates the line-of-sight information and object information acquired by the line-of-sight information acquisition unit 172 with unique identification information given to the corresponding line-of-sight information and object information, and records them in the recorded information storage unit 144. As the unique identification information, an ID, a time stamp, etc. can be considered. When using a timestamp as the unique identification information, the timestamp may indicate the time when the frame of the vehicle surroundings image was photographed. Further, the recording unit 173 may use vehicle position information acquired by a GPS (Global Positioning System) (not shown) or the like as unique information, and record line-of-sight information and object information in association with each other. Note that when recording the line-of-sight information and object information in association with each other, the recording unit 173 may associate the line-of-sight information and the image information from which the object information is obtained and record it in the recorded information storage unit 144. For example, when associating a vehicle surrounding image among image information, the vehicle surrounding image from which the object information was obtained is used instead of an ID or a timestamp as identification information for associating line of sight information, object information, and a vehicle surrounding image. The frame number of the image frame may be used.
＜２－３．記録された情報の検索＞
検索部１７４は、記録情報格納部１６４に記録された情報の中から車両Ｖの乗員などの検索要求に対応する車両周辺画像等の情報を検索する。図７～図９は、第１の実施形態に係る画像検索結果の一例を示す図である。
<2-3. Searching for recorded information>
The
検索部１７４は、「視線の移動量」を検索条件として受け付けた場合、図７に示すように、記録された物体情報の中から、最上位から５位までの視線の移動量に関連付けられた物体情報を検索する。そして、検索部１７４は、図７に示すように、検索結果を出力部１２０に出力する。図７に示す例では、視線の移動量が最上位から５位までの物体の名称が、視線の移動量が多いものから順に降順となるように並べて提供される場合を示している。
When the
また、検索部１７４は、「視線の移動量」及び「画像」を検索条件として受け付けた場合、記録された車両周辺情報の中から、最上位から５位までの視線の移動量に関連付けられた車両周辺画像を検索する。そして、検索部１７４は、図８に示すように、検索結果を出力部１２０に出力する。図８に示す例では、視線の移動量が最上位から５位までの画像ファイルが、視線の移動量が多いものから順に降順となるように並べて提供される場合を示している。
In addition, when the
また、検索部１７４は、「視線の移動速度」、「画像」、及び「猫」を検索条件として受け付けると、記録された「猫」がラベリングされた車両周辺画像の中から、最上位から５位までの視線の移動速度に関連付けられた車両周辺画像を検索する。そして、検索部１７４は、図９に示すように、検索結果を出力部１２０に出力する。図９に示す例では、「猫」がラベリングされた画像ファイルが、視線の移動速度が降順となるように並べて提供される場合を示している。なお、図７～図９において、検索部１７４は、検索結果を降順ではなく昇順に並べて出力してもよい。
In addition, when the
＜３．情報記録装置による処理＞
＜３－１．視線の移動量又は移動速度に基づく処理＞
図１０を用いて、視線の移動量又は移動速度に基づく情報記録装置１００の処理手順について説明する。図１０は、第１の実施形態に係る情報記録装置の処理手順の一例を示すフローチャートである。図１０に示す処理手順は、情報記録装置１００が備える制御部１７０により実行される。図１０に示す処理手順は、情報記録装置１００の稼働中、繰り返し実行される。
<3. Processing by information recording device>
<3-1. Processing based on the amount or speed of movement of the line of sight>
The processing procedure of the
図１０に示すように、車両関連情報取得部１７１は、画像情報を取得する（ステップＳ１０１）。視線情報取得部１７２は、視線情報を取得する（ステップＳ１０２）。 As shown in FIG. 10, the vehicle-related information acquisition unit 171 acquires image information (step S101). The line-of-sight information acquisition unit 172 acquires line-of-sight information (step S102).
視線情報取得部１７２は、視線の移動量又は視線の移動速度が閾値を超えているか否かを判定する（ステップＳ１０３）。 The line of sight information acquisition unit 172 determines whether the amount of movement of the line of sight or the speed of movement of the line of sight exceeds a threshold (step S103).
視線情報取得部１７２は、視線の移動量又は視線の移動速度が閾値を超えていると判定した場合（ステップＳ１０３，Ｙｅｓ）、視線情報取得部１７２は、視線位置にある物体の物体情報を取得する（ステップＳ１０４）。 When the line-of-sight information acquisition unit 172 determines that the line-of-sight movement amount or the line-of-sight movement speed exceeds the threshold (step S103, Yes), the line-of-sight information acquisition unit 172 acquires object information of the object at the line-of-sight position. (Step S104).
そして、記録部１７３は、同じ時刻における視線情報と物体情報とを関連付けて記録し（ステップＳ１０５）、図１０に示す処理を終了する。 Then, the recording unit 173 records the line-of-sight information and object information at the same time in association with each other (step S105), and ends the process shown in FIG. 10.
上記ステップＳ１０３において、車両関連情報取得部１７１が、視線の移動量又は視線の移動速度が閾値を超えていないと判定した場合（ステップＳ１０３，Ｎｏ）、記録部１７３は、画像情報の記録し、図１０に示す処理を終了する。 In step S103, if the vehicle-related information acquisition unit 171 determines that the amount of movement of the line of sight or the speed of movement of the line of sight does not exceed the threshold (step S103, No), the recording unit 173 records the image information, The process shown in FIG. 10 ends.
＜３－２．注視領域に基づく処理＞
図１１を用いて、注視領域に基づく情報記録装置１００の処理手順について説明する。図１１は、第１の実施形態に係る情報記録装置の処理手順の一例を示すフローチャートである。図１１に示す処理手順は、情報記録装置１００が備える制御部１７０により実行される。図１１に示す処理手順は、情報記録装置１００の稼働中、繰り返し実行される。
<3-2. Processing based on gaze area>
The processing procedure of the
図１１に示すように、車両関連情報取得部１７１は、画像情報を取得する（ステップＳ２０１）。続いて、視線情報取得部１７２は、視線情報を取得した後（ステップＳ２０２）、一定期間、視線位置（交点ＣＰ）が注視領域ＧＡから外れた状態であるか否かを判定する（ステップＳ２０３）。 As shown in FIG. 11, the vehicle-related information acquisition unit 171 acquires image information (step S201). Subsequently, after acquiring the line-of-sight information (step S202), the line-of-sight information acquisition unit 172 determines whether the line-of-sight position (intersection CP) is out of the gaze area GA for a certain period of time (step S203). .
視線情報取得部１７２は、一定期間、視線位置が注視領域から外れた状態であると判定した場合（ステップＳ２０３，Ｙｅｓ）、視線位置にある物体の物体情報を取得する（ステップＳ２０４）。 If the line-of-sight information acquisition unit 172 determines that the line-of-sight position is out of the gaze area for a certain period of time (step S203, Yes), it acquires object information of the object at the line-of-sight position (step S204).
記録部１７３は、同じ時刻における視線情報と物体情報とを関連付けて記録し（ステップＳ２０５）、図１１に示す処理を終了する。 The recording unit 173 records the line-of-sight information and object information at the same time in association with each other (step S205), and ends the process shown in FIG. 11.
上記ステップＳ２０３において、視線情報取得部１７２が、一定期間、視線位置が注視領域から外れた状態ではないと判定した場合（ステップＳ２０３，Ｎｏ）、記録部１７３は、画像情報を記録し、図１１に示す処理を終了する。なお、ステップＳ２０５において、記録部１７３は、視線情報と物体情報とを関連付けて記録する際、画像情報をさらに関連付けて記録してもよい。 In step S203, if the line-of-sight information acquisition unit 172 determines that the line-of-sight position is not out of the gaze area for a certain period of time (step S203, No), the recording unit 173 records the image information, and records the image information as shown in FIG. The process shown in is ended. Note that in step S205, when recording the line of sight information and object information in association with each other, the recording unit 173 may further associate and record image information.
上述してきたように、情報記録装置１００は、画像情報に基づいて、車両Ｖ１の乗員の視線位置を検出する。情報記録装置１００は、検出した視線位置に基づく視線情報を取得する。情報記録装置１００は、視線位置に対応する物体情報を取得する。情報記録装置１００は、同じ時刻における視線情報と物体情報とを対応付けて記録する。これにより、記録された情報の中から運転者の挙動、特に、視線の移動に基づく情報を検索できる。
As described above, the
また、情報記録装置１００は、視線情報として、視線の移動量又は視線の移動速度を取得する。これにより、運転者の視線の移動の度合いを特定できる。
The
また、情報記録装置１００は、視線の移動量又は視線の移動速度が予め定められた閾値を超える場合、視線位置にある物体情報を取得する。そして、情報記録装置１００は、視線情報と物体情報とを関連付けて記録する。これにより、運転者の視線が一定の基準を超えて移動した原因を特定できる。
Further, the
また、情報記録装置１００は、車両Ｖ１の乗員の視線位置（交点ＣＰ）が、一定期間、注視領域ＧＡの外に位置している場合、視線位置にある物体の物体情報を取得する。そして、情報記録装置１００は、視線情報と物体情報とを関連付けて記録する。これにより、車両Ｖの運転者の視線位置（交点ＣＰ）が、急激に動いた場合、運転者の視線位置が急激に動いた原因となる物体を確認できる。また、車両Ｖの運転者の視線位置が、一定期間、注視領域ＧＡの外に位置している場合、すなわち、脇見運転を判断できる場合、脇見運転の原因を容易に特定できる。
Furthermore, when the line-of-sight position (intersection point CP) of the occupant of the vehicle V1 is located outside the gaze area GA for a certain period of time, the
また、情報記録装置１００は、物体情報として、物体の名称や動き、車両Ｖ１と物体との位置関係を識別して、記録する。これにより、情報記録装置１００は、物体の名称や動き、車両Ｖ１と物体との位置関係をキーワード化することにより、記録された情報をより容易に検索できる。
Furthermore, the
＜４．第２の実施形態＞
上述の第１の実施形態では、情報記録装置１００と、画像管理装置２００とを備える情報記録システムＳＹＳについて説明した。第２の実施形態に係る情報記録装置１００は、第１の実施形態とは異なり、画像管理装置２００とは連携しない。すなわち、第２の実施形態に係る情報記録装置１００は、ネットワークや他の機器に接続しないで、単独で動作する。図１２は、第２の実施形態に係る情報記録装置の構成例を示す図である。
<4. Second embodiment>
In the first embodiment described above, the information recording system SYS including the
図１２に示すように、情報記録装置３００は、入力部３１０と、出力部３２０と、フロントカメラ３３１と、車室カメラ３３２と、加速度センサ３４０と、通信部３５０と、記憶部３６０と、制御部３７０とを備える。情報記録装置３００が備える各部は、第１の実施形態に係る情報記録装置１００と基本的には同様の構成を備える。第３の実施形態における制御部３７０は、第１の実施形態における制御部１７０に対応する。ただし、情報記録装置３００が備える制御部３７０の検索部３７４が、図１に示す画像管理装置２００が備える検索部２０２の機能を兼ね備える点が、情報記録装置１００の制御部１７０が備える検索部１７４とは相違する。
As shown in FIG. 12, the
具体的には、情報記録装置３００の検索部３７４は、情報処理装置４００からの求めに応じ、記録された視線情報と、物体情報とを検索する。検索部３７４は、検出された視線情報と、物体情報とを、情報処理装置４００に提供する。
Specifically, the
これにより、情報記録装置３００は、第１の実施形態に係る情報記録システムＳＹＳにおける画像管理装置２００と同じように、例えば、情報処理装置４００からの要求に応じて、記録されたデータの中から検索条件に合致する情報を提供できる。
As a result, the
＜５．変形例＞
＜５－１．第１の変形例＞
第１の実施形態に係る情報記録装置１００の第１の変形例について説明する。第１の変形例では、情報記録装置１００は、車両Ｖの加速度が予め設定される閾値を超えているか否かに基づいて、車両Ｖの運転者の視線位置に対応する物体の物体情報を取得する。
<5. Modified example>
<5-1. First modification>
A first modification of the
以下、車両の加速度が閾値を超えているか否かを判定する処理を導入した場合の処理手順の一例を説明する。図１３は、変形例に係る情報記録装置の処理手順の一例を示すフローチャートである。図１３に示す処理手順は、情報記録装置１００が備える制御部１７０により実行される。図１３に示す処理手順は、情報記録装置１００の稼働中、繰り返し実行される。
An example of a processing procedure when a process for determining whether the acceleration of the vehicle exceeds a threshold value is introduced will be described below. FIG. 13 is a flowchart illustrating an example of the processing procedure of the information recording device according to the modification. The processing procedure shown in FIG. 13 is executed by the control unit 170 included in the
図１３に示すように、車両関連情報取得部１７１は、画像情報を取得する（ステップＳ３０１）。視線情報取得部１７２は、取得した画像情報に基づいて視線情報を取得する（ステップＳ３０２）。 As shown in FIG. 13, the vehicle-related information acquisition unit 171 acquires image information (step S301). The line-of-sight information acquisition unit 172 acquires line-of-sight information based on the acquired image information (step S302).
車両関連情報取得部１７１は、加速度センサ１４０から車両Ｖに加わる加速度を取得し、取得した加速度の絶対値が加速度判定用閾値を超えているか否かを判定する（ステップＳ３０３）。
The vehicle-related information acquisition unit 171 acquires the acceleration applied to the vehicle V from the
車両関連情報取得部１７１は、車両Ｖに加わる加速度の絶対値が加速度判定用閾値を超えているか否かに基づいて、車両Ｖの急ブレーキ、他車両への衝突、他車両からの衝突等の発生を推定する。 The vehicle-related information acquisition unit 171 determines whether the vehicle V will suddenly brake, collide with another vehicle, collide with another vehicle, etc. based on whether the absolute value of the acceleration applied to the vehicle V exceeds the acceleration determination threshold. Estimate occurrence.
車両関連情報取得部１７１が取得した加速度の絶対値が閾値を超えていると判定した場合（ステップＳ３０３，Ｙｅｓ）、視線情報取得部１７２は、視線位置にある物体の物体情報を取得する（ステップＳ３０４）。 If the vehicle-related information acquisition unit 171 determines that the absolute value of the acceleration acquired exceeds the threshold (step S303, Yes), the line-of-sight information acquisition unit 172 acquires object information of the object at the line-of-sight position (step S303, Yes). S304).
そして、記録部１７３は、同じ時刻における視線情報と物体情報とを関連付けて記録し（ステップＳ３０５）、図１３に示す処理を終了する。 Then, the recording unit 173 records the line-of-sight information and object information at the same time in association with each other (step S305), and ends the process shown in FIG. 13.
上記ステップＳ３０３において、車両関連情報取得部１７１が取得した車両Ｖの加速度が加速度判定用閾値を超えていないと判定した場合（ステップＳ３０３，Ｎｏ）、記録部１７３は、画像情報を記録し、図１３に示す処理を終了する。 In step S303 above, if the vehicle-related information acquisition unit 171 determines that the acquired acceleration of the vehicle V does not exceed the acceleration determination threshold (step S303, No), the recording unit 173 records the image information and The process shown in 13 ends.
図１３に示す処理手順によれば、情報記録装置１００は、車両Ｖの加速度に基づいて、視線位置にある物体の物体情報を取得する。そして、情報記録装置１００は、同じ時刻の視線情報と物体情報とを関連付けて記録する。このため、車両Ｖ１の急ブレーキ、他車両への衝突、他車両からの衝突等が発生した原因を特定するための情報を検索できる。
According to the processing procedure shown in FIG. 13, the
＜５－２．第２の変形例＞
第１の実施形態に係る情報記録装置１００の第２の変形例について説明する。上述した第１の実施形態では、情報記録装置１００が視線情報と物体情報とを取得する例を示したが、本発明はこれに限られない。例えば、情報記録装置１００は、視線情報と物体情報とを取得しなくてもよい。この場合、情報記録装置１００は、画像情報を画像管理装置２００に送信する。画像管理装置２００は受信した画像情報に基づいて、視線情報と物体情報とを取得する。つまり、画像管理装置２００は、前述の視線情報取得部１７２と同様の処理を実行する。これにより、情報記録装置１００の処理負荷を軽減できる。
<5-2. Second modification>
A second modification of the
＜５－３．第３の変形例＞
第１の実施形態に係る情報記録装置１００の第３の変形例について説明する。上述した第１の実施形態では、情報記録装置１００、画像管理装置２００が、画像情報として車両Ｖの周囲を撮像した画像である車両周辺画像と、車両Ｖの乗員である運転者の顔画像とを記録する例を説明したが、本発明はこれに限られない。情報記録装置１００、画像管理装置２００は、画像情報のうち、車両周辺画像のみを保存し、運転者の顔画像は保存しなくてもよい。これにより、本変形例の情報記録装置１００及び画像管理装置２００は、必要な画像情報の記録領域の低減と、情報記録装置１００と画像管理装置２００の間の通信容量の低減と、を達成することができる。
<5-3. Third modification>
A third modification of the
＜５－４．第４の変形例＞
第１の実施形態に係る情報記録装置１００の第４の変形例について説明する。上述した第１の実施形態において、情報記録装置１００は、車室カメラ１３２が生成した画像に基づいて、運転者の視線位置にある物体の物体情報を取得してもよい。なお、物体情報の検出方法は、前述した第１の実施形態と同様である。これにより、情報記録装置１００は、運転者の視線位置にある物体として、スマートフォンや、携帯電話などを検出できる。これにより、情報記録装置１００は、運転者による脇見運転の原因を特定できる。
<5-4. Fourth modification>
A fourth modification of the
＜６．その他＞
上記実施形態において、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上記実施形態において処理手順を示すフローチャート（図１０、図１１、図１３参照）に示された各ステップは、適宜順序を変更することが可能である。
<6. Others>
In the embodiments described above, it is possible to appropriately combine the processing contents in an area that does not conflict with each other. Furthermore, the order of each step shown in the flowcharts (see FIGS. 10, 11, and 13) showing the processing procedure in the above embodiment can be changed as appropriate.
また、上記実施形態において、情報記録装置１００において実行されるプログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、情報記録装置１００において実現される各種処理機能を、ＯＳ（Operating System）やアプリケーションソフト、ファームウェアとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
Further, in the above embodiment, the program executed in the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications can be easily deduced by those skilled in the art. Therefore, the broader aspects of the invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various changes may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.
１００（１００Ｘ，１００Ｙ）、３００ 情報記録装置
１１０ 入力部
１２０ 出力部
１３１ フロントカメラ
１３２ 車室カメラ
１４０ 加速度センサ
１５０ 通信部
１６０ 記憶部
１６１ カメラ情報格納部
１６２ 乗員情報格納部
１６３ 閾値情報格納部
１６４ 記録情報格納部
１７０ 制御部
１７１ 車両関連情報取得部
１７２ 視線情報取得部
１７３ 記録部
１７４ 検索部
２００ 画像管理装置
２０１ 記録部
２０２ 検索部
100 (100X, 100Y), 300 information recording device 110
Claims (8)
前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する視線情報取得部と、
同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する記録部と
を備えることを特徴とする情報記録装置。 a vehicle-related information acquisition unit that acquires image information including at least a vehicle surrounding image that is an image of the surroundings of the own vehicle and an image of the occupant of the own vehicle;
a line-of-sight information acquisition unit that detects a line-of-sight position of an occupant of the host vehicle based on the image information and acquires line-of-sight information based on the detected line-of-sight position and object information corresponding to the line-of-sight position;
An information recording device comprising: a recording unit that records the line of sight information and the object information in association with each other at the same time.
ことを特徴とする請求項１に記載の情報記録装置。 The information recording device according to claim 1, wherein the line-of-sight information acquisition unit acquires a line-of-sight movement amount or a line-of-sight movement speed as the line-of-sight information.
前記記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する場合、前記物体情報の取得元となった前記車両周辺画像をさらに関連付けて記録する
ことを特徴とする請求項２に記載の情報記録装置。 The line-of-sight information acquisition unit acquires object information of an object at the line-of-sight position when the amount of movement of the line of sight or the speed of movement of the line of sight exceeds a preset threshold;
2. The recording unit, when recording the line-of-sight information and the object information at the same time in association with each other, further associates and records the vehicle surrounding image from which the object information is obtained. The information recording device described in .
前記記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する場合、前記物体情報の取得元となった前記車両周辺画像をさらに関連付けて記録する
ことを特徴とする請求項１に記載の情報記録装置。 When the line-of-sight position is located outside a gaze area that is an area that the occupant should gaze at for a certain period of time, the line-of-sight information acquisition unit acquires object information of an object at the line-of-sight position from the vehicle surrounding image. Acquired,
When the recording unit records the line-of-sight information and the object information at the same time in association with each other, the recording unit further records the vehicle surroundings image from which the object information is obtained in association with each other. The information recording device described in .
前記視線情報取得部は、前記車両関連情報取得部により取得された加速度が予め設定された閾値を超える場合、前記視線位置にある物体の物体情報を前記車両周辺画像から取得し、
前記記録部は、同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する場合、前記物体情報の取得元となった前記車両周辺画像をさらに関連付けて記録する
ことを特徴とする請求項１に記載の情報記録装置。 The vehicle-related information acquisition unit acquires acceleration of the own vehicle,
The line-of-sight information acquisition unit acquires object information of an object at the line-of-sight position from the vehicle surrounding image when the acceleration acquired by the vehicle-related information acquisition unit exceeds a preset threshold;
When the recording unit records the line-of-sight information and the object information at the same time in association with each other, the recording unit further records the vehicle surroundings image from which the object information is obtained in association with each other. The information recording device described in .
ことを特徴とする請求項１～５のいずれか一項に記載の情報記録装置。 The information recording device according to any one of claims 1 to 5, wherein the object information includes at least one of the name of the object, the movement, and the positional relationship between the own vehicle and the object. .
前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する工程と、
同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する工程と
を含むことを特徴とする情報記録方法。 acquiring image information including at least a vehicle surrounding image that is an image of the surroundings of the own vehicle and an image of the occupant of the own vehicle;
detecting the line-of-sight position of the occupant of the own vehicle based on the image information, and acquiring line-of-sight information based on the detected line-of-sight position and object information corresponding to the line-of-sight position;
An information recording method comprising the step of: recording the line of sight information and the object information in association with each other at the same time.
前記情報記録装置は、
少なくとも自車両の周囲を撮像した画像である車両周辺画像と、自車両の乗員を撮像した画像とを含む画像情報を取得する車両関連情報取得部と、
前記画像情報に基づいて自車両の乗員の視線位置を検出し、検出した視線位置に基づく視線情報と、前記視線位置に対応する物体情報とを取得する視線情報取得部と、
同じ時刻における前記視線情報と前記物体情報とを関連付けて記録する記録部と、
前記視線情報及び前記物体情報を前記画像管理装置にアップロードする通信部と
を備え、
前記画像管理装置は、
前記情報記録装置ごとに、同じ時刻における前記視線情報及び前記物体情報を関連付けて記録する記録部
を備えることを特徴とする情報記録システム。 An image recording system comprising an information recording device and an image management device,
The information recording device includes:
a vehicle-related information acquisition unit that acquires image information including at least a vehicle surrounding image that is an image of the surroundings of the own vehicle and an image of the occupant of the own vehicle;
a line-of-sight information acquisition unit that detects a line-of-sight position of an occupant of the host vehicle based on the image information and acquires line-of-sight information based on the detected line-of-sight position and object information corresponding to the line-of-sight position;
a recording unit that associates and records the line of sight information and the object information at the same time;
a communication unit that uploads the line of sight information and the object information to the image management device;
The image management device includes:
An information recording system comprising: a recording unit that records the line-of-sight information and the object information at the same time in association with each other for each of the information recording devices.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020121633A JP7438045B2 (en) | 2020-07-15 | 2020-07-15 | Information recording device, information recording method, and information recording system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020121633A JP7438045B2 (en) | 2020-07-15 | 2020-07-15 | Information recording device, information recording method, and information recording system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022018497A JP2022018497A (en) | 2022-01-27 |
| JP7438045B2 true JP7438045B2 (en) | 2024-02-26 |
Family
ID=80203916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020121633A Active JP7438045B2 (en) | 2020-07-15 | 2020-07-15 | Information recording device, information recording method, and information recording system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7438045B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008304338A (en) | 2007-06-07 | 2008-12-18 | Aisin Aw Co Ltd | Navigation device, navigation method, and navigation program |
| JP2020106946A (en) | 2018-12-26 | 2020-07-09 | マクセル株式会社 | Vehicle operation record system, vehicle operation information record processing system, and head-up display device |
-
2020
- 2020-07-15 JP JP2020121633A patent/JP7438045B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008304338A (en) | 2007-06-07 | 2008-12-18 | Aisin Aw Co Ltd | Navigation device, navigation method, and navigation program |
| JP2020106946A (en) | 2018-12-26 | 2020-07-09 | マクセル株式会社 | Vehicle operation record system, vehicle operation information record processing system, and head-up display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022018497A (en) | 2022-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9714037B2 (en) | Detection of driver behaviors using in-vehicle systems and methods | |
| US20210295073A1 (en) | Primary preview region and gaze based driver distraction detection | |
| CN109624850B (en) | Method for monitoring blind spot of vehicle and blind spot monitor using the same | |
| CN108725357B (en) | Parameter control method and system based on face recognition and cloud server | |
| CN107792059B (en) | Parking control | |
| US10501048B2 (en) | Seatbelt buckling detection | |
| US10235768B2 (en) | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium | |
| US10764536B2 (en) | System and method for a dynamic human machine interface for video conferencing in a vehicle | |
| CN103786644B (en) | Apparatus and method for following the trail of peripheral vehicle location | |
| JP2022517254A (en) | Gaze area detection method, device, and electronic device | |
| US11455810B2 (en) | Driver attention state estimation | |
| KR102130059B1 (en) | Digital rearview mirror control unit and method | |
| JP7322971B2 (en) | vehicle driving system | |
| EP2985648A1 (en) | Techniques for automated blind spot viewing | |
| CN110461679A (en) | Ensure that occupant realizes in vehicle | |
| WO2019049709A1 (en) | Image processing device, image processing method, and image display system | |
| Badgujar et al. | Driver gaze tracking and eyes off the road detection | |
| JP6982767B2 (en) | Detection device, learning device, detection method, learning method, and program | |
| JP7438045B2 (en) | Information recording device, information recording method, and information recording system | |
| KR101976498B1 (en) | System and method for gesture recognition of vehicle | |
| US20190149777A1 (en) | System for recording a scene based on scene content | |
| KR102486161B1 (en) | Vehicle, Control Method of the vehicle and Image tracking apparatus | |
| CN114312580A (en) | Method and device for determining seats of passengers in vehicle and vehicle control method and device | |
| KR101633501B1 (en) | AVM system for providing information of side distance and method thereof | |
| US11457184B2 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7438045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |