JP6979229B2 - 魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens} - Google Patents
魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens} Download PDFInfo
- Publication number
- JP6979229B2 JP6979229B2 JP2020008409A JP2020008409A JP6979229B2 JP 6979229 B2 JP6979229 B2 JP 6979229B2 JP 2020008409 A JP2020008409 A JP 2020008409A JP 2020008409 A JP2020008409 A JP 2020008409A JP 6979229 B2 JP6979229 B2 JP 6979229B2
- Authority
- JP
- Japan
- Prior art keywords
- specific
- pose
- point
- passenger
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 68
- 238000001514 detection method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
は、上端中央から垂直方向のコーナーにおける垂直角度
を測定し、これらの関係を示す数学式を導き出すことによって取得され得、上端中央から水平方向に位置するすべてのピクセルにおける水平角度
は、上端中央から水平方向のコーナーにおける水平角度
を測定し、これらの関係を示す数学式を導き出すことによって取得され得る。
が取得された状態で、乗客状態検出装置100は、下記の数学式1を利用して特定のポーズポイントPPとリファレンスポイントとの間の特定の車軸方向距離Zを測定することができる。ここで、特定の車軸方向距離Zは、リファレンスポイント及び特定のポーズポイントPPを車両の全体の車軸方向及び全体の車幅方向により形成された平面上に投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、投影されたリファレンスポイント及び投影された特定のポーズポイントとの間の距離であり得る。
[数学式1]
[数学式2]
Claims (12)
- 車両の室内イメージを分析することによって、一人以上の乗客の状態を検出する方法において、
(a)魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの2D室内イメージが取得されると、乗客状態検出装置が、前記2D室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記2D室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させる段階;及び
(b)前記乗客状態検出装置が、(i)予め設定されたピクセル及び角度(pixel−angle)テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、(ii)前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出する段階;を含み、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル(grid cells)からなるグリッドボード(grid board)を設置した状態で、第1ライン及びそれぞれの第2ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第1ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第2ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする方法。 - 前記(b)段階で、
前記乗客状態検出装置は、(i)前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法(bilinear interpolation)により前記特定のポーズポイントの特定高さを取得し、(ii)前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、(iii)前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して、前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする請求項1に記載の方法。 - 前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は、前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする請求項2に記載の方法。
- (c)前記乗客状態検出装置が、(i)前記車両の非常状況で前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態にしたがって作動させるか、(ii)前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して前記乗客それぞれの走行安全状態それぞれを確認させる段階;
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記(a)段階で、
前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル(feature tensor)を出力させ、(ii)キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、(iii)キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする請求項1に記載の方法。 - 前記(a)段階で、
前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、(ii)フルコンボリューションネットワーク(fully convolution network)を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、(iii)前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする請求項1に記載の方法。 - 車両の室内イメージを分析することによって一人以上の乗客の状態を検出する乗客状態検出装置において、
少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、(I)魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの2D室内イメージが取得されると、前記2D室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記2D室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させるプロセス;及び(II)(i)予め設定されたピクセル及び角度(pixel−angle)テーブルを参照して前記車両の予め設定されたリファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、(ii)前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出するプロセス;を遂行し、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル(grid cells)からなるグリッドボード(grid board)を設置した状態で、第1ライン及びそれぞれの第2ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第1ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第2ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする装置。 - 前記(II)プロセスは、
前記プロセッサが、(i)前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法(bilinear interpolation)により前記特定のポーズポイントの特定高さを取得し、(ii)前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、(iii)前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする請求項7に記載の装置。 - 前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする請求項8に記載の方法。
- (III)(i)前記車両の非常状況において、前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態によって作動させるか、(ii)前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して、前記乗客それぞれの走行安全状態それぞれを確認させるプロセス;
をさらに遂行することを特徴とする請求項7に記載の装置。 - 前記(I)プロセスは、
前記プロセッサが、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル(feature tensor)を出力させ、(ii)キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、(iii)キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする請求項7に記載の装置。 - 前記(I)プロセスは、
前記プロセッサが、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、(ii)フルコンボリューションネットワーク(fully convolution network)を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、(iii)前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする請求項7に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962798527P | 2019-01-30 | 2019-01-30 | |
US62/798,527 | 2019-01-30 | ||
US16/731,087 | 2019-12-31 | ||
US16/731,087 US10657396B1 (en) | 2019-01-30 | 2019-12-31 | Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020123342A JP2020123342A (ja) | 2020-08-13 |
JP6979229B2 true JP6979229B2 (ja) | 2021-12-08 |
Family
ID=70736444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020008409A Active JP6979229B2 (ja) | 2019-01-30 | 2020-01-22 | 魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens} |
Country Status (5)
Country | Link |
---|---|
US (1) | US10657396B1 (ja) |
EP (1) | EP3690724B1 (ja) |
JP (1) | JP6979229B2 (ja) |
KR (1) | KR102349979B1 (ja) |
CN (1) | CN111507168B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669348B (zh) * | 2020-12-18 | 2023-11-28 | 浙江大学 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
CN113763467B (zh) * | 2021-01-04 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、计算设备及介质 |
CN113569828B (zh) * | 2021-09-27 | 2022-03-08 | 南昌嘉研科技有限公司 | 一种人体姿态识别方法、***、存储介质及设备 |
EP4372700A1 (en) * | 2022-11-18 | 2024-05-22 | Aptiv Technologies AG | A system and method for interior sensing in a vehicle |
GB202319263D0 (en) | 2023-12-15 | 2024-01-31 | Mercedes Benz Group Ag | System and method for determining occupancy in a region of interest |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983817B2 (en) * | 1995-06-07 | 2011-07-19 | Automotive Technologies Internatinoal, Inc. | Method and arrangement for obtaining information about vehicle occupants |
JPH10960A (ja) * | 1996-06-12 | 1998-01-06 | Yazaki Corp | 運転者監視装置 |
JP4390966B2 (ja) * | 2000-04-19 | 2009-12-24 | 株式会社東海理化電機製作所 | 乗員検知システム |
KR100910670B1 (ko) * | 2001-03-05 | 2009-08-04 | 지멘스 악티엔게젤샤프트 | 승객 보호 시스템을 위한 이미지 보정 방법 및 장치 |
ATE321689T1 (de) * | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
WO2004081850A1 (en) * | 2003-03-13 | 2004-09-23 | Intelligent Mechatronic Systems Inc. | Visual classification and posture estimation of multiple vehicle occupants |
JP2004295572A (ja) * | 2003-03-27 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 認証対象画像撮像装置及びその撮像方法 |
JP4309926B2 (ja) * | 2007-03-13 | 2009-08-05 | アイシン精機株式会社 | 顔特徴点検出装置、顔特徴点検出方法及びプログラム |
KR100949893B1 (ko) * | 2008-04-28 | 2010-03-25 | 경북대학교 산학협력단 | 텐서 데이터를 이용한 영상 데이터 분류 방법 및 장치 |
US8391554B2 (en) * | 2008-10-01 | 2013-03-05 | GM Global Technology Operations LLC | Eye detection system using a single camera |
JP5715793B2 (ja) * | 2010-10-08 | 2015-05-13 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置及び画像処理方法 |
GB201116960D0 (en) * | 2011-09-30 | 2011-11-16 | Bae Systems Plc | Monocular camera localisation using prior point clouds |
JP6047318B2 (ja) * | 2012-07-06 | 2016-12-21 | 矢崎総業株式会社 | ドライバ状態検出装置及びドライバ状態報知装置 |
US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6281492B2 (ja) * | 2012-10-26 | 2018-02-21 | 日本電気株式会社 | 乗車人数計測装置、方法およびプログラム |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
GB2525655B (en) * | 2014-05-01 | 2018-04-25 | Jaguar Land Rover Ltd | Dynamic lighting apparatus and method |
CN107428302B (zh) * | 2015-04-10 | 2022-05-03 | 罗伯特·博世有限公司 | 利用车辆内部相机的占用者尺寸和姿势的检测 |
US10043083B2 (en) * | 2015-10-27 | 2018-08-07 | Thunder Power New Energy Vehicle Development Company Limited | Intelligent rear-view mirror system |
JP6617830B2 (ja) * | 2016-04-28 | 2019-12-11 | 富士通株式会社 | 骨格推定装置、骨格推定方法および骨格推定プログラム |
US10434877B2 (en) * | 2016-05-05 | 2019-10-08 | Via Technologies, Inc. | Driver-assistance method and a driver-assistance apparatus |
EP4394732A2 (en) * | 2016-06-29 | 2024-07-03 | Seeing Machines Limited | Systems and methods for identifying pose of cameras in a scene |
JP2018151693A (ja) * | 2017-03-09 | 2018-09-27 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
US10339401B2 (en) * | 2017-11-11 | 2019-07-02 | Bendix Commercial Vehicle Systems Llc | System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device |
CN108447094B (zh) * | 2018-03-20 | 2020-07-28 | 清华大学 | 一种单目彩色相机的姿态估算方法及*** |
-
2019
- 2019-12-31 US US16/731,087 patent/US10657396B1/en active Active
-
2020
- 2020-01-13 KR KR1020200004519A patent/KR102349979B1/ko active IP Right Grant
- 2020-01-21 EP EP20152947.6A patent/EP3690724B1/en active Active
- 2020-01-22 CN CN202010074007.3A patent/CN111507168B/zh active Active
- 2020-01-22 JP JP2020008409A patent/JP6979229B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3690724B1 (en) | 2024-03-06 |
US10657396B1 (en) | 2020-05-19 |
CN111507168A (zh) | 2020-08-07 |
CN111507168B (zh) | 2023-08-15 |
KR20200094657A (ko) | 2020-08-07 |
KR102349979B1 (ko) | 2022-01-12 |
EP3690724C0 (en) | 2024-03-06 |
EP3690724A1 (en) | 2020-08-05 |
JP2020123342A (ja) | 2020-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6979229B2 (ja) | 魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens} | |
US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
US6925403B2 (en) | Method and system for calibrating a sensor | |
JP4480083B2 (ja) | 物体認識装置 | |
US20110228101A1 (en) | Method and device for determining calibration parameters of a camera | |
JP2004198212A (ja) | 移動体周辺監視装置 | |
JP2018519696A (ja) | 画像の線からのカメラの外部パラメータ推定 | |
KR102229220B1 (ko) | 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 | |
CN111627001B (zh) | 图像检测方法及装置 | |
JP6890350B2 (ja) | V2v通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置 | |
KR102082254B1 (ko) | 차량 인식 시스템 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
KR101482645B1 (ko) | Fov왜곡 보정 모델에 2d패턴을 적용한 왜곡중심 보정 방법 | |
CN110555885A (zh) | 一种车载相机的标定方法、装置及终端 | |
JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
CN113674361B (zh) | 一种车载环视校准实现方法及*** | |
CN115346191A (zh) | 用于校准的方法和设备 | |
EP3227827B1 (en) | Driver assistance system, motor vehicle and method for classifying a flow vector | |
JP5176523B2 (ja) | 移動体検出装置、移動体検出方法および移動体検出プログラム | |
KR101531313B1 (ko) | 차량 하부의 물체 탐지장치 및 방법 | |
JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
JP2019091327A (ja) | 立体物検出装置 | |
US20230154022A1 (en) | Method for determining coordinates of a point of an element of interest in the real world based on coordinates of said point in an image | |
CN113544742B (zh) | 泊车辅助*** | |
WO2006123438A1 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6979229 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |