JP6605615B2 - 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法 - Google Patents
画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法 Download PDFInfo
- Publication number
- JP6605615B2 JP6605615B2 JP2017542753A JP2017542753A JP6605615B2 JP 6605615 B2 JP6605615 B2 JP 6605615B2 JP 2017542753 A JP2017542753 A JP 2017542753A JP 2017542753 A JP2017542753 A JP 2017542753A JP 6605615 B2 JP6605615 B2 JP 6605615B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- captured image
- face
- image
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 110
- 238000012545 processing Methods 0.000 title claims description 81
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000008859 change Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 35
- 230000007423 decrease Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 35
- 238000005286 illumination Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Description
11 照明装置
12 第1撮像装置
13 第2撮像装置
14 画像処理装置
15 表示装置
16 ネットワーク
17 車両
18 ダッシュボード
19 対象者
20 光源
21 照明光学系
22 照明装置通信部
23 照明装置制御部
24 第1撮像光学系
25 第1撮像素子
26 第1AFE
27 第1画像処理部
28 第1通信部
29 第1カメラ制御部
30 第2撮像光学系
31 第2撮像素子
32 第2AFE
33 第2画像処理部
34 第2通信部
35 第2カメラ制御部
36 通信部
37 記憶部
38 制御部
39 表示装置通信部
40 表示部
41 光学部材
42 第2撮像画像
43 特定領域
44 第1方向の成分
45 第2方向の成分
46 インパネル
Claims (11)
- 移動体内の対象者の顔を撮像した第1撮像画像を受信する通信部と、
前記第1撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第1撮像画像上または前記第1撮像画像とは異なる第2撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、
を備える、画像処理装置であって、
前記制御部は前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第1撮像画像または前記第2撮像画像から前記特定領域として切り出して表示させ、
前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、
画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記通信部は、前記特定領域を示す情報、または、前記第1撮像画像もしくは前記第2撮像画像の前記特定領域を切り出した画像を出力する、画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記制御部は、前記移動体における前記対象者の顔の位置の変化分が、前記対象者の顔から前記移動体に備えられる表示装置へ向かう第1方向の成分を有する場合、前記特定領域の大きさを大きくまたは小さくする、画像処理装置。 - 請求項1乃至3の何れか一項に記載の画像処理装置であって、
前記制御部は、前記移動体における前記対象者の顔の位置の変化分が、前記対象者の顔から前記移動体に備えられる表示装置へ向かう第1方向に垂直な第2方向の成分を有する場合、該第2方向と略同一の方向または略逆向きの方向に向かって、前記特定領域の位置を変化させる、画像処理装置。 - 請求項1乃至4の何れか一項に記載の画像処理装置であって、
前記制御部は、前記移動体における前記対象者の顔の向きが、顔の正面に向かって上下左右に変化した第3方向と略同一の方向または略逆向きの方向に向かって、前記特定領域の位置を変化させる、画像処理装置。 - 請求項1乃至4の何れか一項に記載の画像処理装置であって、
前記制御部は、前記移動体における前記対象者の顔の向きが所定方向と異なる場合、該所定方向から前記対象者の顔の向きへ向かう第4方向と略同一の方向または略逆向きの方向に向かって、前記特定領域の位置を変化させる画像処理装置。 - 請求項1乃至6の何れか一項に記載の画像処理装置であって、
前記第2撮像画像は、前記移動体の外部空間における領域を撮像した撮像画像である、画像処理装置。 - 移動体の外部空間における領域を撮像した撮像画像を生成する撮像部と、
前記移動体内の対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、を示す情報を取得する通信部と、
取得された前記情報に基づいて、前記撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、
を備える、撮像装置であって、
前記制御部は前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記撮像画像から前記特定領域として切り出して表示させ、
前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、
撮像装置。 - 移動体内の対象者の顔を撮像した第1撮像画像を生成する撮像部と、
前記第1撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第1撮像画像上または前記第1撮像画像とは異なる第2撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、
前記第2撮像画像の前記特定領域を示す情報、または、前記第1撮像画像の前記特定領域を切り出した画像を出力する通信部と、
を備える、撮像装置であって、
前記制御部は前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第1撮像画像または前記第2撮像画像から前記特定領域として切り出して表示させ、
前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、撮像装置。 - 移動体内の対象者の顔を撮像した第1撮像画像を受信する通信部と、前記第1撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第1撮像画像上または前記第1撮像画像とは異なる第2撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させる制御部と、を含む画像処理装置と、
前記移動体の従来ルームミラーが設けられる位置に備えられ、前記第1撮像画像または前記第2撮像画像の前記特定領域を切り出した画像を表示する表示装置と、
を備える、カメラモニタシステムであって、
前記制御部は、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第1撮像画像上または前記第2撮像画像上の前記特定領域とし、
前記制御部は、前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させる、カメラモニタシステム。 - 移動体内の対象者の顔を撮像した第1撮像画像を受信するステップと、
前記第1撮像画像に基づいて判定される前記対象者の顔の位置および向きの少なくとも一方と、前記対象者の視線の向きと、に応じて、前記第1撮像画像上または前記第1撮像画像とは異なる第2撮像画像上の特定領域の位置および大きさの少なくとも一方を変化させるステップと、
前記移動体の従来ルームミラーが設けられる位置に備えられる表示装置に、ルームミラーが存在した場合に該ルームミラーにより前記対象者に視認されるべき画像を、前記第1撮像画像または前記第2撮像画像から前記特定領域として切り出して表示させるステップと、
前記対象者の視線が前記移動体に備えられる表示装置に向いている場合に、前記対象者の顔の位置および向きの少なくとも一方の変化に応じて、前記特定領域の位置および大きさの少なくとも一方を変化させ、前記対象者の視線が前記移動体に備えられる表示装置に向いていない場合、前記特定領域の位置および大きさの変化を停止させるステップと、
を含む、画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015190434 | 2015-09-28 | ||
JP2015190434 | 2015-09-28 | ||
PCT/JP2016/004379 WO2017056495A1 (ja) | 2015-09-28 | 2016-09-28 | 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017056495A1 JPWO2017056495A1 (ja) | 2018-03-01 |
JP6605615B2 true JP6605615B2 (ja) | 2019-11-13 |
Family
ID=58423249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017542753A Active JP6605615B2 (ja) | 2015-09-28 | 2016-09-28 | 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10503989B2 (ja) |
EP (1) | EP3358839A4 (ja) |
JP (1) | JP6605615B2 (ja) |
WO (1) | WO2017056495A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107462989A (zh) * | 2016-06-06 | 2017-12-12 | 华硕电脑股份有限公司 | 影像稳定方法与电子装置 |
DE102016007522B4 (de) * | 2016-06-20 | 2022-07-07 | Mekra Lang Gmbh & Co. Kg | Spiegelersatzsystem für ein Fahrzeug |
EP3896963A4 (en) * | 2018-12-11 | 2022-01-19 | Sony Group Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM |
US11603043B2 (en) | 2018-12-11 | 2023-03-14 | Sony Group Corporation | Image processing apparatus, image processing method, and image processing system |
CN112861575A (zh) * | 2019-11-27 | 2021-05-28 | 中兴通讯股份有限公司 | 一种行人结构化方法、装置、设备和存储介质 |
US11505123B2 (en) | 2019-12-02 | 2022-11-22 | Magna Electronics Inc. | Vehicular camera monitoring system with stereographic display |
CN111310661B (zh) * | 2020-02-17 | 2021-03-12 | 天目爱视(北京)科技有限公司 | 一种虹膜智能3d信息采集测量设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4323377B2 (ja) * | 2004-05-24 | 2009-09-02 | オリンパス株式会社 | 画像表示装置 |
JP2007096638A (ja) * | 2005-09-28 | 2007-04-12 | Nissan Motor Co Ltd | 車両周囲映像提供装置 |
US8179435B2 (en) * | 2005-09-28 | 2012-05-15 | Nissan Motor Co., Ltd. | Vehicle surroundings image providing system and method |
JP2008141578A (ja) * | 2006-12-04 | 2008-06-19 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP4866314B2 (ja) | 2007-08-06 | 2012-02-01 | パナソニック株式会社 | 電子ミラー電源制御システム |
JP5263519B2 (ja) * | 2008-11-14 | 2013-08-14 | アイシン・エィ・ダブリュ株式会社 | 表示制御システム、表示制御方法、及び表示制御プログラム |
JP2010179850A (ja) * | 2009-02-06 | 2010-08-19 | Toyota Motor Corp | 車両用表示装置 |
JP5310602B2 (ja) * | 2010-03-04 | 2013-10-09 | 株式会社デンソー | 車両用周辺監視システム |
JP5630518B2 (ja) * | 2012-03-14 | 2014-11-26 | 株式会社デンソー | 運転支援装置 |
JP6072470B2 (ja) | 2012-08-24 | 2017-02-01 | 京セラ株式会社 | 車載撮像システム |
US9635311B2 (en) * | 2013-09-24 | 2017-04-25 | Sharp Kabushiki Kaisha | Image display apparatus and image processing device |
-
2016
- 2016-09-28 US US15/763,321 patent/US10503989B2/en active Active
- 2016-09-28 JP JP2017542753A patent/JP6605615B2/ja active Active
- 2016-09-28 EP EP16850673.1A patent/EP3358839A4/en not_active Ceased
- 2016-09-28 WO PCT/JP2016/004379 patent/WO2017056495A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2017056495A1 (ja) | 2017-04-06 |
JPWO2017056495A1 (ja) | 2018-03-01 |
US20180285666A1 (en) | 2018-10-04 |
EP3358839A4 (en) | 2019-05-22 |
US10503989B2 (en) | 2019-12-10 |
EP3358839A1 (en) | 2018-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6605615B2 (ja) | 画像処理装置、撮像装置、カメラモニタシステム、および画像処理方法 | |
JP5549721B2 (ja) | ドライバモニタ装置 | |
JP6089957B2 (ja) | 灯火制御装置 | |
EP1908396A1 (en) | Illumination and imaging system with glare reduction and method therefor | |
JP4481187B2 (ja) | 車両用操作装置 | |
JP5093611B2 (ja) | 車両周辺確認装置 | |
JP2009276849A (ja) | 運転者撮像装置および運転者撮像方法 | |
JP2018043643A (ja) | 車両用視認装置 | |
JP2008094221A (ja) | 目状態検出装置および目状態検出装置の取り付け方法 | |
US20190073546A1 (en) | Driver state recognition apparatus, driver state recognition system, and driver state recognition method | |
WO2014103223A1 (ja) | 暗視装置 | |
US11936979B2 (en) | Imaging device | |
JP2017202741A (ja) | 車両用視認装置 | |
JP2006044596A (ja) | 車両用表示装置 | |
US10304312B2 (en) | Imaging apparatus, imaging system, target person monitoring system and control method of imaging apparatus | |
CN109415020B (zh) | 辉度控制装置、辉度控制***以及辉度控制方法 | |
JP2018022958A (ja) | 車両用表示制御装置及び車両用モニタシステム | |
JP2011087006A (ja) | 車両用表示装置 | |
JP5949509B2 (ja) | 相互認識通知システム、および相互認識通知装置 | |
JP2013103530A (ja) | 状態監視装置 | |
JP2012126357A (ja) | 車内状況表示装置 | |
US11810372B2 (en) | Multiple in-cabin cameras and lighting sources for driver monitoring | |
KR101533285B1 (ko) | 어두운 환경에서 위험을 감지하기 위한 적외선 영상을 촬영하여 표시하는 차량 안전 시스템 및 적외선 영상 촬영방법 | |
JP2006327526A (ja) | 車載機器の操作装置 | |
WO2020179656A1 (ja) | 運転者監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6605615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |