JP6401733B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP6401733B2
JP6401733B2 JP2016081949A JP2016081949A JP6401733B2 JP 6401733 B2 JP6401733 B2 JP 6401733B2 JP 2016081949 A JP2016081949 A JP 2016081949A JP 2016081949 A JP2016081949 A JP 2016081949A JP 6401733 B2 JP6401733 B2 JP 6401733B2
Authority
JP
Japan
Prior art keywords
image
captured image
area
display
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016081949A
Other languages
English (en)
Other versions
JP2017192089A (ja
Inventor
潤一郎 尾中
潤一郎 尾中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016081949A priority Critical patent/JP6401733B2/ja
Priority to CN201710157018.6A priority patent/CN107298050B/zh
Priority to US15/487,762 priority patent/US10363876B2/en
Publication of JP2017192089A publication Critical patent/JP2017192089A/ja
Application granted granted Critical
Publication of JP6401733B2 publication Critical patent/JP6401733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/777—Instrument locations other than the dashboard on or in sun visors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラの撮像画像を表示する画像表示装置に関する。
特許文献１では、バックミラーの使用感に近い車両周囲確認用モニタ装置を提供することを目的としている（［０００７］、要約）。当該目的を達成するため、特許文献１（要約）では、車両後方を撮像するバックカメラ１１で撮像された入力画像Ｖｏを処理する画像処理手段１４と、処理された出力画像Ｖａ，Ｖｂを表示する画像表示手段１２と、運転者Ｄ（Ｄａ，Ｄｂ）の頭部の相対的位置を検出する姿勢検出手段１３とを設ける。画像処理手段１４は、姿勢検出手段１３が検出した運転者頭部の相対的位置に基づいて、入力画像Ｖｏの全撮像範囲から一部を切り出して出力画像Ｖａ，Ｖｂとする処理を実行可能である。加えて、画像処理手段１４は、姿勢検出手段１３に検出される運転者頭部の相対的位置の変位量に応じて、その変位方向と逆方向に入力画像Ｖｏの切出し範囲（Ｖａ，Ｖｂ）を移動させる処理を実行可能である。
特開２０１３−２１６２８６号公報
上記のように、特許文献１では、従来のバックミラー（ルームミラー）に代わる画像表示手段１２（電子ルームミラー）にカメラ画像（周囲画像）を表示することが開示されている（要約）。しかしながら、特許文献１では、画像表示手段１２にカメラ画像以外の別画像をカメラ画像と同時に表示することについて検討されていない。ルームミラー以外の表示装置においても同様の課題があるものと考えられる。
本発明は上記のような課題を考慮してなされたものであり、車両の周囲画像等の撮像画像と別画像を同時に表示する場合にユーザの利便性を向上可能な画像表示装置を提供することを目的とする。
本発明に係る画像表示装置は、カメラの撮像画像を表示部に表示させる画像制御部を有するものであって、
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記兼用領域に前記撮像画像専用領域と連続した前記撮像画像を表示する際、前記表示画面における前記撮像画像専用領域の位置を固定し、
前記画像制御部は、
前記兼用領域に前記撮像画像を表示している状態で前記兼用領域に前記別画像を表示させる際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記撮像画像の表示範囲を前記兼用領域の側端部から前記撮像画像専用領域に向かって減少させながら前記別画像をフェードインさせる、又は、
前記兼用領域に前記別画像を表示している状態で前記別画像の表示を終了する際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記別画像を前記撮像画像専用領域から前記兼用領域の前記側端部に向かってフェードアウトさせながら、前記撮像画像の表示範囲を拡張する
ことを特徴とする。
本発明によれば、撮像画像専用領域に加え、兼用領域を設ける。このため、車両の周囲画像等の撮像画像と同時に別画像を表示することで、撮像画像の利用に関するユーザの利便性を向上することが可能となる。
また、本発明では、表示画面における撮像画像専用領域の位置を固定する。このため、別画像の表示を開始又は終了する場合でも、表示画面における撮像画像専用領域の位置は変化しない。従って、別画像の表示の開始又は終了に伴って撮像画像の表示範囲が変化する場合にユーザが受ける違和感又は認知負荷を低減することが可能となる。よって、車両の周囲画像等の撮像画像と別画像を同時に表示する場合にユーザの利便性を向上可能となる。
また、本発明では、前記兼用領域に前記撮像画像を表示している状態で前記兼用領域に前記別画像を表示させる際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記撮像画像の表示範囲を前記兼用領域の側端部から前記撮像画像専用領域に向かって減少させながら前記別画像をフェードインさせる。また、本発明では、前記兼用領域に前記別画像を表示している状態で前記別画像の表示を終了する際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記別画像を前記撮像画像専用領域から前記兼用領域の前記側端部に向かってフェードアウトさせながら、前記撮像画像の表示範囲を拡張する。
これにより、ユーザは、兼用領域における撮像画像と別画像の切り替わりを直感的に理解し易くなる。加えて、兼用領域において撮像画像と別画像とが切り替わる場合でも、撮像画像専用領域は固定されたままであるため、ユーザの違和感又は認知負荷を低減することができる。
また、本発明では、前記兼用領域に前記別画像を表示している状態で前記兼用領域に対応する前記撮像画像内に前記ユーザが注意すべき注意対象物体が存在する場合、前記注意対象物体の存在に関する通知を前記表示部の前記兼用領域と前記撮像画像専用領域との間に表示させる。また、本発明では、前記通知の表示開始後に前記ユーザが所定の操作を行ったことを契機として、前記画像制御部は、前記兼用領域において前記別画像の代わりに前記撮像画像を表示させる。
これにより、別画像を表示している状態であっても、兼用領域内の注意対象物体をユーザに通知することが可能となる。加えて、ユーザが所定の操作を行うまでは別画像から撮像画像への切替えを保留する。このため、別画像から撮像画像への切替えが、ユーザの意図に反して行われた場合にユーザが感じ得る違和感又は認知負荷を低減することが可能となる。
前記通知の表示開始後に前記ユーザが前記所定の操作を行ったことを契機として前記別画像から前記撮像画像への切替えを行った場合、前記画像制御部は、前記撮像画像における前記注意対象物体を強調表示してもよい。これにより、ユーザは、いずれの物体が注意対象物体であるかを容易に認識することが可能となる。
前記表示部は、ユーザの前方且つ上方に配置された車両の電子ルームミラーを構成してもよい。また、前記撮像画像は、前記車両の後方画像を含んでもよい。前記画像制御部は、前記車両が前方走行中又は前進モードであるとき、前記兼用領域における前記後方画像と前記別画像との切替えを許容すると共に、前記撮像画像専用領域の位置を固定してもよい。
これにより、車両が前方走行中又は前進モードであるときに、撮像画像専用領域の位置を固定することでユーザ（運転者）の違和感又は認知負荷を低減しつつ、後方画像と別画像との切替えを許容することでユーザの利便性を高めることが可能となる。
本発明に係る画像表示装置は、カメラの撮像画像を表示部に表示させる画像制御部を有するものであって、
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記撮像画像専用領域に対応する前記撮像画像内に所定の対象が存在する場合、横方向における前記所定の対象の位置の変化を抑制するように、前記表示画面の前記撮像画像専用領域に表示される画像を抽出する
ことを特徴とする。
本発明によれば、撮像画像専用領域に加え、兼用領域を設ける。このため、車両の周囲画像等の撮像画像と同時に別画像を表示することで、撮像画像の利用に関するユーザの利便性を向上することが可能となる。
また、本発明では、撮像画像専用領域に対応する撮像画像内に所定の対象が存在する場合、横方向における前記所定の対象の位置の変化を抑制するように、前記表示画面の前記撮像画像専用領域に表示される画像を抽出する。このため、横方向における画像表示装置又は所定の対象のふらつきがあっても、表示画面における所定の対象の位置の変化が小さくなる。従って、所定の対象に対するユーザの認知負荷を低減することが可能となる。加えて、別画像の表示の開始又は終了に伴って撮像画像の表示範囲が変化する場合にユーザが受ける違和感又は認知負荷を低減することが可能となる。
本発明によれば、車両の周囲画像等の撮像画像と別画像を同時に表示する場合にユーザの利便性を向上可能となる。
本発明の一実施形態に係る画像表示装置を搭載した車両の概略構成図である。 図２Ａは、前記実施形態における別画像表示モードにおける表示画面の一例を示す図であり、図２Ｂは、前記実施形態における周囲画像専用表示モードにおける表示画面の一例を示す図である。 前記実施形態におけるミラー表示制御の第１フローチャートである。 前記実施形態におけるミラー表示制御の第２フローチャートである。 図５Ａ、図５Ｂ及び図５Ｃは、前記実施形態のモード切替処理における表示画面の第１例〜第３例を示す図である。 前記実施形態における注意対象物体通知処理（図３のＳ１７の詳細）のフローチャートである。 図７Ａ、図７Ｂ及び図７Ｃは、前記実施形態の注意対象物体通知処理における表示画面の第１例〜第３例を示す図である。 変形例に係る抽出範囲設定制御のフローチャートである。 図９Ａは、前記変形例における別画像表示モードにおける表示画面の一例を示す図であり、図９Ｂは、前記変形例における周囲画像専用表示モードにおける表示画面の一例を示す図である。
Ａ．一実施形態
＜Ａ−１．構成＞
［Ａ−１−１．全体構成］
図１は、本発明の一実施形態に係る画像表示装置１２を搭載した車両１０の概略構成図である。図１に示すように、画像表示装置１２は、後方カメラ２０と、側方カメラ２２ａ、２２ｂと、運転者カメラ２４と、後席カメラ２６と、操作入力装置２８と、シフト位置センサ３０と、電子ルームミラー３２と、電子制御装置３４（以下「ＥＣＵ３４」という。）とを有する。本実施形態の車両１０は、右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。以下では、後方カメラ２０、側方カメラ２２ａ、２２ｂ、運転者カメラ２４及び後席カメラ２６をカメラ２０、カメラ２２ａ、２２ｂ、２４、２６ともいう。
［Ａ−１−２．後方カメラ２０］
後方カメラ２０は、車両１０後方の画像（以下「後方画像Ｉｒｒ」という。）を撮像するカラーカメラである。後方画像Ｉｒｒは、車両１０が後退する際に電子ルームミラー３２に表示されて運転者の操作を補助すると共に、車両１０の通常走行時に車両１０の後方を運転者が確認するためのものである。
後方カメラ２０は、車両１０の後部において車両１０の後方を向いて配置される。より具体的には、後方カメラ２０は、例えばリアバンパに配置される。或いは、後方カメラ２０は、車室内においてリアウィンドウの近傍（例えばルーフ）に配置されてもよい。後方カメラ２０が撮像した後方画像Ｉｒｒのデータは、ＥＣＵ３４に出力される。
［Ａ−１−３．側方カメラ２２ａ、２２ｂ］
側方カメラ２２ａ、２２ｂは、車両１０側方の画像（以下「側方画像Ｉｓｄ」という。）を撮像するカラーカメラである。側方カメラ２２ａ（以下「左側方カメラ２２ａ」ともいう。）は、車両１０の左側方の画像（以下「左側方画像Ｉｌｔ」という。）を撮像する。側方カメラ２２ｂ（以下「右側方カメラ２２ｂ」ともいう。）は、車両１０の右側方の画像（以下「右側方画像Ｉｒｔ」という。）を撮像する。側方画像Ｉｓｄは、車両１０の通常走行時又は後退時に車両１０の側方（後側方を含む。）を運転者が確認するためのものである。
側方カメラ２２ａ、２２ｂは、車両１０の側部（例えばサイドミラー）において車両１０の後側方を向いて配置される。側方カメラ２２ａ、２２ｂが撮像した側方画像Ｉｓｄのデータは、ＥＣＵ３４に出力される。
［Ａ−１−４．運転者カメラ２４］
運転者カメラ２４は、運転者の略正面の画像（以下「運転者画像Ｉｄｒ」という。）を撮像するカラーカメラである。運転者画像Ｉｄｒは、例えば、特許文献１と同様に、運転者の動きを操作入力として処理するために用いられる。運転者カメラ２４は、運転席（図示せず）の前方（例えば電子ルームミラー３２の近傍）において運転席側を向いて配置される。運転者カメラ２４が撮像した運転者画像Ｉｄｒのデータは、ＥＣＵ３４に出力される。
［Ａ−１−５．後席カメラ２６］
後席カメラ２６は、後席（図示せず）の略正面の画像（以下「後席画像Ｉｒｓ」という。）を撮像するカラーカメラである。後席画像Ｉｒｓは、後席に座っている同乗者を映し出すものである。後席カメラ２６は、後席の前方且つ上方において後席側を向いて配置される。後席カメラ２６が撮像した後席画像Ｉｒｓのデータは、ＥＣＵ３４に出力される。
［Ａ−１−６．操作入力装置２８］
操作入力装置２８は、電子ルームミラー３２（後述する表示部５０）の表示に関してユーザ（運転者等）が所定の指令を入力するものであり、例えば、操作ボタン又はタッチパネルから構成される。ここでの指令には、後述する表示モードの切替指令等が含まれる。操作入力装置２８は、入力された指令を示す指令信号ＳｕをＥＣＵ３４に出力する。
［Ａ−１−７．シフト位置センサ３０］
シフト位置センサ３０は、図示しないシフトレバーの位置（以下「シフト位置Ｐｓ」という。）を検出してＥＣＵ３４に出力する。
［Ａ−１−８．電子ルームミラー３２］
電子ルームミラー３２（以下「電子ミラー３２」又は「ミラー３２」ともいう。）は、車室内において、運転者の前方且つ上方に配置される。より具体的には、ミラー３２は、運転者（乗員）から見てフロントウィンドウ（図示せず）の上部の手前（車両１０の進行方向後ろ側）に配置される。ミラー３２は、車両１０の周囲画像Ｉｓｒを表示する表示部５０（図１）を備える。ここでの周囲画像Ｉｓｒは、例えば後方画像Ｉｒｒのみ又は後方画像Ｉｒｒ及び側方画像Ｉｓｄの組合せから生成される。このため、運転者は、ミラー３２の表示部５０を介して車両１０の後方及び／又は側方の様子を確認することができる。
本実施形態において、表示部５０は、例えば液晶パネル、有機エレクトロルミネッセンス（ＥＬ）等の表示パネルから構成される。或いは、表示部５０は、図示しないプロジェクタの投影画像が投影される投影部であってもよい。
なお、上記のように、後方カメラ２０及び側方カメラ２２ａ、２２ｂは車両１０の外側を向いている。このため、後方画像Ｉｒｒ及び側方画像Ｉｓｄは、車両１０の内部の画像が含まれない。従って、通常の使用状態において、ミラー３２の表示部５０には、車両１０の内部が表示されない。よって、表示部５０に映し出される画像（周囲画像Ｉｓｒ）は、通常のルームミラー（表面が鏡面加工されているもの）に映し出される像と異なる。
また、図示しないミラー位置調整機構（以下「調整機構」ともいう。）を設け、運転者の操作によりミラー３２の位置Ｐ（以下「ミラー位置Ｐｍｒ」という。）を調整可能としてもよい。調整機構は、例えば傾斜角調整機構及び回転角機構を有する。傾斜角調整機構は、車両１０の左右方向（幅方向）、上下方向及び前後方向におけるミラー３２の傾斜角を調整する機構である。回転角調整機構は、ミラー３２の回転角を調整する機構である。傾斜角調整機構及び回転角調整機構は、例えばボールジョイントにより構成される。或いは、調整機構は、ミラー位置Ｐｍｒを３次元的に且つ直線的に変位させる機構（例えばスライダ機構）を有するものであってもよい。
［Ａ−１−９．ＥＣＵ３４］
（Ａ−１−９−１．ＥＣＵ３４の概要）
ＥＣＵ３４は、ミラー３２の表示部５０に映し出す画像を制御するものであり、入出力部７０、演算部７２及び記憶部７４を備える。入出力部７０は信号の入出力を行う。入出力部７０には、アナログ／デジタル変換器及びデジタル／アナログ変換器を含むことができる。演算部７２は、記憶部７４に記憶されたプログラム及びデータを用いて各種の制御を実行する。演算部７２は、中央演算装置（ＣＰＵ）を含む。演算部７２の詳細は後述する。
記憶部７４は、演算部７２が用いるプログラム及びデータを記憶するものであり、ランダム・アクセス・メモリ（以下「ＲＡＭ」という。）を備える。ＲＡＭとしては、レジスタ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリとを用いることができる。また、記憶部７４は、ＲＡＭに加え、リード・オンリー・メモリ（以下「ＲＯＭ」という。）を有してもよい。
（Ａ−１−９−２．演算部７２）
図１に示すように、演算部７２は、画像認識部８０と、画像制御部８２とを有する。
画像認識部８０は、パターンマッチングを用いて周囲画像Ｉｓｒにおける特定の対象（後述する注意対象物体Ｏｔ等）を認識又は検出する。
画像制御部８２は、カメラ２０、２２ａ、２２ｂ、２４、２６が撮像した画像（以下「撮像画像Ｉｃｐ」ともいう。）を用いて表示部５０に表示する周囲画像Ｉｓｒを制御する。以下では、後方カメラ２０、側方カメラ２２ａ、２２ｂ、運転者カメラ２４及び後席カメラ２６の撮像画像Ｉｃｐをそれぞれ撮像画像Ｉｒｒ、Ｉｌｔ、Ｉｒｔ、Ｉｄｒ、Ｉｒｓともいう。画像制御部８２は、所定の抽出範囲Ｒｓｂを用いて撮像画像Ｉｃｐの一部を抽出して周囲画像Ｉｓｒとして表示部５０に表示させる。
＜Ａ−２．ミラー表示制御＞
次に、本実施形態におけるミラー表示制御について説明する。ミラー表示制御は、ルームミラー３２の表示に関する制御であり、ＥＣＵ３４が実行する。
［Ａ−２−１．電子ルームミラー３２(表示部５０)の表示モード］
本実施形態のミラー表示制御では、ミラー３２（又は表示部５０）の表示モードとして、別画像表示モードと周囲画像専用表示モードを用いる。別画像表示モードは、周囲画像Ｉｓｒと別画像Ｉａの両方を表示部５０に表示するモードである。周囲画像専用表示モードは、周囲画像Ｉｓｒのみを表示部５０に表示するモードである。
図２Ａは、本実施形態における別画像表示モードにおける表示画面１００の一例を示す。図２Ｂは、本実施形態における周囲画像専用表示モードにおける表示画面１０２の一例を示す。以下では、図２Ａにおける別画像表示モードの表示画面１００を表示画面１００ａともいい、図２Ｂにおける周囲画像専用表示モードの表示画面１０２を表示画面１０２ａともいう。図２Ａ及び図２Ｂにおける一点鎖線は、仮想線又は想像線であり、実際の表示画面１００、１０２には表示されない。
図２Ａ及び図２Ｂに示すように、本実施形態の表示部５０の表示画面１００、１０２は、周囲画像専用領域１１０（以下「専用領域１１０」ともいう。）と、兼用領域１１２ａ、１１２ｂとを有する。専用領域１１０は、表示部５０に周囲画像Ｉｓｒが表示される場合、常に周囲画像Ｉｓｒのみを表示する領域である。兼用領域１１２ａ、１１２ｂは、表示部５０に周囲画像Ｉｓｒが表示される場合、周囲画像Ｉｓｒ又は周囲画像Ｉｓｒ以外の別画像Ｉａを選択して表示する領域である。以下では、兼用領域１１２ａ、１１２ｂを兼用領域１１２と総称する。
別画像表示モードの表示画面１００では、原則として、兼用領域１１２には別画像Ｉａが表示される。ここにいう別画像Ｉａは、例えば、現時刻表示画像、後席画像Ｉｒｓ、オーディオ機器操作画像等とすることができる（図２Ａ等では具体的な内容の図示を省略している。）。専用領域１１０に後方画像Ｉｒｒのみを表示する場合、側方画像Ｉｓｄを別画像Ｉａとして兼用領域１１２ａ、１１２ｂに表示してもよい。
また、周囲画像専用表示モードの表示画面１０２では、専用領域１１０に加え、兼用領域１１２ａ、１１２ｂにも周囲画像Ｉｓｒが表示される。ここでの周囲画像Ｉｓｒは、例えば、後方画像Ｉｒｒ及び側方画像Ｉｓｄを合成したものとする。或いは、後方画像Ｉｒｒのみを周囲画像Ｉｓｒとして専用領域１１０及び兼用領域１１２ａ、１１２ｂに表示してもよい。
図２Ａ及び図２Ｂに示すように、表示画面１００、１０２のいずれにおいても、周囲画像専用領域１１０の位置は固定される。
［Ａ−２−２．ミラー表示制御の全体的な流れ］
図３及び図４は、本実施形態におけるミラー表示制御の第１及び第２フローチャートである。図３のステップＳ１１において、ＥＣＵ３４は、シフト位置Ｐｓが後退（Ｒ）以外であるか否かを判定する。Ｒ以外のシフト位置Ｐｓには、例えば、前進モード（Ｄ）、ニュートラルモード（Ｎ）がある。
シフト位置ＰｓがＲである場合（Ｓ１１：ＮＯ）、ＥＣＵ３４は、Ｒに対応した表示を行う。なお、図３では、Ｒに対応したステップの図示を省略している。また、ステップＳ１１を省略して、シフト位置ＰｓがＲであるか否かにかかわらず、ミラー表示制御を実行してもよい。シフト位置ＰｓがＲ以外である場合（Ｓ１１：ＹＥＳ）、ステップＳ１２において、ミラー３２（又は表示部５０）の表示モードが別画像表示モードであるか否かを判定する。別画像表示モードである場合（Ｓ１２：ＹＥＳ）、ステップＳ１３において、ＥＣＵ３４は、別画像表示モードを維持するか否か、換言すると、この時点で、操作入力装置２８を介して表示モードの切替指令が入力されていないか否かを判定する。
別画像表示モードが維持されている場合（Ｓ１３：ＹＥＳ）、ステップＳ１４において、ＥＣＵ３４は、撮像画像Ｉｃｐから周囲画像Ｉｓｒを抽出する。上記のように、別画像表示モードでは、原則として周囲画像専用領域１１０にのみ周囲画像Ｉｓｒが表示される。また、表示画面１００において専用領域１１０の位置は固定される（図２Ａ）。このため、ステップＳ１４で用いる抽出範囲Ｒｓｂは専用領域１１０に応じて固定されている。
ステップＳ１５において、ＥＣＵ３４は、ステップＳ１４で抽出した周囲画像Ｉｓｒを表示部５０の専用領域１１０に表示させる。ステップＳ１６において、ＥＣＵ３４は、表示部５０の兼用領域１１２に別画像Ｉａを表示させる。
ステップＳ１７において、ＥＣＵ３４は、注意対象物体通知処理を行う。注意対象物体通知処理は、運転者が注意すべき物体（以下「注意対象物体Ｏｔ」という。）を運転者に通知する処理である。注意対象物体通知処理の詳細は、図６を参照して後述する。
図３のステップＳ１３に戻り、別画像表示モードを維持しない場合（Ｓ１３：ＮＯ）、換言すると、操作入力装置２８を介して表示モードの切替指令が入力された場合、ステップＳ１８に進む。ステップＳ１８において、ＥＣＵ３４は、別画像表示モードから周囲画像専用表示モードに切り替えるモード切替処理（第１モード切替処理）を実行する。第１モード切替処理の結果、ＥＣＵ３４は、表示モードとして周囲画像専用表示モードを選択する。
図５Ａ、図５Ｂ及び図５Ｃは、本実施形態のモード切替処理における表示画面１００の第１例〜第３例を示す図である。図５Ａ、図５Ｂ及び図５Ｃの表示画面１００は、別画像表示モードにおける表示画面として位置付けられる。以下では、図５Ａ、図５Ｂ及び図５Ｃにおける別画像表示モードの表示画面１００を表示画面１００ｂ、１００ｃ、１００ｄともいう。図５Ａの表示画面１００ｂは、図２Ａの表示画面１００ａと同じである。
図５Ａ、図５Ｂ及び図５Ｃに示すように、モード切替処理では、兼用領域１１２ａ、１１２ｂにおいて、専用領域１１０から兼用領域１１２ａ、１１２ｂに向かって周囲画像Ｉｓｒの表示範囲を徐々に増加（フェードイン）させていく。その一方、別画像Ｉａの表示範囲については徐々に減少（フェードアウト）させていく。兼用領域１１２ａ、１１２ｂにおいて、周囲画像Ｉｓｒと別画像Ｉａを切り替える際、専用領域１１０に表示する周囲画像Ｉｓｒの抽出範囲Ｒｓｂ及び表示倍率は変更されない。
図３のステップＳ１２に戻り、表示モードが別画像表示モードでない場合（Ｓ１２：ＮＯ）、換言すると、周囲画像専用表示モードである場合、図４のステップＳ１９に進む。
図４のステップＳ１９において、ＥＣＵ３４は、周囲画像専用表示モードを維持するか否か、換言すると、この時点で、操作入力装置２８を介して表示モードの切替指令が入力されていないか否かを判定する。
周囲画像専用表示モードが維持されている場合（Ｓ１９：ＹＥＳ）、ステップＳ２０において、ＥＣＵ３４は、撮像画像Ｉｃｐから周囲画像Ｉｓｒを抽出する。上記のように、周囲画像専用表示モードでは、周囲画像専用領域１１０及び兼用領域１１２ａ、１１２ｂに周囲画像Ｉｓｒが表示される（図２Ｂ）。このため、ステップＳ２０で用いる抽出範囲Ｒｓｂは専用領域１１０及び兼用領域１１２ａ、１１２ｂに応じて固定されている。
ステップＳ２１において、ＥＣＵ３４は、ステップＳ２０で抽出した周囲画像Ｉｓｒを表示部５０の専用領域１１０及び兼用領域１１２ａ、１１２ｂに表示させる。ステップＳ２２において、ＥＣＵ３４は、注意対象物体通知処理を行う。ステップＳ２２の注意対象物体通知処理は、ステップＳ１７の注意対象物体通知処理（図６）の一部と同等のものであり、詳細は後述する。
図４のステップＳ１９に戻り、周囲画像専用表示モードを維持しない場合（Ｓ１９：ＮＯ）、換言すると、操作入力装置２８を介して表示モードの切替指令が入力された場合、ステップＳ２３に進む。ステップＳ２３において、ＥＣＵ３４は、周囲画像専用表示モードから別画像表示モードに切り替えるモード切替処理（第２モード切替処理）を実行する。第２モード切替処理の結果、ＥＣＵ３４は、表示モードとして別画像表示モードを選択する。
周囲画像専用表示モードから別画像表示モードへの切替えは、別画像表示モードから周囲画像専用表示モードへの切替え（図５Ａ、図５Ｂ及び図５Ｃ）と反対の動きをする。すなわち、周囲画像専用表示モードから別画像表示モードへ切り替える場合、兼用領域１１２ａ、１１２ｂにおいて別画像Ｉａの表示範囲を専用領域１１０に向かって徐々に増加（フェードイン）させていく。その一方、周囲画像Ｉｓｒの表示範囲については徐々に減少（フェードアウト）させていく。従って、図５Ｃ、図５Ｂ、図５Ａの順に変化していく。
［Ａ−２−３．注意対象物体通知処理］
図６は、本実施形態における注意対象物体通知処理（図３のＳ１７の詳細）のフローチャートである。図７Ａ、図７Ｂ及び図７Ｃは、本実施形態の注意対象物体通知処理における表示画面１００の第１例〜第３例を示す図である。図７Ａ、図７Ｂ及び図７Ｃの表示画面１００は、別画像表示モードにおける表示画面として位置付けられる。以下では、図７Ａ、図７Ｂ及び図７Ｃにおける別画像表示モードの表示画面１００を表示画面１００ｅ〜１００ｇともいう。図７Ａの表示画面１００ｅは、図２Ａ及び図５Ａの表示画面１００ａ、１００ｂと同じである。上記のように、図３のステップＳ１７は、別画像表示モードの選択中における処理である。
図６のステップＳ３１において、ＥＣＵ３４は、兼用領域１１２に注意対象物体Ｏｔが存在するか否かを判定する。注意対象物体Ｏｔは、運転者が注意すべき物体である。注意対象物体Ｏｔは、例えば、車両１０（以下「自車１０」ともいう。）の走行レーン１５０に対して側道１５２から向かってくる周辺車両１５４（図７Ｃ）が該当する。
図７Ｃにおける周辺車両１５４は、四輪自動車であるが、自動二輪車、自転車等も含まれる。また、走行レーン１５０の近くに存在するヒトを注意対象物体Ｏｔとしてもよい。注意対象物体Ｏｔの認識又は検出は、画像認識部８０がパターンマッチングを用いて行う。
なお、上記のように、電子ミラー３２は、車両１０の後方画像Ｉｒｒを表示する。このため、基本的には、車両１０が後退している場合を除き、自車１０と周辺車両１５４が図７Ｃのような位置関係である場合、自車１０にとって周辺車両１５４の危険性は低いものとなる。しかしながら、電子ミラー３２には、側方画像Ｉｓｄも表示し得るため、自車１０の後側方において周辺車両１５４が自車１０に接近している場合、自車１０が前進又は停止している場合でも、後方の周辺車両１５４を通知することに有用性がある。
なお、周辺車両１５４を拡大して表示してしまうと、理解が困難となることから、図７Ｃでは、周辺車両１５４全体が表示される図としている。
なお、本実施形態では、専用領域１１０に注意対象物体Ｏｔが存在しても運転者に通知しない。これは、専用領域１１０には周囲画像Ｉｓｒが表示されており、運転者が既に気づいていると考えられるためである。或いは、専用領域１１０における注意対象物体Ｏｔを運転者に通知してもよい。
兼用領域１１２に注意対象物体Ｏｔが存在しないと判定した場合（Ｓ３１：ＮＯ）、今回の注意対象物体通知処理を終了する。兼用領域１１２に注意対象物体Ｏｔが存在すると判定した場合（Ｓ３１：ＹＥＳ）、ステップＳ３２に進む。
ステップＳ３２において、ＥＣＵ３４は、兼用領域１１２における注意対象物体Ｏｔの存在を知らせる通知１６０（図７Ｂ）を表示部５０に表示する。具体的には、図７Ｂに示すように、ＥＣＵ３４は、注意対象物体Ｏｔが存在する兼用領域１１２（ここでは兼用領域１１２ａ）と専用領域１１０との間において通知１６０を点滅させる。通知１６０は、運転者の注意を引く色（例えば、赤又は黄色）とされる。注意対象物体Ｏｔの存在を知らせるものであれば、通知１６０をその他の態様としてもよい。通知１６０の表示に加えて又はこれに代えて、図示しないスピーカを介して注意対象物体Ｏｔの存在を知らせる音（又は音声）を出力してもよい。
ステップＳ３３において、ＥＣＵ３４は、運転者から周囲画像拡張指令が操作入力装置２８を介して入力されたか否かを判定する。周囲画像拡張指令は、周囲画像Ｉｓｒの表示範囲を専用領域１１０から兼用領域１１２（ここでは注意対象物体Ｏｔが存在する側の兼用領域１１２ａ）に拡張することを求める指令である。
周囲画像拡張指令が入力されない場合（Ｓ３３：ＮＯ）、ステップＳ３１に戻る。周囲画像拡張指令が入力された場合（Ｓ３３：ＹＥＳ）、ステップＳ３４において、ＥＣＵ３４は、周囲画像Ｉｓｒの表示範囲を兼用領域１１２に拡張する（図７Ｃ参照）。
なお、図７Ｃでは、兼用領域１１２ａに別画像Ｉａの一部が表示されたままとなっているが、別画像Ｉａを完全に非表示としてもよい。注意対象物体Ｏｔを十分に表示できる場合は、別画像Ｉａの一部を表示し続けてもよい。
ステップＳ３５において、ＥＣＵ３４は、注意対象物体Ｏｔを強調表示する強調処理を行う。具体的には、図７Ｃに示すように、ＥＣＵ３４は、注意対象物体Ｏｔの周囲（ここでは下側）に強調表示１７０を点滅させる。強調表示１７０は、運転者の注意を引く色（例えば、赤又は黄色）とされる。注意対象物体Ｏｔを強調するものであれば、強調表示１７０はその他の態様としてもよい。強調表示１７０に加えて又はこれに代えて、図示しないスピーカを介して注意対象物体Ｏｔの存在を知らせる音（又は音声）を出力してもよい。
ステップＳ３６において、ＥＣＵ３４は、強調処理を終了するか否かを判定する。当該判定は、例えば、注意対象物体Ｏｔが兼用領域１１２外に移動したか否か等の基準を用いて行うことができる。強調処理を終了しない場合（Ｓ３６：ＮＯ）、ステップＳ３５に戻り、強調処理を継続する。強調処理を終了する場合（Ｓ３６：ＹＥＳ）、ステップＳ３７に進む。
ステップＳ３７において、ＥＣＵ３４は、周囲画像Ｉｓｒの表示範囲の拡張（Ｓ３４）に伴って一時的に非表示としていた別画像Ｉａを兼用領域１１２に再表示させる。
なお、図４のステップＳ２２の注意対象物体通知処理では、図６のステップＳ３１、Ｓ３５、Ｓ３６と同様の処理を行う。
＜Ａ−３．本実施形態の効果＞
以上説明したように、本実施形態によれば、周囲画像専用領域１１０（撮像画像専用領域）に加え、兼用領域１１２ａ、１１２ｂを設ける（図２Ａ、図２Ｂ）。このため、車両１０の周囲画像Ｉｓｒ（撮像画像Ｉｃｐ）と同時に別画像Ｉａを表示することで、車両１０の周囲画像Ｉｓｒの利用に関する運転者（ユーザ）の利便性を向上することが可能となる。
また、本実施形態では、表示画面１００、１０２における周囲画像専用領域１１０の位置を固定する（図２Ａ、図２Ｂ）。このため、別画像Ｉａの表示を開始又は終了する場合でも、表示画面１００、１０２における周囲画像専用領域１１０の位置は変化しない。従って、別画像Ｉａの表示の開始又は終了に伴って周囲画像Ｉｓｒの表示範囲が変化する場合に運転者が受ける違和感又は認知負荷を低減することが可能となる。よって、車両１０の周囲画像Ｉｓｒと別画像Ｉａを同時に表示する場合に運転者の利便性を向上可能となる。
本実施形態において、画像制御部８２は、兼用領域１１２に周囲画像Ｉｓｒ（撮像画像Ｉｃｐ）を表示している状態（図２Ｂ）で兼用領域１１２に別画像Ｉａを表示させる際、表示画面１００、１０２における周囲画像専用領域１１０の位置を固定しつつ、兼用領域１１２における周囲画像Ｉｓｒの表示範囲を減少させながら別画像Ｉａをフェードインさせる（図５Ｃ→図５Ｂ→図５Ａ）。また、画像制御部８２は、兼用領域１１２に別画像Ｉａを表示している状態（図２Ａ）で別画像Ｉａの表示を終了する際、表示画面１００、１０２における周囲画像専用領域１１０の位置を固定しつつ、兼用領域１１２から別画像Ｉａをフェードアウトさせながら、周囲画像Ｉｓｒの表示範囲を拡張する（図５Ａ→図５Ｂ→図５Ｃ）。
これにより、運転者（ユーザ）は、兼用領域１１２における周囲画像Ｉｓｒと別画像Ｉａの切り替わりを直感的に理解し易くなる。加えて、兼用領域１１２において周囲画像Ｉｓｒと別画像Ｉａとが切り替わる場合でも、周囲画像専用領域１１０は固定されたままであるため、運転者の違和感又は認知負荷を低減することができる。
本実施形態において、画像制御部８２は、兼用領域１１２に別画像Ｉａを表示している状態（図２Ａ）で兼用領域１１２に対応する周囲画像Ｉｓｒ内に運転者が注意すべき注意対象物体Ｏｔが存在する場合（図６のＳ３１：ＹＥＳ）、注意対象物体Ｏｔの存在に関する通知１６０を表示部５０に表示させる（図６のＳ３２、図７Ｂ）。また、通知１６０の表示開始後に運転者が周囲画像拡張指令の入力（所定の操作）を行ったこと（図６のＳ３３：ＹＥＳ）を契機として、画像制御部８２は、兼用領域１１２において別画像Ｉａの代わりに周囲画像Ｉｓｒを表示させる（図６のＳ３４、図７Ｃ）。
これにより、別画像Ｉａを表示している状態であっても、兼用領域１１２内の注意対象物体Ｏｔを運転者に通知することが可能となる。加えて、運転者が所定の操作を行うまでは別画像Ｉａから周囲画像Ｉｓｒへの切替えを保留する（図６のＳ３３：ＮＯ）。このため、別画像Ｉａから周囲画像Ｉｓｒへの切替えが、運転者の意図に反して行われた場合に運転者が感じ得る違和感又は認知負荷を低減することが可能となる。
本実施形態において、通知１６０の表示開始後に運転者が周囲画像拡張指令の入力（所定の操作）を行ったこと（図６のＳ３３：ＹＥＳ）を契機として別画像Ｉａから周囲画像Ｉｓｒへの切替えを行った場合、画像制御部８２は、周囲画像Ｉｓｒにおける注意対象物体Ｏｔを強調表示する（図６のＳ３５、図７Ｃ）。これにより、運転者は、いずれの物体が注意対象物体Ｏｔであるかを容易に認識することが可能となる。
本実施形態において、表示部５０は、運転者の前方且つ上方に配置された電子ルームミラー３２を構成する（図１）。また、周囲画像Ｉｓｒ（撮像画像Ｉｃｐ）は、車両１０の後方画像Ｉｒｒを含む（図２Ａ及び図２Ｂ）。さらに、画像制御部８２は、シフト位置ＰｓがＲ以外であるとき（車両１０が前進モードであるとき）（図３のＳ１１：ＹＥＳ）、兼用領域１１２における周囲画像Ｉｓｒと別画像Ｉａとの切替えを許容する（Ｓ１８、Ｓ２３）と共に、周囲画像専用領域１１０の位置を固定する（図２Ａ、図２Ｂ）。これにより、シフト位置ＰｓがＲ以外であるとき、周囲画像専用領域１１０の位置を固定することで運転者の違和感又は認知負荷を低減しつつ、周囲画像Ｉｓｒと別画像Ｉａとの切替えを許容することで運転者の利便性を高めることが可能となる。
Ｂ．変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
＜Ｂ−１．搭載対象＞
上記実施形態では、画像表示装置１２を車両１０に搭載した（図１）。しかしながら、例えば、専用領域１１０と兼用領域１１２を用いる観点からすれば、これに限らない。例えば、船舶、航空機等の移動物体に画像表示装置１２を適用してもよい。或いは、画像表示装置１２をクレーン等の可動装置に用いることもできる。
＜Ｂ−２．表示部５０＞
上記実施形態では、表示部５０を電子ルームミラー３２に配置したが（図１）、車両１０又はその他の対象の周囲画像Ｉｓｒ（撮像画像Ｉｃｐ）を表示する表示部５０であれば、これに限らない。例えば、車両１０のサイドミラー（ドアミラー）又は図示しないナビゲーション装置に表示部５０を配置することが可能である。或いは、ヘッド・マウント・ディスプレイ（ＨＵＤ）として表示部５０をフロントウィンドウ等に配置してもよい。
＜Ｂ−３．後方カメラ２０及び側方カメラ２２ａ、２２ｂ＞
上記実施形態では、後方カメラ２０及び側方カメラ２２ａ、２２ｂをカラーカメラとしたが、車両１０の周囲画像Ｉｓｒに用いられる撮像画像Ｉｃｐを取得するものであれば、これに限らない。例えば、夜間等に使うことを想定してモノクロカメラ又は近赤外線カメラを後方カメラ２０及び側方カメラ２２ａ、２２ｂの一部又は全部として用いてもよい。
上記実施形態では、後方カメラ２０及び側方カメラ２２ａ、２２ｂの撮像画像Ｉｃｐを周囲画像Ｉｓｒとして用いた（図２Ｂ）。しかしながら、例えば、周囲画像専用領域１１０と兼用領域１１２とを用いる観点からすれば、これに限らない。例えば、後方カメラ２０又は側方カメラ２２ａ、２２ｂの一方のみ撮像画像Ｉｃｐを用いてもよい。或いは、これらに加えて又はこれらに代えて、後席カメラ２６の撮像画像Ｉｃｐを用いることも可能である。
＜Ｂ−４．操作入力装置２８＞
上記実施形態では、操作入力装置２８として、操作ボタン又はタッチパネルを例示した。しかしながら、例えば、周囲画像専用領域１１０と兼用領域１１２とを用いる観点からすれば、これに限らない。例えば、運転者カメラ２４の撮像画像Ｉｃｐ（運転者画像Ｉｄｒ）を用いて運転者の指令を入力することも可能である。
具体的には、運転者の頭又は目の動きを運転者画像Ｉｄｒから検出し、所定の動きが検出された場合、指令の入力として扱うことが可能である。頭又は目の動きを検出する技術については例えば特許文献１に記載のものを用いることができる。或いは、周囲画像拡張指令の入力を判定する場合（図６のＳ３３）、所定時間内に運転者が積極的な操作を行わないことを以って周囲画像拡張指令の入力と判定することも可能である。
＜Ｂ−５．周囲画像専用領域１１０及び兼用領域１１２＞
上記実施形態では、２か所の兼用領域１１２ａ、１１２ｂを専用領域１１０の左右に設けた（図２Ａ）。しかしながら、例えば、周囲画像専用領域１１０と兼用領域１１２とを用いる観点からすれば、これに限らない。例えば、１箇所又は３か所以上の兼用領域１１２を用いることも可能である。また、兼用領域１１２を専用領域１１０の上側又は下側に設けることも可能である。
＜Ｂ−６．抽出範囲Ｒｓｂの設定＞
上記実施形態では、シフト位置ＰｓがＲ以外であることを、別画像表示モードと周囲画像専用表示モードとを切り替える条件とした（図３のＳ１１）。しかしながら、例えば、周囲画像専用領域１１０と兼用領域１１２とを用いる観点からすれば、これに限らない。例えば、図３のステップＳ１１を省略して、シフト位置ＰｓがＲであるか否かにかかわらず、別画像表示モードと周囲画像専用表示モードとを切替え可能としてもよい。或いは、図３のステップＳ１１において、シフト位置ＰｓがＲである場合にのみステップＳ１２に進むように変形することもできる。
上記実施形態では、表示画面１００、１０２における周囲画像専用領域１１０の位置を固定した（図２Ａ及び図２Ｂ）。換言すると、専用領域１１０のための抽出範囲Ｒｓｂを固定していた。しかしながら、例えば、周囲画像専用領域１１０と兼用領域１１２とを用いる観点からすれば、これに限らない。
図８は、変形例に係る抽出範囲設定制御のフローチャートである。図９Ａは、変形例における別画像表示モードにおける表示画面１００の一例を示す。図９Ｂは、変形例における周囲画像専用表示モードにおける表示画面１０２の一例を示す。以下では、図９Ａにおける別画像表示モードの表示画面１００を表示画面１００ｈともいい、図９Ｂにおける周囲画像専用表示モードの表示画面１０２を表示画面１０２ｂともいう。
変形例のハードウェアの構成は、上記実施形態（図１）と同様であるが、ＥＣＵ３４が実行する制御が異なる。すなわち、ＥＣＵ３４の演算部７２は、周囲画像専用領域１１０のための表示範囲を可変とする抽出範囲設定制御を実行する。ここでの抽出範囲設定制御では、専用領域１１０に対応する周囲画像Ｉｓｒ内に所定の対象（対象物）が存在する場合、表示画面１００、１０２における周囲画像専用領域１１０の位置を当該所定の対象を基準として設定する。所定の対象としては、例えば、自車１０の走行レーン１５０、後続車両１８０、自転車、歩行者等とすることができる。
図８の制御では、走行レーン１５０及び後続車両１８０を所定の対象としている。なお、ここでの走行レーン１５０は、自車１０が既に通過したレーンを意味する。抽出範囲設定制御は、上記実施形態における図３のステップＳ１４及び図４のステップＳ２０の少なくとも一方の前に実行する。
図８のステップＳ５１において、ＥＣＵ３４は、周囲画像専用領域１１０に自車１０の走行レーン１５０又は後続車両１８０が存在するか否かを判定する。走行レーン１５０及び後続車両１８０の認識又は検出は、ＥＣＵ３４の画像認識部８０がパターンマッチングを用いて行う。自車１０の走行レーン１５０又は後続車両１８０が存在する場合（Ｓ５１：ＹＥＳ）、ステップＳ５２に進む。
ステップＳ５２において、ＥＣＵ３４は、自車１０及び後続車両１８０が走行レーン１５０を維持しているか否かを判定する。換言すると、ＥＣＵ３４は、自車１０又は後続車両１８０がレーン変更中でないか否かを判定する。自車１０のレーン変更は、例えば、ウィンカスイッチの作動、ステアリング舵角等により判定可能である。また、後続車両１８０のレーン変更は、例えば、後続車両１８０とレーンマーク１８２との距離が距離閾値以下であるか否か、後続車両１８０がレーンマーク１８２を跨いだか否かにより判定可能である。
自車１０及び後続車両１８０が走行レーン１５０を維持している場合（Ｓ５２：ＹＥＳ）、ステップＳ５３において、ＥＣＵ３４は、車幅方向（横方向）における走行レーン１５０又は後続車両１８０の位置の変化を抑制するように抽出範囲Ｒｓｂを設定する。
例えば、走行レーン１５０の位置の変化抑制を行う場合、ＥＣＵ３４は、周囲画像専用領域１１０において、車幅方向の走行レーン１５０の位置を固定するように抽出範囲Ｒｓｂを設定する。或いは、ＥＣＵ３４は、単位時間当たりの車幅方向の走行レーン１５０の位置の変化量が所定値以下となるように制限して抽出範囲Ｒｓｂを設定する。後続車両１８０を対象とする場合も同様である。
なお、ここでは、走行レーン１５０の位置の変化抑制よりも、後続車両１８０の位置の変化抑制を優先して行う。或いは、後続車両１８０の位置の変化抑制よりも、走行レーン１５０の位置の変化抑制を優先して行ってもよい。
例えば、図９Ａ及び図９Ｂの表示画面１００ｈ、１０２ｂでは、後続車両１８０を所定の対象としていることを示すマーク１８４（十字マーク）が後続車両１８０の位置に表示されている。ＥＣＵ３４は、車幅方向における基準位置をマーク１８４の位置としてステップＳ５３を実行する。
自車１０の走行レーン１５０及び後続車両１８０が存在しない場合（図８のＳ５１：ＮＯ）又は自車１０又は後続車両１８０が走行レーン１５０を維持していない場合（Ｓ５２：ＮＯ）、ステップＳ５４に進む。ステップＳ５４において、ＥＣＵ３４は、抽出範囲Ｒｓｂの基準値（例えばデフォルト値）としての基準抽出範囲Ｒｒｅｆを選択して、その後の抽出範囲Ｒｓｂとして設定する。
図８に示す変形例によれば、上記実施形態と同様、周囲画像専用領域１１０に加え、兼用領域１１２を設ける（図９Ａ及び図９Ｂ）。このため、車両１０の周囲画像Ｉｓｒと同時に別画像Ｉａを表示することで、車両１０の周囲画像Ｉｓｒの利用に関する運転者の利便性を向上することが可能となる。
また、変形例では、周囲画像専用領域１１０に対応する周囲画像Ｉｓｒ内に走行レーン１５０又は後続車両１８０（所定の対象）が存在する場合（図８のＳ５１：ＹＥＳ）、表示画面１００、１０２における周囲画像専用領域１１０の位置を、車幅方向における走行レーン１５０又は後続車両１８０の位置の変化を抑制するように変化させる（Ｓ５３）。
このため、車幅方向における自車１０又は走行レーン１５０若しくは後続車両１８０のふらつきがあっても、表示画面１００、１０２における走行レーン１５０又は後続車両１８０の位置の変化が小さくなる。従って、走行レーン１５０又は後続車両１８０に対する運転者の認知負荷を低減することが可能となる。加えて、別画像Ｉａの表示の開始又は終了に伴って周囲画像Ｉｓｒの表示範囲が変化する場合に運転者が受ける違和感又は認知負荷を低減することが可能となる。
さらに変形例によれば、自車１０又は後続車両１８０がレーン変更をする場合（図８のＳ５２：ＮＯ）、車幅方向における後続車両１８０又は走行レーン１５０の位置の変化の抑制を停止する（Ｓ５４）。これにより、自車１０又は後続車両１８０のレーン変更時には、レーン変更に応じた周囲画像Ｉｓｒを表示可能となる。
１０…車両 １２…画像表示装置
２０…後方カメラ（カメラ） ２２ａ…左側方カメラ（カメラ）
２２ｂ…右側方カメラ（カメラ） ３２…電子ルームミラー
５０…表示部 ８２…画像制御部
１００、１００ａ〜１００ｈ、１０２、１０２ａ、１０２ｂ…表示画面
１１０…周囲画像専用領域（撮像画像専用領域）
１１２、１１２ａ、１１２ｂ…兼用領域 １５４…周辺車両（注意対象物体）
１６０…通知 １７０…強調表示
１８０…後続車両（所定の対象） １８２…レーンマーク（所定の対象）
Ｉａ…別画像 Ｉｒｒ…後方画像
Ｉｓｒ…周囲画像 Ｏｔ…注意対象物体

Claims (6)

  1. カメラの撮像画像を表示部に表示させる画像制御部を有する画像表示装置であって、
    前記画像制御部は、前記表示部の表示画面について、
    前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
    前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
    を設け、
    さらに、前記画像制御部は、前記兼用領域に前記撮像画像専用領域と連続した前記撮像画像を表示する際、前記表示画面における前記撮像画像専用領域の位置を固定し、
    前記画像制御部は、
    前記兼用領域に前記撮像画像を表示している状態で前記兼用領域に前記別画像を表示させる際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記撮像画像の表示範囲を前記兼用領域の側端部から前記撮像画像専用領域に向かって減少させながら前記別画像をフェードインさせる、又は、
    前記兼用領域に前記別画像を表示している状態で前記別画像の表示を終了する際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記別画像を前記撮像画像専用領域から前記兼用領域の前記側端部に向かってフェードアウトさせながら、前記撮像画像の表示範囲を拡張する
    ことを特徴とする画像表示装置。
  2. カメラの撮像画像を表示部に表示させる画像制御部を有する画像表示装置であって、
    前記画像制御部は、前記表示部の表示画面について、
    前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
    前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
    を設け、
    さらに、前記画像制御部は、前記兼用領域に前記撮像画像専用領域と連続した前記撮像画像を表示する際、前記表示画面における前記撮像画像専用領域の位置を固定し、
    前記画像制御部は、前記兼用領域に前記別画像を表示している状態で前記兼用領域に対応する前記撮像画像内にユーザが注意すべき注意対象物体が存在する場合、前記注意対象物体の存在に関する通知を前記表示部の前記兼用領域と前記撮像画像専用領域との間に表示させ、
    前記通知の表示開始後に前記ユーザが所定の操作を行ったことを契機として、前記画像制御部は、前記兼用領域において前記別画像の代わりに前記撮像画像を表示させる
    ことを特徴とする画像表示装置。
  3. 請求項２に記載の画像表示装置において、
    前記通知の表示開始後に前記ユーザが前記所定の操作を行ったことを契機として前記別画像から前記撮像画像への切替えを行った場合、前記画像制御部は、前記撮像画像における前記注意対象物体を強調表示する
    ことを特徴とする画像表示装置。
  4. 請求項１〜３のいずれか１項に記載の画像表示装置において、
    前記表示部は、ユーザの前方且つ上方に配置された車両の電子ルームミラーを構成し、
    前記撮像画像は、前記車両の後方画像を含み、
    前記画像制御部は、前記車両が前方走行中又は前進モードであるとき、前記兼用領域における前記撮像画像と前記別画像との切替えを許容すると共に、前記撮像画像専用領域の位置を固定する
    ことを特徴とする画像表示装置。
  5. カメラの撮像画像を表示部に表示させる画像制御部を有する画像表示装置であって、
    前記画像制御部は、前記表示部の表示画面について、
    前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
    前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
    を設け、
    さらに、前記画像制御部は、前記撮像画像専用領域に対応する前記撮像画像内に所定の対象が存在する場合、横方向における前記所定の対象の位置の変化を抑制するように、前記表示画面の前記撮像画像専用領域に表示される画像を抽出する
    ことを特徴とする画像表示装置。
  6. 請求項２記載の画像表示装置において、
    前記画像制御部は、前記兼用領域に前記別画像を表示している状態で前記兼用領域に対応する前記撮像画像内に前記ユーザが注意すべき注意対象物体が存在する場合、前記通知の表示開始後に前記ユーザが所定の操作を行ったことを契機として、前記兼用領域において前記別画像の代わりに前記撮像画像を表示させ、前記注意対象物体を前記兼用領域に表示できた際に、前記別画像の一部の表示を継続する
    ことを特徴とする画像表示装置。
JP2016081949A 2016-04-15 2016-04-15 画像表示装置 Active JP6401733B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016081949A JP6401733B2 (ja) 2016-04-15 2016-04-15 画像表示装置
CN201710157018.6A CN107298050B (zh) 2016-04-15 2017-03-16 图像显示装置
US15/487,762 US10363876B2 (en) 2016-04-15 2017-04-14 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016081949A JP6401733B2 (ja) 2016-04-15 2016-04-15 画像表示装置

Publications (2)

Publication Number Publication Date
JP2017192089A JP2017192089A (ja) 2017-10-19
JP6401733B2 true JP6401733B2 (ja) 2018-10-10

Family

ID=60039816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016081949A Active JP6401733B2 (ja) 2016-04-15 2016-04-15 画像表示装置

Country Status (3)

Country Link
US (1) US10363876B2 (ja)
JP (1) JP6401733B2 (ja)
CN (1) CN107298050B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256508B2 (ja) * 2016-03-30 2018-01-10 マツダ株式会社 電子ミラー制御装置
DE102016210088B3 (de) * 2016-06-08 2017-07-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs
JP6877571B2 (ja) 2017-11-10 2021-05-26 本田技研工業株式会社 表示システム、表示方法、およびプログラム
CN108162867A (zh) * 2017-12-21 2018-06-15 宁波吉利汽车研究开发有限公司 一种车道识别***及车道识别方法
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP7073991B2 (ja) 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
US11364804B2 (en) * 2019-12-13 2022-06-21 Honda Motor Co., Ltd. Display system for mode information display
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
US20220396148A1 (en) * 2021-06-15 2022-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Dual-sided display for a vehicle
US20230168136A1 (en) * 2021-11-29 2023-06-01 Toyota Motor Engineering & Manufacturing North America, Inc. Window-based object detection and/or identification

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4476723B2 (ja) * 2004-07-14 2010-06-09 アルパイン株式会社 画像表示装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP5320970B2 (ja) * 2008-10-15 2013-10-23 日産自動車株式会社 車両用表示装置および表示方法
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
WO2013065119A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
JP6077210B2 (ja) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
JP2013191050A (ja) * 2012-03-14 2013-09-26 Toyota Motor Corp 車両周辺監視装置
JP5874920B2 (ja) 2012-04-12 2016-03-02 スズキ株式会社 車両周囲確認用モニター装置
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
JP6247450B2 (ja) * 2013-03-31 2017-12-13 株式会社村上開明堂 運転支援装置
JP6323018B2 (ja) * 2014-01-17 2018-05-16 株式会社デンソー 運転支援装置
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JPWO2016143613A1 (ja) * 2015-03-09 2017-10-05 シャープ株式会社 車載操作装置

Also Published As

Publication number Publication date
CN107298050B (zh) 2020-05-15
JP2017192089A (ja) 2017-10-19
US20170297496A1 (en) 2017-10-19
US10363876B2 (en) 2019-07-30
CN107298050A (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
JP6401733B2 (ja) 画像表示装置
US10343607B2 (en) Viewing device for vehicle
US10843628B2 (en) Onboard display device, control method for onboard display device, and control program for onboard display device
JP5316550B2 (ja) 後方視界支援システム
US8031225B2 (en) Surroundings monitoring system for a vehicle
US8886023B2 (en) Blind-spot image display system for vehicle, and blind-spot image display method for vehicle
US10737624B2 (en) Viewing device for vehicle
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
JP6360850B2 (ja) 画像表示装置
JP6770330B2 (ja) 画像表示装置
JP2004203126A (ja) 車両用周辺監視装置
US10450003B2 (en) Parking assist device and parking assist system
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP2023536976A (ja) 運転者による後方視認のための電子画像ディスプレイを含む車両視認システム及び方法
JP4720979B2 (ja) 車両用監視装置
JP4977482B2 (ja) 画像提供装置、車両、および画像提供方法
US20190308482A1 (en) Surroundings monitoring apparatus
JP2020121638A (ja) 表示制御装置
JP2019193031A (ja) 車両周辺表示装置
US20220292841A1 (en) Vehicle camera mirror system with adjustable video feed
JP2016030507A (ja) 車載用表示装置
US20200166641A1 (en) Image display apparatus
JP6415763B2 (ja) 表示システム、表示装置及び制御装置
WO2013038509A1 (ja) 車両周辺監視装置および車両周辺監視システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180907

R150 Certificate of patent or registration of utility model

Ref document number: 6401733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150