JP2021033570A - 操作制御装置、操作制御方法、およびプログラム - Google Patents

操作制御装置、操作制御方法、およびプログラム Download PDF

Info

Publication number
JP2021033570A
JP2021033570A JP2019152115A JP2019152115A JP2021033570A JP 2021033570 A JP2021033570 A JP 2021033570A JP 2019152115 A JP2019152115 A JP 2019152115A JP 2019152115 A JP2019152115 A JP 2019152115A JP 2021033570 A JP2021033570 A JP 2021033570A
Authority
JP
Japan
Prior art keywords
state
vehicle
driver
detected
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019152115A
Other languages
English (en)
Other versions
JP7227106B2 (ja
Inventor
顕至 大熊
Akito Okuma
顕至 大熊
イホウ ショウ
Iho Sho
イホウ ショウ
聖 日下
Sei Kusaka
聖 日下
克也 池信
Katsuya Ikenobu
克也 池信
大海 佐藤
Omi Sato
大海 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019152115A priority Critical patent/JP7227106B2/ja
Priority to CN202010709487.6A priority patent/CN112406900A/zh
Priority to US16/991,064 priority patent/US11220181B2/en
Publication of JP2021033570A publication Critical patent/JP2021033570A/ja
Application granted granted Critical
Publication of JP7227106B2 publication Critical patent/JP7227106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/12—Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】運転者が運転している状態をより正確に認識し、運転者以外の乗員による操作部への操作の受け付けをすることができる操作制御装置、操作制御方法、およびプログラムを提供すること。【解決手段】車両に設けられた撮像装置により撮影された車室内の画像に基づいて、車両の運転者の視線を検出する視線検出部と、画像に基づいて、運転者の手の状態を検出する手状態検出部と、検出された手の状態が、車両の運転操作を行っていることが推定される第１状態であるか、運転操作を行っていないことが推定される第２状態であるかを判定する運転状態判定部と、車両の走行状態を検知する走行状態検知部と、車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限する操作制限部と、を備える操作制御装置。【選択図】図１

Description

本発明は、操作制御装置、操作制御方法、およびプログラムに関する。
従来、運転者がステアリングホイールの所定部位を把持していることを検出する接触センサをステアリングホイールに設けた車両に関する技術が開示されている（例えば、特許文献１参照）。従来の技術では、接触センサが少なくとも運転者の助手席側の手がステアリングホイールの所定部位を把持していることを検出している場合には、車両が走行中であっても、運転者以外の乗員による操作入力を受け付けるようにする、車載用ナビゲーション装置などの車両用情報表示装置が実現されている。また、従来の技術には、カメラを利用して運転者の視線方向を検出し、運転者の視線が操作入力部以外であれば、運転者以外の乗員による操作入力を受け付けるようにすることも開示されている。
特開２０１２−１５３３２９号公報
しかしながら、従来の技術において運転者の視線を検出した場合においても、ステアリングホイールに設けた接触センサによる検出では、例えば、運転者が運転途中にステアリングホイールを持ち替えるときなどを考慮すると、運転者が運転を行っている状態を正確に検出することが困難であった。
本発明は、上記の課題認識に基づいてなされたものであり、運転者が運転している状態をより正確に認識し、運転者以外の乗員による操作部への操作の受け付けを制御することができる操作制御装置、操作制御方法、およびプログラムを提供することを目的としている。
この発明に係る操作制御装置、操作制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る操作制御装置は、車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出する視線検出部と、前記画像に基づいて、前記運転者の手の状態を検出する手状態検出部と、前記検出された手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定する運転状態判定部と、前記車両の走行状態を検知する走行状態検知部と、前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限する操作制限部と、を備え、前記操作制限部は、前記車両が停止状態である場合、前記操作の受け付けを制限せず、前記車両が走行状態である場合、前記検出された視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出された手の状態が前記第１状態である場合、前記操作の受け付けを制限せず、前記検出された視線の向きが前記所定領域を向いておらず、或いは前記検出された手の状態が前記第２状態である場合、前記操作の受け付けを制限する、操作制御装置である。
（２）：上記（１）の態様において、前記所定領域は、少なくとも、前記車両のフロントウインドシールドの一部または全部の領域と、サイドミラー付近の領域とを含むものである。
（３）：上記（１）または（２）の態様において、前記操作制限部は、前記操作の受け付けを制限していない状態において、前記視線の向きまたは前記手の状態のうち一方の検出が不可である第３状態となった時点から第１所定時間の間、前記操作の受け付けを制限しないものである。
（４）：上記（３）の態様において、前記操作制限部は、前記第３状態でなくなった後、前記検出された視線の向きが前記所定領域を向いており、且つ前記検出された手の状態が前記第１状態となった時点で、前記第１所定時間を計測するためのタイマーを初期化するものである。
（５）：上記（１）または（２）の態様において、操作制御装置は、前記車両の走行状態の安定性を検知する走行安定性検知部と、前記画像に基づいて、前記運転者以外の乗員により前記視線の向きおよび前記手の状態のうち一方または両方の検出が不可となった第４状態を検出する外乱検出部と、をさらに備え、前記操作制限部は、前記操作の受け付けを制限していない状態において、前記外乱検出部により前記第４状態が検出され、且つ前記走行安定性検知部により前記車両の走行状態が安定していることが検出されている場合には、前記操作の受け付けを制限しない状態を継続するものである。
（６）：上記（１）または（２）の態様において、操作制御装置は、前記車両の走行状態の安定性を検知する走行安定性検知部と、前記画像に基づいて、前記運転者以外の要因により前記視線の向きおよび前記手の状態のうち一方または両方の検出が不可となった第４状態を検出する外乱検出部と、をさらに備え、前記操作制限部は、前記操作の受け付けを制限していない状態において、前記外乱検出部により前記第４状態が検出され、且つ前記走行安定性検知部により前記車両の走行状態が安定していることが検出されている場合には、前記操作の受け付けを制限しない状態を継続するものである。
（７）：上記（５）または（６）の態様において、前記操作制限部は、前記操作の受け付けを制限しておらず、前記外乱検出部により前記第４状態が検出され、且つ前記走行安定性検知部により前記車両の走行状態が安定していることが検出されている状態となってから第２所定時間の間、前記操作の受け付けを制限しない状態を継続するものである。
（８）：上記（７）の態様において、前記操作制限部は、前記外乱検出部により前記第４状態が検出されなくなった後、前記検出された視線の向きが前記所定領域を向いており、且つ前記検出された手の状態が前記第１状態となった時点で、前記第２所定時間を計測するためのタイマーを初期化するものである。
（９）：また、この発明の一態様に係る操作制御方法は、コンピュータが、車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出し、前記画像に基づいて、前記運転者の手の状態を検出し、前記検出した手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定し、前記車両の走行状態を検知し、前記車両が停止状態である場合、前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限せず、前記車両が走行状態である場合、前記検出した視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出した手の状態が前記第１状態である場合、前記操作の受け付けを制限せず、前記検出した視線の向きが前記所定領域を向いておらず、或いは前記検出した手の状態が前記第２状態である場合、前記操作の受け付けを制限する、操作制御方法である。
（１０）：また、この発明の一態様に係るプログラムは、コンピュータに、車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出させ、前記画像に基づいて、前記運転者の手の状態を検出させ、前記検出させた手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定させ、前記車両の走行状態を検知させ、前記車両が停止状態である場合、前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限させず、前記車両が走行状態である場合、前記検出させた視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出させた手の状態が前記第１状態である場合、前記操作の受け付けを制限させず、前記検出させた視線の向きが前記所定領域を向いておらず、或いは前記検出させた手の状態が前記第２状態である場合、前記操作の受け付けを制限させる、プログラムである。
上述した（１）〜（１０）の態様によれば、運転者が運転している状態をより正確に認識し、運転者以外の乗員による操作部への操作の受け付けを制御することができる。
第１実施形態に係る操作制御装置５００を備える操作制御システム１の概略構成図である。 操作制御システム１を構成するカメラ１００の配置位置の一例を示す図である。 操作制御システム１を構成するカメラ１００が撮影する車室内の画像に基づいて視線検出部５０２が検出する運転者ＤＲの視線の範囲の一例を示す図である。 操作制御システム１を構成するカメラ１００が撮影する車室内の画像に基づいて手状態検出部５０４が検出する運転者ＤＲの手の状態の一例を示す図である。 操作制御装置５００により実行される処理の流れの一例を示すフローチャートである。 操作制御システム１を構成するカメラ１００の撮影範囲が遮蔽される場合の一例を示す図である。 操作制御システム１を構成するカメラ１００の撮影範囲が遮蔽された場合に操作制御装置５００により実行される処理の流れの一例を示すフローチャートである。 第２実施形態に係る操作制御装置６００を備える操作制御システム２の概略構成図である。 操作制御装置６００により実行される処理の流れの一例を示すフローチャートである。
以下、図面を参照し、本発明の操作制御装置、操作制御方法、およびプログラムの実施形態について説明する。以下の説明においては、本発明の操作制御装置において、ナビゲーション装置に対する操作を制御する場合の一例について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合には、左右を逆に読み替えればよい。
＜第１実施形態＞
［操作制御システム１の全体構成例］
図１は、第１実施形態に係る操作制御装置５００を備える操作制御システム１の概略構成図である。操作制御システム１が搭載される車両は、例えば、四輪の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
操作制御システム１は、例えば、カメラ１００と、車両センサ３００と、操作制御装置５００と、ナビゲーション装置７００とを備える。
カメラ１００は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１００は、操作制御システム１が搭載される車両（以下、自車両Ｍ）の車室内の任意の箇所に取り付けられる。カメラ１００は、例えば、自車両Ｍの車室内の前方の中心の位置に配置される。カメラ１００は、配置された位置から自車両Ｍの車室内を撮影した画像を、操作制御装置５００に出力する。カメラ１００は、特許請求の範囲における「撮像装置」の一例である。
［カメラ１００の配置の一例］
ここで、自車両Ｍの車室内におけるカメラ１００の配置の一例について説明する。図２は、操作制御システム１を構成するカメラ１００の配置位置の一例を示す図である。
自車両Ｍの車室内には、例えば、ステアリングホイールＳＷが設けられた運転席ＤＳと、運転席ＤＳに対して車幅方向（図中Ｙ方向）に設けられた助手席ＡＳとが設けられている。また、自車両Ｍの車室内には、前方の窓枠に、例えば、フロント窓ガラスなどのフロントウインドシールド１０が存在する。運転席ＤＳに着座している運転者は、フロントウインドシールド１０を介して、車外の前方の状況を認識することができる。また、自車両Ｍの車室内には、前方の上部（フロントウインドシールド１０の領域の上部）にルームミラー１２が存在する。また、運転席ＤＳ側のドアの前方の車外にサイドミラー１４が設けられ、助手席ＡＳ側のドアの前方の車外にサイドミラー１６が設けられている。運転席ＤＳに着座している運転者は、ルームミラー１２、サイドミラー１４、およびサイドミラー１６を介して、車外の後方の状況を認識することができる。また、自車両Ｍの車室内には、前方の中央部（図２では、運転席ＤＳと助手席ＡＳとの間のダッシュボード）に、後述するナビゲーション装置７００の表示部７０８が配置され、その下部に、例えば、自車両Ｍの空調装置などを操作するための操作部（以下、センターコンソール）１８が配置されている。カメラ１００は、例えば、表示部７０８とセンターコンソール１８との間の位置に配置される。カメラ１００は、図２に示したような配置位置から自車両Ｍの車室内を撮影した画像を、操作制御装置５００に出力する。
なお、図２に示したカメラ１００の配置はあくまで一例であり、カメラ１００を配置する位置は、自車両Ｍの車室内の構成に応じて適宜変更されてもよい。また、図１および図２では、カメラ１００が１つである場合の構成を示したが、カメラ１００の数は１つに限定されない。言い換えれば、操作制御システム１は、複数のカメラによって、後述するカメラ１００が撮影する撮影範囲を撮影する構成であってもよい。
図１に戻り、車両センサ３００は、自車両Ｍが走行状態であるか否かを検出する。車両センサ３００は、例えば、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサなどを含む。
操作制御装置５００は、例えば、視線検出部５０２と、手状態検出部５０４と、運転状態判定部５０６と、走行状態検知部５０８と、操作制限部５１０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサと、プログラム（ソフトウェア）を記憶した記憶装置（非一過性の記憶媒体を備える記憶装置）とを備え、プロセッサがプログラムを実行することによりそれぞれの構成要素の機能が実現される。また、操作制御装置５００が備える構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によってそれぞれの構成要素の機能が実現されてもよい。また、操作制御装置５００が備える構成要素のうち一部または全部は、専用のＬＳＩによってそれぞれの構成要素の機能が実現されてもよい。ここで、プログラム（ソフトウェア）は、予めＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置から近距離通信または広域通信によって予めダウンロードされて、記憶装置にインストールされてもよい。操作制御装置５００は、特許請求の範囲における「操作制御装置」の一例である。
視線検出部５０２は、カメラ１００により出力された自車両Ｍの車室内の画像に基づいて、自車両Ｍに乗車して運転席ＤＳに着座している自車両Ｍの運転者（以下、運転者ＤＲ）の視線の方向を検出する。視線検出部５０２は、所定の学習方法を用いて車室内の画像から運転者ＤＲの視線の方向を検出する方法を予め学習しており、学習した方法に従って運転者ＤＲの視線の方向を検出する。視線検出部５０２は、検出した運転者ＤＲの視線の方向を表す情報を、操作制限部５１０に出力する。
［視線検出部５０２における運転者ＤＲの視線検出の一例］
ここで、視線検出部５０２が運転者ＤＲの視線の方向を検出する方法の一例について説明する。図３は、操作制御システム１を構成するカメラ１００が撮影する車室内の画像に基づいて視線検出部５０２が検出する運転者ＤＲの視線の範囲の一例を示す図である。図３には、カメラ１００を中心として仮想的に設定した２次元平面上に、運転者ＤＲの視線がどこの部分を見ているのかを検出するための視線判定領域を設定した状態を示している。図３では、フロントウインドシールド１０の視線判定領域ＲＦＷと、ルームミラー１２の視線判定領域ＲＲＭと、サイドミラー１４の視線判定領域ＲＳＭＲと、サイドミラー１６の視線判定領域ＲＳＭＬと、ナビゲーション装置７００の表示部７０８の視線判定領域ＲＤＰと、センターコンソール１８や自車両Ｍのギアシフトレバーの領域が含まれる視線判定領域ＲＧＲとのそれぞれの視線判定領域を設定している。視線検出部５０２は、カメラ１００により出力された自車両Ｍの車室内の画像に写されている運転者ＤＲの顔の向きを認識し、認識した運転者ＤＲの顔の向きに基づいて、運転者ＤＲの視線Ｖがいずれの視線判定領域に交差する（運転者ＤＲがいずれの視線判定領域を見ている）かを判定する。図３には、運転者ＤＲの視線Ｖが、ナビゲーション装置７００の表示部７０８の視線判定領域ＲＤＰに交差している（運転者ＤＲの顔が表示部７０８の方を向いている）状態の一例を示している。視線検出部５０２は、運転者ＤＲの視線Ｖが交差すると判定した視線判定領域を、運転者ＤＲが見ている部分であると検出する。視線検出部５０２は、検出した運転者ＤＲの視線Ｖの方向を表す情報を、操作制限部５１０に出力する。
なお、運転者ＤＲの視線Ｖと、この視線Ｖが交差する視線判定領域との対応付け、言い換えれば、運転者ＤＲの顔の向きと運転者ＤＲが見ている部分との対応付けは、例えば、事前（自車両Ｍによる走行を開始する前や初期設定のときなど）に運転者ＤＲに見る部分を指定し、このときにカメラ１００が撮影した画像に写っている顔の向きを学習することによって行ってもよい。また、運転者ＤＲの顔の向きと運転者ＤＲが見ている部分との対応付けは、例えば、運転者ＤＲとして想定する一般的な人を被検者とし、事前に被検者の顔の向きと視線判定領域とを対応付ける学習することによって行ってもよい。なお、視線検出部５０２において運転者ＤＲの顔の向きと運転者ＤＲが見ている部分とを対応付けるための学習方法は、上述した方法に限定されるものではなく、いかなる方法であってもよい。
また、視線検出部５０２は、運転者ＤＲの視線Ｖの方向の検出に加えて、自車両Ｍに乗車して助手席ＡＳに着座している自車両Ｍの運転者ＤＲ以外の乗員（以下、同乗者ＡＰ）の顔の向きの認識や視線の方向の検出も行って、検出した同乗者ＡＰの情報を、操作制限部５１０に出力してもよい。
手状態検出部５０４は、カメラ１００により出力された自車両Ｍの車室内の画像に基づいて、運転者ＤＲの手の状態（位置）を検出する。手状態検出部５０４は、検出した運転者ＤＲの手の状態（位置）を表す情報を、運転状態判定部５０６に出力する。
［手状態検出部５０４における運転者ＤＲの手の状態（位置）の検出の一例］
ここで、手状態検出部５０４が運転者ＤＲの手の状態（位置）を検出する方法の一例について説明する。図４は、操作制御システム１を構成するカメラ１００が撮影する車室内の画像に基づいて手状態検出部５０４が検出する運転者ＤＲの手の状態（位置）の一例を示す図である。手状態検出部５０４は、カメラ１００により出力された自車両Ｍの車室内の画像に写されている運転者ＤＲの手（腕を含む）を認識し、認識した運転者ＤＲの手がある領域（位置）を検出する。図４には、運転者ＤＲの左手（左腕を含む）がステアリングホイールＳＷの領域を含む領域ＲＨ−１の位置にあり、運転者ＤＲの右手がステアリングホイールＳＷの領域を含む領域ＲＨ−２の位置にあることを検出した状態の一例を示している。言い換えれば、手状態検出部５０４は、運転者ＤＲの両手がステアリングホイールＳＷの位置にあると判定することができる状態の一例を示している。手状態検出部５０４は、運転者ＤＲの手があることを検出した領域の位置を表す情報を、運転者ＤＲの手の状態（位置）を表す情報として運転状態判定部５０６に出力する。
なお、手状態検出部５０４は、所定の学習方法を用いて車室内の画像から運転者ＤＲの手の状態（位置）を検出する方法を予め学習しておき、学習した方法に従って運転者ＤＲの手の状態（位置）を検出する構成であってもよい。この場合の手状態検出部５０４の学習方法は、視線検出部５０２における運転者ＤＲの視線検出と同様の学習方法であってもよい。手状態検出部５０４における運転者ＤＲの手の状態（位置）の学習方法は、視線検出部５０２における視線検出の学習方法と同様に考えることによって容易に理解することができるため詳細な説明は省略する。
また、手状態検出部５０４は、運転者ＤＲの手の状態（位置）の検出に加えて、同乗者ＡＰの手の状態（位置）の検出も行って、検出した同乗者ＡＰの手の状態（位置）を表す情報を、運転状態判定部５０６に出力してもよい。
運転状態判定部５０６は、手状態検出部５０４により出力された運転者ＤＲの手の状態（位置）を表す情報に基づいて、運転者ＤＲが自車両Ｍを運転している状態にあるのか否かを判定する。言い換えれば、運転状態判定部５０６は、運転者ＤＲの手がある位置に基づいて、自車両Ｍを運転するための操作を行っていると推定することができる運転状態であるか、自車両Ｍを運転するための操作を行っていないと推定することができる非運転状態であるかを判定する。
運転状態判定部５０６は、例えば、運転者ＤＲの手の位置がステアリングホイールＳＷを把持していると推定される、ギアシフトレバーを把持して操作をしていると推定される位置にあるときには、運転者ＤＲは運転状態であると判定する。また、運転状態判定部５０６は、例えば、運転者ＤＲの手の位置がステアリングホイールＳＷを持ち替えたり、片手を膝においてリラックスした状態で運転していたりする場合でも、運転者ＤＲは運転状態であると判定する。また、運転状態判定部５０６は、例えば、運転者ＤＲの手の位置が運転席ＤＳ側や助手席ＡＳ側のドア窓を開けるためのスイッチを操作していたり、自車両Ｍの前方および後方の左右の方向指示器を同時に点滅させる、いわゆる、ハザードランプを点灯させるためのスイッチを操作していたりする場合も同様に、運転者ＤＲは運転状態であると判定する。また、運転状態判定部５０６は、例えば、運転者ＤＲの手の位置が頭を掻いたり、軽いストレッチ（例えば、２秒以内などの所定時間内のストレッチ）をしたりするためにステアリングホイールＳＷから手を離している場合も同様に、運転者ＤＲは運転状態であると判定する。このように、運転状態判定部５０６は、運転者ＤＲが直ちにステアリングホイールＳＷを把持することができると推定されるような状態であれば、運転者ＤＲは運転状態であるとみなして判定する。
一方、運転状態判定部５０６は、例えば、運転者ＤＲの手の位置がナビゲーション装置７００の表示部７０８に向かうと推定されるような場合には、運転者ＤＲは非運転状態であると判定する。また、運転状態判定部５０６は、例えば、運転者ＤＲの手の位置が助手席ＡＳ側や後部の座席側にあり、運転者ＤＲが助手席ＡＳ側や後部の座席側に手を伸ばしていると推定されるような場合にも、運転者ＤＲは非運転状態であると判定する。なお、運転状態判定部５０６は、運転者ＤＲは運転状態であるとみなしている場合でも、その状態が所定時間（例えば、２秒）を超えているような場合には、運転者ＤＲは非運転状態であると判定してもよい。
運転状態判定部５０６は、判定した結果（運転者ＤＲが運転状態であるか非運転状態であるか）を、運転者ＤＲの手の状態を表す情報として操作制限部５１０に出力する。ここで、「運転状態」は、特許請求の範囲における「第１状態」の一例であり、「非運転状態」は、特許請求の範囲における「第２状態」の一例である。
なお、手状態検出部５０４が同乗者ＡＰの手の状態の検出も行い、同乗者ＡＰの手がある領域（位置）を表す情報を出力した場合、運転状態判定部５０６は、運転者ＤＲと同様に、同乗者ＡＰの手の状態を判定する。例えば、同乗者ＡＰの手の位置がナビゲーション装置７００の表示部７０８に向かうと推定されるような場合、運転状態判定部５０６は、同乗者ＡＰがナビゲーション装置７００を操作しようとしている状態であると判定する。そして、運転状態判定部５０６は、判定した同乗者ＡＰの手の状態を表す情報も、操作制限部５１０に出力する。
走行状態検知部５０８は、車両センサ３００の出力に基づいて、自車両Ｍが走行状態であるか否かを検知する。言い換えれば、走行状態検知部５０８は、自車両Ｍが走行している走行状態であるか、停止している停止状態であるかを検知する。走行状態検知部５０８は、例えば、車両センサ３００に含まれる車速センサの出力が自車両Ｍの車速が０であることを表している場合に、自車両Ｍが停止状態であることを検知し、車速センサの出力が自車両Ｍの車速が０以外あることを表している場合に、自車両Ｍが走行状態であることを検知する。走行状態検知部５０８は、検知した自車両Ｍの走行状態を表す情報を、操作制限部５１０に出力する。
なお、走行状態検知部５０８における自車両Ｍが走行状態であるか否かの検知は、例えば、視線検出部５０２における運転者ＤＲの視線検出や、手状態検出部５０４における運転者ＤＲの手の状態の検出と同じタイミングでなくともよい。言い換えれば、走行状態検知部５０８は、車両センサ３００の出力に基づいて、自車両Ｍが走行状態であるか否かの検知を逐次行う構成であってもよい。
操作制限部５１０は、後述するナビゲーション装置７００に対する操作の受け付けを制御する。操作制限部５１０は、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報と、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報と、走行状態検知部５０８により出力された自車両Ｍの走行状態を表す情報とに基づいて、ナビゲーション装置７００に対する操作の受け付けを制限しないか、操作の受け付けを制限するかを制御する。例えば、操作制限部５１０は、自車両Ｍが停止状態である場合には、ナビゲーション装置７００に対する操作の受け付けを制限しない。また、例えば、操作制限部５１０は、自車両Ｍが走行状態である場合には、ナビゲーション装置７００に対する操作の受け付けを制限するか制限しないかを、運転者ＤＲの視線Ｖの方向を表す情報と、運転者ＤＲの手の状態を表す情報とに基づいて決定する。このとき、操作制限部５１０は、運転者ＤＲの視線Ｖの方向と手の状態とが所定の条件になったときから、例えば、タイマーによって時間を計測し、計測した時間が所定の時間（以下、第１所定時間）を経過した後に、ナビゲーション装置７００に対する操作の受け付けを制限するようにしてもよい。図１には、この第１所定時間を計測するタイマー機能を実現するための構成として、第１時間計測部５１２を備えた構成を示している。操作制限部５１０におけるナビゲーション装置７００に対する操作の受け付けの制御に係る動作の詳細については後述する。
ナビゲーション装置７００は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機７０２と、ナビ操作入力部７０４と、ナビＥＣＵ（Electronic Control Unit）７０６と、表示部７０８とを備える。ナビゲーション装置７００は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に地図情報７１０を保持している。ＧＮＳＳ受信機７０２は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ３００の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。
ナビ操作入力部７０４は、自車両Ｍの乗員による入力操作を受け付ける。ナビ操作入力部７０４は、ボタンや、キー、スイッチなどを含む。なお、ナビゲーション装置７００は、例えば、テレビの視聴や、ＤＶＤなどのビデオの再生、ＣＤなどの音楽の再生、或いはこれらの選択などを行う機能を備えてもよい。また、ナビゲーション装置７００は、例えば、インターネットなどを介した通信販売や、音楽のダウンロード、娯楽用（エンターテインメント用）のアプリケーションの実行などを行う機能を備えてもよい。この場合における自車両Ｍの乗員によるナビゲーション装置７００の操作も、ナビ操作入力部７０４が受け付ける。ナビ操作入力部７０４に対する乗員による入力操作の受け付けは、操作制御装置５００が備える操作制限部５１０によって制御される。ナビ操作入力部７０４は、特許請求の範囲における「操作部」の一例である。
ナビＥＣＵ７０６は、ナビゲーション装置７００が備えるそれぞれの構成要素を制御する。ナビＥＣＵ７０６は、例えば、ＧＮＳＳ受信機７０２により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビ操作入力部７０４を用いて乗員により入力された目的地までの経路を、地図情報７１０を参照して決定する。地図情報７１０は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報７１０は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。ナビＥＣＵ７０６は、決定した経路を表示部７０８に表示させることにより、乗員に自車両Ｍの走行経路を提示する。表示部７０８は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）などの表示装置である。表示部７０８は、特許請求の範囲における「表示装置」の一例である。表示部７０８は、表示機能と入力された操作を検知する検出機能とが組み合わされた、いわゆる、タッチパネルであってもよい。この場合、表示部７０８における検出機能は、ナビ操作入力部７０４が実行してもよい。言い換えれば、ナビゲーション装置７００では、ナビ操作入力部７０４と表示部７０８とを合わせて、ナビＨＭＩ（Human Machine Interface）として構成してもよい。そして、ナビゲーション装置７００のナビＨＭＩとしてスピーカなどを含み、ナビＥＣＵ７０６が決定した経路の案内を行ってもよい。ナビゲーション装置７００においてナビ操作入力部７０４と表示部７０８とを合わせてナビＨＭＩとして構成した場合、ナビＨＭＩは、特許請求の範囲における「表示装置を含む操作部」の一例である。
［操作制御装置５００の処理の一例］
次に、操作制御システム１における操作制御装置５００の処理について説明する。図５は、操作制御装置５００により実行される処理の流れの一例を示すフローチャートである。なお、以下の説明においては、ナビゲーション装置７００においてナビ操作入力部７０４と表示部７０８とを合わせてナビＨＭＩとして構成されているものとする。そして、操作制御装置５００は、ナビＨＭＩを構成する表示部７０８に表示された操作ボタンなどに対する操作（タッチ操作）をナビゲーション装置７００の操作部に対する操作として、操作の受け付けを制御するものとする。本フローチャートの処理は、カメラ１００が自車両Ｍの車室内の画像を撮影する所定の時間間隔ごとに繰り返し実行される。なお、以下の説明においては、走行状態検知部５０８が、自車両Ｍが走行状態であるか否かの検知を、例えば、視線検出部５０２における運転者ＤＲの視線検出や、手状態検出部５０４における運転者ＤＲの手の状態の検出と同じタイミングで行う構成であるものとする。
カメラ１００が自車両Ｍの車室内の画像を撮影すると、操作制御装置５００は、自車両Ｍの車室内の画像を取得する（ステップＳ１００）。
次に、視線検出部５０２は、取得した自車両Ｍの車室内の画像に写っている運転者ＤＲの視線Ｖの方向を検出する（ステップＳ１０２）。そして、視線検出部５０２は、検出した運転者ＤＲの視線Ｖの方向を表す情報を操作制限部５１０に出力する。
次に、手状態検出部５０４は、取得した自車両Ｍの車室内の画像に写っている運転者ＤＲの手の状態（位置）を検出する（ステップＳ１０４）。そして、手状態検出部５０４は、検出した運転者ＤＲの手の状態（位置）を表す情報を運転状態判定部５０６に出力する。
次に、運転状態判定部５０６は、手状態検出部５０４により出力された運転者ＤＲの手の状態（位置）を表す情報に基づいて、運転者ＤＲの運転状態（運転者ＤＲが運転状態であるか非運転状態であるか）を判定する（ステップＳ１０６）。そして、運転状態判定部５０６は、判定した結果を運転者ＤＲの手の状態を表す情報として操作制限部５１０に出力する。
次に、走行状態検知部５０８は、車両センサ３００の出力に基づいて、自車両Ｍの走行状態を検知する（ステップＳ１０８）。そして、走行状態検知部５０８は、検知した自車両Ｍの走行状態を表す情報を操作制限部５１０に出力する。
なお、図５においては、視線検出部５０２におけるステップＳ１０２の処理と、手状態検出部５０４におけるステップＳ１０４の処理および運転状態判定部５０６におけるステップＳ１０６の処理と、走行状態検知部５０８におけるステップＳ１０８の処理とを順番に示している。しかし、視線検出部５０２と、手状態検出部５０４および運転状態判定部５０６と、走行状態検知部５０８とのそれぞれにおける処理は、同時期に行われる。言い換えれば、視線検出部５０２におけるステップＳ１０２の処理と、手状態検出部５０４におけるステップＳ１０４の処理および運転状態判定部５０６におけるステップＳ１０６の処理と、走行状態検知部５０８におけるステップＳ１０８の処理とは、並列に行われる。従って、視線検出部５０２と、手状態検出部５０４および運転状態判定部５０６と、走行状態検知部５０８とのそれぞれにおける処理の順番は、図５に示したフローチャートに示した順番に限定されない。このため、操作制限部５１０には、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報と、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報と、走行状態検知部５０８により出力された自車両Ｍの走行状態を表す情報とのそれぞれが同時期に入力される。
次に、操作制限部５１０は、走行状態検知部５０８により出力された自車両Ｍの走行状態を表す情報に基づいて、自車両Ｍが停止状態であるか否かを判定する（ステップＳ１１０）。ステップＳ１１０において、自車両Ｍが停止状態であると判定した場合、操作制限部５１０は、ナビゲーション装置７００の操作部に対する操作の受け付けを制限しない（ステップＳ１２０）。そして、操作制限部５１０は、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ１１０において、自車両Ｍが停止状態ではないと判定した場合、つまり、自車両Ｍが走行状態であると判定した場合、操作制限部５１０は、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報に基づいて、運転者ＤＲが正面側の所定領域を向いているか否かを判定する（ステップＳ１１２）。ここで、「正面側の所定領域」とは、少なくとも、自車両Ｍのフロントウインドシールド１０の一部または全部の領域と、サイドミラー１４やサイドミラー１６付近の領域とを含む。例えば、図３に示した視線判定領域ＲＦＷと、視線判定領域ＲＲＭと、視線判定領域ＲＳＭＲや視線判定領域ＲＳＭＬとを含む。また、「正面側の所定領域」には、例えば、図３に示した視線判定領域ＲＧＲを含んでもよい。言い換えれば、「正面側の所定領域」とは、運転者ＤＲが自車両Ｍを運転するための操作を行っていると推定することができる領域である。さらに言い換えれば、「正面側の所定領域」とは、運転者ＤＲがナビゲーション装置７００の操作を行おうとしていると推定することができる領域（例えば、図３に示した視線判定領域ＲＤＰ）以外の領域であってもよい。
ステップＳ１１２において、運転者ＤＲが正面側の所定領域を向いていると判定した場合、操作制限部５１０は、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報に基づいて、運転者ＤＲの手の状態が運転状態であるか否かを判定する（ステップＳ１１４）。ステップＳ１１４において、運転者ＤＲの手の状態が運転状態であると判定した場合、操作制限部５１０は、処理をステップＳ１２０に進めて、ナビゲーション装置７００の操作部に対する操作の受け付けを制限せずに、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ１１２において運転者ＤＲが正面側の所定領域を向いていないと判定した場合、或いは、ステップＳ１１４において運転者ＤＲの手の状態が運転状態ではない、つまり、非運転状態であると判定した場合、操作制限部５１０は、ナビゲーション装置７００の操作部に対する操作の受け付けを制限する（ステップＳ１３０）。そして、操作制限部５１０は、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
なお、上述したように、操作制限部５１０には、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報と、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報とのそれぞれが同時期に入力される。このため、操作制限部５１０は、図５に示したステップＳ１１２の処理とステップＳ１１４の処理とを、逆の順番で行ってもよい。言い換えれば、操作制限部５１０は、先に運転者ＤＲの手の状態が運転状態であるか否かを判定した後に、運転者ＤＲが正面側の所定領域を向いているか否かを判定してもよい。
操作制御装置５００は、このような処理によって、カメラ１００が撮影した自車両Ｍの車室内の画像に基づいて運転者ＤＲの状態を判定し、判定した運転者ＤＲの状態に基づいて、ナビゲーション装置７００に対する操作の受け付けを制御する。これにより、例えば、運転者ＤＲが正面側の所定領域を向いており、且つ手の状態が運転状態であれば、自車両Ｍを正しく運転することができると推定されるため、操作制御装置５００は、同乗者ＡＰによるナビゲーション装置７００に対する操作の受け付けまで制限することをしない。つまり、操作制御装置５００は、自車両Ｍの運転に関係しない同乗者ＡＰによるナビゲーション装置７００への入力操作を許容する。例えば、操作制御装置５００は、ナビゲーション装置７００で視聴しているテレビのチャンネルを変更するために同乗者ＡＰが行う選局の操作を許容する。これにより、操作制御装置５００を備える操作制御システム１が搭載される自車両Ｍでは、自車両Ｍの運転に関係しない乗員への利便性を向上させることができる。
なお、図２に示したように、カメラ１００が、例えば、表示部７０８とセンターコンソール１８との間の位置に配置されている場合、同乗者ＡＰがナビゲーション装置７００の操作を行うと、同乗者ＡＰの手や腕によって運転者ＤＲが隠れてしまうことが考えられる。つまり、同乗者ＡＰの手や腕によってカメラ１００が自車両Ｍの車室内を撮影する撮影範囲の一部または全部が遮蔽されてしまう、いわゆる、オクルージョンが発生してしまうことが考えられる。
図６は、操作制御システム１を構成するカメラ１００の撮影範囲が遮蔽される場合の一例を示す図である。図６には、運転者ＤＲが正面側の所定領域を向いており（視線Ｖがフロントウインドシールド１０の視線判定領域ＲＦＷに交差しており）、運転者ＤＲの左手（左腕を含む）がステアリングホイールＳＷの領域を含む領域ＲＨ−１の位置にあり、運転者ＤＲの右手がステアリングホイールＳＷの領域を含む領域ＲＨ−２の位置にある場合において、同乗者ＡＰの右手や右腕によってオクルージョンが発生した場合の一例を示している。オクルージョンが発生すると、運転者ＤＲの視線Ｖの方向または運転者ＤＲの手の状態のうち一方の検出が不可となる検出不可状態となってしまうことが考えられる。この「検出不可状態」は、特許請求の範囲における「第３状態」の一例である。このような検出不可状態になると、図５に示した操作制御装置５００のフローチャートでは、操作制限部５１０におけるステップＳ１１２またはステップＳ１１４のいずれかの判定に従って、ナビゲーション装置７００の操作部に対する操作の受け付けが制限されてしまうことになる。しかしながら、図６に示したように、運転者ＤＲは、検出不可状態であったとしても自車両Ｍを正しく運転していることも考えられる。この場合、操作制限部５１０は、上述したように、第１時間計測部５１２が計測した時間が第１所定時間（例えば、２秒〜５秒など）を経過した後に、ナビゲーション装置７００に対する操作の受け付けを制限するようにしてもよい。
［操作制御装置５００の処理の別の一例］
次に、操作制御システム１における操作制御装置５００の別の処理について説明する。図７は、操作制御システム１を構成するカメラ１００の撮影範囲が遮蔽された場合に操作制御装置５００により実行される処理の流れの一例を示すフローチャートである。なお、以下の説明においても、ナビゲーション装置７００においてナビ操作入力部７０４と表示部７０８とを合わせてナビＨＭＩとして構成されているものとする。そして、操作制御装置５００は、ナビＨＭＩを構成する表示部７０８に表示された操作ボタンなどに対する操作（タッチ操作）をナビゲーション装置７００の操作部に対する操作として、操作の受け付けを制御するものとする。本フローチャートの処理は、カメラ１００が自車両Ｍの車室内の画像を撮影する所定の時間間隔ごとに繰り返し実行される。
なお、図７に示したフローチャートには、図５に示したフローチャートと同様の処理を含んでいる。より具体的には、図７に示したフローチャートにおけるステップＳ１００〜ステップＳ１１０、およびステップＳ１２０の処理は、図５に示したフローチャートにおける対応するステップ番号の処理と同じである。従って、以下の説明においては、図５に示したフローチャートと同様の処理に関する説明は省略し、図５に示したフローチャートと異なる処理について説明する。
ステップＳ１１０において、自車両Ｍが停止状態ではない（自車両Ｍが走行状態である）と判定した場合、操作制限部５１０は、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報に基づいて、運転者ＤＲの視線Ｖが検出不可であるか否かを判定する（ステップＳ１１１）。このステップＳ１１１における判定は、例えば、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報の中に、運転者ＤＲの視線Ｖが交差すると判定した視線判定領域が示されているか否かによって行うことができる。
ステップＳ１１１において、運転者ＤＲの視線Ｖが検出不可ではない、つまり運転者ＤＲの視線Ｖの方向が検出できていると判定した場合、操作制限部５１０は、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報に基づいて、運転者ＤＲが正面側の所定領域を向いているか否かを判定する（ステップＳ１１２）。
ステップＳ１１２において、運転者ＤＲが正面側の所定領域を向いていると判定した場合、操作制限部５１０は、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報に基づいて、運転者ＤＲの手の状態が検出不可であるか否かを判定する（ステップＳ１１３）。このステップＳ１１３における判定は、例えば、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報の中に、運転状態判定部５０６が判定した結果（運転者ＤＲが運転状態であるか非運転状態であるか）が示されているか否かによって行うことができる。なお、操作制限部５１０は、このステップＳ１１３における判定を、例えば、手状態検出部５０４により出力された運転者ＤＲの手の状態（位置）を表す情報の中に、運転者ＤＲの手の状態（位置）が示されているか否かによって行ってもよい。この場合、例えば、運転者ＤＲの手の位置は検出不可であるが、運転者ＤＲの腕の位置や方向から運転者ＤＲの手の状態が運転状態であると推定することができる場合には、ステップＳ１１３において、運転者ＤＲの手の状態が検出不可であると判定しないようにすることができる。
ステップＳ１１３において、運転者ＤＲの手の状態が検出不可ではない、つまり運転者ＤＲの手の状態が検出できていると判定した場合、操作制限部５１０は、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報に基づいて、運転者ＤＲの手の状態が運転状態であるか否かを判定する（ステップＳ１１４）。
ステップＳ１１４において、運転者ＤＲの手の状態が運転状態であると判定した場合、操作制限部５１０は、後述する処理に従って第１時間計測部５１２が計測している時間（第１所定時間）を初期化する（ステップＳ１１５）。言い換えれば、操作制限部５１０は、検出不可状態でなくなった後、運転者ＤＲが正面側の所定領域を向いており、且つ運転者ＤＲの手の状態が運転状態である場合には、この時点で第１時間計測部５１２が計測している時間（第１所定時間）を初期化する。そして、操作制限部５１０は、処理をステップＳ１２０に進めて、ナビゲーション装置７００の操作部に対する操作の受け付けを制限せずに、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ１１１において運転者ＤＲの視線Ｖが検出不可である場合、或いは、ステップＳ１１２において運転者ＤＲが正面側の所定領域を向いていないと判定した場合、或いは、ステップＳ１１３において運転者ＤＲの手の状態が検出不可、或いは、ステップＳ１１４において運転者ＤＲの手の状態が運転状態ではない（非運転状態である）と判定した場合、操作制限部５１０は、第１時間計測部５１２に時間（第１所定時間）の計測を開始させる。そして、操作制限部５１０は、第１時間計測部５１２が計測している時間が第１所定時間を経過したか否かを判定する（ステップＳ１１６）。
ステップＳ１１６において、第１時間計測部５１２が計測している時間が第１所定時間を経過していないと判定した場合、操作制限部５１０は、処理をステップＳ１２０に進めて、ナビゲーション装置７００の操作部に対する操作の受け付けを制限せずに、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ１１６において、第１時間計測部５１２が計測している時間が第１所定時間を経過したと判定した場合、操作制限部５１０は、ナビゲーション装置７００の操作部に対する操作の受け付けを制限する（ステップＳ１３０）。そして、操作制限部５１０は、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
なお、上述したように、操作制限部５１０には、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報と、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報とのそれぞれが同時期に入力される。このため、操作制限部５１０は、図５に示したフローチャートと同様に考え、図７に示したステップＳ１１１およびステップＳ１１２の処理の組と、ステップＳ１１３およびステップＳ１１４の処理の組とを、逆の順番で行ってもよい。言い換えれば、操作制限部５１０は、先に運転者ＤＲの手の状態が検出不可であるか否かを判定した後に、運転者ＤＲの視線Ｖが検出不可であるか否かを判定してもよい。
操作制御装置５００は、このような処理によって、例えば、同乗者ＡＰがナビゲーション装置７００を操作したことによってカメラ１００が自車両Ｍの車室内を撮影する撮影範囲にオクルージョンが発生し、運転者ＤＲの視線Ｖの方向または運転者ＤＲの手の状態のうち一方の検出が不可となった（検出不可状態となった）時点から、この検出不可状態が続いている時間を計測する。そして、操作制御装置５００は、検出不可状態が続いている時間が第１所定時間を経過するまでの間は、ナビゲーション装置７００への入力操作を許容する状態を維持（継続）する。これにより、操作制御装置５００を備える操作制御システム１が搭載される自車両Ｍでは、運転者ＤＲが自車両Ｍを正しく運転しているか否かを判定することができなくなってしまった場合でも、直ちにナビゲーション装置７００の操作部に対する操作の受け付けを制限することなく、第１所定時間が経過するまでの間は、自車両Ｍの運転に関係しない乗員への利便性を向上させることができる。
なお、操作制限部５１０は、検出不可状態が解消された場合には、ステップＳ１１５において、第１時間計測部５１２が計測している時間（第１所定時間）を初期化する。これにより、操作制御装置５００を備える操作制御システム１が搭載される自車両Ｍでは、次に検出不可状態となった場合に、直ちにナビゲーション装置７００の操作部に対する操作の受け付けが制限されてしまうのを回避することができる。言い換えれば、第１所定時間が経過するまでの間は、自車両Ｍの運転に関係しない乗員に対する利便性が低下してしまうのを回避することができる。
上記に述べたとおり、第１実施形態の操作制御装置５００によれば、カメラ１００が撮影した自車両Ｍの車室内の画像に基づいて運転者ＤＲの状態を判定し、判定した運転者ＤＲの状態に基づいて、ナビゲーション装置７００に対する操作の受け付けを制御する。これにより、第１実施形態の操作制御装置５００では、運転者ＤＲが自車両Ｍを正しく運転していると推定することができる状態であれば、自車両Ｍの運転に関係しない、例えば、同乗者ＡＰなどによるナビゲーション装置７００への入力操作を許容することができる。このことにより、第１実施形態の操作制御装置５００を備える操作制御システム１が搭載される自車両Ｍでは、自車両Ｍの運転に関係しない乗員への利便性を向上させることができる。
しかも、第１実施形態の操作制御装置５００では、カメラ１００が撮影した自車両Ｍの車室内の画像に基づいて、運転者ＤＲの状態を判定するための運転者ＤＲの手の状態を検出している。このため、第１実施形態の操作制御装置５００では、運転者ＤＲが直ちにステアリングホイールＳＷを把持することができると推定されるような状態であれば、運転者ＤＲは運転状態であるとみなして判定することができる。この運転状態であるとみなして判定することができるということは、例えばステアリングホイールＳＷに設けた接触センサによって運転者ＤＲの手の状態を判定する場合に比べて、不必要な制御をしてしまわなくなる点で優位であると考えられる。これは、接触センサでは、ステアリングホイールＳＷを把持しているか否かを判定するため、短時間でもステアリングホイールＳＷを把持していなければ、運転者ＤＲは非運転状態であると判定されてしまうことになるからである。そして、ステアリングホイールＳＷを把持していない短時間を運転者ＤＲが非運転状態と判定された場合には、必要以上にナビゲーション装置７００への入力操作が制限されることになるからである。
なお、第１実施形態の操作制御装置５００では、ステップＳ１１１において運転者ＤＲの視線Ｖが検出不可である場合、或いは、ステップＳ１１２において運転者ＤＲが正面側の所定領域を向いていないと判定した場合、或いは、ステップＳ１１３において運転者ＤＲの手の状態が検出不可、或いは、ステップＳ１１４において運転者ＤＲの手の状態が運転状態ではない（非運転状態である）と判定した場合において、第１時間計測部５１２に時間（第１所定時間）の計測を開始させた。そして、第１実施形態の操作制御装置５００では、ステップＳ１１６において第１時間計測部５１２が計測している時間が第１所定時間を経過したか否かを判定して、ナビゲーション装置７００の操作部に対する操作の受け付けを制限した。言い換えれば、例えば、運転者ＤＲの視線Ｖが検出不可である場合と、運転者ＤＲの手の状態が検出不可である場合とで、ナビゲーション装置７００の操作部に対する操作の受け付けを制限するまでの時間が同じ時間であった。しかし、自車両Ｍを運転する際の状態として運転者ＤＲの視線Ｖと手の状態との重要度を比べると、例えば、運転者ＤＲの視線Ｖが検出不可である場合の方がより需要度が高いことも考えられる。この場合、操作制限部５１０に、例えば、第１時間計測部５１２と同様のタイマー機能をもう１つ用意し、運転者ＤＲの視線Ｖが検出不可である場合と、運転者ＤＲの手の状態が検出不可である場合とで、ナビゲーション装置７００の操作部に対する操作の受け付けを制限するまでの時間が異なるようにしてもよい。例えば、運転者ＤＲの視線Ｖが検出不可である場合には２秒が経過した後にナビゲーション装置７００の操作部に対する操作の受け付けを制限し、運転者ＤＲの手の状態が検出不可である場合には４秒が経過した後にナビゲーション装置７００の操作部に対する操作の受け付けを制限するようにしてもよい。この場合の操作制御装置５００の処理は、図７に示したフローチャートに基づいて同様に考えることによって容易に理解することができる。従って、この場合における操作制御装置５００の処理に関する詳細な説明は省略する。
＜第２実施形態＞
［操作制御システム２の全体構成例］
以下、第２実施形態について説明する。図８は、第２実施形態に係る操作制御装置６００を備える操作制御システム２の概略構成図である。操作制御システム２は、例えば、カメラ１００と、車両センサ３００と、操作制御装置６００と、ナビゲーション装置７００とを備える。操作制御システム２では、第１実施形態の操作制御システム１における操作制御装置５００が、操作制御装置６００に代わっている。以下の説明においては、操作制御システム２が備える構成要素において、第１実施形態の操作制御システム１と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。
操作制御装置６００は、例えば、視線検出部５０２と、手状態検出部５０４と、外乱検出部６０５と、運転状態判定部５０６と、走行状態検知部５０８と、走行安定性検知部６０９と、操作制限部６１０とを備える。これらの構成要素も、操作制御装置５００と同様に、例えば、ＣＰＵなどのハードウェアプロセッサと、プログラム（ソフトウェア）を記憶した記憶装置（非一過性の記憶媒体を備える記憶装置）とを備え、プロセッサがプログラムを実行することによりそれぞれの構成要素の機能が実現される。また、操作制御装置６００が備える構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によってそれぞれの構成要素の機能が実現されてもよい。また、操作制御装置６００が備える構成要素のうち一部または全部は、専用のＬＳＩによってそれぞれの構成要素の機能が実現されてもよい。ここで、プログラム（ソフトウェア）は、予めＲＯＭやＲＡＭ、ＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置から近距離通信または広域通信によって予めダウンロードされて、記憶装置にインストールされてもよい。操作制御装置６００も、特許請求の範囲における「操作制御装置」の一例である。
操作制御装置６００では、第１実施形態の操作制御システム１が備える操作制御装置５００に、外乱検出部６０５と走行安定性検知部６０９とが追加されている。また、操作制御装置６００では、第１実施形態の操作制御システム１が備える操作制御装置５００が備える操作制限部５１０が、操作制限部６１０に代わっている。以下の説明においては、操作制御装置６００が備える構成要素において、第１実施形態の操作制御システム１が備える操作制御装置５００と同様の構成要素には同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。そして、以下の説明においては、第１実施形態の操作制御システム１が備える操作制御装置５００と異なる構成要素である操作制御装置６００の構成、動作、および処理についての説明をする。
外乱検出部６０５は、カメラ１００により出力された自車両Ｍの車室内の画像に基づいて、外乱により運転者ＤＲの視線Ｖの方向または運転者ＤＲの手の状態のうち一方または両方の検出が不可となる外乱状態を検出する。外乱とは、例えば、同乗者ＡＰなどの運転者ＤＲ以外の自車両Ｍの乗員や、運転者ＤＲ以外の要因などによるものである。ここで、外乱状態となる運転者ＤＲ以外の要因としては、例えば、自車両Ｍの後方から強い光が入ってきたり、自車両Ｍの車室内が非常に暗くなってしまったりしたことによって、カメラ１００が撮影する自車両Ｍの車室内の画像に写っている運転者ＤＲを認識することができなくなってしまう場合などが考えられる。外乱検出部６０５は、外乱状態を検出すると、このことを表す情報を操作制限部６１０に出力する。「外乱状態」は、特許請求の範囲における「第４状態」の一例である。
なお、外乱が運転者ＤＲ以外の自車両Ｍの乗員によるものである場合における外乱検出部６０５の外乱状態の検出は、例えば、視線検出部５０２における運転者ＤＲの視線検出や、手状態検出部５０４における運転者ＤＲの手の状態の検出と同様に、所定の学習方法を用いて学習しておいた内容に従って検出することができる。また、外乱が運転者ＤＲ以外の要因（例えば、カメラ１００が撮影する自車両Ｍの車室内の画像に写っている運転者ＤＲを認識することができなくなってしまったなど）によるものである場合における外乱検出部６０５の外乱状態の検出は、カメラ１００により出力された自車両Ｍの車室内の画像やカメラ１００が撮影する際の露光制御の状態によって検出することができる。
なお、外乱検出部６０５における外乱状態の検出は、例えば、視線検出部５０２における運転者ＤＲの視線検出や、手状態検出部５０４における運転者ＤＲの手の状態の検出と同じタイミングでなくともよい。言い換えれば、外乱検出部６０５は、外乱状態の検出を逐次行う構成であってもよい。
走行安定性検知部６０９は、車両センサ３００の出力に基づいて、自車両Ｍの走行状態の安定性を検知する。走行状態の安定性は、車両センサ３００の出力の変化や変化量などに基づいて検知することができる。走行安定性検知部６０９は、例えば、車両センサ３００に含まれる車速センサや加速度センサの出力の変化量（自車両Ｍにおける加速側の変化量および減速側の変化量を含む）が、速度に関する所定の変化量の閾値未満である場合には、自車両Ｍの走行状態が安定していることを検知し、速度に関する所定の変化量の閾値以上である場合には、自車両Ｍの走行状態が安定していないことを検知する。また、走行安定性検知部６０９は、例えば、車両センサ３００に含まれるヨーレートセンサや方位センサの出力の変化量（自車両Ｍが直進している祭に想定されるふらつきを含む）が、操舵に関する所定の変化量の閾値未満である場合には、自車両Ｍの走行状態が安定していることを検知し、操舵に関する所定の変化量の閾値以上である場合には、自車両Ｍの走行状態が安定していないことを検知する。走行状態検知部５０８は、検知した自車両Ｍの走行状態の安定性を表す情報を、操作制限部６１０に出力する。
なお、走行安定性検知部６０９における自車両Ｍの走行状態の安定性の検知は、例えば、視線検出部５０２における運転者ＤＲの視線検出や、手状態検出部５０４における運転者ＤＲの手の状態の検出と同じタイミングでなくともよい。言い換えれば、走行安定性検知部６０９は、車両センサ３００の出力に基づいて、自車両Ｍの走行状態の安定性の検知を逐次行う構成であってもよい。
操作制限部６１０は、第１実施形態における操作制御装置５００が備える操作制限部５１０と同様に、ナビゲーション装置７００に対する操作の受け付けを制御する。ただし、操作制限部６１０は、第１実施形態における操作制限部５１０が用いる情報に加えて、外乱検出部６０５により出力された外乱状態を検出したことを表す情報と、走行安定性検知部６０９により出力された自車両Ｍの走行状態の安定性を表す情報とを含めて、ナビゲーション装置７００に対する操作の受け付けを制限しないか、操作の受け付けを制限するかを制御する。例えば、操作制限部６１０は、自車両Ｍが走行状態である場合において、外乱状態を検出したときには、ナビゲーション装置７００に対する操作の受け付けを制限するか制限しないかを、自車両Ｍの走行状態の安定性を表す情報に基づいて決定する。なお、操作制限部６１０は、ナビゲーション装置７００に対する操作の受け付けを制限しないと決定した場合でも、外乱状態を検出したときから、例えば、タイマーによって時間を計測し、計測した時間が所定の時間（以下、第２所定時間）を経過した後には、ナビゲーション装置７００に対する操作の受け付けを制限する。図８には、この第２所定時間を計測するタイマー機能を実現するための構成として、第２時間計測部６１３を備えた構成を示している。
［操作制御装置６００の処理の一例］
次に、操作制御システム２における操作制御装置６００の処理について説明する。図９は、操作制御装置６００により実行される処理の流れの一例を示すフローチャートである。なお、以下の説明においても、ナビゲーション装置７００においてナビ操作入力部７０４と表示部７０８とを合わせてナビＨＭＩとして構成されているものとする。そして、操作制御装置６００は、ナビＨＭＩを構成する表示部７０８に表示された操作ボタンなどに対する操作（タッチ操作）をナビゲーション装置７００の操作部に対する操作として、操作の受け付けを制御するものとする。本フローチャートの処理は、カメラ１００が自車両Ｍの車室内の画像を撮影する所定の時間間隔ごとに繰り返し実行される。なお、以下の説明においては、走行状態検知部５０８における自車両Ｍが走行状態であるか否かの検知は、例えば、視線検出部５０２における運転者ＤＲの視線検出や、手状態検出部５０４における運転者ＤＲの手の状態の検出と同じタイミングで行うが、外乱検出部６０５における外乱状態の検出および走行安定性検知部６０９における自車両Ｍの走行状態の安定性の検知は、それぞれの逐次行う構成であるものとする。
なお、図９に示したフローチャートには、図５や図７に示した第１実施形態の操作制御装置５００の処理の一例を示したフローチャートと同様の処理を含んでいる。より具体的には、図９に示したフローチャートにおけるステップＳ１００〜ステップＳ１１０、およびステップＳ１２０の処理は、図５や図７に示したフローチャートにおける対応するステップ番号の処理と同じである。従って、以下の説明においては、図５や図７に示したフローチャートと同様の処理に関する説明は省略し、図５や図７に示したフローチャートと異なる処理について説明する。
操作制限部６１０は、走行状態検知部５０８により出力された自車両Ｍの走行状態を表す情報に基づいて、自車両Ｍが停止状態であるか否かを判定する（ステップＳ１１０）。ステップＳ１１０において、自車両Ｍが停止状態であると判定した場合、操作制限部６１０は、ナビゲーション装置７００の操作部に対する操作の受け付けを制限しない（ステップＳ１２０）。そして、操作制限部６１０は、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ１１０において、自車両Ｍが停止状態ではない（自車両Ｍが走行状態である）と判定した場合、操作制限部６１０は、外乱検出部６０５により出力された情報に基づいて、外乱状態を検出したか否かを判定する（ステップＳ２１０）。
ステップＳ２１０において、外乱状態を検出していないと判定した場合、操作制限部６１０は、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報に基づいて、運転者ＤＲが正面側の所定領域を向いているか否かを判定する（ステップＳ１１２）。
ステップＳ１１２において、運転者ＤＲが正面側の所定領域を向いていると判定した場合、操作制限部６１０は、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報に基づいて、運転者ＤＲの手の状態が運転状態であるか否かを判定する（ステップＳ１１４）。
ステップＳ１１４において、運転者ＤＲの手の状態が運転状態であると判定した場合、操作制限部６１０は、後述する処理に従って第２時間計測部６１３が計測している時間（第２所定時間）を初期化する（ステップＳ２１２）。言い換えれば、操作制限部６１０は、外乱状態が検出されなくなった後、運転者ＤＲが正面側の所定領域を向いており、且つ運転者ＤＲの手の状態が運転状態である場合には、この時点で第２時間計測部６１３が計測している時間（第２所定時間）を初期化する。そして、操作制限部６１０は、処理をステップＳ１２０に進めて、ナビゲーション装置７００の操作部に対する操作の受け付けを制限せずに、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
なお、操作制御装置６００においても、第１実施形態の操作制御装置５００と同様に、視線検出部５０２におけるステップＳ１０２の処理と、手状態検出部５０４におけるステップＳ１０４の処理および運転状態判定部５０６におけるステップＳ１０６の処理と、走行状態検知部５０８におけるステップＳ１０８の処理とは、並列に行われる。このため、操作制限部６１０にも、視線検出部５０２により出力された運転者ＤＲの視線Ｖの方向を表す情報と、運転状態判定部５０６により出力された運転者ＤＲの手の状態を表す情報とのそれぞれは同時期に入力される。従って、操作制限部６１０は、図５や図７に示した第１実施形態の操作制御装置５００の処理のフローチャートと同様に考え、図９に示したステップＳ１１２の処理とステップＳ１１４の処理とを、逆の順番で行ってもよい。言い換えれば、操作制限部６１０でも、先に運転者ＤＲの手の状態が運転状態であるか否かを判定した後に、運転者ＤＲが正面側の所定領域を向いているか否かを判定してもよい。
一方、ステップＳ２１０において外乱状態を検出していると判定した場合、或いは、ステップＳ１１２において運転者ＤＲが正面側の所定領域を向いていないと判定した場合、或いは、ステップＳ１１４において運転者ＤＲの手の状態が運転状態ではない（非運転状態である）と判定した場合、操作制限部６１０は、走行安定性検知部６０９により出力された安定性を表す情報に基づいて、自車両Ｍの走行状態が安定しているか否かを判定する（ステップＳ２１４）。
ステップＳ２１４において、自車両Ｍの走行状態が安定していないと判定した場合、操作制限部６１０は、ナビゲーション装置７００の操作部に対する操作の受け付けを制限する（ステップＳ１３０）。そして、操作制限部６１０は、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ２１４において、自車両Ｍの走行状態が安定していると判定した場合、操作制限部６１０は、第２時間計測部６１３に時間（第２所定時間）の計測を開始させる。そして、操作制限部６１０は、第２時間計測部６１３が計測している時間が第２所定時間を経過したか否かを判定する（ステップＳ２１６）。
ステップＳ２１６において、第２時間計測部６１３が計測している時間が第２所定時間を経過していないと判定した場合、操作制限部６１０は、処理をステップＳ１２０に進めて、ナビゲーション装置７００の操作部に対する操作の受け付けを制限せずに、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
一方、ステップＳ２１６において、第２時間計測部６１３が計測している時間が第２所定時間を経過したと判定した場合、操作制限部６１０は、ナビゲーション装置７００の操作部に対する操作の受け付けを制限する（ステップＳ１３０）。そして、操作制限部５１０は、カメラ１００から今回取得した自車両Ｍの車室内の画像に対する本フローチャートの処理を終了する。
操作制御装置６００は、このような処理によって、第１実施形態における操作制御装置５００と同様に、カメラ１００が撮影した自車両Ｍの車室内の画像に基づいて運転者ＤＲの状態を判定し、判定した運転者ＤＲの状態に基づいて、ナビゲーション装置７００に対する操作の受け付けを制御する。このとき、操作制御装置６００では、外乱検出部６０５が外乱状態を検出し、走行安定性検知部６０９が自車両Ｍの走行状態の安定性を検知する。
そして、操作制御装置６００では、運転者ＤＲの視線Ｖの方向または運転者ＤＲの手の状態のうち一方または両方の検出が不可となっている場合でも、その要因が運転者ＤＲ以外の自車両Ｍの乗員や運転者ＤＲ以外の要因などの外乱によるものである場合には、自車両Ｍの走行状態が安定していれば、第２所定時間（例えば、３０秒や、１分など）を経過するまでの間、ナビゲーション装置７００に対する操作の受け付けを必要以上に制限しない。つまり、操作制御装置６００では、第１実施形態における操作制御装置５００とは異なる基準（走行安定性検知部６０９が検知する自車両Ｍの走行状態の安定性、言い換えれば、自車両Ｍの走行状態のふらつきの基準）を用いて、自車両Ｍの走行の安全性を確保しつつ、第２所定時間を経過するまでの間は、例えば、自車両Ｍの運転に関係しない同乗者ＡＰによるナビゲーション装置７００への入力操作を許容する状態を維持（継続）する。しかも、操作制御装置６００では、ナビゲーション装置７００への入力操作を許容する状態を維持する時間を第２所定時間までとすることにより、自車両Ｍの走行状態が安定してはいるものの、外乱状態を検出している時間、つまり、運転者ＤＲの運転状態を検出することができていない時間が必要以上に長くならないようにして、自車両Ｍの走行の安全性を確保するようにしている。これにより、操作制御装置６００を備える操作制御システム２が搭載される自車両Ｍでは、自車両Ｍの走行の安全性の確保と、自車両Ｍの運転に関係しない乗員への利便性を向上とを両立させることができる。
なお、操作制限部６１０は、外乱状態が解消され、運転者ＤＲが正面側の所定領域を向いており、且つ運転者ＤＲの手の状態が運転状態である場合には、ステップＳ２１２において、第２時間計測部６１３が計測している時間（第２所定時間）を初期化する。これにより、操作制御装置６００を備える操作制御システム２が搭載される自車両Ｍでは、次に外乱状態が検出された場合に、直ちにナビゲーション装置７００の操作部に対する操作の受け付けが制限されてしまったり、ナビゲーション装置７００の操作部に対する操作を許容する時間が短くなってしまったりして、自車両Ｍの運転に関係しない乗員に対する利便性が低下してしまうのを回避することができる。
上記に述べたとおり、第２実施形態の操作制御装置６００によれば、カメラ１００が撮影した自車両Ｍの車室内の画像に基づいて運転者ＤＲの状態を判定し、判定した運転者ＤＲの状態に基づいて、ナビゲーション装置７００に対する操作の受け付けを制御する際に、外乱状態を検出と自車両Ｍの走行状態の安定性の検知とを行う。これにより、第２実施形態の操作制御装置６００では、自車両Ｍが安定して走行している状態であれば、自車両Ｍの運転に関係しない、例えば、同乗者ＡＰなどによるナビゲーション装置７００への入力操作を許容することができる。このことにより、第２実施形態の操作制御装置６００を備える操作制御システム２が搭載される自車両Ｍでは、自車両Ｍの運転に関係しない乗員への利便性を向上させることができる。
以上説明した実施形態の、例えば、操作制御装置５００によれば、自車両Ｍに設けられたカメラ１００により撮影された車室内の画像に基づいて、自車両Ｍの運転者ＤＲの視線Ｖを検出する視線検出部５０２と、画像に基づいて、運転者ＤＲの手の状態を検出する手状態検出部５０４と、検出された手の状態が、自車両Ｍの運転操作を行っていることが推定される運転状態であるか、運転操作を行っていないことが推定される非運転状態であるかを判定する運転状態判定部５０６と、自車両Ｍの走行状態を検知する走行状態検知部５０８と、自車両Ｍ内に配置された表示部７０８を含むナビ操作入力部７０４に対する操作の受け付けを制限する操作制限部５１０と、を備え、操作制限部５１０は、自車両Ｍが停止状態である場合、操作の受け付けを制限せず、自車両Ｍが走行状態である場合、検出された視線Ｖの向きが運転者ＤＲの正面側の所定領域を向いており、且つ検出された手の状態が運転状態である場合、操作の受け付けを制限せず、検出された視線Ｖの向きが所定領域を向いておらず、或いは検出された手の状態が非運転状態である場合、操作の受け付けを制限することにより、自車両Ｍの運転に関係しない、例えば、同乗者ＡＰによるナビゲーション装置７００への入力操作を必要以上に制限しないようにすることができる。これにより、操作制御装置５００を備える操作制御システム１が搭載される自車両Ｍでは、自車両Ｍの運転に関係しない同乗者ＡＰへの利便性を向上させることができる。
上記説明した実施形態は、以下のように表現することができる。
ハードウェアプロセッサと、
プログラムを記憶した記憶装置と、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを読み出して実行することにより、
車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出し、
前記画像に基づいて、前記運転者の手の状態を検出し、
前記検出した手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定し、
前記車両の走行状態を検知し、
前記車両が停止状態である場合、前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限せず、
前記車両が走行状態である場合、
前記検出した視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出した手の状態が前記第１状態である場合、前記操作の受け付けを制限せず、
前記検出した視線の向きが前記所定領域を向いておらず、或いは前記検出した手の状態が前記第２状態である場合、前記操作の受け付けを制限する、
ように構成されている、操作制御装置。
なお、実施形態では、例えば、操作制御装置５００が、ナビゲーション装置７００に対する入力操作の受け付けを制御する場合について説明した。つまり、操作制御装置５００が操作の受け付けを制御する対象がナビゲーション装置７００である場合について説明した。しかし、操作制御装置５００が操作の受け付けを制御する対象の装置は、自車両Ｍが走行しているときに運転者ＤＲによる操作を制限する必要がある装置であれば、いかなる装置であってもよい。この場合における操作制御装置５００の処理は、上述した実施形態におけるそれぞれの処理と同様に考えることができる。従って、操作制御装置５００が操作の受け付けを制御する対象の装置がナビゲーション装置７００以外の装置である場合の処理に関する説明は省略する。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
１・・・操作制御システム
１００・・・カメラ
３００・・・車両センサ
５００，６００・・・操作制御装置
５０２・・・視線検出部
５０４・・・手状態検出部
５０６・・・運転状態判定部
５０８・・・走行状態検知部
５１０，６１０・・・操作制限部
５１２・・・第１時間計測部
６０５・・・外乱検出部
６０９・・・走行安定性検知部
６１３・・・第２時間計測部
７００・・・ナビゲーション装置
７０２・・・ＧＮＳＳ受信機
７０４・・・ナビ操作入力部
７０６・・・ナビＥＣＵ
７０８・・・表示部
７１０・・・地図情報
Ｍ・・・自車両
ＳＷ・・・ステアリングホイール
ＤＳ・・・運転席
ＡＳ・・・助手席
１０・・・フロントウインドシールド
１２・・・ルームミラー
１４・・・サイドミラー
１６・・・サイドミラー
１８・・・センターコンソール

Claims (10)

  1. 車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出する視線検出部と、
    前記画像に基づいて、前記運転者の手の状態を検出する手状態検出部と、
    前記検出された手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定する運転状態判定部と、
    前記車両の走行状態を検知する走行状態検知部と、
    前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限する操作制限部と、
    を備え、
    前記操作制限部は、
    前記車両が停止状態である場合、前記操作の受け付けを制限せず、
    前記車両が走行状態である場合、
    前記検出された視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出された手の状態が前記第１状態である場合、前記操作の受け付けを制限せず、
    前記検出された視線の向きが前記所定領域を向いておらず、或いは前記検出された手の状態が前記第２状態である場合、前記操作の受け付けを制限する、
    操作制御装置。
  2. 前記所定領域は、少なくとも、前記車両のフロントウインドシールドの一部または全部の領域と、サイドミラー付近の領域とを含む、
    請求項１に記載の操作制御装置。
  3. 前記操作制限部は、前記操作の受け付けを制限していない状態において、前記視線の向きまたは前記手の状態のうち一方の検出が不可である第３状態となった時点から第１所定時間の間、前記操作の受け付けを制限しない、
    請求項１または請求項２に記載の操作制御装置。
  4. 前記操作制限部は、前記第３状態でなくなった後、前記検出された視線の向きが前記所定領域を向いており、且つ前記検出された手の状態が前記第１状態となった時点で、前記第１所定時間を計測するためのタイマーを初期化する、
    請求項３に記載の操作制御装置。
  5. 前記車両の走行状態の安定性を検知する走行安定性検知部と、
    前記画像に基づいて、前記運転者以外の乗員により前記視線の向きおよび前記手の状態のうち一方または両方の検出が不可となった第４状態を検出する外乱検出部と、
    をさらに備え、
    前記操作制限部は、前記操作の受け付けを制限していない状態において、前記外乱検出部により前記第４状態が検出され、且つ前記走行安定性検知部により前記車両の走行状態が安定していることが検出されている場合には、前記操作の受け付けを制限しない状態を継続する、
    請求項１または請求項２に記載の操作制御装置。
  6. 前記車両の走行状態の安定性を検知する走行安定性検知部と、
    前記画像に基づいて、前記運転者以外の要因により前記視線の向きおよび前記手の状態のうち一方または両方の検出が不可となった第４状態を検出する外乱検出部と、
    をさらに備え、
    前記操作制限部は、前記操作の受け付けを制限していない状態において、前記外乱検出部により前記第４状態が検出され、且つ前記走行安定性検知部により前記車両の走行状態が安定していることが検出されている場合には、前記操作の受け付けを制限しない状態を継続する、
    請求項１または請求項２に記載の操作制御装置。
  7. 前記操作制限部は、前記操作の受け付けを制限しておらず、前記外乱検出部により前記第４状態が検出され、且つ前記走行安定性検知部により前記車両の走行状態が安定していることが検出されている状態となってから第２所定時間の間、前記操作の受け付けを制限しない状態を継続する、
    請求項５または請求項６に記載の操作制御装置。
  8. 前記操作制限部は、前記外乱検出部により前記第４状態が検出されなくなった後、前記検出された視線の向きが前記所定領域を向いており、且つ前記検出された手の状態が前記第１状態となった時点で、前記第２所定時間を計測するためのタイマーを初期化する、
    請求項７に記載の操作制御装置。
  9. コンピュータが、
    車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出し、
    前記画像に基づいて、前記運転者の手の状態を検出し、
    前記検出した手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定し、
    前記車両の走行状態を検知し、
    前記車両が停止状態である場合、前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限せず、
    前記車両が走行状態である場合、
    前記検出した視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出した手の状態が前記第１状態である場合、前記操作の受け付けを制限せず、
    前記検出した視線の向きが前記所定領域を向いておらず、或いは前記検出した手の状態が前記第２状態である場合、前記操作の受け付けを制限する、
    操作制御方法。
  10. コンピュータに、
    車両に設けられた撮像装置により撮影された車室内の画像に基づいて、前記車両の運転者の視線を検出させ、
    前記画像に基づいて、前記運転者の手の状態を検出させ、
    前記検出させた手の状態が、前記車両の運転操作を行っていることが推定される第１状態であるか、前記運転操作を行っていないことが推定される第２状態であるかを判定させ、
    前記車両の走行状態を検知させ、
    前記車両が停止状態である場合、前記車両内に配置された表示装置を含む操作部に対する操作の受け付けを制限させず、
    前記車両が走行状態である場合、
    前記検出させた視線の向きが前記運転者の正面側の所定領域を向いており、且つ前記検出させた手の状態が前記第１状態である場合、前記操作の受け付けを制限させず、
    前記検出させた視線の向きが前記所定領域を向いておらず、或いは前記検出させた手の状態が前記第２状態である場合、前記操作の受け付けを制限させる、
    プログラム。
JP2019152115A 2019-08-22 2019-08-22 操作制御装置、操作制御方法、およびプログラム Active JP7227106B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019152115A JP7227106B2 (ja) 2019-08-22 2019-08-22 操作制御装置、操作制御方法、およびプログラム
CN202010709487.6A CN112406900A (zh) 2019-08-22 2020-07-22 操作控制装置、操作控制方法及存储介质
US16/991,064 US11220181B2 (en) 2019-08-22 2020-08-12 Operation control device, operation control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019152115A JP7227106B2 (ja) 2019-08-22 2019-08-22 操作制御装置、操作制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021033570A true JP2021033570A (ja) 2021-03-01
JP7227106B2 JP7227106B2 (ja) 2023-02-21

Family

ID=74647242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019152115A Active JP7227106B2 (ja) 2019-08-22 2019-08-22 操作制御装置、操作制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US11220181B2 (ja)
JP (1) JP7227106B2 (ja)
CN (1) CN112406900A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173702A (ja) * 2003-12-08 2005-06-30 Nissan Motor Co Ltd 運転余裕度判定装置
JP2007017409A (ja) * 2005-07-11 2007-01-25 Toyota Motor Corp 車両用ナビゲーションシステム
JP2007062503A (ja) * 2005-08-30 2007-03-15 Toyota Motor Corp 車載機器制御装置
JP2007140978A (ja) * 2005-11-18 2007-06-07 Toyota Motor Corp 走行支援装置
JP2010127673A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp 車両用入力装置
JP2013125462A (ja) * 2011-12-15 2013-06-24 Denso Corp 車両用注意喚起装置
JP2014032119A (ja) * 2012-08-03 2014-02-20 Denso Corp 操作制御装置、及び、操作制御プログラム
WO2014080570A1 (ja) * 2012-11-26 2014-05-30 株式会社デンソー 携帯端末の制御装置
JP2014225099A (ja) * 2013-05-15 2014-12-04 本田技研工業株式会社 運転支援装置および運転支援方法
WO2017006853A1 (ja) * 2015-07-06 2017-01-12 株式会社デンソー 運転者異常検出装置及び運転者異常検出方法
WO2017057017A1 (ja) * 2015-09-30 2017-04-06 いすゞ自動車株式会社 状態判定装置
JP2017188065A (ja) * 2016-04-01 2017-10-12 株式会社デンソー 運転支援装置及び運転支援プログラム
JP2018073339A (ja) * 2016-11-04 2018-05-10 株式会社テクノワークス 事故防止対策機能を備えた携帯型の電子機器
JP2018156223A (ja) * 2017-03-16 2018-10-04 富士通株式会社 情報処理装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3692759B2 (ja) * 1998-01-19 2005-09-07 株式会社デンソー 車両用表示装置
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US6668221B2 (en) * 2002-05-23 2003-12-23 Delphi Technologies, Inc. User discrimination control of vehicle infotainment system
US20080129684A1 (en) * 2006-11-30 2008-06-05 Adams Jay J Display system having viewer distraction disable and method
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US8700318B2 (en) * 2010-03-10 2014-04-15 Nissan North America, Inc. System and method for selective cancellation of navigation lockout
JP5703787B2 (ja) 2011-01-28 2015-04-22 株式会社デンソーアイティーラボラトリ 車両用情報表示装置
DE102011082123A1 (de) * 2011-09-05 2013-03-07 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrzeuges
US9475389B1 (en) * 2015-06-19 2016-10-25 Honda Motor Co., Ltd. System and method for controlling a vehicle display based on driver behavior
US9477332B2 (en) * 2014-03-24 2016-10-25 Ford Global Technologies, Llc System and method for enabling touchscreen by passenger in moving vehicle
US9751406B2 (en) * 2014-04-03 2017-09-05 Audi Ag Motor vehicle and method for controlling a climate control system in a motor vehicle
US9457816B2 (en) * 2014-07-21 2016-10-04 Ford Global Technologies, Llc Controlling access to an in-vehicle human-machine interface
KR101601527B1 (ko) * 2014-11-04 2016-03-08 현대자동차주식회사 헤드업 디스플레이 장치 및 그의 제어방법
KR20170141484A (ko) * 2016-06-15 2017-12-26 엘지전자 주식회사 차량용 제어장치 및 그것의 제어방법
WO2018011872A1 (ja) * 2016-07-12 2018-01-18 本田技研工業株式会社 運転支援装置
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
KR101978963B1 (ko) * 2017-05-11 2019-05-16 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP6662401B2 (ja) * 2018-03-13 2020-03-11 オムロン株式会社 乗員監視装置
EP3552909A1 (en) * 2018-04-11 2019-10-16 Hyundai Motor Company Apparatus and method for managing control authority transition in vehicle

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173702A (ja) * 2003-12-08 2005-06-30 Nissan Motor Co Ltd 運転余裕度判定装置
JP2007017409A (ja) * 2005-07-11 2007-01-25 Toyota Motor Corp 車両用ナビゲーションシステム
JP2007062503A (ja) * 2005-08-30 2007-03-15 Toyota Motor Corp 車載機器制御装置
JP2007140978A (ja) * 2005-11-18 2007-06-07 Toyota Motor Corp 走行支援装置
JP2010127673A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp 車両用入力装置
JP2013125462A (ja) * 2011-12-15 2013-06-24 Denso Corp 車両用注意喚起装置
JP2014032119A (ja) * 2012-08-03 2014-02-20 Denso Corp 操作制御装置、及び、操作制御プログラム
WO2014080570A1 (ja) * 2012-11-26 2014-05-30 株式会社デンソー 携帯端末の制御装置
JP2014106573A (ja) * 2012-11-26 2014-06-09 Denso Corp 携帯端末の制御装置
JP2014225099A (ja) * 2013-05-15 2014-12-04 本田技研工業株式会社 運転支援装置および運転支援方法
WO2017006853A1 (ja) * 2015-07-06 2017-01-12 株式会社デンソー 運転者異常検出装置及び運転者異常検出方法
WO2017057017A1 (ja) * 2015-09-30 2017-04-06 いすゞ自動車株式会社 状態判定装置
JP2017188065A (ja) * 2016-04-01 2017-10-12 株式会社デンソー 運転支援装置及び運転支援プログラム
JP2018073339A (ja) * 2016-11-04 2018-05-10 株式会社テクノワークス 事故防止対策機能を備えた携帯型の電子機器
JP2018156223A (ja) * 2017-03-16 2018-10-04 富士通株式会社 情報処理装置

Also Published As

Publication number Publication date
US20210053440A1 (en) 2021-02-25
JP7227106B2 (ja) 2023-02-21
US11220181B2 (en) 2022-01-11
CN112406900A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US10308283B2 (en) Parking assist apparatus
JP6380002B2 (ja) 周辺監視装置
JP6340969B2 (ja) 周辺監視装置、及びプログラム
US7482949B2 (en) Parking assist method and a parking assist apparatus
WO2017159510A1 (ja) 駐車支援装置、車載カメラ、車両および駐車支援方法
CN108351958A (zh) 停车位的框线的检测方法及装置
JP4222183B2 (ja) 車両周辺画像表示装置
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP7180144B2 (ja) 運転支援装置
JP2008018798A (ja) 表示制御装置、表示制御方法、表示制御プログラムおよびコンピュータに読み取り可能な記録媒体
CN109774722A (zh) 信息处理装置、方法和程序、驾驶员监控***及保存媒体
JP2008030541A (ja) 車両用運転支援装置、及び、車両用表示装置
JP2010134640A (ja) 情報取得装置
JP2007069756A (ja) 車両用入力操作規制装置
US11220181B2 (en) Operation control device, operation control method, and storage medium
JP5549571B2 (ja) 車内状況表示装置
US10596966B2 (en) Display device for vehicle and display method for vehicle
JP2007212342A (ja) 車両用表示装置
WO2017217044A1 (ja) 視認方向推定装置
JP4706362B2 (ja) 車両用ナビゲーションシステム
WO2019167109A1 (ja) 車両用表示制御装置および表示制御方法
JP2007233477A (ja) 車両用警報装置
KR101796986B1 (ko) 차량 및 그 제어방법
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
JP2004177315A (ja) 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230209

R150 Certificate of patent or registration of utility model

Ref document number: 7227106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150