JP6469170B2 - Electronic device, control method and program - Google Patents

Electronic device, control method and program Download PDF

Info

Publication number
JP6469170B2
JP6469170B2 JP2017113520A JP2017113520A JP6469170B2 JP 6469170 B2 JP6469170 B2 JP 6469170B2 JP 2017113520 A JP2017113520 A JP 2017113520A JP 2017113520 A JP2017113520 A JP 2017113520A JP 6469170 B2 JP6469170 B2 JP 6469170B2
Authority
JP
Japan
Prior art keywords
user
electronic device
unit
image data
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017113520A
Other languages
Japanese (ja)
Other versions
JP2017201539A (en
Inventor
松木　友明
友明 松木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017113520A priority Critical patent/JP6469170B2/en
Publication of JP2017201539A publication Critical patent/JP2017201539A/en
Application granted granted Critical
Publication of JP6469170B2 publication Critical patent/JP6469170B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、所定の報知を行う電子機器、制御方法及びプログラムに関する。   The present invention relates to an electronic device, a control method, and a program that perform predetermined notification.

居眠り運転を防止するため等の目的で、車両の運転者の体調を検出する手段が考えられている。この車両の運転者の体調を検出する手段としては、運転者の脈拍数や両手間の心電位に基づくものがある（例えば、特許文献１を参照）。   Means for detecting the physical condition of the driver of the vehicle have been considered for the purpose of preventing drowsy driving. As means for detecting the physical condition of the driver of the vehicle, there are means based on the pulse rate of the driver and the electrocardiogram between both hands (see, for example, Patent Document 1).

特開平７−２２８１７１号公報JP 7-228171 A

ところで、運転者の心拍数等を検出する場合には、検出装置を運転者に装着してもらう必要があり、運転者の妨げになったり、設定が煩雑になり、運転者に好まれないおそれがある。
本発明は、運転者の妨げにならず、設定が煩雑にならずに、運転者の不注意を検出し、安全運転を図ることができる電子機器、制御方法及びプログラムを提供することを目的とする。 By the way, when detecting the driver's heart rate, etc., it is necessary for the driver to wear the detection device, which may interfere with the driver and may be unfavorable for the driver because of complicated settings. There is.
An object of the present invention is to provide an electronic device, a control method, and a program capable of detecting driver's carelessness and achieving safe driving without hindering the driver and without complicated settings. To do.

本発明に係る電子機器は、上述の課題を解決するために、第１カメラ部と、第２カメラ部と、前記第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する判定部と、前記第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定部と、報知部と、前記判定部によりユーザが覚醒していないと判定され、前記走行状態判定部により走行状態であると判定された場合には、所定の報知を行うように前記報知部を制御する制御部とを備える構成である。   In order to solve the above-described problem, an electronic device according to the present invention is included in the image data based on image data transmitted from the first camera unit, the second camera unit, and the first camera unit. A determination unit that determines whether the user being awake is, a traveling state determination unit that determines whether the user is in a traveling state based on the image data transmitted from the second camera unit, Control that controls the notification unit to perform predetermined notification when it is determined by the notification unit and the determination unit that the user has not been awakened and the traveling state determination unit determines that the user is in the traveling state. It is the structure provided with a part.

電子機器では、加速度センサを備え、前記走行状態判定部は、前記加速度センサにより取得した加速度値も加味して、走行状態であるか否かを判定する構成でもよい。   The electronic apparatus may include an acceleration sensor, and the traveling state determination unit may determine whether the traveling state is in consideration of an acceleration value acquired by the acceleration sensor.

電子機器では、前記判定部は、画像データに含まれているユーザの顔の大きさが覚醒しているか否かの判定に適した大きさかどうかを判定し、適した大きさではないと判定した場合に、ユーザの顔の大きさを適した大きさに調整する構成でもよい。   In the electronic device, the determination unit determines whether the size of the user's face included in the image data is suitable for determining whether or not the user's face is awake, and determines that the size is not appropriate In this case, a configuration in which the size of the user's face is adjusted to an appropriate size may be used.

電子機器では、前記判定部は、画像データにユーザの顔が含まれているか否かを判定し、前記制御部は、前記判定部により画像データにユーザの顔が含まれていないと判定された場合、所定の報知を行うように前記報知部を制御する構成でもよい。   In the electronic device, the determination unit determines whether or not the user's face is included in the image data, and the control unit determines that the user's face is not included in the image data by the determination unit. In this case, the notification unit may be controlled to perform predetermined notification.

電子機器では、前記判定部は、ユーザが覚醒していない状態の予備的な状態であるかどうかを判定し、前記制御部は、前記判定部によりユーザが前記予備的な状態であると判定された場合、所定の報知を行うように前記報知部を制御する構成でもよい。   In the electronic device, the determination unit determines whether the user is in a preliminary state where the user is not awake, and the control unit determines that the user is in the preliminary state by the determination unit. In such a case, the notification unit may be controlled to perform predetermined notification.

電子機器では、前記制御部は、前記判定部によりユーザが覚醒していない、又はユーザが前記予備的な状態であると判定された場合、予め設定されている連絡先に連絡を行う構成でもよい。   In the electronic device, the control unit may be configured to contact a preset contact when the determination unit determines that the user is not awake or the user is in the preliminary state. .

電子機器では、前記制御部は、前記判定部によりユーザが覚醒していない、又はユーザが前記予備的な状態であると判定された場合、所定の場所を検索し、当該所定の場所まで案内する構成でもよい。   In the electronic device, when the determination unit determines that the user is not awake or the user is in the preliminary state, the control unit searches for a predetermined location and guides to the predetermined location. It may be configured.

本発明に係る制御方法は、上述の課題を解決するために、第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する覚醒状態判定工程と、第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定工程と、前記覚醒状態判定工程によりユーザが覚醒していないと判定され、前記走行状態判定工程により走行状態であると判定された場合には、所定の報知を行うように報知部を制御する制御工程とを備える構成である。   In order to solve the above-described problem, the control method according to the present invention determines whether or not the user included in the image data is awake based on the image data transmitted from the first camera unit. The user is not awakened by the awakening state determination step, the running state determination step for determining whether or not the vehicle is in a running state based on the image data transmitted from the second camera unit, and the awakening state determination step And a control step of controlling the notification unit so as to perform predetermined notification when it is determined that the vehicle is in the traveling state by the traveling state determination step.

本発明に係るプログラムは、上述の課題を解決するために、コンピュータに、第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する覚醒状態判定工程と、第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定工程と、前記覚醒状態判定工程によりユーザが覚醒していないと判定され、前記走行状態判定工程により走行状態であると判定された場合には、所定の報知を行うように報知部を制御する制御工程とを実行させるためのものである。   In order to solve the above-described problem, the program according to the present invention determines whether a user included in the image data is awake based on the image data transmitted from the first camera unit to the computer. The user is awakened by the awakening state determination step, the running state determination step for determining whether or not the vehicle is in a running state based on the image data transmitted from the second camera unit, and the awakening state determination step. If it is determined that the vehicle is in the traveling state by the traveling state determination step, a control step of controlling the notification unit so as to perform predetermined notification is executed.

本発明によれば、安全運転を図ることができる。   According to the present invention, safe driving can be achieved.

電子機器の構成を示すブロック図である。It is a block diagram which shows the structure of an electronic device. 電子機器の外観を示す図である。It is a figure which shows the external appearance of an electronic device.

本実施形態においては、電子機器１は、例えば、スマートフォンであるとして説明するが、これに限られない。また、本実施形態においては、電子機器１は、インストールされているナビゲーションアプリケーションによって、道案内を行う機能を発揮するが、これに限られず、インストールされている様々なアプリケーションにより様々な機能（電話通信機能、地図表示機能等）を発揮する。   In the present embodiment, the electronic device 1 is described as being a smartphone, for example, but is not limited thereto. In the present embodiment, the electronic device 1 exhibits a function of performing route guidance using an installed navigation application. However, the electronic device 1 is not limited thereto, and various functions (telephone communication) can be performed using various installed applications. Function, map display function, etc.).

電子機器１は、ユーザによる所定の操作に応じて、ナビゲーションアプリケーションを起動し、設定された目的地情報等に基づいて、目的地までの道案内を開始する。また、電子機器１は、ユーザの覚醒状態に応じて、注意を喚起する機能（以下、アラーム機能という）を有している。   The electronic device 1 starts a navigation application in response to a predetermined operation by the user, and starts route guidance to the destination based on the set destination information and the like. In addition, the electronic device 1 has a function of calling attention (hereinafter referred to as an alarm function) according to the user's arousal state.

ユーザは、車に乗ったときに、ディスプレイ１８に表示される地図情報が見えやすい位置（例えば、ダッシュボードの上）に電子機器１を取り付ける。ユーザは、ディスプレイ１８に表示される地図情報等を参考にしながら、目的地まで運転を行う。   The user attaches the electronic device 1 to a position where the map information displayed on the display 18 is easily visible (for example, on the dashboard) when getting on the car. The user drives to the destination while referring to map information and the like displayed on the display 18.

ここで、本実施形態に係る電子機器１は、ユーザの妨げにならず、設定が煩雑にならずに、ユーザの不注意を検出し、安全運転を図るための構成を備えている。以下に、電子機器１の構成と動作について詳細に説明する。   Here, the electronic apparatus 1 according to the present embodiment has a configuration for detecting user's carelessness and safe driving without hindering the user and making the setting complicated. Below, a structure and operation | movement of the electronic device 1 are demonstrated in detail.

電子機器１は、図１に示すように、第１カメラ部１１と、第２カメラ部１２と、判定部１３と、走行状態判定部１４と、報知部１５と、制御部１６とを備える。   As shown in FIG. 1, the electronic device 1 includes a first camera unit 11, a second camera unit 12, a determination unit 13, a traveling state determination unit 14, a notification unit 15, and a control unit 16.

第１カメラ部１１と第２カメラ部１２とは、ユーザの操作に応じてアラーム機能がＯＮにされると、それぞれ撮影を開始する。
第１カメラ部１１は、例えば、インカメラであり、図２（ａ）に示すように、電子機器１の一方面側に配置される。第２カメラ部１２は、図２（ｂ）に示すように、電子機器１の他方面側に配置される。なお、電子機器１の一方面側とは、ディスプレイ１８や各種操作ボタン１９等が配置されている側であって、ユーザが操作を行う正面側を意味する。電子機器１の一方面側とは、バッテリー等が搭載される側であって、背面側を意味する。 The first camera unit 11 and the second camera unit 12 each start shooting when the alarm function is turned on in response to a user operation.
The first camera unit 11 is, for example, an in-camera, and is disposed on one surface side of the electronic device 1 as illustrated in FIG. The 2nd camera part 12 is arrange | positioned at the other surface side of the electronic device 1, as shown in FIG.2 (b). Note that the one side of the electronic device 1 is a side on which the display 18 and various operation buttons 19 are arranged, and means a front side on which a user performs an operation. The one surface side of the electronic device 1 is a side on which a battery or the like is mounted and means the back surface side.

また、上述したように、電子機器１は、ディスプレイ１８がユーザ側に向くように車内に取り付けられる。よって、ディスプレイ１８と同じ面に配置されている第１カメラ部１１によって撮影された画像データには、ドライバー（ユーザ）の顔が含まれている。
また、ディスプレイ１８の裏面側に配置される第２カメラ部１２によって撮影された画像データには、車の進行方向の風景が含まれている。
第１カメラ部１１は、撮影した画像データを判定部１３に送信する。
第２カメラ部１２は、撮影した画像データを走行状態判定部１４に送信する。 Further, as described above, the electronic device 1 is mounted in the vehicle so that the display 18 faces the user side. Therefore, the image data photographed by the first camera unit 11 disposed on the same surface as the display 18 includes the face of the driver (user).
Further, the image data photographed by the second camera unit 12 disposed on the back side of the display 18 includes a landscape in the traveling direction of the car.
The first camera unit 11 transmits the captured image data to the determination unit 13.
The second camera unit 12 transmits the captured image data to the traveling state determination unit 14.

判定部１３は、第１カメラ部１１から送信されてきた画像データに基づいて、画像データに含まれているユーザが覚醒しているか否かを判定する。判定部１３は、例えば、画像データを解析し、ユーザの顔の動きや目の動き、又は目が開いているか閉じているかというような、居眠り運転を知る上での運転者の特徴的な動作を捕らえ、この特徴的な動作の継続時間により、ユーザが覚醒しているか否かを判定する構成でもよい。   The determination unit 13 determines whether or not the user included in the image data is awake based on the image data transmitted from the first camera unit 11. The determination unit 13 analyzes the image data, for example, and moves the user's face, the movement of the eyes, or whether the eyes are open or closed. It is also possible to determine whether the user is awake by the duration of this characteristic action.

走行状態判定部１４と、第２カメラ部１２から送信されてきた画像データに基づいて、走行状態であるか否かを判定する。走行状態判定部１４は、例えば、画像データを解析し、数フレームの画像データを比較し、変化がある場合には走行状態であると判定する構成でもよいし、数フレームの画像データに含まれる道路を示すオブジェクト（例えば、センターライン、信号機等）の変化に基づいて、走行状態であると判定する構成でもよい。   Based on the traveling state determination unit 14 and the image data transmitted from the second camera unit 12, it is determined whether or not the traveling state is present. For example, the running state determination unit 14 may be configured to analyze the image data, compare several frames of image data, and determine that the vehicle is in the running state when there is a change, or is included in the several frames of image data. A configuration may be adopted in which it is determined that the vehicle is traveling based on a change in an object indicating a road (for example, a center line, a traffic light, etc.)

報知部１５は、スピーカ、バイブレータ、発光素子等によって構成され、外部に報知を行う機能を有している。
制御部１６は、判定部１３によりユーザが覚醒していないと判定され、走行状態判定部１４により走行状態であると判定された場合には、所定の報知を行うように報知部１５を制御する。所定の報知とは、アラームの出力、音声データの出力又は／及びバイブレータの出力等である。音声データは、例えば、「危険です。起きてください。」等の内容のデータである。 The alerting | reporting part 15 is comprised by a speaker, a vibrator, a light emitting element, etc., and has the function to alert | report outside.
When it is determined by the determination unit 13 that the user is not awake and the traveling state determination unit 14 determines that the user is in the traveling state, the control unit 16 controls the notification unit 15 to perform predetermined notification. . The predetermined notification includes an alarm output, audio data output and / or vibrator output. The voice data is, for example, data such as “Dangerous. Please get up”.

このように構成されることにより、電子機器１は、ユーザが車に乗って走行しているときに、覚醒していない状態（居眠り状態）において、所定の報知を行うので、安全運転を図ることができる。
また、電子機器１は、第１カメラ部１１により撮影された画像データにより、ドライバー（ユーザ）の顔を認識しているので、まっすぐ前を見ず、よそ見をしていることも判定することができる。電子機器１は、よそ見をしている状態と判定した場合に、所定の報知を行う構成でもよい。 By being configured in this way, the electronic device 1 performs a predetermined notification in a state where the user is not awakened (sleeping state) when the user is traveling in a car, so that safe driving is intended. Can do.
In addition, since the electronic device 1 recognizes the face of the driver (user) based on the image data captured by the first camera unit 11, it can also be determined that the electronic device 1 is looking away without looking straight ahead. it can. The electronic device 1 may be configured to perform a predetermined notification when it is determined that the electronic device 1 is looking away.

電子機器１は、図１に示すように、さらに加速度センサ１７を備える構成でもよい。
このような構成の場合には、走行状態判定部１４は、加速度センサ１７により取得した加速度値も加味して、走行状態であるか否かを判定する。 As shown in FIG. 1, the electronic device 1 may further include an acceleration sensor 17.
In the case of such a configuration, the traveling state determination unit 14 determines whether or not the traveling state is in consideration of the acceleration value acquired by the acceleration sensor 17.

例えば、車が渋滞中の場合等には、第２カメラ部１２で撮影される画像データを解析しても、変化が少なく、走行状態ではないと誤判定する可能性がある。
そこで、電子機器１は、加速度センサ１７により取得した加速度値を加味することにより、走行状態を正しく判定することができる。 For example, when the car is in a traffic jam, there is a possibility that even if the image data captured by the second camera unit 12 is analyzed, there is little change and it is erroneously determined that the vehicle is not in a running state.
Therefore, the electronic device 1 can correctly determine the traveling state by taking into account the acceleration value acquired by the acceleration sensor 17.

なお、走行状態判定部１４は、予め走行状態を示す加速度値のパターンを記憶部（不図示）に記憶しておき、加速度センサ１７により取得した加速度値のパターンと比較して、走行状態であるか否かを判定する構成でもよい。   The running state determination unit 14 stores an acceleration value pattern indicating the running state in a storage unit (not shown) in advance, and compares the acceleration value pattern acquired by the acceleration sensor 17 with the running state. It may be configured to determine whether or not.

また、判定部１３は、ナビゲーションアプリケーションが起動され、アラーム機能がＯＮの場合に、第１カメラ部１１により撮影されている画像データに含まれているユーザの顔が最適な大きさになるように調整する構成でもよい。調整は、デジタルズームでもよいし、光学ズームでもよい。光学ズームによって調整する場合には、判定部１３は、第１カメラ部１１のレンズを駆動し、焦点距離を変更する。なお、第１カメラ部１１のレンズは、判定部１３ではなく、制御部１６により駆動されてもよい。   Further, the determination unit 13 is configured so that the user's face included in the image data captured by the first camera unit 11 has an optimal size when the navigation application is activated and the alarm function is ON. It may be configured to adjust. The adjustment may be a digital zoom or an optical zoom. When adjusting by optical zoom, the determination unit 13 drives the lens of the first camera unit 11 to change the focal length. The lens of the first camera unit 11 may be driven by the control unit 16 instead of the determination unit 13.

このような構成によれば、電子機器１は、ユーザの顔を最適な大きさに調整するので、覚醒していない状態（居眠り状態）かどうかを確実に判定でき、安全運転を図ることができる。   According to such a configuration, since the electronic device 1 adjusts the user's face to an optimal size, it can be reliably determined whether or not the user is not awake (sleeping state), and safe driving can be achieved. .

また、判定部１３は、画像データにユーザの顔が含まれているか否かを判定する構成でもよい。制御部１６は、判定部１３によって画像データにユーザの顔が含まれていないと判定された場合には、所定の報知を行うように報知部１５を制御する。所定の報知とは、覚醒していない状態において出力される報知とは異なるものであり、アラームの出力、音声データの出力又は／及びバイブレータの出力等である。音声データは、例えば、「カメラにあなたの顔が映るように位置を調整してください。」等の内容のデータである。   The determination unit 13 may be configured to determine whether or not the user's face is included in the image data. When the determination unit 13 determines that the user's face is not included in the image data, the control unit 16 controls the notification unit 15 to perform predetermined notification. The predetermined notification is different from the notification that is output when the user is not awake, and includes an alarm output, audio data output, and / or vibrator output. The audio data is data of contents such as “Please adjust the position so that your face is reflected on the camera”, for example.

このような構成によれば、電子機器１は、所定の報知によってユーザに対して第１カメラ部１１の向きを調整するように促すので、覚醒していない状態（居眠り状態）かどうかを確実に判定でき、安全運転を図ることができる。   According to such a configuration, the electronic device 1 prompts the user to adjust the orientation of the first camera unit 11 by a predetermined notification, so it is ensured that the user is not awake (sleeping state). It can be determined and safe driving can be achieved.

また、判定部１３は、欠伸等により居眠りの予備的な状態かどうかを判定する構成でもよい。制御部１６は、判定部１３によりユーザが居眠りの予備的な状態であると判定され、走行状態判定部１４により走行状態であると判定された場合には、所定の報知を行うように報知部１５を制御する。所定の報知とは、覚醒していない状態において出力される報知と同じでも異なっていてもよく、アラームの出力、音声データの出力又は／及びバイブレータの出力等である。音声データは、例えば、「危険です。起きてください。」や「一休みしてはいかがですか？」等の内容のデータである。
このような構成によれば、電子機器１は、覚醒していない状態（居眠り状態）の予備的な状態において、所定の報知を行うので、より安全運転を図ることができる。 Moreover, the structure which determines whether the determination part 13 is a preliminary state of a dozing by extension etc. may be sufficient. When the determination unit 13 determines that the user is in a pre-sleep state and the traveling state determination unit 14 determines that the user is in the traveling state, the control unit 16 performs a predetermined notification. 15 is controlled. The predetermined notification may be the same as or different from the notification output in a state of not being awakened, and is an alarm output, audio data output, and / or vibrator output, or the like. The voice data is, for example, data such as “Dangerous. Please get up” or “Would you like to take a break?”
According to such a configuration, the electronic device 1 performs a predetermined notification in a preliminary state in which the electronic device 1 is not awakened (sleeping state), and thus safer driving can be achieved.

また、制御部１６は、覚醒していない状態（居眠り状態）、又はその予備的な状態を検知した場合、通信機能を利用して、予め設定されている連絡先（電話番号、又はｅ−ｍａｉｌアドレス等）に連絡を行う構成でもよい。なお、制御部１６は、予め設定されている連絡先に連絡を行う際に、ユーザによる確認後（例えば、ディスプレイのタップ等）に実行されてもよいし、自動的に実行されてもよい。
このような構成によれば、電子機器１は、覚醒していない状態（居眠り状態）の予備的な状態において、予め設定されている連絡先に連絡を行うので、例えば、連絡先から折り返し連絡をもらうことにより、居眠り状態やその予備的な状態から脱することができ、安全運転を図ることができる。 In addition, when the control unit 16 detects a state of not being awakened (sleeping state) or a preliminary state thereof, the control unit 16 uses a communication function to set a contact address (phone number or e-mail) set in advance. It may be configured to contact an address or the like. Note that the control unit 16 may be executed after confirmation by the user (for example, a tap on a display) or automatically when contacting a preset contact.
According to such a configuration, the electronic device 1 contacts a preset contact in a preliminary state in which the electronic device 1 is not awakened (sleeping state). By getting, you can get out of the dozing state or its preliminary state, and you can drive safely.

また、制御部１６は、覚醒していない状態（居眠り状態）、又はその予備的な状態を検知した場合、所定の場所（例えば、ＧＰＳ情報から現在地を求め、最寄りのパーキングエリアや休憩スポット等）を検索し、当該所定の場所まで案内する構成でもよい。なお、所定の場所は、電子機器１に保存されているユーザの過去の行動履歴等に基づいて、ユーザが好みそうな場所を優先的に検索してもよい。
このような構成によれば、電子機器１は、覚醒していない状態（居眠り状態）の予備的な状態において、最寄りのパーキングエリア等に案内をしてくれるので、案内に従うことにより、十分な休息を取ることができ、安全運転を図ることができる。 In addition, when the control unit 16 detects a state of not being awakened (sleeping state) or a preliminary state thereof, the control unit 16 obtains a predetermined location (for example, obtains the current location from the GPS information, the nearest parking area, a break spot, etc.) It may be configured to search for and guide to the predetermined place. Note that the predetermined place may preferentially search for a place that the user is likely to like based on the past action history of the user stored in the electronic device 1.
According to such a configuration, the electronic device 1 provides guidance to the nearest parking area or the like in a preliminary state in which the electronic device 1 is not awakened (sleeping state). Can drive safely.

また、本実施例では、主に安全運転を図るための電子機器の構成と動作について説明したが、これに限られず、各構成要素を備え、安全運転を図るための方法、及びプログラムとして構成されてもよい。   In the present embodiment, the configuration and operation of the electronic device mainly for safe driving have been described. However, the present invention is not limited to this, and each component is provided as a method and program for safe driving. May be.

さらに、電子機器の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。   Furthermore, the program for realizing the function of the electronic device may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   The “computer system” here includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a hard disk built in the computer system.

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。   Furthermore, “computer-readable recording medium” means that a program is dynamically held for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It is also possible to include one that holds a program for a certain time, such as a volatile memory inside a computer system that becomes a server or client in that case. Further, the program may be for realizing a part of the above-described functions, and may be capable of realizing the above-described functions in combination with a program already recorded in the computer system. .

１ 電子機器
１１ 第１カメラ部
１２ 第２カメラ部
１３ 判定部
１４ 走行状態判定部
１５ 報知部
１６ 制御部
１７ 加速度センサ DESCRIPTION OF SYMBOLS 1 Electronic device 11 1st camera part 12 2nd camera part 13 Determination part 14 Running state determination part 15 Notification part 16 Control part 17 Acceleration sensor

Claims (9)

電子機器であって、
ユーザが操作を行う、前記電子機器の正面側に配置される操作部と、
前記電子機器の正面側に配置される第１カメラ部と、
前記電子機器の背面側に配置される第２カメラ部と、
前記第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する判定部と、
前記第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定部と、
報知部と、
前記判定部によりユーザが覚醒していないと判定され、前記走行状態判定部により走行状態であると判定された場合には、所定の報知を行うように前記報知部を制御する制御部とを備える電子機器。 Electronic equipment,
An operation unit arranged on the front side of the electronic device, which is operated by a user,
A first camera unit disposed on the front side of the electronic device;
A second camera unit disposed on the back side of the electronic device;
A determination unit that determines whether or not the user included in the image data is awake based on the image data transmitted from the first camera unit;
A traveling state determination unit that determines whether the vehicle is in a traveling state based on the image data transmitted from the second camera unit;
A notification unit;
A control unit that controls the notification unit so as to perform a predetermined notification when the determination unit determines that the user is not awake and the driving state determination unit determines that the user is in a running state; Electronics. 加速度センサを備え、
前記走行状態判定部は、前記加速度センサにより取得した加速度値も加味して、走行状態であるか否かを判定する請求項１記載の電子機器。 With an acceleration sensor,
The electronic device according to claim 1, wherein the traveling state determination unit determines whether the traveling state is in consideration of an acceleration value acquired by the acceleration sensor. 前記判定部は、画像データに含まれているユーザの顔の大きさが覚醒しているか否かの判定に適した大きさかどうかを判定し、適した大きさではないと判定した場合に、ユーザの顔の大きさを適した大きさに調整する請求項１記載の電子機器。   The determination unit determines whether the size of the user's face included in the image data is a size suitable for determining whether or not the user's face is awake. The electronic device according to claim 1, wherein the size of the face is adjusted to an appropriate size. 前記判定部は、画像データにユーザの顔が含まれているか否かを判定し、
前記制御部は、前記判定部により画像データにユーザの顔が含まれていないと判定された場合、所定の報知を行うように前記報知部を制御する請求項１記載の電子機器。 The determination unit determines whether the user's face is included in the image data,
The electronic device according to claim 1, wherein the control unit controls the notification unit to perform a predetermined notification when the determination unit determines that the user's face is not included in the image data. 前記判定部は、ユーザが覚醒していない状態の予備的な状態であるかどうかを判定し、
前記制御部は、前記判定部によりユーザが前記予備的な状態であると判定された場合、所定の報知を行うように前記報知部を制御する請求項１記載の電子機器。 The determination unit determines whether or not the user is in a preliminary state that is not awake,
The electronic device according to claim 1, wherein the control unit controls the notification unit to perform a predetermined notification when the determination unit determines that the user is in the preliminary state. 前記制御部は、前記判定部によりユーザが覚醒していない、又はユーザが前記予備的な状態であると判定された場合、予め設定されている連絡先に連絡を行う請求項５に記載の電子機器。 The electronic device according to claim 5, wherein the control unit contacts a preset contact when the determination unit determines that the user is not awake or the user is in the preliminary state. machine. 前記制御部は、前記判定部によりユーザが覚醒していない、又はユーザが前記予備的な状態であると判定された場合、所定の場所を検索し、当該所定の場所まで案内する請求項５に記載の電子機器。 Wherein, the user is not awake by the determination unit, or if the user is determined to the a preliminary state, to claim 5 searches the place and guided to the predetermined location The electronic device described. ユーザが操作を行う、電子機器の正面側に配置される操作部と、前記電子機器の正面側に配置される第１カメラ部と、前記電子機器の背面側に配置される第２カメラ部と、報知部と、を備える電子機器が実行する制御方法であって、
前記電子機器により、
前記第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する覚醒状態判定工程と、
前記第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定工程と、
前記覚醒状態判定工程によりユーザが覚醒していないと判定され、前記走行状態判定工程により走行状態であると判定された場合には、所定の報知を行うように前記報知部を制御する制御工程とを備える制御方法。 User performs an operation, electronic an operation portion disposed on the front side of the apparatus, said a first camera portion disposed on the front side of the electronic device, the second camera portion disposed on the rear side of the electronic device And a control method executed by an electronic device comprising a notification unit,
By the electronic device
An arousal state determination step for determining whether or not a user included in the image data is awake based on the image data transmitted from the first camera unit;
A running state determination step for determining whether or not the vehicle is in a running state based on the image data transmitted from the second camera unit;
A control step of controlling the notifying unit to perform a predetermined notification when it is determined that the user is not awake by the awake state determination step and is determined to be a travel state by the travel state determination step; A control method comprising: コンピュータを、請求項１乃至請求項７のいずれか１項に記載の電子機器の各部として機能させるためのプログラム。   The program for functioning a computer as each part of the electronic device of any one of Claim 1 thru | or 7.
JP2017113520A 2017-06-08 2017-06-08 Electronic device, control method and program Active JP6469170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017113520A JP6469170B2 (en) 2017-06-08 2017-06-08 Electronic device, control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017113520A JP6469170B2 (en) 2017-06-08 2017-06-08 Electronic device, control method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014069826A Division JP6161562B2 (en) 2014-03-28 2014-03-28 Electronic device, control method and program

Publications (2)

Publication Number Publication Date
JP2017201539A JP2017201539A (en) 2017-11-09
JP6469170B2 true JP6469170B2 (en) 2019-02-13

Family

ID=60264964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017113520A Active JP6469170B2 (en) 2017-06-08 2017-06-08 Electronic device, control method and program

Country Status (1)

Country Link
JP (1) JP6469170B2 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1035320A (en) * 1996-07-24 1998-02-10 Hitachi Ltd Vehicle condition recognition method, on-vehicle image processor, and memory medium
JP2003123198A (en) * 2001-10-15 2003-04-25 Daiichi Fashion Service:Kk Method and system for preventing drowsing driving accident
JP2007221200A (en) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery monitoring system
JP2009265818A (en) * 2008-04-23 2009-11-12 Denso Corp Driver awakening equipment
JP2012084038A (en) * 2010-10-14 2012-04-26 Toyota Motor Corp Vehicle driving support system
JP2012160115A (en) * 2011-02-02 2012-08-23 Denso Corp Travel information recording apparatus
JP5804508B2 (en) * 2011-05-20 2015-11-04 株式会社パイ・アール Drive recorder
JP5549721B2 (en) * 2011-12-26 2014-07-16 株式会社デンソー Driver monitor device

Also Published As

Publication number Publication date
JP2017201539A (en) 2017-11-09

Similar Documents

Publication Publication Date Title
JP6163017B2 (en) Portable terminal and danger notification system
WO2022062659A1 (en) Intelligent driving control method and apparatus, vehicle, electronic device, and storage medium
JP6917708B2 (en) Driver monitoring system
JP5082834B2 (en) Aside look detection device and method, and program
EP3226096A1 (en) Method and device for parking a balance vehicle
WO2017158758A1 (en) On-vehicle apparatus, drowsy driving prevention method, and drowsy driving prevention program
JP7069374B2 (en) Electronic devices, control methods and programs
KR20150139229A (en) Hmd utilizing driver's drowsiness warning apparatus and method thereof
KR101882478B1 (en) System for detecting dangerous situation of two-wheeled vehicle using sensor and transfer emergency rescue signal method using the same
JPWO2009047874A1 (en) In-vehicle information provider
KR20160088717A (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
JP6631570B2 (en) Operating state determining apparatus, operating state determining method, and program for determining operating state
US9266473B1 (en) Remote hands-free backseat driver
US9984298B2 (en) Method for outputting a drowsiness warning and control unit
JP2015090676A (en) Vehicle driving evaluation system
US20150029031A1 (en) Driver alertness detection and alarm system
JP2015185064A (en) Moving body detection system and moving body detection device
JP2007249757A (en) Warning device
JP6169747B2 (en) Mobile device
JP2008158987A (en) Drive recorder
WO2022188362A1 (en) Distraction reminding method and apparatus, electronic device, and storage medium
JP6161562B2 (en) Electronic device, control method and program
JP2020126435A (en) Vehicle controller
JP6469170B2 (en) Electronic device, control method and program
JP6463412B2 (en) Electronic device, control method and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190115

R150 Certificate of patent or registration of utility model

Ref document number: 6469170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150