JP6775381B2 - In-vehicle device, mobile terminal identification method - Google Patents

In-vehicle device, mobile terminal identification method Download PDF

Info

Publication number
JP6775381B2
JP6775381B2 JP2016208823A JP2016208823A JP6775381B2 JP 6775381 B2 JP6775381 B2 JP 6775381B2 JP 2016208823 A JP2016208823 A JP 2016208823A JP 2016208823 A JP2016208823 A JP 2016208823A JP 6775381 B2 JP6775381 B2 JP 6775381B2
Authority
JP
Japan
Prior art keywords
mobile terminal
unit
vehicle device
vehicle
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016208823A
Other languages
Japanese (ja)
Other versions
JP2018072030A (en
Inventor
青山 紀章
紀章 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2016208823A priority Critical patent/JP6775381B2/en
Publication of JP2018072030A publication Critical patent/JP2018072030A/en
Application granted granted Critical
Publication of JP6775381B2 publication Critical patent/JP6775381B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車載装置、および携帯端末特定方法に関する。 The present invention relates to an in-vehicle device and a method for identifying a mobile terminal.

車載装置にはナビゲーションシステムをはじめとした様々な機能が搭載される。この車載装置を携帯端末から操作するニーズがある。特許文献1には、車両の経路案内情報又は様々な情報の表示を行うカーナビゲーションシステムと、表示手段及びユーザからの入力を受ける入力手段を有する携帯端末とが通信を行えるようにし、携帯端末からの操作によって、カーナビゲーションシステムの表示手段で表示されている情報と同一の情報又は異なる情報を、携帯端末の表示手段に表示できるようにしている構成が開示されている。 The in-vehicle device is equipped with various functions such as a navigation system. There is a need to operate this in-vehicle device from a mobile terminal. In Patent Document 1, a car navigation system that displays vehicle route guidance information or various information and a mobile terminal having a display means and an input means that receives input from a user can communicate with each other from the mobile terminal. A configuration is disclosed in which the same information or different information as the information displayed by the display means of the car navigation system can be displayed on the display means of the mobile terminal by the operation of.

特開2004−28909号公報Japanese Unexamined Patent Publication No. 2004-28909

特許文献1に記載されている発明では、車載装置を操作可能な携帯端末が限定されていない。しかしながら、全ての携帯端末から車載装置の操作を可能とすることは、安全上の観点から好ましくない。そのため、車載装置を操作可能な携帯端末を特定する必要がある。 In the invention described in Patent Document 1, the mobile terminal capable of operating the in-vehicle device is not limited. However, it is not preferable from the viewpoint of safety to enable the operation of the in-vehicle device from all mobile terminals. Therefore, it is necessary to specify a mobile terminal capable of operating the in-vehicle device.

本発明の第1の態様による情報処理装置は、携帯端末と接続され車両に搭載される車載装置であって、操作入力を受け付ける入力部と、前記入力部への入力に基づき演算する演算部と、前記車載装置を操作可能な携帯端末を特定し、特定した前記携帯端末からの操作信号に基づき前記演算部に演算させる連携制御部と、前記携帯端末が前記車両の運転席および前記運転席以外のいずれの位置に存在するかを判断する端末位置判断部と、情報を提示する表示部と、を有し、記端末位置判断部が、前記携帯端末により撮影された前記表示部に関する画像に基づき前記携帯端末の位置を推定によって判断し、前記連携制御部が、前記端末位置判断部が前記運転席以外の位置に存在すると判断する携帯端末を前記車載装置を操作可能な携帯端末として特定する。
本発明の第2の態様による携帯端末特定方法は、携帯端末と接続され車両に搭載される車載装置において実行される携帯端末特定方法であって、前記携帯端末により撮影された前記車載装置の表示部に関する画像に基づき前記携帯端末の位置を推定によって判断し、前記車両の運転席以外の位置に存在すると判断する携帯端末を前記車載装置を操作可能な携帯端末として特定する。
The information processing device according to the first aspect of the present invention is an in-vehicle device connected to a mobile terminal and mounted on a vehicle, and includes an input unit that receives an operation input and a calculation unit that calculates based on the input to the input unit. A mobile control unit that identifies a mobile terminal capable of operating the in-vehicle device and causes the calculation unit to calculate based on an operation signal from the specified mobile terminal, and the mobile terminal other than the driver's seat and the driver's seat of the vehicle. It has a terminal position determination unit that determines which position is present, and a display unit that presents information, and the terminal position determination unit is based on an image of the display unit taken by the mobile terminal. The position of the mobile terminal is determined by estimation, and the cooperation control unit identifies the mobile terminal that the terminal position determination unit determines to exist at a position other than the driver's seat as a mobile terminal capable of operating the in-vehicle device.
The mobile terminal identification method according to the second aspect of the present invention is a mobile terminal identification method executed in an in-vehicle device connected to a mobile terminal and mounted on a vehicle, and is a display of the in-vehicle device photographed by the mobile terminal. The position of the mobile terminal is determined by estimation based on the image of the unit, and the mobile terminal determined to exist at a position other than the driver's seat of the vehicle is specified as the mobile terminal capable of operating the in-vehicle device.

本発明によれば、車載装置を操作可能な携帯端末を特定できる。 According to the present invention, it is possible to identify a mobile terminal capable of operating an in-vehicle device.

車載装置が搭載される車両の構成を示す図The figure which shows the structure of the vehicle which carries the in-vehicle device 車載装置および携帯端末のハードウエア構成を示すブロック図Block diagram showing the hardware configuration of in-vehicle devices and mobile terminals 第1の実施の形態における車載装置の機能ブロック図Functional block diagram of the in-vehicle device according to the first embodiment 未接続状態の車載装置および携帯端末を示す図Diagram showing in-vehicle devices and mobile terminals that are not connected 接続状態にある車載装置および携帯端末を示す図The figure which shows the in-vehicle device and the mobile terminal which are connected 車載装置の操作を起点とする権限委譲動作を示す図The figure which shows the authority delegation operation starting from the operation of an in-vehicle device 複数の携帯端末が接続されている場合の車載装置の表示を示す図The figure which shows the display of the in-vehicle device when a plurality of mobile terminals are connected 携帯端末の操作を起点とする権限委譲動作を示す図Diagram showing authority delegation operation starting from the operation of a mobile terminal 権限委譲処理が完了した後の車載装置および携帯端末を示す図The figure which shows the in-vehicle device and the mobile terminal after the authority delegation process is completed. 制限処理が有効な場合における、携帯端末による車載装置の操作を示す図The figure which shows the operation of the in-vehicle device by a mobile terminal when the restriction processing is effective. 車載装置の表示部に表示される簡易右左折表示を示す図The figure which shows the simple right-left turn display displayed on the display part of an in-vehicle device. 車載装置を操作することにより権限委譲を終了する場合の表示部の表示を示す図The figure which shows the display of the display part when the delegation of authority is terminated by operating an in-vehicle device. 携帯端末を操作することにより権限委譲を終了する場合の表示部の表示を示す図The figure which shows the display of the display part when the delegation of authority is terminated by operating a mobile terminal. 第1の実施の形態において権限委譲が行われていない場合の車載装置の連携制御部の動作を表すフローチャートA flowchart showing the operation of the cooperative control unit of the in-vehicle device when the authority is not delegated in the first embodiment. 図14に示すフローチャートにおけるステップS504の詳細を示すサブルーチンSubroutine showing details of step S504 in the flowchart shown in FIG. 画像方式による携帯端末の位置推定処理を示すサブルーチンSubroutine showing the position estimation process of the mobile terminal by the image method 携帯端末により撮影された車載装置の表示部の例を示す図The figure which shows the example of the display part of the in-vehicle device photographed by a mobile terminal. 音声出力方式による携帯端末の位置推定処理を示すサブルーチンSubroutine showing the position estimation process of the mobile terminal by the voice output method 音声入力方式による携帯端末の位置推定処理を示すサブルーチンSubroutine showing the position estimation process of the mobile terminal by the voice input method 権限委譲が行われていない場合の携帯端末の連携制御部の動作を表すフローチャートA flowchart showing the operation of the cooperation control unit of the mobile terminal when the authority is not delegated. 変形例1における権限委譲後の車載装置の表示部の表示を示す図The figure which shows the display of the display part of the in-vehicle device after delegation of authority in the modification 1. 第2の実施の形態における車載装置の機能ブロック図Functional block diagram of the in-vehicle device according to the second embodiment 第2の実施の形態において権限委譲が行われていない場合の車載装置の連携制御部の動作を表すフローチャートA flowchart showing the operation of the cooperative control unit of the in-vehicle device when the authority is not delegated in the second embodiment.

(第1の実施の形態)
以下、図1〜図20を参照して、車載装置の第1の実施の形態を説明する。
(構成)
図1は、車載装置1が搭載される車両3の構成を示す図である。車両3は、車載装置1と、運転席61と、助手席62と、右後部座席63と、左後部座席64と、ステアリングホイール65と、右前スピーカ31と、左前スピーカ32と、右後スピーカ33と、左後スピーカ34と、ステアリングマイク35と、車速センサ36とを備える。右前スピーカ31、左前スピーカ32、右後スピーカ33、および左後スピーカ34はそれぞれ、運転席61、助手席62、右後部座席63、および左後部座席64に備えられる。ステアリングマイク35は、ステアリングホイール65の周囲、またはステアリングホイール65上に設けられる。
以下では、車載装置1または携帯端末を使用する者を「ユーザ」と呼び、ユーザの中でも運転席61に座り車両3を制御する者を「運転者」と呼ぶ。
(First Embodiment)
Hereinafter, the first embodiment of the in-vehicle device will be described with reference to FIGS. 1 to 20.
(Constitution)
FIG. 1 is a diagram showing a configuration of a vehicle 3 on which an in-vehicle device 1 is mounted. The vehicle 3 includes an in-vehicle device 1, a driver's seat 61, a passenger seat 62, a right rear seat 63, a left rear seat 64, a steering wheel 65, a right front speaker 31, a left front speaker 32, and a right rear speaker 33. The left rear speaker 34, the steering microphone 35, and the vehicle speed sensor 36 are provided. The right front speaker 31, the left front speaker 32, the right rear speaker 33, and the left rear speaker 34 are provided in the driver's seat 61, the passenger seat 62, the right rear seat 63, and the left rear seat 64, respectively. The steering microphone 35 is provided around the steering wheel 65 or on the steering wheel 65.
Hereinafter, a person who uses the in-vehicle device 1 or a mobile terminal is referred to as a "user", and among the users, a person who sits in the driver's seat 61 and controls the vehicle 3 is referred to as a "driver".

図2は、車載装置1および携帯端末2のハードウエア構成を示すブロック図である。車載装置1は車両3に備えられる。車載装置1は、CPU10と、ROM11と、RAM12と、記憶部13と、音声処理部14と、インタフェース15と、表示制御部16と、表示部17と、入力部18と、通信部19とを備える。 FIG. 2 is a block diagram showing a hardware configuration of the in-vehicle device 1 and the mobile terminal 2. The in-vehicle device 1 is provided in the vehicle 3. The in-vehicle device 1 includes a CPU 10, a ROM 11, a RAM 12, a storage unit 13, a voice processing unit 14, an interface 15, a display control unit 16, a display unit 17, an input unit 18, and a communication unit 19. Be prepared.

CPU10は、ROM11に格納されたプログラムをRAM12に展開して実行することにより後述する処理を行う。記憶部13には、後述するテスト音が記録された情報、たとえばテスト音が記録された音声ファイルが格納される。音声処理部14は、右前スピーカ31、左前スピーカ32、右後スピーカ33、左後スピーカ34、およびステアリングマイク35と接続される。音声処理部14は、CPU10の動作指令に基づき前述のスピーカそれぞれに音声信号を出力してスピーカから音声を出力させる。音声処理部14は、それぞれのスピーカから同じ音声を出力させることも可能であり、それぞれのスピーカから異なる音声を出力させることも可能であり、さらに一部のスピーカのみから音声を出力させることも可能である。音声処理部14は、ステアリングマイク35から入力される音声信号をCPU10に出力する。 The CPU 10 performs the processing described later by expanding the program stored in the ROM 11 into the RAM 12 and executing the program. The storage unit 13 stores information in which a test sound, which will be described later, is recorded, for example, an audio file in which the test sound is recorded. The voice processing unit 14 is connected to the right front speaker 31, the left front speaker 32, the right rear speaker 33, the left rear speaker 34, and the steering microphone 35. The voice processing unit 14 outputs a voice signal to each of the above-mentioned speakers based on an operation command of the CPU 10, and causes the speaker to output voice. The voice processing unit 14 can output the same voice from each speaker, can output different voice from each speaker, and can output voice from only some of the speakers. Is. The voice processing unit 14 outputs a voice signal input from the steering microphone 35 to the CPU 10.

インタフェース15は車両3に搭載されるセンサとの接続インタフェースであり、車速センサ36と接続される。インタフェース15は、車速センサ36と直接接続されてもよいし、車両3に備えられる車載ネットワークを介して車速センサ36と接続されてもよい。車速センサ36は、車両3の車軸の回転数に基づき車両3の速度を示す信号をインタフェース15に出力する。 The interface 15 is a connection interface with a sensor mounted on the vehicle 3, and is connected to the vehicle speed sensor 36. The interface 15 may be directly connected to the vehicle speed sensor 36, or may be connected to the vehicle speed sensor 36 via an in-vehicle network provided in the vehicle 3. The vehicle speed sensor 36 outputs a signal indicating the speed of the vehicle 3 to the interface 15 based on the rotation speed of the axle of the vehicle 3.

表示制御部16は、CPU10の動作指令に基づき表示部17に映像を表示させる。表示制御部16の詳細な動作は後述する。入力部18は、ユーザによる操作入力をCPU10に伝達する。以下では、表示部17と入力部18が一体化したタッチパネルとして説明するが、異なる構成、たとえば入力部18が複数のボタンからなる構成でもよい。通信部19は、携帯端末2と無線通信を行う。通信部19は、携帯端末2が所定距離以内に近づくと接続処理を行い、相互に通信が可能となる。以下ではこの状態を「接続状態」と呼ぶ。
携帯端末2は、CPU21と、ROM22と、RAM23と、携帯端末記憶部24と、携帯端末スピーカ25aと、携帯端末マイク25bと、携帯端末表示部27と、携帯端末入力部28と、携帯端末通信部29とを備える。
The display control unit 16 causes the display unit 17 to display an image based on an operation command of the CPU 10. The detailed operation of the display control unit 16 will be described later. The input unit 18 transmits an operation input by the user to the CPU 10. Hereinafter, the touch panel in which the display unit 17 and the input unit 18 are integrated will be described, but a different configuration, for example, the input unit 18 may be composed of a plurality of buttons. The communication unit 19 wirelessly communicates with the mobile terminal 2. When the mobile terminal 2 approaches within a predetermined distance, the communication unit 19 performs a connection process and enables mutual communication. Hereinafter, this state is referred to as a "connection state".
The mobile terminal 2 includes a CPU 21, a ROM 22, a RAM 23, a mobile terminal storage unit 24, a mobile terminal speaker 25a, a mobile terminal microphone 25b, a mobile terminal display unit 27, a mobile terminal input unit 28, and mobile terminal communication. A unit 29 is provided.

CPU21は、ROM22に格納されたプログラムをRAM23に展開して実行することにより以下の処理、および後述するフローチャートにより示される処理を行う。CPU21は、携帯端末入力部28から入力されるユーザの操作に基づく操作信号、携帯端末マイク25bから入力される周囲の音声を収集して生成された音声信号、および携帯端末通信部29から入力される車載装置1から受信した情報、車載装置1から受信する動作指令の少なくとも1つに基づき演算を行う。CPU21は演算結果に基づき、携帯端末スピーカ25aへの音声信号の出力、携帯端末表示部27への映像信号の出力および車載装置1への情報の送信を行う。CPU21は、後述するように車載装置1から権限を委譲されると、換言すると車載装置1の操作が許可される権限委譲状態に遷移されると、車載装置1から受信した映像信号を携帯端末表示部27に表示させ、携帯端末入力部28から入力される操作信号を携帯端末通信部29を経由して車載装置1に送信する。 The CPU 21 expands the program stored in the ROM 22 into the RAM 23 and executes the program to perform the following processing and the processing shown by the flowchart described later. The CPU 21 is input from the mobile terminal communication unit 29, an operation signal based on the user's operation input from the mobile terminal input unit 28, a voice signal generated by collecting surrounding sounds input from the mobile terminal microphone 25b, and the mobile terminal communication unit 29. The calculation is performed based on at least one of the information received from the vehicle-mounted device 1 and the operation command received from the vehicle-mounted device 1. Based on the calculation result, the CPU 21 outputs an audio signal to the mobile terminal speaker 25a, outputs a video signal to the mobile terminal display unit 27, and transmits information to the in-vehicle device 1. As will be described later, the CPU 21 displays the video signal received from the in-vehicle device 1 on the mobile terminal when the authority is delegated from the in-vehicle device 1, in other words, when the authority is transferred to the authority delegation state in which the operation of the in-vehicle device 1 is permitted. It is displayed on the unit 27, and the operation signal input from the mobile terminal input unit 28 is transmitted to the in-vehicle device 1 via the mobile terminal communication unit 29.

携帯端末記憶部24には、後述するテスト音が記録された情報、たとえばテスト音が記録された音声ファイルが格納される。この音声ファイルは、車載装置1の記憶部13に格納される音声ファイルと同一でもよいし異なっていてもよい。
携帯端末スピーカ25aは、CPU21の指令に基づき音声を出力する。携帯端末マイク25bは、周囲の音声を電気信号に変換してCPU21に出力する。携帯端末表示部27は、CPU21の動作指令に基づき映像を表示する。携帯端末入力部28は、携帯端末表示部27と一体に構成されたタッチパネルであり、ユーザによるタッチパネルのタッチ操作により操作信号が生成されてCPU21に伝達される。携帯端末通信部29は、車載装置1と無線通信を行う。携帯端末通信部29は、車載装置1が所定距離以内に近づくと接続処理を行い、相互に通信が可能な接続状態となる。
The mobile terminal storage unit 24 stores information in which a test sound, which will be described later, is recorded, for example, an audio file in which the test sound is recorded. This audio file may be the same as or different from the audio file stored in the storage unit 13 of the vehicle-mounted device 1.
The mobile terminal speaker 25a outputs voice based on a command from the CPU 21. The mobile terminal microphone 25b converts surrounding voice into an electric signal and outputs it to the CPU 21. The mobile terminal display unit 27 displays an image based on an operation command of the CPU 21. The mobile terminal input unit 28 is a touch panel integrally configured with the mobile terminal display unit 27, and an operation signal is generated by a touch operation of the touch panel by the user and transmitted to the CPU 21. The mobile terminal communication unit 29 wirelessly communicates with the in-vehicle device 1. When the in-vehicle device 1 approaches within a predetermined distance, the mobile terminal communication unit 29 performs a connection process and is in a connected state capable of communicating with each other.

図3は、車載装置1のCPU10が実行する機能を機能ブロックとして表現した機能ブロック図である。CPU10は、その機能として演算部110と、制限部120と、連携制御部130と、端末位置判断部140とを備える。
演算部110は、入力部18、または連携制御部130から伝達される入力操作に基づき各種演算を行う。この演算はたとえば、目的地への経路を案内するナビゲーション機能を実現するための演算である。演算部110は、入力操作に基づき連携制御部130へ動作指令を出力する。演算部110は、入力操作に基づき端末位置判断部140の後述する判断方式を決定し、端末位置判断部140に判断方式を設定する。演算部110は、演算結果に基づき表示制御部16に表示部17に映像を表示させる指令を出力する。
FIG. 3 is a functional block diagram representing a function executed by the CPU 10 of the vehicle-mounted device 1 as a functional block. The CPU 10 includes a calculation unit 110, a restriction unit 120, a cooperation control unit 130, and a terminal position determination unit 140 as its functions.
The calculation unit 110 performs various calculations based on the input operation transmitted from the input unit 18 or the cooperation control unit 130. This calculation is, for example, a calculation for realizing a navigation function that guides a route to a destination. The calculation unit 110 outputs an operation command to the cooperation control unit 130 based on the input operation. The calculation unit 110 determines the determination method described later of the terminal position determination unit 140 based on the input operation, and sets the determination method in the terminal position determination unit 140. The calculation unit 110 outputs a command to the display control unit 16 to display an image on the display unit 17 based on the calculation result.

制限部120は、車速センサ36の出力に基づき車両3の速度が所定の速度以上であると判断する場合に、車載装置1を制限状態に移行させる。制限部120は、制限状態では入力部18から演算部110への入力操作の伝達を無効化するとともに、表示制御部16へ制限指令を出力して表示制御部16の出力を情報量の少ない映像に切り替えさせる。情報量の少ない映像とは、たとえば黒の塗りつぶしであり、少なくとも運転者の注意を引かない映像である。ただし制限部120は制限状態において入力部18から演算部110への入力操作の伝達を無効化する代わりに、入力部18が入力操作を受け付けない状態に遷移させてもよい。 When the limiting unit 120 determines that the speed of the vehicle 3 is equal to or higher than a predetermined speed based on the output of the vehicle speed sensor 36, the limiting unit 120 shifts the in-vehicle device 1 to the restricted state. In the restricted state, the limiting unit 120 invalidates the transmission of the input operation from the input unit 18 to the arithmetic unit 110, outputs a limiting command to the display control unit 16, and outputs the output of the display control unit 16 to a video with a small amount of information. To switch to. An image with a small amount of information is, for example, a black fill, at least an image that does not attract the driver's attention. However, instead of invalidating the transmission of the input operation from the input unit 18 to the calculation unit 110 in the restricted state, the restriction unit 120 may transition to a state in which the input unit 18 does not accept the input operation.

連携制御部130は、演算部110の動作指令により動作を開始し、端末位置判断部140が運転席以外にあると判断する携帯端末2に権限を委譲する。連携制御部130は、いずれかの携帯端末2に権限を委譲すると、表示制御部16へ連携指令を出力する。連携指令を受けた表示制御部16は、演算部110の出力に基づき表示部17へ出力する映像信号を連携制御部130へ出力するとともに、表示部17へ黒の塗りつぶしなど運転者の注意を引かない映像を出力する。そして連携制御部130は、表示制御部16から入力される映像信号を携帯端末2に送信する。さらに連携制御部130は、映像信号を携帯端末2に送信した後に携帯端末2から操作信号を受信すると、演算部110にその操作信号を出力する。 The cooperation control unit 130 starts the operation according to the operation command of the calculation unit 110, and delegates the authority to the mobile terminal 2 which determines that the terminal position determination unit 140 is other than the driver's seat. When the cooperation control unit 130 delegates the authority to any of the mobile terminals 2, the cooperation control unit 130 outputs a cooperation command to the display control unit 16. Upon receiving the cooperation command, the display control unit 16 outputs the video signal to be output to the display unit 17 based on the output of the calculation unit 110 to the cooperation control unit 130, and draws the driver's attention such as filling the display unit 17 with black. Outputs a video that is not available. Then, the cooperation control unit 130 transmits the video signal input from the display control unit 16 to the mobile terminal 2. Further, when the cooperation control unit 130 receives the operation signal from the mobile terminal 2 after transmitting the video signal to the mobile terminal 2, the cooperation control unit 130 outputs the operation signal to the calculation unit 110.

端末位置判断部140は、後述する3つの判断方式のいずれかを用いて携帯端末2の位置を判断する。いずれの判断方式を用いるべきかは、演算部110から設定される。端末位置判断部140の動作は後にフローチャートを用いて説明する。
表示制御部16は、演算部110から映像信号が入力され、制限部120から制限指令が入力される場合があり、連携制御部130から連携指令が入力される場合がある。表示制御部16は、制限指令および連携指令が入力されていない場合は、演算部110から入力された映像信号を表示部17に出力する。表示制御部16は、制限指令および連携指令の少なくとも一方が入力されている場合は、情報量の少ない映像、たとえば黒塗りの映像を表示部17に出力する。表示制御部16は、連携指令が入力されている場合は、演算部110から入力された映像信号を連携制御部130に出力する。ただし表示制御部16は、連携指令が入力されている場合であっても、ナビゲーション機能に基づく簡易な右左折表示は表示部17へ表示する。
The terminal position determination unit 140 determines the position of the mobile terminal 2 by using any of the three determination methods described later. Which determination method should be used is set by the calculation unit 110. The operation of the terminal position determination unit 140 will be described later with reference to a flowchart.
In the display control unit 16, a video signal may be input from the calculation unit 110, a restriction command may be input from the restriction unit 120, and a cooperation command may be input from the cooperation control unit 130. When the restriction command and the cooperation command are not input, the display control unit 16 outputs the video signal input from the calculation unit 110 to the display unit 17. When at least one of the restriction command and the cooperation command is input, the display control unit 16 outputs an image having a small amount of information, for example, a black-painted image to the display unit 17. When the cooperation command is input, the display control unit 16 outputs the video signal input from the calculation unit 110 to the cooperation control unit 130. However, the display control unit 16 displays a simple right / left turn display based on the navigation function on the display unit 17 even when a cooperation command is input.

(動作例)
以下、図4〜図13を用いて車載装置1および携帯端末2の動作を説明する。本実施の形態では、権限の委譲とは車載装置1を操作する権限を携帯端末2に与えることである。権限の委譲は車載装置1または携帯端末2を操作することにより開始される。
図4は、未接続状態の車載装置1および携帯端末2を示す図である。車載装置1の表示部17には車載装置1が生成した画面情報Vが表示され、携帯端末2の携帯端末表示部27には携帯端末2が生成した画面情報Mが表示されている。前述のとおり、車載装置1と携帯端末2が所定の距離以内に近づくと無線により接続され相互に通信が可能な状態、すなわち接続状態となる。
(Operation example)
Hereinafter, the operations of the in-vehicle device 1 and the mobile terminal 2 will be described with reference to FIGS. 4 to 13. In the present embodiment, the delegation of authority is to give the mobile terminal 2 the authority to operate the in-vehicle device 1. The delegation of authority is started by operating the in-vehicle device 1 or the mobile terminal 2.
FIG. 4 is a diagram showing an in-vehicle device 1 and a mobile terminal 2 in an unconnected state. The screen information V generated by the in-vehicle device 1 is displayed on the display unit 17 of the in-vehicle device 1, and the screen information M generated by the mobile terminal 2 is displayed on the mobile terminal display unit 27 of the mobile terminal 2. As described above, when the in-vehicle device 1 and the mobile terminal 2 approach each other within a predetermined distance, they are wirelessly connected and are in a state of being able to communicate with each other, that is, in a connected state.

図5は、接続状態にある車載装置1および携帯端末2を示す図である。車載装置1は、接続状態になると表示部17に接続状態にあることを示すアイコンである接続アイコン901を表示する。携帯端末2は、接続状態になると携帯端末表示部27に接続状態にあることを示すアイコンである接続アイコン902を表示する。 FIG. 5 is a diagram showing an in-vehicle device 1 and a mobile terminal 2 in a connected state. The in-vehicle device 1 displays a connection icon 901, which is an icon indicating that the display unit 17 is in the connected state, when the connected state is reached. When the mobile terminal 2 is connected, the mobile terminal display unit 27 displays a connection icon 902, which is an icon indicating that the mobile terminal 2 is in the connected state.

図6は、車載装置1の操作を起点とする権限委譲の開始を示す図である。図6の左側に示すように、ユーザが車載装置1の表示部17に表示された接続アイコン901をタッチすると、後述する処理が行われて携帯端末2の携帯端末表示部27に図6の右側に示す画面が表される。図6の右側に示す画面には、携帯端末2に車載装置1の画面を表示するか否かの問い合わせが表示される。ユーザが携帯端末2を操作して携帯端末2に車載装置1の画面を表示する旨の選択、たとえば「はい」の選択を行うと、後述する端末位置判断処理が開始される。 FIG. 6 is a diagram showing the start of delegation of authority starting from the operation of the in-vehicle device 1. As shown on the left side of FIG. 6, when the user touches the connection icon 901 displayed on the display unit 17 of the in-vehicle device 1, the process described later is performed and the mobile terminal display unit 27 of the mobile terminal 2 is displayed on the right side of FIG. The screen shown in is displayed. On the screen shown on the right side of FIG. 6, an inquiry as to whether or not to display the screen of the in-vehicle device 1 on the mobile terminal 2 is displayed. When the user operates the mobile terminal 2 and selects to display the screen of the in-vehicle device 1 on the mobile terminal 2, for example, "Yes", the terminal position determination process described later is started.

なお車載装置1に複数の携帯端末2が接続されている場合は、ユーザが接続アイコン901をタッチすると図7に示すように接続されている携帯端末2の一覧が表示される。ユーザが表示されている携帯端末2の一覧からいずれか1つの携帯端末2を選択すると、選択された携帯端末2を対象として携帯端末表示部27に図6の右側に示す画像の表示、および後述する権限委譲処理が行われる。 When a plurality of mobile terminals 2 are connected to the in-vehicle device 1, when the user touches the connection icon 901, a list of the connected mobile terminals 2 is displayed as shown in FIG. When the user selects any one of the mobile terminals 2 from the list of the displayed mobile terminals 2, the image shown on the right side of FIG. 6 is displayed on the mobile terminal display unit 27 for the selected mobile terminal 2, and will be described later. Authority delegation processing is performed.

図8は、携帯端末2の操作を起点とする権限委譲の開始を示す図である。図8の左側に示すように、ユーザが携帯端末2の携帯端末表示部27に表示された接続アイコン902をタッチすると、後述する処理が行われて車載装置1の表示部17に図8の右側に示す画面が表される。図8の右側に示す画面には、携帯端末2へ車載装置1の画面を表示するか否かの問い合わせが表示される。ユーザが車載装置1を操作して携帯端末2に車載装置1の画面を表示する旨の選択、たとえば「はい」の選択を行うと、後述する端末位置判断処理が開始される。端末位置判断処理、および権限委譲処理については後述する。 FIG. 8 is a diagram showing the start of delegation of authority starting from the operation of the mobile terminal 2. As shown on the left side of FIG. 8, when the user touches the connection icon 902 displayed on the mobile terminal display unit 27 of the mobile terminal 2, the process described later is performed and the display unit 17 of the in-vehicle device 1 is displayed on the right side of FIG. The screen shown in is displayed. On the screen shown on the right side of FIG. 8, an inquiry as to whether or not to display the screen of the in-vehicle device 1 on the mobile terminal 2 is displayed. When the user operates the in-vehicle device 1 to select that the screen of the in-vehicle device 1 is displayed on the mobile terminal 2, for example, "Yes", the terminal position determination process described later is started. The terminal position determination process and the authority delegation process will be described later.

図9は、権限委譲処理が完了した後の車載装置1および携帯端末2を示す図である。権限委譲処理が完了すると、車載装置1の表示部17には接続アイコン901と後述する簡易な右左折表示のみが表示される。車載装置1の表示制御部16が生成する画面情報Vは、映像信号として携帯端末2に送信される。権限委譲処理が完了すると、携帯端末2の携帯端末表示部27には車載装置1から送信された映像信号に基づき画面情報Vが表示される。ただし携帯端末表示部27に表示される画面情報Vは、携帯端末表示部27の解像度にあわせて加工されてもよい。そしてユーザが携帯端末表示部27をタッチ操作すると、その操作信号が車載装置1に送信される。車載装置1は携帯端末2から受信した操作信号に基づき演算部110を動作させる。そして演算部110が動作すると、表示制御部16は演算部110の指令の基づき携帯端末2に出力する画面情報Vを更新する。 FIG. 9 is a diagram showing an in-vehicle device 1 and a mobile terminal 2 after the authority delegation process is completed. When the authority delegation process is completed, only the connection icon 901 and the simple right / left turn display described later are displayed on the display unit 17 of the vehicle-mounted device 1. The screen information V generated by the display control unit 16 of the in-vehicle device 1 is transmitted to the mobile terminal 2 as a video signal. When the authority delegation process is completed, the screen information V is displayed on the mobile terminal display unit 27 of the mobile terminal 2 based on the video signal transmitted from the in-vehicle device 1. However, the screen information V displayed on the mobile terminal display unit 27 may be processed according to the resolution of the mobile terminal display unit 27. Then, when the user touch-operates the mobile terminal display unit 27, the operation signal is transmitted to the in-vehicle device 1. The in-vehicle device 1 operates the calculation unit 110 based on the operation signal received from the mobile terminal 2. Then, when the calculation unit 110 operates, the display control unit 16 updates the screen information V to be output to the mobile terminal 2 based on the command of the calculation unit 110.

以上図4〜図9を用いて説明したように、権限委譲が開始される。なお、車載装置1の制限部120による制限処理が有効な場合には、前述のとおり入力部18から演算部110への入力操作が無効化されるが、連携制御部130を経由して携帯端末2から入力される入力操作は制限部120による制限の影響を受けない。
図10は、車載装置1の制限部120による制限処理が有効な場合における、携帯端末2による車載装置1の操作を示す図である。携帯端末2が車載装置1に操作信号を出力すると、制限部120による制限処理が有効な場合であっても、車載装置1はその操作信号に基づき演算部110を動作させる。そのため、権限委譲処理が完了した携帯端末2を用いることにより、車両3の走行中でも車載装置1を操作できる。
As described above with reference to FIGS. 4 to 9, delegation of authority is started. When the restriction process by the restriction unit 120 of the in-vehicle device 1 is effective, the input operation from the input unit 18 to the calculation unit 110 is invalidated as described above, but the mobile terminal via the cooperation control unit 130. The input operation input from 2 is not affected by the limitation by the restriction unit 120.
FIG. 10 is a diagram showing an operation of the vehicle-mounted device 1 by the mobile terminal 2 when the limiting process by the limiting unit 120 of the vehicle-mounted device 1 is effective. When the mobile terminal 2 outputs an operation signal to the vehicle-mounted device 1, the vehicle-mounted device 1 operates the calculation unit 110 based on the operation signal even when the restriction processing by the limiting unit 120 is effective. Therefore, by using the mobile terminal 2 for which the authority delegation process has been completed, the in-vehicle device 1 can be operated even while the vehicle 3 is running.

次に図11〜図13を用いて権限委譲後の動作を説明する。
図11は、車載装置1の表示部17に表示される簡易右左折表示を示す図である。車載装置1は、権限委譲後も演算部110が有するナビゲーション機能に基づき、右左折地点が近づくと図11に示す簡易な右左折表示を表示部17に表示する。
図12は、ユーザが車載装置1を操作することにより権限委譲を終了する場合の表示部17の表示を示す図である。ユーザが車載装置1の表示部17をタッチすると、図12に示す表示が表示部17に表示される。この表示は、「今の状態で戻す」および「切替前の状態で戻す」のいずれかを選択可能な表示である。ユーザにより「今の状態で戻す」が選択された場合は、この選択が行われた際に携帯端末2の携帯端末表示部27に表示されていた映像が車載装置1の表示部17に表示され、携帯端末2への映像信号の送信および携帯端末2から車載装置1への操作信号の出力が停止される。またユーザにより「切替前の状態で戻す」が選択された場合は、権限委譲が行われた際に車載装置1の表示部17に表示されていた映像が表示部17に表示され、携帯端末2への映像信号の送信および携帯端末2から車載装置1への操作信号の出力が停止される。
Next, the operation after the delegation of authority will be described with reference to FIGS. 11 to 13.
FIG. 11 is a diagram showing a simple right / left turn display displayed on the display unit 17 of the vehicle-mounted device 1. Based on the navigation function of the calculation unit 110 even after the delegation of authority, the in-vehicle device 1 displays a simple right / left turn display shown in FIG. 11 on the display unit 17 when the right / left turn point approaches.
FIG. 12 is a diagram showing a display of the display unit 17 when the user terminates the delegation of authority by operating the in-vehicle device 1. When the user touches the display unit 17 of the vehicle-mounted device 1, the display shown in FIG. 12 is displayed on the display unit 17. This display is a display in which either "return to the current state" or "return to the state before switching" can be selected. When "Return to the current state" is selected by the user, the image displayed on the mobile terminal display unit 27 of the mobile terminal 2 when this selection is made is displayed on the display unit 17 of the in-vehicle device 1. , The transmission of the video signal to the mobile terminal 2 and the output of the operation signal from the mobile terminal 2 to the in-vehicle device 1 are stopped. When "Return to the state before switching" is selected by the user, the image displayed on the display unit 17 of the in-vehicle device 1 when the authority is delegated is displayed on the display unit 17, and the mobile terminal 2 The transmission of the video signal to and the output of the operation signal from the mobile terminal 2 to the in-vehicle device 1 are stopped.

ただしユーザが前述のいずれかを選択すると、携帯端末2の携帯端末表示部27には権限委譲の終了を承諾するか否かを選択する表示され、承諾された場合のみ権限委譲が終了される。承諾されなかった場合は車載装置1の表示部17にその旨が表示され、権限が委譲された状態が継続される。 However, when the user selects any of the above, the mobile terminal display unit 27 of the mobile terminal 2 is displayed to select whether or not to approve the termination of the delegation of authority, and the delegation of authority is terminated only when the approval is given. If the consent is not accepted, a message to that effect is displayed on the display unit 17 of the in-vehicle device 1, and the state in which the authority has been delegated continues.

図13は、ユーザが携帯端末2を操作することにより権限委譲を終了する場合の携帯端末表示部27の表示を示す図である。ユーザが携帯端末2の携帯端末入力部28を操作して権限委譲を終了させる操作を行うと、図12に示す表示が携帯端末表示部27に表示される。この表示は、「今の状態で戻す」および「最初の状態で戻す」のいずれかを選択可能な表示である。ユーザにより「今の状態で戻す」が選択された場合は、この選択が行われた際に携帯端末2の携帯端末表示部27に表示されていた情報が車載装置1の表示部17に表示され、携帯端末2への映像信号の送信および携帯端末2から車載装置1への操作信号の出力が停止される。またユーザにより「最初の状態で戻す」が選択された場合は、権限委譲が行われた際に車載装置1の表示部17に表示されていた映像が表示部17に表示され、携帯端末2への映像信号の送信および携帯端末2から車載装置1への操作信号の出力が停止される。 FIG. 13 is a diagram showing a display of the mobile terminal display unit 27 when the user terminates the delegation of authority by operating the mobile terminal 2. When the user operates the mobile terminal input unit 28 of the mobile terminal 2 to end the delegation of authority, the display shown in FIG. 12 is displayed on the mobile terminal display unit 27. This display is a display in which either "return to the current state" or "return to the initial state" can be selected. When "Return to the current state" is selected by the user, the information displayed on the mobile terminal display unit 27 of the mobile terminal 2 when this selection is made is displayed on the display unit 17 of the in-vehicle device 1. , The transmission of the video signal to the mobile terminal 2 and the output of the operation signal from the mobile terminal 2 to the in-vehicle device 1 are stopped. When "Return to the initial state" is selected by the user, the image displayed on the display unit 17 of the in-vehicle device 1 when the authority is delegated is displayed on the display unit 17, and the mobile terminal 2 is displayed. The transmission of the video signal and the output of the operation signal from the mobile terminal 2 to the in-vehicle device 1 are stopped.

権限委譲を開始するまでの車載装置1および携帯端末2の動作を図14〜図20に示すフローチャートを用いて説明する。
図14は、携帯端末2と接続された後であって、権限委譲が行われていない場合の車載装置1の連携制御部130の動作を表すフローチャートである。図14に示す処理の実行主体はCPU10である。車載装置1は、携帯端末2と接続された後は権限委譲が行われるまで図14により動作が表されるプログラムを所定時間ごと、たとえば100msごとに繰り返し実行する。
ステップS501では、CPU10は、表示部17に表示された接続アイコン901がユーザにより押された、すなわち選択されたか否かを判断する。ユーザにより接続アイコン901が押されたと判断する場合はステップS502に進み、接続アイコン901が押されていないと判断する場合はステップS508に進む。
The operation of the in-vehicle device 1 and the mobile terminal 2 until the start of delegation of authority will be described with reference to the flowcharts shown in FIGS. 14 to 20.
FIG. 14 is a flowchart showing the operation of the cooperation control unit 130 of the in-vehicle device 1 after being connected to the mobile terminal 2 and when the authority is not delegated. The execution subject of the process shown in FIG. 14 is the CPU 10. After being connected to the mobile terminal 2, the in-vehicle device 1 repeatedly executes a program whose operation is represented by FIG. 14 at predetermined time intervals, for example, every 100 ms, until authority is delegated.
In step S501, the CPU 10 determines whether or not the connection icon 901 displayed on the display unit 17 has been pressed, that is, selected by the user. If it is determined that the connection icon 901 has been pressed by the user, the process proceeds to step S502, and if it is determined that the connection icon 901 has not been pressed, the process proceeds to step S508.

ステップS502では、CPU10は、携帯端末2に権限委譲確認、すなわち権限委譲の可否を問い合わせるメッセージを送信する。続くステップS503では、CPU10は、携帯端末2からの回答を判断し、OK,すなわち権限委譲を承諾する回答が得られたと判断する場合はステップS504に進み、NG,すなわち権限委譲を拒否する回答が得られたと判断する場合は図14のフローチャートで動作が表されるプログラムの動作を終了する。
ステップS504では、CPU10は、端末位置判断部140に端末位置判断処理を実行させて携帯端末2の位置が推定される。本ステップの詳細は、図15を用いて後述する。ステップS504の次に実行されるステップS505では、CPU10は、ステップS504における推定結果を判断する。携帯端末2の位置が運転席以外であると判断する場合はステップS506に進み、携帯端末2の位置が運転席であると判断する場合はステップS507に進む。
In step S502, the CPU 10 transmits a message for confirming the delegation of authority, that is, asking whether or not the delegation of authority is possible, to the mobile terminal 2. In the following step S503, the CPU 10 determines the answer from the mobile terminal 2, and if it determines that an answer that accepts the delegation of authority has been obtained, proceeds to step S504, and NG, that is, an answer that refuses the delegation of authority is given. When it is determined that the result has been obtained, the operation of the program whose operation is shown in the flowchart of FIG. 14 is terminated.
In step S504, the CPU 10 causes the terminal position determination unit 140 to execute the terminal position determination process to estimate the position of the mobile terminal 2. Details of this step will be described later with reference to FIG. In step S505 executed after step S504, the CPU 10 determines the estimation result in step S504. If it is determined that the position of the mobile terminal 2 is other than the driver's seat, the process proceeds to step S506, and if it is determined that the position of the mobile terminal 2 is the driver's seat, the process proceeds to step S507.

ステップS506では、表示制御部16および連携制御部130を権限委譲状態に遷移させる。具体的には、表示制御部16は演算部110から出力される映像情報を表示部17へ出力せずに、連携制御部130を経由して携帯端末2に出力する。また連携制御部130は、携帯端末2から入力された操作信号を演算部110に出力する。
ステップS505において否定判定されると実行されるステップS507では、携帯端末2から拒否されたので権限の委譲が不可能である旨のメッセージを表示部17に表示して、図14のフローチャートで動作が表されるプログラムの動作を終了する。
In step S506, the display control unit 16 and the cooperation control unit 130 are transitioned to the authority delegation state. Specifically, the display control unit 16 does not output the video information output from the calculation unit 110 to the display unit 17, but outputs it to the mobile terminal 2 via the cooperation control unit 130. Further, the cooperation control unit 130 outputs the operation signal input from the mobile terminal 2 to the calculation unit 110.
In step S507, which is executed when a negative determination is made in step S505, a message indicating that the authority cannot be delegated because the mobile terminal 2 has been rejected is displayed on the display unit 17, and the operation is performed in the flowchart of FIG. Ends the operation of the represented program.

ステップS501において否定判定されると実行されるステップS508では、携帯端末2から権限委譲の請求を受信したか否かを判断する。権限委譲の請求を受信したと判断する場合はステップS509に進み、権限委譲の請求を受信していないと判断する場合は図14のフローチャートで動作が表されるプログラムの動作を終了する。
ステップS509では、CPU10は、表示部17に携帯端末2からの権限の委譲を求めるメッセージを表示部17に表示する。続くステップS510では、入力部18から入力されるユーザの選択が権限委譲を承諾するものであると判断する場合はステップS504に進み、ユーザの選択が権限委譲を拒否するものであると判断する場合は図14のフローチャートで動作が表されるプログラムの動作を終了する。
In step S508, which is executed when a negative determination is made in step S501, it is determined whether or not a request for delegation of authority has been received from the mobile terminal 2. If it is determined that the request for delegation of authority has been received, the process proceeds to step S509, and if it is determined that the request for delegation of authority has not been received, the operation of the program whose operation is shown in the flowchart of FIG. 14 is terminated.
In step S509, the CPU 10 displays a message on the display unit 17 requesting the transfer of authority from the mobile terminal 2. In the following step S510, if it is determined that the selection of the user input from the input unit 18 is to accept the delegation of authority, the process proceeds to step S504, and if it is determined that the selection of the user is to reject the delegation of authority. Ends the operation of the program whose operation is represented by the flowchart of FIG.

図15は、図14に示すフローチャートにおけるステップS504の詳細を示すサブルーチンである。図15に示す処理の実行主体は端末位置判断部140、すなわちCPU10である。
ステップS521では、CPUは、あらかじめ設定された判断方式が画像方式、音声出力方式、および音声入力方式のいずれであるかを判断する。CPU10は、画像方式であると判断する場合はステップS530に進み、音声出力方式であると判断する場合はステップS540に進み、音声入力方式であると判断する場合はステップS550に進む。ステップS530では、CPU10は、図16を用いて詳述する手法により携帯端末2の位置を推定する。ステップS540では、CPU10は、図18を用いて詳述する手法により携帯端末2の位置を推定する。ステップS550では、CPU10は、図19を用いて詳述する手法により携帯端末2の位置を推定する。
CPU10は、ステップS530、S540、S550のいずれかを実行すると図16に示すサブルーチンを終了して図14に戻る。
FIG. 15 is a subroutine showing the details of step S504 in the flowchart shown in FIG. The execution subject of the process shown in FIG. 15 is the terminal position determination unit 140, that is, the CPU 10.
In step S521, the CPU determines whether the preset determination method is an image method, an audio output method, or an audio input method. The CPU 10 proceeds to step S530 when determining that it is an image system, proceeds to step S540 when determining that it is an audio output system, and proceeds to step S550 when determining that it is an audio input system. In step S530, the CPU 10 estimates the position of the mobile terminal 2 by the method described in detail with reference to FIG. In step S540, the CPU 10 estimates the position of the mobile terminal 2 by the method described in detail with reference to FIG. In step S550, the CPU 10 estimates the position of the mobile terminal 2 by the method described in detail with reference to FIG.
When any one of steps S530, S540, and S550 is executed, the CPU 10 ends the subroutine shown in FIG. 16 and returns to FIG.

図16は、画像方式による携帯端末2の位置推定処理を示すサブルーチンである。図16に示す処理の実行主体は端末位置判断部140、すなわちCPU10である。
ステップS531では、CPU10は、表示部17に被撮影用画像を表示する。被撮影用画像は、たとえば白一色でもよいし歪みの検出が容易な格子模様でもよい。続くステップS532では、CPU10は、携帯端末2に撮影指示メッセージを送信する。携帯端末2は、受信したこの撮影指示メッセージを携帯端末表示部27に表示し、ユーザに携帯端末2を用いて表示部17を撮影させる。そして携帯端末2は撮影して得られた画像を車載装置1に送信する。
FIG. 16 is a subroutine showing the position estimation process of the mobile terminal 2 by the image method. The execution subject of the process shown in FIG. 16 is the terminal position determination unit 140, that is, the CPU 10.
In step S531, the CPU 10 displays the image to be photographed on the display unit 17. The image to be photographed may be, for example, a solid white color or a checkerboard pattern in which distortion can be easily detected. In the following step S532, the CPU 10 transmits a shooting instruction message to the mobile terminal 2. The mobile terminal 2 displays the received shooting instruction message on the mobile terminal display unit 27, and causes the user to shoot the display unit 17 using the mobile terminal 2. Then, the mobile terminal 2 transmits the captured image to the in-vehicle device 1.

続くステップS533では、CPU10は携帯端末2から撮影画像を受信する。続くステップS534では、CPU10は携帯端末2から受信した撮影画像を解析し、車載装置1の表示部17の歪みに基づき携帯端末2の位置を推定する。車載装置1の表示部17の歪みと携帯端末2の位置との関係を図17を参照して説明する。 In the following step S533, the CPU 10 receives the captured image from the mobile terminal 2. In the following step S534, the CPU 10 analyzes the captured image received from the mobile terminal 2 and estimates the position of the mobile terminal 2 based on the distortion of the display unit 17 of the in-vehicle device 1. The relationship between the distortion of the display unit 17 of the in-vehicle device 1 and the position of the mobile terminal 2 will be described with reference to FIG.

図17は携帯端末2により撮影された車載装置1の表示部17の例を示す図である。図17(a)は車載装置1を右側から撮影して得られる表示部17の像、図17(b)は車載装置1を正面から撮影して得られる表示部17の像、図17(c)は車載装置1を左側から撮影して得られる表示部17の像である。図1に示したように、車載装置1は車両3の前方であって、車両3の幅方向の略中央に設置されている。そのため、運転席61に座るユーザが携帯端末2を用いて表示部17を撮影すると、図17(a)に示すようにユーザに近い右辺が拡大されたように表示部17が歪んで撮影される。また助手席62に座るユーザが携帯端末2を用いて表示部17を撮影すると、図17(c)に示すようにユーザに近い左辺が拡大されたように表示部17が歪んで撮影される。さらに右後部座席63や左後部座席64に座るユーザが携帯端末2を用いて表示部17を撮影すると、表示部17は図17(b)に示すように歪みがない像、または歪みが小さい像として撮影される。後部座席から表示部17を撮影する場合は、前方の座席が遮蔽物となるので車両3の中央部に身を乗り出して撮影すると考えられるからである。また、身を乗り出して撮影しない場合でも、後部座席にある携帯端末2は運転席61や助手席62にある携帯端末2よりも車載装置1との距離が長いので、歪みは小さくなるからである。 FIG. 17 is a diagram showing an example of a display unit 17 of the in-vehicle device 1 photographed by the mobile terminal 2. FIG. 17 (a) is an image of the display unit 17 obtained by photographing the vehicle-mounted device 1 from the right side, and FIG. 17 (b) is an image of the display unit 17 obtained by photographing the vehicle-mounted device 1 from the front, FIG. 17 (c). ) Is an image of the display unit 17 obtained by photographing the in-vehicle device 1 from the left side. As shown in FIG. 1, the in-vehicle device 1 is installed in front of the vehicle 3 and substantially at the center in the width direction of the vehicle 3. Therefore, when a user sitting in the driver's seat 61 photographs the display unit 17 using the mobile terminal 2, the display unit 17 is distorted and photographed as if the right side close to the user is enlarged as shown in FIG. 17A. .. Further, when a user sitting in the passenger seat 62 photographs the display unit 17 using the mobile terminal 2, the display unit 17 is distorted and photographed as if the left side close to the user is enlarged as shown in FIG. 17 (c). Further, when a user sitting in the right rear seat 63 or the left rear seat 64 photographs the display unit 17 using the mobile terminal 2, the display unit 17 shows an image without distortion or an image with little distortion as shown in FIG. 17 (b). Taken as. This is because when the display unit 17 is photographed from the rear seat, the front seat serves as a shield, so it is considered that the user leans forward to the central portion of the vehicle 3 to photograph the display unit 17. Further, even when the user does not lean forward and take a picture, the mobile terminal 2 in the rear seat has a longer distance from the in-vehicle device 1 than the mobile terminal 2 in the driver's seat 61 or the passenger seat 62, so that the distortion is small. ..

以上説明したように車載装置1と携帯端末2の位置関係に基づき撮影画像における表示部17の像が歪むので、CPU10は、携帯端末2から受信した撮影画像における表示部17の歪みに基づき携帯端末2の位置がいずれの座席にあるかを推定する。ただし本ステップでは、携帯端末2の位置が運転席61にあるか運転席61以外の席にあるかを判断するだけでもよい。
CPU10は、ステップS534を実行すると図16に示すサブルーチンを終了する。
As described above, since the image of the display unit 17 in the captured image is distorted based on the positional relationship between the in-vehicle device 1 and the mobile terminal 2, the CPU 10 uses the mobile terminal based on the distortion of the display unit 17 in the captured image received from the mobile terminal 2. Estimate which seat the position 2 is in. However, in this step, it is sufficient to determine whether the position of the mobile terminal 2 is in the driver's seat 61 or in a seat other than the driver's seat 61.
When step S534 is executed, the CPU 10 ends the subroutine shown in FIG.

図18は、車載装置1がテスト音声を出力する音声出力方式による携帯端末2の位置推定処理を示すサブルーチンである。図18に示す処理の実行主体は端末位置判断部140、すなわちCPU10である。
ステップS541では、CPU10は、携帯端末2に録音指令を送信する。この録音指令を受信した携帯端末2は、携帯端末マイク25bを用いて所定時間の録音を開始し所定時間の経過後に録音して得られたデータ(以下、「携帯端末録音データ」と呼ぶ)を車載装置1に送信する。続くステップS452では、CPU10は、音声処理部14を用いて運転席61に直近のスピーカ、すなわち右前スピーカ31のみから所定のテスト音を出力する。続くステップS543では、携帯端末2から携帯端末録音データを受信する。続くステップS544では、信号解析、すなわち携帯端末録音データを信号解析し、ステップS452において出力したテスト音を検出する。続くステップS545では、ステップS544における信号解析によりテスト音が検出されたか否かを判断する。テスト音が検出されたと判断する場合はステップS546に進み、テスト音が検出されないと判断する場合はステップS547に進む。ただしテスト音が検出されたか否かは、テスト音が所定の閾値レベル以上で検出されたか否かに基づいて判断され、所定の閾値レベルはたとえばシミュレーションや実機テストに基づき設定される。
FIG. 18 is a subroutine showing the position estimation process of the mobile terminal 2 by the voice output method in which the vehicle-mounted device 1 outputs the test voice. The execution subject of the process shown in FIG. 18 is the terminal position determination unit 140, that is, the CPU 10.
In step S541, the CPU 10 transmits a recording command to the mobile terminal 2. The mobile terminal 2 that has received this recording command starts recording for a predetermined time using the mobile terminal microphone 25b, and records the data obtained by recording after the lapse of a predetermined time (hereinafter, referred to as "mobile terminal recording data"). It is transmitted to the in-vehicle device 1. In the following step S452, the CPU 10 uses the voice processing unit 14 to output a predetermined test sound only from the speaker closest to the driver's seat 61, that is, the right front speaker 31. In the following step S543, the mobile terminal recorded data is received from the mobile terminal 2. In the following step S544, signal analysis, that is, signal analysis of the recorded data of the mobile terminal is performed, and the test sound output in step S452 is detected. In the following step S545, it is determined whether or not the test sound is detected by the signal analysis in step S544. If it is determined that the test sound is detected, the process proceeds to step S546, and if it is determined that the test sound is not detected, the process proceeds to step S547. However, whether or not the test sound is detected is determined based on whether or not the test sound is detected at a predetermined threshold value or higher, and the predetermined threshold level is set based on, for example, a simulation or an actual machine test.

ステップS545において肯定判定されると実行されるステップS546では、携帯端末2が運転席61にあると推定して図18に示すサブルーチンを終了する。ステップS545において否定判定されると実行されるステップS547では、携帯端末2が運転席61以外にあると推定して図18に示すサブルーチンを終了する。 In step S546, which is executed when a positive determination is made in step S545, it is estimated that the mobile terminal 2 is in the driver's seat 61, and the subroutine shown in FIG. 18 is terminated. In step S547, which is executed when a negative determination is made in step S545, it is estimated that the mobile terminal 2 is other than the driver's seat 61, and the subroutine shown in FIG. 18 is terminated.

図19は、車載装置1に入力されるテスト音に基づき携帯端末2の位置を推定する音声入力方式による位置推定処理を示すサブルーチンである。図19に示す処理の実行主体は端末位置判断部140、すなわちCPU10である。
ステップS551では、CPU10は、携帯端末2にテスト音の出力指示を送信する。この出力指示を受信した携帯端末2は、携帯端末スピーカ25aを用いてテスト音を出力する。続くステップS552では、CPU10は、ステアリングマイク35から入力される音声信号を、音声処理部14を用いて録音する。以下では、ステップS552において録音して得られたデータを「車載装置録音データ」と呼ぶ。続くステップS553では、ステップS552において得られた車載装置録音データを信号解析してテスト音を検出する。続くステップS554では、ステップS553における信号解析によりテスト音が検出されたか否かを判断する。テスト音が検出されたと判断する場合はステップS555に進み、テスト音が検出されないと判断する場合はステップS556に進む。ただしテスト音が検出されたか否かは、テスト音が所定の閾値レベル以上で検出されたか否かに基づいて判断され、所定の閾値レベルはたとえばシミュレーションや実機テストに基づき設定される。
FIG. 19 is a subroutine showing a position estimation process by a voice input method for estimating the position of the mobile terminal 2 based on the test sound input to the in-vehicle device 1. The execution subject of the process shown in FIG. 19 is the terminal position determination unit 140, that is, the CPU 10.
In step S551, the CPU 10 transmits a test sound output instruction to the mobile terminal 2. The mobile terminal 2 that has received this output instruction outputs a test sound using the mobile terminal speaker 25a. In the following step S552, the CPU 10 records the voice signal input from the steering microphone 35 by using the voice processing unit 14. Hereinafter, the data obtained by recording in step S552 will be referred to as “vehicle-mounted device recording data”. In the following step S553, the vehicle-mounted device recording data obtained in step S552 is signal-analyzed to detect the test sound. In the following step S554, it is determined whether or not the test sound is detected by the signal analysis in step S553. If it is determined that the test sound is detected, the process proceeds to step S555, and if it is determined that the test sound is not detected, the process proceeds to step S556. However, whether or not the test sound is detected is determined based on whether or not the test sound is detected at a predetermined threshold value or higher, and the predetermined threshold level is set based on, for example, a simulation or an actual machine test.

ステップS554において肯定判定されると実行されるステップS555では、携帯端末2が運転席61にあると推定して図19に示すサブルーチンを終了する。ステップS554において否定判定されると実行されるステップS556では、携帯端末2が運転席61以外にあると推定して図19に示すサブルーチンを終了する。 In step S555, which is executed when a positive determination is made in step S554, it is estimated that the mobile terminal 2 is in the driver's seat 61, and the subroutine shown in FIG. 19 is terminated. In step S556, which is executed when a negative determination is made in step S554, it is estimated that the mobile terminal 2 is other than the driver's seat 61, and the subroutine shown in FIG. 19 is terminated.

図20は、車載装置1と接続された後であって、権限委譲が行われていない場合の携帯端末2の連携制御部130の動作を表すフローチャートである。図20に示す処理の実行主体はCPU21である。携帯端末2は、車載装置1と接続された後は権限委譲が行われるまで図20により動作が表されるプログラムを所定時間ごと、たとえば100msごとに繰り返し実行する。 FIG. 20 is a flowchart showing the operation of the cooperation control unit 130 of the mobile terminal 2 after being connected to the in-vehicle device 1 and when the authority is not delegated. The execution subject of the process shown in FIG. 20 is the CPU 21. After being connected to the in-vehicle device 1, the mobile terminal 2 repeatedly executes the program whose operation is represented by FIG. 20 every predetermined time, for example, every 100 ms, until the authority is delegated.

ステップS601では、CPU21は、携帯端末表示部27に表示された接続アイコン902がユーザにより押された、すなわち選択されたか否かを判断する。ユーザにより接続アイコン902が押されたと判断する場合はステップS602に進み、接続アイコン902が押されていないと判断する場合はステップS611に進む。ステップS602では、CPU21は、車載装置1に権限委譲の請求を送信して図20のフローチャートで動作が表されるプログラムの動作を終了する。なおステップS602が実行されると、車載装置1では図14のステップS508において肯定判定がされる。 In step S601, the CPU 21 determines whether or not the connection icon 902 displayed on the mobile terminal display unit 27 has been pressed, that is, selected by the user. If it is determined that the connection icon 902 has been pressed by the user, the process proceeds to step S602, and if it is determined that the connection icon 902 has not been pressed, the process proceeds to step S611. In step S602, the CPU 21 transmits a request for delegation of authority to the in-vehicle device 1 and ends the operation of the program whose operation is shown in the flowchart of FIG. When step S602 is executed, the in-vehicle device 1 makes an affirmative determination in step S508 of FIG.

ステップS601において否定判定されると実行されるステップS611では、CPU21は、車載装置1から権限委譲の確認、すなわち権限委譲を承諾するか否かの問合せを受信したか否かを判断する。なお車載装置1による権限委譲の確認の送信は、図14のステップS502の実行によるものである。CPU21は、権限委譲の確認を受信したと判断する場合はステップS612に進み、権限委譲の確認を受信していないと判断する場合はステップS621に進む。ステップS612では、CPU21は、権限委譲確認メッセージ、すなわち権限委譲を承諾するか否かを問い合わせるメッセージを携帯端末表示部27に表示する。続くステップS613では、CPU21は、携帯端末入力部28から入力されるユーザの回答、すなわち権限委譲を承諾するか否かの情報を車載装置1に送信し、図20のフローチャートで動作が表されるプログラムの動作を終了する。なお本ステップにおける情報の送信に基づき図14のステップS503の判断が行われる。 In step S611, which is executed when a negative determination is made in step S601, the CPU 21 determines whether or not a confirmation of delegation of authority, that is, an inquiry as to whether or not to approve the delegation of authority has been received from the in-vehicle device 1. The transmission of confirmation of delegation of authority by the in-vehicle device 1 is performed by executing step S502 in FIG. When the CPU 21 determines that the confirmation of delegation of authority has been received, the process proceeds to step S612, and when it determines that the confirmation of delegation of authority has not been received, the CPU 21 proceeds to step S621. In step S612, the CPU 21 displays an authority delegation confirmation message, that is, a message inquiring whether or not to approve the delegation of authority on the mobile terminal display unit 27. In the following step S613, the CPU 21 transmits the user's answer input from the mobile terminal input unit 28, that is, information on whether or not to accept the delegation of authority to the in-vehicle device 1, and the operation is shown by the flowchart of FIG. End the operation of the program. The determination in step S503 of FIG. 14 is performed based on the transmission of information in this step.

ステップS611において否定判定されると実行されるステップS621では、CPU21は、車載装置1から撮影指示メッセージを受信したか否かを判断する。なお撮影指示メッセージは、図16のステップS532において車載装置1から送信されるものである。CPU21は、撮影指示メッセージを受信したと判断する場合はステップS622に進み、撮影指示メッセージを受信していないと判断する場合はステップS631に進む。ステップS622では、CPU21は、撮影指示メッセージ、すなわち車載装置1を撮影する指示を示すメッセージを携帯端末表示部27に表示する。続くステップS633では、CPU21は、ステップS632のメッセージ表示に基づき携帯端末2を用いてユーザが撮影した得られた画像を車載装置1に送信し、図20のフローチャートで動作が表されるプログラムの動作を終了する。なお本ステップにおける情報の送信に基づき図16のステップS533の受信処理が行われる。 In step S621, which is executed when a negative determination is made in step S611, the CPU 21 determines whether or not a shooting instruction message has been received from the vehicle-mounted device 1. The shooting instruction message is transmitted from the in-vehicle device 1 in step S532 of FIG. The CPU 21 proceeds to step S622 if it determines that the shooting instruction message has been received, and proceeds to step S631 if it determines that the shooting instruction message has not been received. In step S622, the CPU 21 displays a shooting instruction message, that is, a message indicating an instruction to shoot the vehicle-mounted device 1 on the mobile terminal display unit 27. In the following step S633, the CPU 21 transmits the obtained image taken by the user using the mobile terminal 2 based on the message display in step S632 to the in-vehicle device 1, and operates the program whose operation is shown in the flowchart of FIG. To finish. The reception process of step S533 of FIG. 16 is performed based on the transmission of information in this step.

ステップS621において否定判定されると実行されるステップS631では、CPU21は、車載装置1から録音指令を受信したか否かを判断する。なお車載装置1による録音指令の送信は、図18のステップS541の実行によるものである。CPU21は、録音指令を受信したと判断する場合はステップS632に進み、録音指令を受信していないと判断する場合はステップS641に進む。ステップS632では、CPU21は、携帯端末マイク25bを用いて所定時間の録音を開始する。続くステップS633では、CPU21は、所定時間の録音により得られた携帯端末録音データを車載装置1に送信し、図20のフローチャートで動作が表されるプログラムの動作を終了する。なお本ステップにおける情報の送信に基づき図18のステップS543の受信処理が行われる。 In step S631, which is executed when a negative determination is made in step S621, the CPU 21 determines whether or not a recording command has been received from the in-vehicle device 1. The transmission of the recording command by the in-vehicle device 1 is due to the execution of step S541 in FIG. When the CPU 21 determines that the recording command has been received, the process proceeds to step S632, and when it determines that the recording command has not been received, the CPU 21 proceeds to step S641. In step S632, the CPU 21 starts recording for a predetermined time using the mobile terminal microphone 25b. In the following step S633, the CPU 21 transmits the mobile terminal recording data obtained by recording for a predetermined time to the in-vehicle device 1, and ends the operation of the program whose operation is shown in the flowchart of FIG. The reception process of step S543 of FIG. 18 is performed based on the transmission of information in this step.

ステップS631において否定判定されると実行されるステップS641では、CPU21は、車載装置1から音声出力指令を受信したか否かを判断する。なお車載装置1による音声出力指令の送信は、図19のステップS551の実行によるものである。CPU21は、音声出力指令を受信したと判断する場合はステップS642に進み、音声出力指令を受信していないと判断する場合は図20のフローチャートで動作が表されるプログラムの動作を終了する。ステップS642では、CPU21は、携帯端末スピーカ25aを用いて所定のテスト音を出力し、図20のフローチャートで動作が表されるプログラムの動作を終了する。なお本ステップにおいて出力されるテスト音は、図19のステップS552の録音処理において録音される。 In step S641, which is executed when a negative determination is made in step S631, the CPU 21 determines whether or not a voice output command has been received from the in-vehicle device 1. The transmission of the voice output command by the in-vehicle device 1 is due to the execution of step S551 in FIG. If it is determined that the voice output command has been received, the CPU 21 proceeds to step S642, and if it determines that the voice output command has not been received, the CPU 21 ends the operation of the program whose operation is shown in the flowchart of FIG. In step S642, the CPU 21 outputs a predetermined test sound using the portable terminal speaker 25a, and ends the operation of the program whose operation is shown in the flowchart of FIG. The test sound output in this step is recorded in the recording process of step S552 of FIG.

上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車載装置1は、携帯端末2と接続され車両3に搭載される。車載装置1は、操作入力を受け付ける入力部18と、入力部18への入力に基づき演算する演算部110と、車載装置1を操作可能な、すなわち権限が委譲された携帯端末2を特定し、特定した携帯端末2からの操作信号に基づき演算部110に演算させる連携制御部130とを備える。連携制御部130は、携帯端末2の車両3内の位置に基づき権限を委譲する携帯端末2を特定する。
これにより、車載装置1は、車載装置1を操作可能な携帯端末2を特定できる。
According to the first embodiment described above, the following effects can be obtained.
(1) The in-vehicle device 1 is connected to the mobile terminal 2 and mounted on the vehicle 3. The in-vehicle device 1 identifies an input unit 18 that receives an operation input, an arithmetic unit 110 that calculates based on the input to the input unit 18, and a mobile terminal 2 that can operate the in-vehicle device 1, that is, the authority is delegated. It is provided with a cooperative control unit 130 that causes the calculation unit 110 to calculate based on the operation signal from the specified mobile terminal 2. The cooperation control unit 130 specifies the mobile terminal 2 to which the authority is delegated based on the position of the mobile terminal 2 in the vehicle 3.
Thereby, the in-vehicle device 1 can identify the mobile terminal 2 capable of operating the in-vehicle device 1.

(2)車載装置1は、携帯端末2が車両3の運転席および運転席以外のいずれの位置に存在するかを判断する端末位置判断部140を備える。連携制御部130は、端末位置判断部140が運転席以外の位置に存在すると判断する携帯端末2を、権限を委譲する対象とする携帯端末2として特定する。
携帯端末2が運転席以外の位置に存在する場合は、その携帯端末2のユーザは運転者ではない。したがって、携帯端末2に権限を委譲しても車両3の運転には支障を生じない。このように車載装置1は車両3の運転支障が生じない携帯端末2を特定することで、車載装置1を操作可能な携帯端末2を特定することができる。
(2) The in-vehicle device 1 includes a terminal position determination unit 140 for determining at which position the mobile terminal 2 is present in the driver's seat or the driver's seat of the vehicle 3. The cooperation control unit 130 specifies the mobile terminal 2 that the terminal position determination unit 140 determines exists at a position other than the driver's seat as the mobile terminal 2 to which the authority is delegated.
When the mobile terminal 2 exists at a position other than the driver's seat, the user of the mobile terminal 2 is not the driver. Therefore, even if the authority is delegated to the mobile terminal 2, there is no problem in driving the vehicle 3. In this way, the in-vehicle device 1 can specify the mobile terminal 2 that can operate the in-vehicle device 1 by specifying the mobile terminal 2 that does not cause a driving hindrance to the vehicle 3.

(3)車載装置1は、車両3の運動状態に基づき入力部18への入力に基づく演算部110の動作を無効化する制限部120を備える。連携制御部130は、制限部120が演算部110の動作を無効化しているときに、権限を委譲した携帯端末2からの操作信号に基づき演算部110に演算させる。換言すると連携制御部130は、車両3の運動状態によらず、権限を委譲した携帯端末2からの操作信号に基づき演算部110に演算させる。
入力部18は運転者が操作できる範囲に存在するが、車載装置1は、車両3の走行中は入力部18への入力に基づく演算部110の動作を無効化するので、運転者は走行中に入力部18を操作することがなく、車載装置1の存在が安全運転に悪影響を及ぼさない。その一方で、車載装置1は権限を委譲した携帯端末2からの操作信号に基づき演算部110に演算させるので、車両3が走行中であっても運転者以外が携帯端末2を使用することができる。
(3) The in-vehicle device 1 includes a limiting unit 120 that invalidates the operation of the calculation unit 110 based on the input to the input unit 18 based on the motion state of the vehicle 3. When the restriction unit 120 invalidates the operation of the calculation unit 110, the cooperation control unit 130 causes the calculation unit 110 to perform calculation based on the operation signal from the mobile terminal 2 to which the authority is delegated. In other words, the cooperation control unit 130 causes the calculation unit 110 to perform calculation based on the operation signal from the mobile terminal 2 to which the authority is delegated, regardless of the motion state of the vehicle 3.
Although the input unit 18 exists within a range that can be operated by the driver, the in-vehicle device 1 invalidates the operation of the calculation unit 110 based on the input to the input unit 18 while the vehicle 3 is traveling, so that the driver is traveling. The input unit 18 is not operated, and the presence of the in-vehicle device 1 does not adversely affect safe driving. On the other hand, since the in-vehicle device 1 causes the calculation unit 110 to perform calculation based on the operation signal from the mobile terminal 2 to which the authority is delegated, the mobile terminal 2 can be used by a person other than the driver even while the vehicle 3 is running. it can.

(4)車載装置1は、情報を提示する表示部17を備える。端末位置判断部140は、携帯端末2により撮影された表示部17の形状に基づき携帯端末2の位置を推定する。
そのため車載装置1は車載装置1と携帯端末2の相対位置を簡易に推定可能である。さらに本手法による携帯端末2の位置の推定には、車両3の設備を何ら必要としないので様々な車両3に適用することができる。
(4) The in-vehicle device 1 includes a display unit 17 that presents information. The terminal position determination unit 140 estimates the position of the mobile terminal 2 based on the shape of the display unit 17 photographed by the mobile terminal 2.
Therefore, the in-vehicle device 1 can easily estimate the relative position between the in-vehicle device 1 and the mobile terminal 2. Further, since the estimation of the position of the mobile terminal 2 by this method does not require any equipment of the vehicle 3, it can be applied to various vehicles 3.

(5)車載装置1は、音声信号を出力する音声処理部14を備える。携帯端末2は、音声処理部14が出力する音声信号に基づき車両3が備えるいずれかのスピーカから出力される音声を携帯端末2において録音した録音情報、すなわち携帯端末録音データを車載装置1に送信する。端末位置判断部140は、判断方式が音声出力方式に設定されている場合に、音声処理部14に所定の音声信号を出力させ、所定の音声信号に基づき携帯端末2が送信する携帯端末録音データを用いて携帯端末2の位置を推定する。
すなわち車載装置1は、携帯端末2から受信する携帯端末録音データからテスト音が所定のレベル以上で検出されない場合に、携帯端末2が運転席以外の位置に存在すると判断して権限を委譲する。本手法によればユーザは携帯端末2を操作する必要がなく簡便である。
(5) The in-vehicle device 1 includes an audio processing unit 14 that outputs an audio signal. The mobile terminal 2 transmits to the in-vehicle device 1 the recorded information obtained by recording the sound output from any of the speakers included in the vehicle 3 based on the voice signal output by the voice processing unit 14 in the mobile terminal 2, that is, the mobile terminal recording data. To do. When the determination method is set to the voice output method, the terminal position determination unit 140 causes the voice processing unit 14 to output a predetermined voice signal, and the mobile terminal recording data transmitted by the mobile terminal 2 based on the predetermined voice signal. Is used to estimate the position of the mobile terminal 2.
That is, when the test sound is not detected at a predetermined level or higher from the mobile terminal recorded data received from the mobile terminal 2, the in-vehicle device 1 determines that the mobile terminal 2 exists at a position other than the driver's seat and delegates the authority. According to this method, the user does not need to operate the mobile terminal 2 and is convenient.

(6)端末位置判断部140は、判断方式が音声入力方式に設定されている場合に、携帯端末2から出力される所定の音声に基づきステアリングマイク35から入力される音声信号を基に、携帯端末2の位置を推定する。
すなわち車載装置1は、携帯端末2から出力されるテスト音が所定のレベル以上で検出されない場合に、携帯端末2が運転席以外の位置に存在すると判断して権限を委譲する。本手法によればユーザは携帯端末2を操作する必要がなく簡便である。
(6) When the determination method is set to the voice input method, the terminal position determination unit 140 is portable based on the voice signal input from the steering microphone 35 based on the predetermined voice output from the mobile terminal 2. Estimate the position of terminal 2.
That is, when the test sound output from the mobile terminal 2 is not detected at a predetermined level or higher, the in-vehicle device 1 determines that the mobile terminal 2 exists at a position other than the driver's seat and delegates the authority. According to this method, the user does not need to operate the mobile terminal 2 and is convenient.

(変形例1)
車載装置1は、携帯端末2に権限を委譲している場合であっても、右左折地点に近づいた際に表示部17に詳細な表示を行ってもよい。さらに詳細な表示を行うか否かを切り替え可能に構成してもよい。
図21は、変形例1における権限委譲後の車載装置1の表示部17の表示を示す図である。図21に示す表示部17には、「誘導タイミングは強制的に戻す」というチェックボックスが表示される。ユーザの操作に基づきこのチェックボックスにチェックが入っている場合は、誘導タイミング、すなわちナビゲーション機能に基づき設定される右左折地点に近づいたタイミングで詳細な右左折に関する情報が表示される。詳細な右左折に関する情報とは、図11に示した簡易な右左折表示よりも詳細な情報であり、たとえば表示部17の全画面を使用して表示される、走行レーンを含む交差点の画像である。
この変形例1によれば、携帯端末2に権限を委譲している場合でも右左折時に詳細な情報が得られる。さらにチェックボックスのオン/オフにより詳細な表示の有無を簡便に切り替えることができる。
(Modification example 1)
Even when the authority is delegated to the mobile terminal 2, the in-vehicle device 1 may display a detailed display on the display unit 17 when approaching the right / left turn point. It may be configured so that it can be switched whether or not to perform more detailed display.
FIG. 21 is a diagram showing the display of the display unit 17 of the vehicle-mounted device 1 after the delegation of authority in the modification 1. On the display unit 17 shown in FIG. 21, a check box "Forcibly returns the guidance timing" is displayed. If this check box is checked based on the user's operation, detailed information on the right / left turn is displayed at the guidance timing, that is, when the right / left turn point set based on the navigation function is approached. The detailed information regarding the right / left turn is more detailed information than the simple right / left turn display shown in FIG. 11, for example, an image of an intersection including a traveling lane displayed using the full screen of the display unit 17. is there.
According to this modification 1, detailed information can be obtained when turning left or right even when the authority is delegated to the mobile terminal 2. Furthermore, the presence or absence of detailed display can be easily switched by turning the check box on / off.

(変形例2)
車載装置1は、判断方法が音声出力方式に設定されている場合に、左前スピーカ32と、右後スピーカ33と、左後スピーカ34とからテスト音を出力してもよい。この場合は、携帯端末2から受信する携帯端末録音データを解析した際に、所定の閾値レベル以上でテスト音が検出された場合に携帯端末2は運転席以外に存在すると判断し、所定の閾値レベル以上でテスト音が検出されなかった場合に携帯端末2は運転席に存在すると判断する。
(Modification 2)
The in-vehicle device 1 may output a test sound from the left front speaker 32, the right rear speaker 33, and the left rear speaker 34 when the determination method is set to the voice output method. In this case, when the mobile terminal recording data received from the mobile terminal 2 is analyzed, if a test sound is detected at a predetermined threshold level or higher, it is determined that the mobile terminal 2 exists in a position other than the driver's seat, and a predetermined threshold value is obtained. When the test sound is not detected at the level or higher, it is determined that the mobile terminal 2 exists in the driver's seat.

この変形例2によれば、上述した第1の実施の形態における作用効果に加えて、次の作用効果が得られる。
(7)車両3には複数のスピーカが備えられ、音声処理部14は、携帯端末2が運転席61の位置に存在する場合に携帯端末2において録音される音声の強度よりも、携帯端末2が運転席61以外の位置に存在する場合に携帯端末2において録音される音声の強度が高くなるように、複数のスピーカに音声信号をそれぞれ出力する。端末位置判断部140は、音声処理部14の出力に基づき出力される音声を携帯端末2が録音して得られる携帯端末録音データが示す音声の強度、すなわち携帯端末録音データに含まれるテスト音の信号の強度が、所定の閾値よりも大きい場合に携帯端末2が運転席以外の位置にあると推定する。
そのため、運転席に存在する携帯端末2が誤って運転席以外に存在すると判断される可能性を低減することができる。たとえば、右前スピーカ31からテスト音を出力する場合は、携帯端末2の携帯端末マイク25bが集音に適さない状態、たとえばクッション等に強く押し当られている状態ではテスト音が小さく録音され、携帯端末2が運転席61に存在するにもかかわらず運転席61以外に存在すると判断される可能性がある。しかし変形例2によればそのような恐れがない。
According to this modification 2, in addition to the action and effect in the first embodiment described above, the following action and effect can be obtained.
(7) The vehicle 3 is provided with a plurality of speakers, and the voice processing unit 14 determines that the strength of the sound recorded by the mobile terminal 2 when the mobile terminal 2 is located at the driver's seat 61 is higher than that of the mobile terminal 2. Is output to a plurality of speakers so that the intensity of the sound recorded by the mobile terminal 2 becomes high when the is present at a position other than the driver's seat 61. The terminal position determination unit 140 determines the intensity of the sound indicated by the mobile terminal recording data obtained by recording the sound output based on the output of the voice processing unit 14, that is, the test sound included in the mobile terminal recording data. When the signal strength is larger than a predetermined threshold value, it is estimated that the mobile terminal 2 is in a position other than the driver's seat.
Therefore, it is possible to reduce the possibility that the mobile terminal 2 existing in the driver's seat is mistakenly determined to exist in a place other than the driver's seat. For example, when the test sound is output from the right front speaker 31, the test sound is recorded in a small size when the mobile terminal microphone 25b of the mobile terminal 2 is not suitable for sound collection, for example, when it is strongly pressed against a cushion or the like. Even though the terminal 2 exists in the driver's seat 61, it may be determined that the terminal 2 exists in a position other than the driver's seat 61. However, according to the second modification, there is no such fear.

(第2の実施の形態)
図22〜図23を参照して、車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、車両3が自動運転モードである場合は携帯端末の位置に関係なく権限が委譲される点で、第1の実施の形態と異なる。
(Second Embodiment)
A second embodiment of the in-vehicle device will be described with reference to FIGS. 22 to 23. In the following description, the same components as those in the first embodiment are designated by the same reference numerals, and the differences will be mainly described. The points not particularly described are the same as those in the first embodiment. The present embodiment is different from the first embodiment in that the authority is mainly delegated regardless of the position of the mobile terminal when the vehicle 3 is in the automatic driving mode.

(構成)
第2の実施の形態における車両3は、動作モードとして通常モードと自動運転モードを有する。通常モードでは、運転者がステアリングホイール65や不図示のアクセルやブレーキなどを用いて車両3を制御する。自動運転モードでは、運転者は車両3の制御を行わず、車両3は自動で制御される。車両3の自動制御は、たとえば不図示のカメラやレーザレンジファインダの出力に基づき実現される。車両3の動作モードはユーザの操作により切り替えられる。
図22は、第2の実施の形態における車載装置1の機能ブロック図である。第2の実施の形態における車載装置1の機能ブロック図は、第1の実施の形態における全ての機能ブロックに加えて、自動運転判断部150を備える。自動運転判断部150は、車両3の動作モードを判断して連携制御部130に動作モードを示す情報を出力する。
(Constitution)
The vehicle 3 in the second embodiment has a normal mode and an automatic driving mode as operation modes. In the normal mode, the driver controls the vehicle 3 by using the steering wheel 65, an accelerator or a brake (not shown), or the like. In the automatic driving mode, the driver does not control the vehicle 3, and the vehicle 3 is automatically controlled. The automatic control of the vehicle 3 is realized, for example, based on the output of a camera or a laser range finder (not shown). The operation mode of the vehicle 3 can be switched by the user's operation.
FIG. 22 is a functional block diagram of the vehicle-mounted device 1 according to the second embodiment. The functional block diagram of the vehicle-mounted device 1 according to the second embodiment includes an automatic driving determination unit 150 in addition to all the functional blocks according to the first embodiment. The automatic driving determination unit 150 determines the operation mode of the vehicle 3 and outputs information indicating the operation mode to the cooperation control unit 130.

(動作)
図23は、第2の実施の形態において権限委譲が行われていない場合の車載装置1の連携制御部130の動作を表すフローチャートである。以下では第1の実施の形態との相違点を説明する。
ステップS503において肯定判定された場合、またはステップS510においてユーザの選択が承諾であると判断された場合に、ステップS504に代わってステップS590が実行される。ステップS590では、自動運転判断部150の出力に基づき車両3の動作モードを判断する。車両3が通常モードであると判断する場合はステップS504に進み、車両3が自動運転モードであると判断する場合はステップS506に進む。ステップS504以降の処理、およびステップS506以降の処理は第1の実施の形態と同様なので説明を省略する。
(motion)
FIG. 23 is a flowchart showing the operation of the cooperation control unit 130 of the in-vehicle device 1 when the authority is not delegated in the second embodiment. The differences from the first embodiment will be described below.
If an affirmative decision is made in step S503, or if it is determined in step S510 that the user's selection is acceptable, step S590 is executed in place of step S504. In step S590, the operation mode of the vehicle 3 is determined based on the output of the automatic driving determination unit 150. If it is determined that the vehicle 3 is in the normal mode, the process proceeds to step S504, and if it is determined that the vehicle 3 is in the automatic driving mode, the process proceeds to step S506. Since the processing after step S504 and the processing after step S506 are the same as those in the first embodiment, the description thereof will be omitted.

上述した第2の実施の形態によれば、次の作用効果が得られる。
(8)車載装置1は、車両3が手動運転状態および自動運転状態のいずれにあるかを判断する自動運転判断部150を備える。車載装置の情報とは自動運転判断部150による判断結果である。連携制御部130は、自動運転判断部150が自動運転状態にあると判断する場合に、いずれの携帯端末2も車載装置1を操作可能な携帯端末2、すなわち権限が委譲された携帯端末2として特定する。
自動運転モードであれば運転席に座っている者も車両3を制御しないので、車載装置1は自動運転判断部150が自動運転状態にあると判断する場合に、いずれの携帯端末2からも車載装置1を操作可能とする。
According to the second embodiment described above, the following effects can be obtained.
(8) The in-vehicle device 1 includes an automatic driving determination unit 150 that determines whether the vehicle 3 is in a manual driving state or an automatic driving state. The information of the in-vehicle device is the judgment result by the automatic driving judgment unit 150. When the cooperative control unit 130 determines that the automatic driving determination unit 150 is in the automatic driving state, any mobile terminal 2 is regarded as a mobile terminal 2 capable of operating the in-vehicle device 1, that is, a mobile terminal 2 to which authority has been delegated. Identify.
In the automatic driving mode, even a person sitting in the driver's seat does not control the vehicle 3. Therefore, when the automatic driving determination unit 150 determines that the automatic driving determination unit 150 is in the automatic driving state, the vehicle-mounted device 1 can be mounted on the vehicle from any mobile terminal 2. The device 1 can be operated.

車載装置1のプログラムはROM11に格納されるとしたが、プログラムは記憶部13に格納されていてもよい。また、車載装置1が不図示のデータ入出力インタフェースを備え、必要なときにデータ入出力インタフェースと車載装置1が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
Although the program of the in-vehicle device 1 is stored in the ROM 11, the program may be stored in the storage unit 13. Further, the in-vehicle device 1 may include a data input / output interface (not shown), and a program may be read from another device when necessary via the data input / output interface and a medium in which the in-vehicle device 1 can be used. Here, the medium refers to, for example, a storage medium that can be attached to and detached from an input / output interface, or a communication medium, that is, a network such as wired, wireless, or optical, or a carrier wave or digital signal that propagates in the network. In addition, some or all of the functions realized by the program may be realized by the hardware circuit or FPGA.
Each of the above-described embodiments and modifications may be combined.
Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention.

1 … 車載装置
2 … 携帯端末
3 … 車両
14 … 音声処理部
17 … 表示部
19 … 通信部
25a … 携帯端末スピーカ
25b … 携帯端末マイク
29 … 携帯端末通信部
35 … ステアリングマイク
36 … 車速センサ
61 … 運転席
110 … 演算部
120 … 制限部
130 … 連携制御部
140 … 端末位置判断部
150 … 自動運転判断部
1 ... In-vehicle device 2 ... Mobile terminal 3 ... Vehicle 14 ... Voice processing unit 17 ... Display unit 19 ... Communication unit 25a ... Mobile terminal speaker 25b ... Mobile terminal microphone 29 ... Mobile terminal communication unit 35 ... Steering microphone 36 ... Vehicle speed sensor 61 ... Driver's seat 110 ... Calculation unit 120 ... Restriction unit 130 ... Coordination control unit 140 ... Terminal position judgment unit 150 ... Automatic operation judgment unit

Claims (6)

携帯端末と接続され車両に搭載される車載装置であって、
操作入力を受け付ける入力部と、
前記入力部への入力に基づき演算する演算部と、
前記車載装置を操作可能な携帯端末を特定し、特定した前記携帯端末からの操作信号に基づき前記演算部に演算させる連携制御部と
前記携帯端末が前記車両の運転席および前記運転席以外のいずれの位置に存在するかを判断する端末位置判断部と、
情報を提示する表示部と、を備え、
前記端末位置判断部は、前記携帯端末により撮影された前記表示部に関する画像に基づき前記携帯端末の位置を推定によって判断し、
前記連携制御部は、前記端末位置判断部が前記運転席以外の位置に存在すると判断する携帯端末を前記車載装置を操作可能な携帯端末として特定する車載装置。
An in-vehicle device that is connected to a mobile terminal and mounted on a vehicle.
Input section that accepts operation input and
An arithmetic unit that calculates based on the input to the input unit, and
A cooperative control unit that identifies a mobile terminal capable of operating the in-vehicle device and causes the calculation unit to calculate based on an operation signal from the specified mobile terminal .
A terminal position determination unit that determines whether the mobile terminal is located in the driver's seat of the vehicle or in a position other than the driver's seat.
Equipped with a display unit that presents information
The terminal position determination unit determines the position of the mobile terminal by estimation based on an image of the display unit taken by the mobile terminal.
The coordination control unit, the vehicle-mounted device for identifying the mobile terminal determines that the terminal position determination unit is present in a position other than the driver's seat as a mobile terminal capable of operating the vehicle device.
請求項1に記載の車載装置において、
前記表示部に関する画像は、前記表示部の形状である車載装置。
In the in-vehicle device according to claim 1,
The image relating to the display unit is an in- vehicle device having the shape of the display unit .
請求項に記載の車載装置において、
前記車両の運動状態に基づき前記入力部への入力に基づく前記演算部の動作を無効化する制限部をさらに備え、
前記連携制御部は、前記制限部が前記演算部の動作を無効化しているときに、特定した前記携帯端末からの操作信号に基づき前記演算部に演算させる車載装置。
In the in-vehicle device according to claim 1 ,
Further provided with a restriction unit that invalidates the operation of the calculation unit based on the input to the input unit based on the motion state of the vehicle.
The cooperation control unit is an in-vehicle device that causes the calculation unit to perform a calculation based on an operation signal from the specified mobile terminal when the restriction unit invalidates the operation of the calculation unit.
請求項に記載の車載装置において、
前記携帯端末からの操作信号に基づき前記演算部に演算させている間であっても、所定の地点に近づいたとき、前記表示部に所定の情報を表示する車載装置。
In the in-vehicle device according to claim 1 ,
An in- vehicle device that displays predetermined information on the display unit when approaching a predetermined point even while the calculation unit is performing a calculation based on an operation signal from the mobile terminal .
請求項1に記載の車載装置において、
前記車両が手動運転状態および自動運転状態のいずれにあるかを判断する自動運転判断部をさらに備え、
前記車載装置の情報とは前記自動運転判断部による判断結果であり、
前記連携制御部は、前記自動運転判断部が自動運転状態にあると判断する場合に、いずれの携帯端末も前記車載装置を操作可能な携帯端末として特定する車載装置。
In the in-vehicle device according to claim 1,
Further provided with an automatic driving determination unit for determining whether the vehicle is in a manual driving state or an automatic driving state.
The information of the in-vehicle device is a judgment result by the automatic driving judgment unit.
The cooperation control unit is an in-vehicle device that identifies any of the mobile terminals as an operable mobile terminal when the automatic operation determination unit determines that the in-vehicle device is in the automatic operation state.
携帯端末と接続され車両に搭載される車載装置において実行される携帯端末特定方法であって、
前記車載装置は、
操作入力を受け付ける入力部と、
前記入力部への入力に基づき演算する演算部と、
前記車載装置を操作可能な携帯端末を特定し、特定した前記携帯端末からの操作信号に基づき前記演算部に演算させる連携制御部と
前記携帯端末が前記車両の運転席および前記運転席以外のいずれの位置に存在するかを判断する端末位置判断部と、
情報を提示する表示部と、を有し、
前記端末位置判断部が、前記携帯端末により撮影された前記表示部に関する画像に基づき前記携帯端末の位置を推定によって判断し、
前記連携制御部が、前記端末位置判断部が前記運転席以外の位置に存在すると判断する携帯端末を前記車載装置を操作可能な携帯端末として特定する携帯端末特定方法。
A method for identifying a mobile terminal, which is executed in an in-vehicle device connected to the mobile terminal and mounted on a vehicle.
The in-vehicle device is
Input section that accepts operation input and
An arithmetic unit that calculates based on the input to the input unit, and
A cooperative control unit that identifies a mobile terminal capable of operating the in-vehicle device and causes the calculation unit to calculate based on an operation signal from the specified mobile terminal .
A terminal position determination unit that determines whether the mobile terminal is located in the driver's seat of the vehicle or in a position other than the driver's seat.
It has a display unit that presents information and
The terminal position determination unit determines the position of the mobile terminal by estimation based on the image of the display unit taken by the mobile terminal.
A method for specifying a mobile terminal , wherein the cooperation control unit identifies a mobile terminal that the terminal position determination unit determines to exist at a position other than the driver's seat as a mobile terminal that can operate the in-vehicle device.
JP2016208823A 2016-10-25 2016-10-25 In-vehicle device, mobile terminal identification method Expired - Fee Related JP6775381B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016208823A JP6775381B2 (en) 2016-10-25 2016-10-25 In-vehicle device, mobile terminal identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016208823A JP6775381B2 (en) 2016-10-25 2016-10-25 In-vehicle device, mobile terminal identification method

Publications (2)

Publication Number Publication Date
JP2018072030A JP2018072030A (en) 2018-05-10
JP6775381B2 true JP6775381B2 (en) 2020-10-28

Family

ID=62114094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016208823A Expired - Fee Related JP6775381B2 (en) 2016-10-25 2016-10-25 In-vehicle device, mobile terminal identification method

Country Status (1)

Country Link
JP (1) JP6775381B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7003268B2 (en) * 2018-08-02 2022-01-20 三菱電機株式会社 How to link with in-vehicle information devices and mobile terminals
JP7151393B2 (en) * 2018-11-08 2022-10-12 トヨタ自動車株式会社 Vehicle information providing device, vehicle information providing method and program
KR102589468B1 (en) * 2018-11-16 2023-10-16 삼성전자주식회사 Method for controlling display of vehicle and electronic device therefor
CN111645521B (en) * 2020-05-29 2022-01-18 阿波罗智联(北京)科技有限公司 Control method and device for intelligent rearview mirror, electronic equipment and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556311B2 (en) * 2000-09-19 2010-10-06 マツダ株式会社 Information processing apparatus for vehicle
JP5729284B2 (en) * 2011-12-02 2015-06-03 株式会社デンソー VEHICLE DEVICE, VEHICLE COMMUNICATION SYSTEM, AND PORTABLE TERMINAL
DE102013012777A1 (en) * 2013-07-31 2015-02-05 Valeo Schalter Und Sensoren Gmbh Method for using a communication terminal in a motor vehicle when activated autopilot and motor vehicle
US9442647B2 (en) * 2014-04-25 2016-09-13 Honda Motor Co., Ltd. System and method for limiting interaction between a portable electronic device and a navigation system in a vehicle

Also Published As

Publication number Publication date
JP2018072030A (en) 2018-05-10

Similar Documents

Publication Publication Date Title
JP6775381B2 (en) In-vehicle device, mobile terminal identification method
CN109564730B (en) Vehicle and control method
CN110979318B (en) Lane information acquisition method and device, automatic driving vehicle and storage medium
JP6030317B2 (en) Image processing apparatus, image display system, display apparatus, image processing method, and program
CN109849742A (en) Adjusting method, device and the storage medium of automotive seat
JPWO2018235273A1 (en) Parking control method and parking control device
JP6261654B2 (en) Display device, display method, and program
KR101704244B1 (en) Remote Parking Method and Apparatus
JP6708785B2 (en) Travel route providing system, control method thereof, and program
US20190130916A1 (en) In-vehicle system
JP2008018798A (en) Display controlling device, display controlling method, display controlling program, and recording medium which can be read by computer
JP2019156299A (en) Vehicle remote control device and vehicle remote control method
JP4244826B2 (en) Control device and center for vehicle equipment
JP4725215B2 (en) Information output device, information output method, and information output system
JP7063652B2 (en) Vehicle remote control device, vehicle remote control system and vehicle remote control method
JP2017071317A (en) Operator determination device
JP2014134503A (en) Fatigue reduction supporting device
JP2019161549A (en) Vehicle remote operation device and vehicle remote operation method
CN110920614A (en) Lane change control method, apparatus, device and storage medium
JP5699926B2 (en) Inter-vehicle communication system and in-vehicle device
JP2007074081A (en) On-vehicle communication apparatus
CN114475629A (en) Cabin adjusting method and device, storage medium, electronic equipment and vehicle
KR102569898B1 (en) Driving assistance system using mixed reality and method for controlling the same
CN117178167A (en) Route guidance device, route guidance method, and route guidance program
JP6419894B2 (en) Image processing apparatus, display apparatus, portable display apparatus, image processing method, display apparatus display method, portable display apparatus display method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170315

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R150 Certificate of patent or registration of utility model

Ref document number: 6775381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees