JP7117577B2 - Display system, display control device, display control method - Google Patents

Display system, display control device, display control method Download PDF

Info

Publication number
JP7117577B2
JP7117577B2 JP2018044673A JP2018044673A JP7117577B2 JP 7117577 B2 JP7117577 B2 JP 7117577B2 JP 2018044673 A JP2018044673 A JP 2018044673A JP 2018044673 A JP2018044673 A JP 2018044673A JP 7117577 B2 JP7117577 B2 JP 7117577B2
Authority
JP
Japan
Prior art keywords
image
display
sensor
action
holding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018044673A
Other languages
Japanese (ja)
Other versions
JP2019156134A (en
Inventor
功幸 河原
太陽 明石
ゆり 山口
静恵 佐藤
和彦 湯浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018044673A priority Critical patent/JP7117577B2/en
Publication of JP2019156134A publication Critical patent/JP2019156134A/en
Application granted granted Critical
Publication of JP7117577B2 publication Critical patent/JP7117577B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示技術に関し、特に車両における表示システム、表示制御装置、表示制御方法に関する。 The present invention relates to display technology, and more particularly to a display system, a display control device, and a display control method for vehicles.

車内には、ステアリングの他にボタン、ダイヤルも設置される。運転者は、運転中にステアリングを操作するが、ボタン、ダイヤルを操作することもある（例えば、特許文献１参照）。 Buttons and dials are also installed in the car in addition to the steering wheel. A driver operates a steering wheel while driving, and may also operate buttons and dials (see, for example, Patent Document 1).

特開２０１６－２１６０２１号公報JP 2016-216021 A

車内に設置されるボタン、ダイヤルが、運転中の運転者の視線の方向から外れた位置に配置されている場合、運転者は、ボタン、ダイヤルを操作する際に、視線を前方からそらす。 When the buttons and dials installed in the vehicle are arranged in a position away from the line of sight of the driver during driving, the driver turns his line of sight away from the front when operating the buttons and dials.

本発明はこうした状況に鑑みなされたものであり、その目的は、運転中に運転者が操作する場合であっても視線の移動を少なくする技術を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique that reduces the movement of the driver's line of sight even when the driver operates the vehicle while driving.

上記課題を解決するために、本発明のある態様の表示システムは、車内の物体を手でつまむ動作または物体を手で持つ動作を検出するセンサと、センサによって検出された手でつまむ動作または手で持つ動作が含まれた映像を撮像する撮像装置と、手でつまむ動作または手で持つ動作が検出された場合に、撮像装置において撮像した映像を出力する表示制御装置と、表示制御装置から出力された映像を表示する表示装置と、を備える。 In order to solve the above problems, a display system according to one aspect of the present invention includes a sensor that detects a motion of picking up an object in a vehicle or a motion of holding an object with a hand; an imaging device that captures an image that includes a holding action , a display control device that outputs an image captured by the imaging device when a pinching action or a holding action is detected, and output from the display control device and a display device for displaying the generated video.

本発明の別の態様は、表示制御装置である。この装置は、センサから、車内の物体を手でつまむ動作または物体を手で持つ動作の検出結果を取得する第１取得部と、撮像装置から、手でつまむ動作または手で持つ動作が含まれた領域を撮像した映像を取得する第２取得部と、第１取得部が取得した検出結果において、手でつまむ動作または手で持つ動作が検出されている場合、第２取得部において取得した映像を表示装置に出力する出力部と、を備える。 Another aspect of the present invention is a display control device. This device includes a first acquisition unit that acquires a detection result of a motion of picking up or holding an object in the vehicle from a sensor, and a motion of picking up or holding an object from an imaging device. a second acquiring unit that acquires an image of an imaged region, and an image acquired by the second acquiring unit when a pinching action or a holding action is detected in the detection result acquired by the first acquiring unit to a display device.

本発明のさらに別の態様は、表示制御方法である。この方法は、センサから、車内の物体を手でつまむ動作または物体を手で持つ動作の検出結果を取得するステップと、撮像装置から、手でつまむ動作または手で持つ動作が含まれた領域を撮像した映像を取得するステップと、取得した検出結果において、手でつまむ動作または手で持つ動作が検出されている場合、取得した映像を表示装置に出力するステップと、を備える。 Yet another aspect of the present invention is a display control method. This method comprises the steps of: acquiring from a sensor a detection result of a motion of picking up or holding an object in the vehicle; A step of acquiring a captured image; and a step of outputting the acquired image to a display device when a pinching action or a holding action is detected in the acquired detection result.

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。 Any combination of the above constituent elements, and any expression of the present invention converted between devices, systems, methods, programs, recording media recording programs, vehicles equipped with the present device, etc. are also subject to the present invention. It is effective as an aspect.

本発明によれば、運転中に運転者が操作する場合であっても視線の移動を少なくできる。 According to the present invention, it is possible to reduce the movement of the line of sight even when the driver operates while driving.

実施の形態に係る車両の室内を模式的に示す図である。It is a figure which shows typically the interior of the vehicle which concerns on embodiment. 実施の形態に係る表示システムの構成を示す図である。1 is a diagram showing the configuration of a display system according to an embodiment; FIG. 図２の表示装置に表示される映像を示す図である。3 is a diagram showing an image displayed on the display device of FIG. 2; FIG. 図２の表示システムによる表示手順を示すフローチャートである。3 is a flow chart showing a display procedure by the display system of FIG. 2; 図２の表示システムによる別の表示手順を示すフローチャートである。3 is a flow chart showing another display procedure by the display system of FIG. 2;

本発明を具体的に説明する前に、概要を述べる。本実施の形態は、車内に搭載される表示システムに関する。運転者が、飲み物を置いたり、飲み物を取ったりする際にドリンクホルダの位置を確認する場合がある。このような確認を運転中に行う場合、運転者は視線を前方からそらす。運転中には視線を前方からそらさない方が好ましいが、そらさずにドリンクホルダの位置が分からなければ、飲み物を転倒させてしまう可能性がある。このようなことは、前述のごとく、運転中の運転者の視線の方向から外れた位置に配置されるボタン、ダイヤルを操作する場合も同様である。そのため、運転中に運転者が操作する場合であっても視線の移動を少なくすることが望まれる。 Before describing the present invention in detail, an overview will be given. This embodiment relates to a display system mounted in a vehicle. A driver may check the position of the drink holder when placing or picking up a drink. When performing such confirmation while driving, the driver looks away from the front. While driving, it is preferable not to look away from the front. As described above, the same applies to the operation of buttons and dials located outside the line of sight of the driver during driving. Therefore, it is desirable to reduce the movement of the line of sight even when the driver operates while driving.

これに対応するために、本実施の形態に係る表示システムは、センサ、撮像装置、表示制御装置、表示装置を含む。センサは、運転者に操作される部分、例えば、ドリンクホルダ、ボタン、ダイヤルに対する手による操作を検出する。撮像装置は、運転者に操作される部分が含まれた領域の映像を撮像する。表示制御装置は、センサ、撮像装置に接続され、センサにおいて、手による操作が検出された場合に、撮像装置において撮像された映像を表示装置に表示する。表示装置は、運転中の運転者の視線の方向から外れていない位置に配置されるので、運転者は、表示装置に表示される映像を見ながら、手による操作を確認できる。以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。 In order to cope with this, the display system according to this embodiment includes a sensor, an imaging device, a display control device, and a display device. The sensor detects a hand operation on parts operated by the driver, such as drink holders, buttons, and dials. The imaging device captures an image of an area including a portion operated by the driver. The display control device is connected to the sensor and the imaging device, and displays an image captured by the imaging device on the display device when the sensor detects a hand operation. Since the display device is arranged at a position that does not deviate from the line of sight of the driver while driving, the driver can check the operation by hand while watching the image displayed on the display device. BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, each embodiment described below is an example, and the present invention is not limited to these embodiments.

図１は、車両１００の室内を模式的に示し、車両１００の車室内を後方から見た構成を示す。車室内の前方には左右に延びるダッシュボード１０が配置され、ダッシュボード１０の上方にはフロントガラス１２が配置され、フロントガラス１２の上方から後方に向かって天井１４が配置される。また、天井１４のフロントガラス１２側の部分から下方に向かってルームミラー１６が設置される。ダッシュボード１０の左側部分にステアリング１８が配置されており、ステアリング１８の後方に運転席３０が配置される。運転席３０には運転者３４が着席する。また、運転席３０とは反対側に助手席３２が配置される。ダッシュボード１０の右側部分にステアリング１８が配置される場合、運転席３０と助手席３２の位置は逆になる。さらに、運転席３０側の車外には左側サイドミラー２２が配置され、助手席３２側の車外に右側サイドミラー２４が配置される。 FIG. 1 schematically shows the interior of a vehicle 100 and shows the configuration of the interior of the vehicle 100 viewed from the rear. A dashboard 10 extending laterally is arranged in front of the vehicle interior, a windshield 12 is arranged above the dashboard 10, and a ceiling 14 is arranged rearward from above the windshield 12.例文帳に追加Further, a rearview mirror 16 is installed downward from a portion of the ceiling 14 on the windshield 12 side. A steering wheel 18 is arranged on the left side of the dashboard 10 , and a driver's seat 30 is arranged behind the steering wheel 18 . A driver 34 is seated in the driver's seat 30 . A passenger seat 32 is arranged on the side opposite to the driver's seat 30 . When the steering wheel 18 is arranged on the right side of the dashboard 10, the positions of the driver's seat 30 and the passenger's seat 32 are reversed. Further, a left side mirror 22 is arranged outside the vehicle on the driver's seat 30 side, and a right side mirror 24 is arranged outside the vehicle on the passenger's seat 32 side.

ダッシュボード１０から、運転席３０と助手席３２との間には、センターコンソール２０が配置される。センターコンソール２０には、第１操作部４０ａ、第２操作部４０ｂ、第３操作部４０ｃ、第４操作部４０ｄと総称される操作部４０が配置される。第１操作部４０ａは、運転席３０と助手席３２との間に設けられ、ボタン、ダイヤルにより構成される。また、第２操作部４０ｂから第４操作部４０ｄは、センターコンソール２０の前方部分に設けられ、ボタン、ダイヤルにより構成される。操作部４０は、運転者の手により操作可能である。さらに、第１操作部４０ａの前方にはドリンクホルダ４２が配置される。 A center console 20 is arranged between a driver's seat 30 and a passenger's seat 32 from the dashboard 10 . The center console 20 is provided with operating sections 40 collectively referred to as a first operating section 40a, a second operating section 40b, a third operating section 40c, and a fourth operating section 40d. The first operation unit 40a is provided between the driver's seat 30 and the passenger's seat 32, and is composed of buttons and dials. Further, the second operation section 40b to the fourth operation section 40d are provided in the front portion of the center console 20, and are composed of buttons and dials. The operation unit 40 can be operated by the driver's hand. Furthermore, a drink holder 42 is arranged in front of the first operation part 40a.

ここでは、説明を明瞭にするために、表示システム２００による表示対象、つまり監視対象が第１操作部４０ａであるとする。第１操作部４０ａの近傍には、手の存在、あるいは手の移動を検出するためのセンサ５０が配置される。また、ルームミラー１６の上側には撮像装置５２が配置される。ステアリング１８側のフロントガラス１２には、ヘッドアップディスプレイである第１表示装置５４ａによる表示光が投影される。第１表示装置５４ａにおいて車室内側に反射された表示光は、運転席３０に着座した運転者３４によって視認される。運転者は、第１表示装置５４ａにおいて投影された画像の虚像を、フロントガラス１２の前景と重ねて視認可能になる。センターコンソール２０には、センターディスプレイである第２表示装置５４ｂが配置される。第２表示装置５４ｂは、例えば、ナビゲーションシステムのディスプレイであってもよい。 Here, for clarity of explanation, it is assumed that the object to be displayed by the display system 200, that is, the object to be monitored is the first operation unit 40a. A sensor 50 for detecting the presence of the hand or the movement of the hand is arranged near the first operation unit 40a. Further, an imaging device 52 is arranged above the room mirror 16 . Display light from the first display device 54a, which is a head-up display, is projected onto the windshield 12 on the steering wheel 18 side. The display light reflected toward the interior of the vehicle on the first display device 54 a is visually recognized by the driver 34 seated in the driver's seat 30 . The driver can visually recognize the virtual image of the image projected on the first display device 54 a superimposed on the foreground of the windshield 12 . The center console 20 is provided with a second display device 54b, which is a center display. The second display device 54b may be, for example, the display of a navigation system.

ここで、運転中の運転者３４の視線の方向から外れない範囲は視認範囲３００として示される。視認範囲３００は、運転者が運転中に視線を通常配る範囲である。視認範囲３００には、フロントガラス１２、ルームミラー１６、左側サイドミラー２２、右側サイドミラー２４、表示装置５４が含まれる。しかしながら、第１操作部４０ａから第４操作部４０ｄ、ドリンクホルダ４２は視認範囲３００に含まれない。そのため、第１操作部４０ａの位置を確認するために、運転者３４は視認範囲３００の外に視線を向ける必要ある。 Here, the range that does not deviate from the direction of the line of sight of the driver 34 while driving is shown as the visible range 300 . Visibility range 300 is the range in which the driver normally distributes his line of sight while driving. The visible range 300 includes the windshield 12 , the room mirror 16 , the left side mirror 22 , the right side mirror 24 and the display device 54 . However, the first operation portion 40 a to the fourth operation portion 40 d and the drink holder 42 are not included in the visible range 300 . Therefore, in order to confirm the position of the first operation unit 40a, the driver 34 needs to look outside the visible range 300. FIG.

図２は、表示システム２００の構成を示す。表示システム２００は、センサ５０、撮像装置５２、表示装置５４、表示制御装置６０を含む。センサ５０は、第１操作部４０ａの近傍をセンシングエリアとし、第１操作部４０ａにおける手による操作を検出する。センサ５０には、例えば、赤外線センサ、超音波センサ、近接センサが使用される。また、センサ５０は、タッチセンサでもよく、第１操作部４０ａに取り付けられていてもよい。さらに、センサ５０は、撮像装置５２と一体化されていてもよく、撮像装置５２において撮像した映像に対して画像認識処理を実行することによって、第１操作部４０ａにおける手による操作が検出されてもよい。これらには公知の技術が使用されればよいので、ここでは説明を省略する。 FIG. 2 shows the configuration of the display system 200. As shown in FIG. Display system 200 includes sensor 50 , imaging device 52 , display device 54 , and display control device 60 . The sensor 50 has a sensing area in the vicinity of the first operation portion 40a, and detects a hand operation on the first operation portion 40a. For example, an infrared sensor, an ultrasonic sensor, or a proximity sensor is used as the sensor 50 . Further, the sensor 50 may be a touch sensor, and may be attached to the first operation section 40a. Furthermore, the sensor 50 may be integrated with the imaging device 52, and by executing image recognition processing on the video imaged by the imaging device 52, the hand operation on the first operation unit 40a is detected. good too. Since well-known techniques may be used for these, the description is omitted here.

撮像装置５２は、センサ５０の検出対象となる手によって操作される部分、つまり第１操作部４０ａが含まれた領域の映像を撮像する。前述のごとく、第１操作部４０ａは、運転中の運転者３４の視線の方向から外れた位置に配置されている。撮像装置５２は、撮像した映像を表示制御装置６０に出力する。 The imaging device 52 captures an image of a region including the portion operated by the hand to be detected by the sensor 50, that is, the first operation portion 40a. As described above, the first operation unit 40a is arranged at a position away from the line of sight of the driver 34 during driving. The imaging device 52 outputs the captured image to the display control device 60 .

表示制御装置６０の第１取得部７０は、センサ５０から検出結果を取得する。第１取得部７０は、車内における手による操作をセンサ５０が検出している期間にわたって検出期間を取得してもよいし、センサ５０における検出結果を常時取得しており、検出結果から、車内における手による操作がなされている期間を抽出してもよい。第１取得部７０は、車内における手による操作がなされている期間にわたって、車内における手による操作がなされていることを制御部７４に通知する。第２取得部７２は、撮像装置５２から映像を取得する。第２取得部７２は、映像を制御部７４に出力する。 A first acquisition unit 70 of the display control device 60 acquires the detection result from the sensor 50 . The first acquisition unit 70 may acquire the detection period over the period during which the sensor 50 detects the manual operation in the vehicle, or constantly acquires the detection result of the sensor 50, and from the detection result, the in-vehicle A period during which manual operations are performed may be extracted. The first acquisition unit 70 notifies the control unit 74 that a manual operation is being performed inside the vehicle during the period during which the manual operation is being performed inside the vehicle. The second obtaining section 72 obtains the image from the imaging device 52 . The second obtaining portion 72 outputs the image to the control portion 74 .

制御部７４は、第１取得部７０から通知を受けつけている間、つまりセンサ５０が操作を検出している間、あるいは検出結果において車内における手による操作が検出されている間にわたって、第２取得部７２において取得した映像を出力部７６に出力する。一方、制御部７４は、第１取得部７０から通知を受けつけていなければ、映像を出力部７６に出力しない。出力部７６は、制御部７４から受けつけた映像を表示装置５４に出力する。表示装置５４は、図１の第１表示装置５４ａあるいは第２表示装置５４ｂであり、出力部７６からの映像、つまり撮像装置５２において撮像された映像を表示する。図３は、表示装置５４に表示される映像を示す。例えば、第１操作部４０ａを手でつまむ映像が表示される。図２に戻る。 While the control unit 74 receives the notification from the first acquisition unit 70, that is, while the sensor 50 is detecting an operation, or while an operation by hand is detected in the vehicle in the detection result, the second acquisition The image acquired by the unit 72 is output to the output unit 76 . On the other hand, the control unit 74 does not output the video to the output unit 76 unless the notification is received from the first acquisition unit 70 . The output unit 76 outputs the image received from the control unit 74 to the display device 54 . The display device 54 is the first display device 54a or the second display device 54b shown in FIG. FIG. 3 shows an image displayed on the display device 54. As shown in FIG. For example, an image of pinching the first operation unit 40a is displayed. Return to FIG.

なお、制御部７４は、第１取得部７０からの通知を受けつけてから所定期間経過した後に映像の出力を開始してもよい。所定期間の一例は１秒である。これは、センサ５０が操作を検出してから所定期間経過後に映像の出力を開始することに相当する。 Note that the control unit 74 may start outputting the video after a predetermined period of time has elapsed since receiving the notification from the first acquisition unit 70 . An example of the predetermined period is 1 second. This corresponds to starting the output of the image after a predetermined period of time has elapsed since the sensor 50 detected the operation.

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、その他のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。 This configuration can be implemented in terms of hardware by a CPU (Central Processing Unit), memory, and other LSIs (Large Scale Integration) of any computer, and in terms of software, it is implemented by a program loaded in the memory. However, here the functional blocks realized by their cooperation are drawn. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by combining only hardware or by combining hardware and software.

以上の構成による表示システム２００の動作を説明する。図４は、表示システム２００による表示手順を示すフローチャートである。センサ５０が手による操作を検出した場合（Ｓ１０のＹ）、撮像装置５２は映像を撮像し（Ｓ１２）、表示装置５４は映像を表示して（Ｓ１４）、ステップ１０に戻る。センサ５０が手による操作を検出せず（Ｓ１０のＮ）、表示装置５４が映像を表示している場合（Ｓ１６のＹ）、表示装置５４は映像を消去する（Ｓ１８）。表示装置５４が映像を表示していない場合（Ｓ１６のＮ）、処理は終了される。 The operation of the display system 200 configured as above will be described. FIG. 4 is a flow chart showing a display procedure by the display system 200. As shown in FIG. If the sensor 50 detects a hand operation (Y of S10), the imaging device 52 captures an image (S12), the display device 54 displays the image (S14), and the process returns to step 10. If the sensor 50 does not detect a hand operation (N of S10) and the display device 54 is displaying an image (Y of S16), the display device 54 erases the image (S18). If the display device 54 is not displaying an image (N of S16), the process ends.

図５は、表示システム２００による別の表示手順を示すフローチャートである。センサ５０が手による操作を検出しない場合（Ｓ５０のＮ）、１秒待つ（Ｓ５２）。センサ５０が手による操作を検出した場合（Ｓ５４のＹ）、あるいはセンサ５０が手による操作を検出した場合（Ｓ５０のＹ）、１秒待つ（Ｓ５６）。センサ５０が手による操作を検出した場合（Ｓ５８のＹ）、撮像装置５２は映像を撮像し（Ｓ６０）、表示装置５４は映像を表示して（Ｓ６２）、ステップ５０に戻る。センサ５０が手による操作を検出しない場合（Ｓ５８のＮ）、ステップ５０に戻る。センサ５０が手による操作を検出せず（Ｓ５４のＮ）、表示装置５４が映像を表示している場合（Ｓ６４のＹ）、表示装置５４は映像を消去する（Ｓ６６）。表示装置５４が映像を表示していない場合（Ｓ６４のＮ）、処理は終了される。 FIG. 5 is a flow chart showing another display procedure by the display system 200. As shown in FIG. If the sensor 50 does not detect the hand operation (N of S50), wait for one second (S52). If the sensor 50 detects an operation by hand (Y of S54) or if the sensor 50 detects an operation by hand (Y of S50), wait one second (S56). If the sensor 50 detects a hand operation (Y of S58), the imaging device 52 captures an image (S60), the display device 54 displays the image (S62), and the process returns to step 50. If the sensor 50 does not detect the hand operation (N of S58), the process returns to step 50. If the sensor 50 does not detect a hand operation (N of S54) and the display device 54 is displaying an image (Y of S64), the display device 54 erases the image (S66). If the display device 54 is not displaying an image (N of S64), the process ends.

本実施の形態によれば、車内における手による操作を検出した場合に映像を表示するので、運転者は表示装置を見ることによって手による操作を確認できる。また、運転者は表示装置を見ることによって手による操作を確認するので、運転中に運転者が操作する場合であっても視線の移動を少なくできる。また、運転中に運転者が操作する場合であっても視線の移動が少なくなるので、安全性を向上できる。また、運転中の運転者の視線の方向から外れた位置に配置されている部分を表示するので、運転者が視線の方向から外れた位置を見る機会を低減できる。また、センサが操作を検出してから所定期間経過後に映像の表示を開始するので、表示されたり、消去されたりの繰り返しの発生を抑制できる。 According to the present embodiment, an image is displayed when a manual operation is detected inside the vehicle, so the driver can confirm the manual operation by looking at the display device. In addition, since the driver can confirm the manual operation by looking at the display device, it is possible to reduce the movement of the line of sight even when the driver performs the operation while driving. Also, even when the driver operates the device while driving, the driver's line of sight does not move much, so safety can be improved. In addition, since a part arranged at a position out of the direction of the driver's line of sight while driving is displayed, it is possible to reduce the chance of the driver seeing the position out of the direction of the line of sight. In addition, since the display of the image is started after the lapse of a predetermined period of time after the sensor detects the operation, it is possible to prevent the image from being repeatedly displayed and erased.

本発明の一態様の概要は、次の通りである。本発明のある態様の表示システムは、車内における手による操作を検出するセンサと、センサが操作を検出した場合に、手によって操作される部分が含まれた領域の映像を撮像する撮像装置と、撮像装置において撮像された映像を表示する表示装置と、を備える。 An overview of one aspect of the present invention is as follows. A display system according to one aspect of the present invention includes a sensor that detects an operation by a hand in a vehicle; an imaging device that captures an image of an area including a portion operated by the hand when the sensor detects the operation; and a display device for displaying an image captured by the imaging device.

この態様によると、車内における手による操作を検出した場合に映像を表示するので、運転中に運転者が操作する場合であっても視線の移動を少なくできる。 According to this aspect, since an image is displayed when an operation by a hand is detected inside the vehicle, it is possible to reduce the movement of the line of sight even when the driver performs an operation while driving.

撮像装置が撮像すべき領域に含まれる部分であって、かつ手によって操作される部分は、運転中の運転者の視線の方向から外れた位置に配置されていてもよい。この場合、運転中の運転者の視線の方向から外れた位置に配置されている部分を表示するので、運転者が視線の方向から外れた位置を見る機会を低減できる。 The part that is included in the area to be imaged by the imaging device and that is operated by hand may be arranged at a position out of the line of sight of the driver during driving. In this case, since the portion located outside the line of sight of the driver during driving is displayed, it is possible to reduce the chances of the driver seeing the position outside the line of sight.

表示装置は、センサが操作を検出してから所定期間経過後に映像の表示を開始してもよい。この場合、センサが操作を検出してから所定期間経過後に映像の表示を開始するので、表示されたり、消去されたりの繰り返しの発生を抑制できる。 The display device may start displaying the image after a predetermined period of time has elapsed since the sensor detected the operation. In this case, since the display of the image is started after a predetermined period of time has elapsed since the sensor detected the operation, it is possible to suppress repeated occurrence of display and deletion.

本発明の別の態様は、表示制御装置である。この装置は、センサから、車内における手による操作の検出結果を取得する第１取得部と、撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得する第２取得部と、第１取得部が取得した検出結果において、車内における手による操作が検出されている場合、第２取得部において取得した映像を表示装置に出力する出力部と、を備える。 Another aspect of the present invention is a display control device. This device includes a first acquisition unit that acquires a detection result of a hand operation in the vehicle from a sensor, and a second acquisition unit that acquires an image of an area including a portion operated by the hand from an imaging device. and an output unit configured to output an image acquired by the second acquisition unit to a display device when the detection result acquired by the first acquisition unit indicates that an operation by a hand is detected inside the vehicle.

この態様によると、車内における手による操作を検出した場合に映像を表示するので、運転中に運転者が操作する場合であっても視線の移動を少なくできる。 According to this aspect, since an image is displayed when an operation by a hand is detected inside the vehicle, it is possible to reduce the movement of the line of sight even when the driver performs an operation while driving.

本発明のさらに別の態様は、表示制御方法である。この方法は、センサから、車内における手による操作の検出結果を取得するステップと、撮像装置から、手によって操作される部分が含まれた領域を撮像した映像を取得するステップと、取得した検出結果において、車内における手による操作が検出されている場合、取得した映像を表示装置に出力するステップと、を備える。 Yet another aspect of the present invention is a display control method. This method includes the steps of: acquiring from a sensor a detection result of a hand operation in the vehicle; acquiring from an imaging device an image of an area including a portion operated by the hand; and acquiring the acquired detection result. and a step of outputting the obtained image to a display device when an operation by a hand in the vehicle is detected.

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. Those skilled in the art will understand that these embodiments are merely examples, and that various modifications can be made to combinations of each component and each treatment process, and such modifications are within the scope of the present invention. By the way.

本実施の形態において、表示システム２００による表示対象、つまり監視対象が第１操作部４０ａであるとされている。しかしながらこれに限らず例えば、監視対象が、第２操作部４０ｂから第４操作部４０ｄ、ドリンクホルダ４２のうちの少なくとも１つであってもよい。その場合、センサ５０、撮像装置５２は監視対象に応じた位置に設置されればよい。本変形例によれば、構成の自由度を向上できる。 In the present embodiment, the object to be displayed by the display system 200, that is, the object to be monitored is the first operation unit 40a. However, the monitoring target is not limited to this, and for example, at least one of the second operation section 40b to the fourth operation section 40d and the drink holder 42 may be monitored. In that case, the sensor 50 and the imaging device 52 may be installed at positions according to the object to be monitored. According to this modified example, the degree of freedom in configuration can be improved.

本発明によれば、運転中に運転者が操作する場合であっても視線の移動を少なくできる。 According to the present invention, it is possible to reduce the movement of the line of sight even when the driver operates while driving.

１０ ダッシュボード、 １２ フロントガラス、 １４ 天井、 １６ ルームミラー、 １８ ステアリング、 ２０ センターコンソール、 ２２ 左側サイドミラー、 ２４ 右側サイドミラー、 ３０ 運転席、 ３２ 助手席、 ３４ 運転者、 ４０ 操作部、 ４２ ドリンクホルダ、 ５０ センサ、 ５２ 撮像装置、 ５４ 表示装置、 ６０ 表示制御装置、 ７０ 第１取得部、 ７２ 第２取得部、 ７４ 制御部、 ７６ 出力部、 １００ 車両、 ２００ 表示システム。 10 Dashboard, 12 Windshield, 14 Ceiling, 16 Room Mirror, 18 Steering, 20 Center Console, 22 Left Side Mirror, 24 Right Side Mirror, 30 Driver's Seat, 32 Passenger Seat, 34 Driver, 40 Operation Unit, 42 Drink Holder 50 Sensor 52 Imaging Device 54 Display Device 60 Display Control Device 70 First Acquisition Unit 72 Second Acquisition Unit 74 Control Unit 76 Output Unit 100 Vehicle 200 Display System.

Claims (5)

車内の物体を手でつまむ動作または前記物体を手で持つ動作を検出するセンサと、
前記センサによって検出された前記手でつまむ動作または前記手で持つ動作が含まれた映像を撮像する撮像装置と、
前記手でつまむ動作または前記手で持つ動作が検出された場合に、前記撮像装置において撮像した映像を出力する表示制御装置と、
前記表示制御装置から出力された映像を表示する表示装置と、
を備えることを特徴とする表示システム。 a sensor that detects a motion of picking up an object in the vehicle or a motion of holding the object with the hand ;
an imaging device that captures an image including the pinching action or the holding action detected by the sensor;
a display control device that outputs an image captured by the imaging device when the pinching motion or the holding motion is detected ;
a display device for displaying an image output from the display control device;
A display system comprising: 前記撮像装置が撮像すべき領域に含まれる部分であって、かつ前記手でつまむ動作または前記手で持つ動作が行われる部分は、運転中の運転者の視線の方向から外れた位置にあることを特徴とする請求項１に記載の表示システム。 A part that is included in the area to be imaged by the imaging device and where the pinching action or the holding action is performed is located outside the line of sight of the driver during driving. The display system of claim 1, characterized by: 前記表示制御装置は、前記センサが操作を検出してから所定期間経過後に映像の出力を開始することを特徴とする請求項１または２に記載の表示システム。 3. The display system according to claim 1, wherein the display control device starts outputting the image after a predetermined period of time has elapsed since the sensor detected the operation. センサから、車内の物体を手でつまむ動作または前記物体を手で持つ動作の検出結果を取得する第１取得部と、
撮像装置から、前記手でつまむ動作または前記手で持つ動作が含まれた領域を撮像した映像を取得する第２取得部と、
前記第１取得部が取得した検出結果において、前記手でつまむ動作または前記手で持つ動作が検出されている場合、前記第２取得部において取得した映像を表示装置に出力する出力部と、
を備えることを特徴とする表示制御装置。 a first acquisition unit that acquires, from a sensor, a detection result of a motion of picking up an object in the vehicle or a motion of holding the object with the hand ;
a second obtaining unit that obtains, from an imaging device, an image obtained by imaging an area including the action of pinching with the hand or the action of holding with the hand;
an output unit configured to output an image acquired by the second acquisition unit to a display device when the pinching action or the holding action is detected in the detection result acquired by the first acquisition unit;
A display control device comprising: センサから、車内の物体を手でつまむ動作または前記物体を手で持つ動作の検出結果を取得するステップと、
撮像装置から、前記手でつまむ動作または前記手で持つ動作が含まれた領域を撮像した映像を取得するステップと、
取得した検出結果において、前記手でつまむ動作または前記手で持つ動作が検出されている場合、取得した映像を表示装置に出力するステップと、
を備えることを特徴とする表示制御方法。 obtaining from a sensor a detection result of a motion of picking up an object in the vehicle or a motion of holding the object with the hand ;
obtaining, from an imaging device, an image of an area including the pinching action or the holding action ;
outputting the acquired image to a display device when the pinching action or the holding action is detected in the acquired detection result;
A display control method, comprising:
JP2018044673A 2018-03-12 2018-03-12 Display system, display control device, display control method Active JP7117577B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018044673A JP7117577B2 (en) 2018-03-12 2018-03-12 Display system, display control device, display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018044673A JP7117577B2 (en) 2018-03-12 2018-03-12 Display system, display control device, display control method

Publications (2)

Publication Number Publication Date
JP2019156134A JP2019156134A (en) 2019-09-19
JP7117577B2 true JP7117577B2 (en) 2022-08-15

Family

ID=67993259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018044673A Active JP7117577B2 (en) 2018-03-12 2018-03-12 Display system, display control device, display control method

Country Status (1)

Country Link
JP (1) JP7117577B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (en) 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
US20030074119A1 (en) 2000-06-08 2003-04-17 David Arlinsky Safety devices for use in motor vehicles
JP2007286667A (en) 2006-04-12 2007-11-01 Denso Corp On-vehicle operation system
JP2016119032A (en) 2014-12-24 2016-06-30 株式会社デンソー Touch display contact detection apparatus and touch display contact detection method
JP2017197015A (en) 2016-04-27 2017-11-02 カルソニックカンセイ株式会社 On-board information processing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (en) * 1997-03-28 1998-10-09 Yazaki Corp Touch panel controller and information display device using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006687A (en) 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
US20030074119A1 (en) 2000-06-08 2003-04-17 David Arlinsky Safety devices for use in motor vehicles
JP2007286667A (en) 2006-04-12 2007-11-01 Denso Corp On-vehicle operation system
JP2016119032A (en) 2014-12-24 2016-06-30 株式会社デンソー Touch display contact detection apparatus and touch display contact detection method
JP2017197015A (en) 2016-04-27 2017-11-02 カルソニックカンセイ株式会社 On-board information processing system

Also Published As

Publication number Publication date
JP2019156134A (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN108621937B (en) In-vehicle display apparatus, control method of in-vehicle display apparatus, and storage medium storing control program of in-vehicle display apparatus
US10220778B2 (en) Vehicle-mounted alert system and alert control device
CN109314765B (en) Display control device for vehicle, display system, display control method, and program
JP6197814B2 (en) Vehicle display device
JP4481187B2 (en) Vehicle control device
JP2012140106A (en) Rear visibility support system
JP4577387B2 (en) Vehicle operation input device
CN105522992B (en) Controller for a motor vehicle having a camera for the face of the driver and method for recording the face of a vehicle occupant
JP2018144526A (en) Periphery monitoring device
JP2010130647A (en) Vehicle periphery checking system
JP2009183473A (en) Visual line direction detection device, and visual line direction detection method
JP2010208359A (en) Display device for vehicle
JP2018022958A (en) Vehicle display controller and vehicle monitor system
JP2008120142A (en) Information display system for automobile
JP2018107573A (en) Visual confirmation device for vehicle
JP5136948B2 (en) Vehicle control device
JP7117577B2 (en) Display system, display control device, display control method
CN107534757B (en) Vehicle display device and vehicle display method
US20230143429A1 (en) Display controlling device and display controlling method
CN112429015A (en) Driving support device and driving support method
JP2010023680A (en) Rear side visual recognition supporting device
JP6488628B2 (en) Video processing apparatus and in-vehicle video processing system
JP2012096687A (en) In-cabin camera device
JP2004330873A (en) Vehicular rear side check supporting device
JP2018076019A (en) Image processing device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220617

R151 Written notification of patent or utility model registration

Ref document number: 7117577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03