JP5776001B2 - Information display device and information display method - Google Patents

Information display device and information display method Download PDF

Info

Publication number
JP5776001B2
JP5776001B2 JP2011161088A JP2011161088A JP5776001B2 JP 5776001 B2 JP5776001 B2 JP 5776001B2 JP 2011161088 A JP2011161088 A JP 2011161088A JP 2011161088 A JP2011161088 A JP 2011161088A JP 5776001 B2 JP5776001 B2 JP 5776001B2
Authority
JP
Japan
Prior art keywords
information display
information
image
imaging
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011161088A
Other languages
Japanese (ja)
Other versions
JP2013025633A (en
Inventor
根岸 辰行
辰行 根岸
岡田 誠
誠 岡田
新 浩治
浩治 新
惠世 渡邊
惠世 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2011161088A priority Critical patent/JP5776001B2/en
Publication of JP2013025633A publication Critical patent/JP2013025633A/en
Application granted granted Critical
Publication of JP5776001B2 publication Critical patent/JP5776001B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報表示板を用いて運転者に対して情報提供を行う情報表示装置及び情報表示方法に関する。   The present invention relates to an information display device and an information display method for providing information to a driver using an information display board.

近年、車両の運転者に対してリアルタイムな渋滞情報の提供、又は、特定の期間における交通安全標語の表示等を行う情報表示板を路側に設置することで、運転者に対して情報提供を行う情報表示装置が存在する。多くの情報表示板は、外部からの指示によって表示内容を動的に変更する表示板を用いて必要な情報を提供する。例えば、LED等の発光素子を用いた情報表示板(LED表示板等)が存在する。   In recent years, information has been provided to the driver by providing an information display board on the roadside that provides real-time traffic jam information to the vehicle driver or displays traffic safety slogans for a specific period of time. There is an information display device. Many information display boards provide necessary information using display boards that dynamically change the display contents according to external instructions. For example, there are information display boards (LED display boards and the like) using light emitting elements such as LEDs.

特許文献1には、交通信号機の上部または下部の見通しの良い部位に表示機器(情報表示板)を設定し、信号灯火色変換までの時間をリアルタイムで運転者に知らせる方法が開示されている。この方法を採用した信号機は現在実現されており、例えば、信号灯火色変換までの時間をリアルタイムで表示するLED表示板を信号機の周辺に設定する構成となっている。   Patent Document 1 discloses a method in which a display device (information display board) is set at a well-sighted part at the top or bottom of a traffic signal to inform the driver in real time of the signal light color conversion. A traffic signal that employs this method is currently realized. For example, an LED display board that displays the time until signal light color conversion in real time is set around the traffic signal.

実用新案登録第3131363号公報Utility Model Registration No. 3131363

上記従来技術では、すべての運転者に対して共通に伝達する情報(例えば特許文献1のような信号灯火色が変化するまでの時間)であれば、表示機器を設置することで、すべての運転者に対して情報を提供することが可能である。   In the above-described conventional technology, if the information is transmitted in common to all drivers (for example, the time until the signal light color changes as in Patent Document 1), all the operations are performed by installing a display device. It is possible to provide information to the person.

しかしながら、上記従来技術では、速度を超過した車両の運転者のみに速度超過に関する情報を伝達する場合等、特定の条件の運転者に対してのみ情報を伝達する必要がある場合でも、表示機器の周囲の車両のすべての運転者に対して同様の情報を伝えてしまうという課題が存在する。   However, in the above-described prior art, even when information relating to overspeed is transmitted only to a driver of a vehicle that has exceeded the speed, such as when information needs to be transmitted only to a driver under a specific condition, There is a problem that similar information is transmitted to all drivers of surrounding vehicles.

例えば、制限速度が50(km/h)の道路を1台の車両が30(km/h)で走行し、他の1台の車両が70(km/h)で走行していた場合において、特許文献1に開示された表示機器が「速度超過」と表示すると、両方の車両の運転者に対して速度超過を伝達することになる。つまり、制限速度を超過していない、30(km/h)で走行している車両の運転者に対して、不要な情報を提供してしまう。   For example, when one vehicle is traveling at 30 (km / h) and another vehicle is traveling at 70 (km / h) on a road with a speed limit of 50 (km / h), When the display device disclosed in Patent Document 1 displays “Overspeed”, the overspeed is transmitted to the drivers of both vehicles. That is, unnecessary information is provided to the driver of the vehicle traveling at 30 km / h that does not exceed the speed limit.

本発明の目的は、特定の運転者のみに情報を伝達することができる情報表示装置及び情報表示方法を提供することである。   An object of the present invention is to provide an information display device and an information display method capable of transmitting information only to a specific driver.

本発明の一態様の情報表示装置は、第1の領域において所定の周波数の逆数の時間間隔で点滅し、第1の領域を包含する第2の領域のうち第1の領域以外の領域において所定の周波数の2の階乗倍である周波数の逆数の時間間隔で点滅する複数の発光素子を有する情報表示板を含む複数の画像を、所定の撮像間隔で撮像する車載カメラから取得し、第1の領域に示される情報を表示する情報表示装置であって、車両情報を取得し、車両情報が所定の条件を満たすか否か判断し、所定の条件を満たす場合は撮像間隔を所定の周波数の2倍の逆数に設定し、所定の条件を満たさない場合は撮像間隔を所定の周波数の逆数に設定する設定手段と、設定された撮像間隔に基づいて車載カメラの撮像タイミングを制御し、車載カメラから情報表示板を含む複数の画像を取得する撮像制御手段と、撮像制御手段において取得された複数の画像のうち第1の画像に含まれる情報表示板と、第1の画像に対して設定された撮像間隔だけ前に撮像された第2の画像に含まれる情報表示板との差分画像を生成する差分画像生成手段と、差分画像を表示する表示手段と、を具備する。   In the information display device of one embodiment of the present invention, the first region blinks at a reciprocal time interval of a predetermined frequency, and the second region including the first region is predetermined in a region other than the first region. A plurality of images including an information display board having a plurality of light emitting elements blinking at a time interval that is a reciprocal of the frequency that is the factorial of 2 of the frequency of 2 from a vehicle-mounted camera that images at a predetermined imaging interval; An information display device that displays information shown in the area of the vehicle, obtains vehicle information, determines whether the vehicle information satisfies a predetermined condition, and if the predetermined condition is satisfied, sets the imaging interval to a predetermined frequency. A setting means for setting the reciprocal of twice and setting the imaging interval to the inverse of the predetermined frequency when the predetermined condition is not satisfied, and controlling the imaging timing of the in-vehicle camera based on the set imaging interval, Including information display board The imaging control means for acquiring a plurality of images, the information display board included in the first image among the plurality of images acquired by the imaging control means, and the imaging interval set for the first image before Difference image generating means for generating a difference image with respect to the information display board included in the captured second image, and display means for displaying the difference image are provided.

本発明の一態様の情報表示方法は、第1の領域において所定の周波数の逆数の時間間隔で点滅し、第1の領域を包含する第2の領域のうち第1の領域以外の領域において所定の周波数の2の階乗倍である周波数の逆数の時間間隔で点滅する複数の発光素子を有する情報表示板を含む複数の画像を、所定の撮像間隔で撮像する車載カメラから取得し、第1の領域において示される情報を表示する情報表示方法であって、設定手段は、車両情報を取得し、車両情報が所定の条件を満たすか否か判断し、所定の条件を満たす場合は撮像間隔を所定の周波数の2倍の逆数に設定し、所定の条件を満たさない場合は撮像間隔を所定の周波数の逆数に設定し、撮像制御手段は、設定された撮像間隔に基づいて車載カメラの撮像タイミングを制御し、車載カメラから情報表示板を含む複数の画像を取得し、差分画像生成手段は、撮像制御手段において取得された複数の画像のうち第1の画像に含まれる情報表示板と、第1の画像に対して設定された撮像間隔だけ前に撮像された第2の画像に含まれる情報表示板との差分画像を生成し、表示手段は、差分画像を表示する。   According to an information display method of one embodiment of the present invention, blinking is performed at a time interval of a reciprocal number of a predetermined frequency in a first area, and predetermined information is generated in an area other than the first area among the second areas including the first area. A plurality of images including an information display board having a plurality of light emitting elements blinking at a time interval that is a reciprocal of the frequency that is the factorial of 2 of the frequency of 2 from a vehicle-mounted camera that images at a predetermined imaging interval; The information display method for displaying the information shown in the area of (2), wherein the setting means acquires vehicle information, determines whether or not the vehicle information satisfies a predetermined condition, and if the predetermined condition is satisfied, sets an imaging interval. The reciprocal of twice the predetermined frequency is set, and if the predetermined condition is not satisfied, the imaging interval is set to the inverse of the predetermined frequency, and the imaging control means sets the imaging timing of the in-vehicle camera based on the set imaging interval. Control A plurality of images including an information display board is obtained from the image data, and the difference image generating means is configured to output the information display board included in the first image among the plurality of images obtained by the imaging control means and the first image. A difference image with the information display board included in the second image captured before the set imaging interval is generated, and the display means displays the difference image.

本発明によれば、特定の運転者のみに情報を伝達することができる。   According to the present invention, information can be transmitted only to a specific driver.

本発明の実施の形態1に係る情報表示装置の主要構成を示すブロック図The block diagram which shows the main structures of the information display apparatus which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る情報表示板及び情報表示装置の構成を示すブロック図The block diagram which shows the structure of the information display board and information display apparatus which concern on Embodiment 1 of this invention. 本発明の実施の形態1に係る不特定の人(運転者)に伝達する情報のドットパターンを示す図The figure which shows the dot pattern of the information transmitted to the unspecified person (driver | operator) which concerns on Embodiment 1 of this invention 本発明の実施の形態1に係る特定の人(運転者)に対して伝達する情報のドットパターンを示す図The figure which shows the dot pattern of the information transmitted with respect to the specific person (driver | operator) which concerns on Embodiment 1 of this invention 本発明の実施の形態1に係る情報表示板における個々の発光素子についての点滅パターンを示す図The figure which shows the blink pattern about each light emitting element in the information display board which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る点滅パターンのタイミングの説明に供する図The figure with which it uses for description of the timing of the blinking pattern which concerns on Embodiment 1 of this invention 本発明の実施の形態1に係る撮像から表示までの処理を示すフローチャートThe flowchart which shows the process from the imaging to the display which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る情報表示板の撮像画像例を示す図The figure which shows the captured image example of the information display board which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る情報表示板の正規化及び補正の後の画像例を示す図The figure which shows the example of an image after normalization of the information display board which concerns on Embodiment 1 of this invention, and correction | amendment 本発明の実施の形態1に係る情報表示板の2値化後の画像例を示す図The figure which shows the example of an image after the binarization of the information display board concerning Embodiment 1 of this invention 本発明の実施の形態1に係る第1のタイミングにおける撮像パターンを示す図The figure which shows the imaging pattern in the 1st timing which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る第2のタイミングにおける撮像パターンを示す図The figure which shows the imaging pattern in the 2nd timing which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る第3のタイミングにおける撮像パターンを示す図The figure which shows the imaging pattern in the 3rd timing which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る第4のタイミングにおける撮像パターンを示す図The figure which shows the imaging pattern in the 4th timing which concerns on Embodiment 1 of this invention. 本発明の実施の形態1に係る情報表示板における個々の発光素子についての点滅パターンを示す図The figure which shows the blink pattern about each light emitting element in the information display board which concerns on Embodiment 1 of this invention. 本発明の他のバリエーションの説明に供する図The figure which uses for description of the other variation of this invention

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の実施の形態に係る情報表示装置200の主要構成部を示す。本実施の形態においては、情報表示装置200は、車載装置であるとして説明する。図1に示す車載装置である情報表示装置200は、情報表示板を含む画像を取得する。情報表示板は、第1の領域において所定の周波数(f1)で点滅する発光素子と、第1の領域を包含する第2の領域のうち第1の領域以外の領域において所定の周波数(f1)の2の階乗倍である周波数で点滅する発光素子とを含む複数の発光素子を備える。また、上記第1の領域は、所定の条件を満たす場合のみに伝達すべき特定の情報の表示領域である。   FIG. 1 shows main components of an information display apparatus 200 according to an embodiment of the present invention. In the present embodiment, the information display device 200 will be described as an in-vehicle device. The information display device 200 that is the in-vehicle device shown in FIG. 1 acquires an image including an information display board. The information display board has a light emitting element blinking at a predetermined frequency (f1) in the first region, and a predetermined frequency (f1) in a region other than the first region among the second region including the first region. A plurality of light emitting elements including a light emitting element that blinks at a frequency that is a factorial of 2. The first area is a display area for specific information that should be transmitted only when a predetermined condition is satisfied.

情報表示装置200において、撮像間隔設定部201が、車両情報(たとえば、車両の速度情報、方向指示器の方向情報、または、ガソリン残量もしくは蓄電残量など)を取得し、車両情報と所定の条件とに基づいて車載カメラ(図1に不図示)の撮像間隔を設定する。撮像制御部202が、設定された撮像間隔に従って、情報表示板100を含む画像を所定の撮像間隔で撮像する車載カメラ(図1に不図示)の撮像タイミングを制御し、車載カメラから、情報表示版100を含む複数の画像を取得する。そして、差分画像生成部206が、撮像制御部202において取得された複数の画像のうち今回取得した画像(第1の画像)内の情報表示板100の領域と、前回取得した画像(第1の画像に対して、設定された撮像間隔だけ前に撮像された第2の画像)内の情報表示板100の領域との差分画像を生成し、表示部207が、差分画像を表示する。   In the information display device 200, the imaging interval setting unit 201 acquires vehicle information (for example, vehicle speed information, direction indicator direction information, or a gasoline remaining amount or a remaining power storage amount), Based on the conditions, the imaging interval of the in-vehicle camera (not shown in FIG. 1) is set. The imaging control unit 202 controls the imaging timing of an in-vehicle camera (not shown in FIG. 1) that captures an image including the information display board 100 at a predetermined imaging interval in accordance with the set imaging interval. A plurality of images including the plate 100 are acquired. Then, the difference image generation unit 206 includes the region of the information display board 100 in the image (first image) acquired this time among the plurality of images acquired by the imaging control unit 202 and the image (first image) acquired last time. A difference image is generated with respect to the image and a region of the information display board 100 in the second image captured before the set imaging interval, and the display unit 207 displays the difference image.

また、撮像間隔設定部201は、車両情報が所定の条件を満たす場合、撮像間隔を所定の周波数(f1)の2倍の逆数の時間に設定し、所定の条件を満たさない場合、撮像間隔を所定の周波数(f1)の逆数の時間に設定する。   In addition, the imaging interval setting unit 201 sets the imaging interval to a reciprocal time twice the predetermined frequency (f1) when the vehicle information satisfies a predetermined condition, and sets the imaging interval when the vehicle information does not satisfy the predetermined condition. The time is set to the inverse of the predetermined frequency (f1).

なお、車載カメラ(撮像部)は、情報表示装置200に含まれないとして説明したが、その限りではなく、情報表示装置200に含まれてもよい。   Note that the in-vehicle camera (imaging unit) has been described as not included in the information display device 200, but is not limited thereto, and may be included in the information display device 200.

[情報表示システム10の概要]
図2は、本発明の実施の形態に係る情報表示システム10の構成を示すブロック図である。図2において、情報表示システム10は、例えば、路側に設置される情報表示板100と、車両に搭載される情報表示装置(車載装置)200と、車載カメラ300とを有する。
[Outline of Information Display System 10]
FIG. 2 is a block diagram showing a configuration of the information display system 10 according to the embodiment of the present invention. In FIG. 2, the information display system 10 includes, for example, an information display board 100 installed on the roadside, an information display device (in-vehicle device) 200 mounted on a vehicle, and an in-vehicle camera 300.

[情報表示板100の構成]
図2において、情報表示板100は、基本情報蓄積部101と、付加情報蓄積部102と、点滅間隔設定部103と、表示部104と、を有する。
[Configuration of Information Display Board 100]
In FIG. 2, the information display board 100 includes a basic information storage unit 101, an additional information storage unit 102, a blinking interval setting unit 103, and a display unit 104.

基本情報蓄積部101は、情報表示板100の近辺に存在する運転者又は歩行者などその他不特定の者に対して伝達する情報(以下、「基本情報」という)を蓄積する。例えば、基本情報蓄積部101は、表示部104で表示するドットパターンとして基本情報を蓄積する。なお、この不特定の人は、基本情報を肉眼で認識するものとする。   The basic information storage unit 101 stores information (hereinafter referred to as “basic information”) to be transmitted to other unspecified persons such as a driver or a pedestrian existing in the vicinity of the information display board 100. For example, the basic information storage unit 101 stores basic information as a dot pattern to be displayed on the display unit 104. This unspecified person recognizes basic information with the naked eye.

付加情報蓄積部102は、運転者や運転者が乗車している車両が所定の条件(又は状態)を満たしている場合、その運転者に対して伝達する情報(以下、「付加情報」という)を蓄積する。例えば、付加情報蓄積部102は、表示部104で表示するドットパターンとして付加情報を蓄積する。   The additional information accumulation unit 102 is information transmitted to the driver when the driver or the vehicle on which the driver is on satisfies a predetermined condition (or state) (hereinafter referred to as “additional information”). Accumulate. For example, the additional information storage unit 102 stores the additional information as a dot pattern displayed on the display unit 104.

点滅間隔設定部103は、基本情報蓄積部101に蓄積された基本情報のドットパターン、及び、付加情報蓄積部102に蓄積された付加情報のドットパターンの点滅間隔をそれぞれ設定する。例えば、点滅間隔設定部103は、基本情報及び付加情報のドットパターンを合成し、合成されたドットパターンに基づいて、各ドット(すなわち、各発光素子)の点滅間隔を設定する。そして、点滅間隔設定部103は、点滅間隔が設定されたドットパターンを表示部104に出力する。   The blinking interval setting unit 103 sets the blinking interval of the basic information dot pattern accumulated in the basic information accumulation unit 101 and the additional information dot pattern accumulated in the additional information accumulation unit 102. For example, the blinking interval setting unit 103 combines the dot pattern of the basic information and the additional information, and sets the blinking interval of each dot (that is, each light emitting element) based on the combined dot pattern. Then, the blinking interval setting unit 103 outputs the dot pattern in which the blinking interval is set to the display unit 104.

なお、発光素子が点滅する場合、光が点いている状態を「オン」状態(ON)とし、光が消えている状態を「オフ」状態(OFF)とする。また、発光素子のうち、点滅していない発光素子は消灯しているものとする。   Note that when the light emitting element blinks, the light-on state is referred to as “on” state (ON), and the light-off state is referred to as “off” state (OFF). In addition, among the light emitting elements, light emitting elements that are not blinking are turned off.

表示部104は、点滅間隔設定部103から入力されるドットパターンを表示する。例えば、表示部104は、複数の発光素子で構成されるLED表示板を有する。表示部104は、点滅間隔設定部103で設定された各発光素子の点滅間隔に従って、各発光素子の光をオンオフ制御することで、基本情報及び付加情報を表示する。付加情報を表示するために点滅する発光素子の集まりが前述の第1の領域であり、基本情報を表示するために点滅する発光素子の集まりが第2の領域である。   The display unit 104 displays the dot pattern input from the blinking interval setting unit 103. For example, the display unit 104 includes an LED display plate that includes a plurality of light emitting elements. The display unit 104 displays basic information and additional information by performing on / off control of light of each light emitting element according to the blinking interval of each light emitting element set by the blinking interval setting unit 103. A group of light emitting elements blinking to display additional information is the first area described above, and a group of light emitting elements blinking to display basic information is the second area.

[情報表示装置200の構成]
図2において、情報表示装置200は、撮像間隔設定部201と、撮像制御部202と、表示板領域切出部203と、正規化補正部204と、2値化処理部205と、差分画像生成部206と、表示部207と、を有する。
[Configuration of Information Display Device 200]
In FIG. 2, the information display apparatus 200 includes an imaging interval setting unit 201, an imaging control unit 202, a display board region cutout unit 203, a normalization correction unit 204, a binarization processing unit 205, and a difference image generation A unit 206 and a display unit 207.

撮像間隔設定部201は、情報表示装置200を搭載する車両内部で取得可能な情報(単に車両情報ともいう)を取得する。車両情報は、たとえば、車両の速度情報、方向指示器の方向情報、または、ガソリン残量もしくは蓄電残量などである。撮像間隔設定部201は、車両情報に関する条件(又は状態)に応じて、車載カメラ300の撮像間隔を設定する。上記車両情報に関する条件として、例えば、車両の速度が予め設定された速度(制限速度等)を超えたか否か、等が挙げられる。車両情報に関するその他の条件は後述する。撮像間隔設定部201は、設定した撮像間隔を示す情報を、撮像制御部202に出力する。   The imaging interval setting unit 201 acquires information (also simply referred to as vehicle information) that can be acquired inside the vehicle on which the information display device 200 is mounted. The vehicle information is, for example, vehicle speed information, direction indicator direction information, or the remaining amount of gasoline or the remaining amount of electricity stored. The imaging interval setting unit 201 sets the imaging interval of the in-vehicle camera 300 according to the condition (or state) regarding the vehicle information. Examples of the conditions relating to the vehicle information include whether or not the vehicle speed exceeds a preset speed (such as a speed limit). Other conditions regarding the vehicle information will be described later. The imaging interval setting unit 201 outputs information indicating the set imaging interval to the imaging control unit 202.

撮像制御部202は、撮像間隔設定部201から取得される撮像間隔を示す情報に従い、車両に搭載された車載カメラ300の撮像タイミングを制御する。そして、撮像制御部202は、設定された撮像間隔で撮像された、情報表示板100を含む複数の画像を車載カメラ300から取得する。撮像制御部202は、取得した画像を表示板領域切出部203に出力する。   The imaging control unit 202 controls the imaging timing of the in-vehicle camera 300 mounted on the vehicle according to the information indicating the imaging interval acquired from the imaging interval setting unit 201. Then, the imaging control unit 202 acquires a plurality of images including the information display board 100 captured at the set imaging interval from the in-vehicle camera 300. The imaging control unit 202 outputs the acquired image to the display board region cutout unit 203.

なお、車載カメラ300は、例えば、車両の前方に向けて搭載され、車両前方の画像を取得する。また、車載カメラ300は撮像制御部202に含まれないとして説明したが、撮像制御部202に含まれてもよい。   The in-vehicle camera 300 is mounted, for example, toward the front of the vehicle and acquires an image in front of the vehicle. Further, although the in-vehicle camera 300 has been described as not included in the imaging control unit 202, it may be included in the imaging control unit 202.

表示板領域切出部203は、撮像制御部202から入力される画像から、情報表示板100の領域のみを切り出す。表示板領域切出部203は、切り出した画像(情報表示板100の領域画像)を正規化補正部204に出力する。   The display board area cutout unit 203 cuts out only the area of the information display board 100 from the image input from the imaging control unit 202. The display board region cutout unit 203 outputs the cut out image (region image of the information display board 100) to the normalization correction unit 204.

正規化補正部204は、表示板領域切出部203から入力される画像に対して、予め設定されたサイズ、及び、矩形(長方形)になるように正規化及び補正を行う。画像を特定のサイズに正規化するのは、情報表示装置200を搭載した車両の走行に伴う、情報表示板100と情報表示装置200との距離の変化によって、撮像制御部202で撮像される画像内の情報表示板100のLED表示領域のサイズが撮像のたびに異なるためである。また、画像を矩形(長方形)に補正するのは、情報表示装置200を搭載した車両の走行に伴う、情報表示装置200から情報表示板100までの俯角の変化によって、撮像制御部202で撮像される画像内の情報表示板100のLED表示領域の形状が撮像のたびに異なるためである。正規化補正部204は、正規化・補正後の画像を2値化処理部205に出力する。なお、正規化補正部204は必要に応じて、撮像制御部202におけるレンズの歪みによって生じる画像の歪みを補正する。なお、表示板領域切出部203を省略し、撮像制御部202から入力される画像に対して、正規化及び補正を行ってもよい。   The normalization correction unit 204 normalizes and corrects the image input from the display panel region cutout unit 203 so as to have a preset size and a rectangle (rectangle). The image is normalized to a specific size because the image captured by the imaging control unit 202 is changed by a change in the distance between the information display board 100 and the information display apparatus 200 as the vehicle equipped with the information display apparatus 200 travels. This is because the size of the LED display area of the information display board 100 is different every time imaging is performed. The image is corrected to a rectangle (rectangular) by the imaging control unit 202 due to a change in depression angle from the information display device 200 to the information display board 100 as the vehicle on which the information display device 200 is mounted travels. This is because the shape of the LED display area of the information display board 100 in the image differs every time an image is taken. The normalization correction unit 204 outputs the normalized / corrected image to the binarization processing unit 205. Note that the normalization correction unit 204 corrects image distortion caused by lens distortion in the imaging control unit 202 as necessary. Note that the display panel region cutout unit 203 may be omitted, and normalization and correction may be performed on the image input from the imaging control unit 202.

2値化処理部205は、正規化補正部204から入力される画像に対して、2値化処理を行う。2値化処理を行うのは、点滅による発光素子自体の光度の変化、又は、車両の走行環境(日照状況など)の変化などによって、点灯または消灯している発光素子が撮像制御部202において常に同一輝度で撮像されるとは限らないためである。例えば、2値化処理部205は、輝度が予め設定された閾値以上であるか否かに応じて、撮像制御部202で撮像された画像を画素ごとに2値化してもよい。又は、2値化処理部205は、情報表示板100の表示部104におけるLED表示板の縦及び横の素子数に基づいて画像を複数の領域に分割し、各素子に対応する領域の平均輝度が予め設定された閾値以上であるか否かに応じて2値化を行ってもよい。なお、正規化補正部204を省略し、撮像制御部202から入力される画像に対して、2値化処理してもよい。   The binarization processing unit 205 performs binarization processing on the image input from the normalization correction unit 204. The binarization process is performed by the imaging control unit 202 always turning on or off a light emitting element due to a change in luminous intensity of the light emitting element due to blinking or a change in a running environment of the vehicle (such as a sunlight condition). This is because images are not necessarily captured with the same luminance. For example, the binarization processing unit 205 may binarize the image captured by the imaging control unit 202 for each pixel depending on whether the luminance is equal to or higher than a preset threshold value. Alternatively, the binarization processing unit 205 divides the image into a plurality of regions based on the number of vertical and horizontal elements of the LED display plate in the display unit 104 of the information display plate 100, and average brightness of the regions corresponding to the respective elements. Binarization may be performed depending on whether or not is equal to or greater than a preset threshold value. Note that the normalization correction unit 204 may be omitted, and binarization processing may be performed on the image input from the imaging control unit 202.

なお、2値化処理部205における2値化処理については、これらの方法に限らない。2値化処理部205は、2値化された画像データを差分画像生成部206に出力する。   Note that the binarization processing in the binarization processing unit 205 is not limited to these methods. The binarization processing unit 205 outputs the binarized image data to the difference image generation unit 206.

差分画像生成部206は、2値化処理が行われた複数の画像データを取得する。複数の画像データは、撮像されるタイミング毎に取得されてもよいし、まとめて取得されてもよい。差分画像生成部206は、撮像制御部202が取得した複数の画像のうち、車載カメラ300の撮像タイミングが最近である第1の画像に含まれる情報表示板100の領域画像と、第1の画像に対して、設定された撮像間隔だけ前に撮像された第2の画像に含まれる情報表示板100の領域画像との差分(以下、差分画像という)を生成する。差分画像生成部206は、差分画像を表示部207に出力する。   The difference image generation unit 206 acquires a plurality of image data that has undergone binarization processing. The plurality of pieces of image data may be acquired at every timing at which an image is captured, or may be acquired collectively. The difference image generation unit 206 includes a region image of the information display board 100 and a first image included in the first image with the latest imaging timing of the in-vehicle camera 300 among the plurality of images acquired by the imaging control unit 202. On the other hand, a difference (hereinafter referred to as a difference image) with the area image of the information display board 100 included in the second image captured before the set imaging interval is generated. The difference image generation unit 206 outputs the difference image to the display unit 207.

表示部207は、差分画像生成部206から入力される差分画像を表示する。   The display unit 207 displays the difference image input from the difference image generation unit 206.

[情報表示システム10の動作]
以上の構成を有する情報表示システム10の動作について説明する。
[Operation of Information Display System 10]
The operation of the information display system 10 having the above configuration will be described.

[情報表示板100の動作]
以下の説明では、情報表示板100は、図3及び図4に示すように、縦16個、横32個の発光素子から構成されるLED表示板(16個×32個のドット)を有する。
[Operation of Information Display Board 100]
In the following description, as shown in FIGS. 3 and 4, the information display board 100 has an LED display board (16 × 32 dots) composed of 16 light emitting elements in the vertical direction and 32 light emitting elements in the horizontal direction.

情報表示板100の基本情報蓄積部101が蓄積する基本情報(不特定の者に対して視覚を通じて伝達する情報)の一例として、図3に示すような上向き矢印を表すドットパターンを用いる。すなわち、情報表示板100は、基本情報を伝達する場合には、図3に示すようにLED表示板の発光素子のうち、上向き矢印を表す発光素子を点滅させ、その他の発光素子を消灯させる。   As an example of basic information stored in the basic information storage unit 101 of the information display board 100 (information transmitted to an unspecified person through vision), a dot pattern representing an upward arrow as shown in FIG. 3 is used. That is, when the basic information is transmitted, the information display board 100 blinks the light emitting elements representing the upward arrows among the light emitting elements of the LED display board and turns off the other light emitting elements as shown in FIG.

また、情報表示板100の付加情報蓄積部102が蓄積する付加情報(所定の条件を満たす運転者に対してのみ情報表示装置200を通じて伝達する情報)の一例として、図4に示すように速度超過を示す文字列「ソクドオーバー」を表すドットパターン用いる。すなわち、情報表示板100は、付加情報を伝達する場合には、図4に示すようにLED表示板の発光素子のうち、「ソクドオーバー」を表す発光素子を点滅させ、その他の発光素子を消灯させる。   Further, as an example of additional information (information transmitted through the information display device 200 only to a driver satisfying a predetermined condition) stored in the additional information storage unit 102 of the information display board 100, as shown in FIG. A dot pattern representing a character string “sokdo over” is used. That is, when transmitting additional information, the information display board 100 blinks the light emitting elements indicating “sock over” among the light emitting elements of the LED display board as shown in FIG. 4 and turns off the other light emitting elements. Let

基本情報蓄積部101及び付加情報蓄積部102は、各ドットパターンに対応した発光素子の点滅及び消灯の並びを表すデータ列を点滅間隔設定部103に出力する。例えば、基本情報蓄積部101及び付加情報蓄積部102は、基本情報及び付加情報のドットパターンを、点滅するドットを‘1’、消灯するドットを‘0’で表したデータ列として点滅間隔設定部103に出力する。   The basic information accumulating unit 101 and the additional information accumulating unit 102 output to the blinking interval setting unit 103 a data string representing a sequence of blinking and extinguishing of light emitting elements corresponding to each dot pattern. For example, the basic information accumulating unit 101 and the additional information accumulating unit 102 are a blinking interval setting unit in which the dot pattern of the basic information and additional information is a data string in which blinking dots are represented by “1” and unlit dots are represented by “0”. To 103.

例えば、図3に示す基本情報のドットパターンの横方向(行方向)の32ドットを1つのデータ列とする場合について説明する。この場合、図3に示す基本情報は、以下のようなデータ列で表される。なお、ここでは、図3に示す最上段を1行目とし、最下段を16行目としている。
1行目の点滅・消灯パターン(=00000011111111111111111111000000)
2行目の点滅・消灯パターン(=00000111111111111111111111100000)

16行目の点滅・消灯パターン(=00001111111111111111111111110000)
For example, a case will be described in which 32 dots in the horizontal direction (row direction) of the dot pattern of the basic information shown in FIG. In this case, the basic information shown in FIG. 3 is represented by the following data string. Here, the top row shown in FIG. 3 is the first row, and the bottom row is the 16th row.
First line flashing / extinguishing pattern (= 00000011111111111111111111000000)
Second line blinking / extinguishing pattern (= 00000111111111111111111111100000)
...
16th line blinking / extinguishing pattern (= 00001111111111111111111111110000)

同様に、図4に示す付加情報のドットパターンの横方向(行方向)の32ドットを1つのデータ列とする場合、各データ列は以下のように表される。
1行目の点滅・消灯パターン(=00000000000000000000000000000000)
2行目の点滅・消灯パターン(=00000001000100111100101100000000)

16行目の点滅・消灯パターン(=00000000000000000000000000000000)
Similarly, when 32 dots in the horizontal direction (row direction) of the dot pattern of the additional information shown in FIG. 4 are set as one data string, each data string is expressed as follows.
First line blinking / extinguishing pattern (= 00000000000000000000000000000000)
Second line blinking / extinguishing pattern (= 00000001000100111100101100000000)
...
16th line blinking / extinguishing pattern (= 00000000000000000000000000000000)

点滅間隔設定部103は、基本情報蓄積部101及び付加情報蓄積部102のそれぞれから入力されるドットパターンを表すデータ列を、発光素子毎に足し合わせることで、合成する。   The blinking interval setting unit 103 synthesizes a data string representing a dot pattern input from each of the basic information storage unit 101 and the additional information storage unit 102 by adding each data element.

例えば、点滅間隔設定部103は、図3に示す基本情報の1行目の点滅・消灯パターンと、図4に示す付加情報の1行目の点滅・消灯パターンとを合成して、合成後の1行目の点滅・消灯パターンを生成する。
・基本情報の
1行目の点滅・消灯パターン(=00000011111111111111111111000000)
・付加情報の
1行目の点滅・消灯パターン(=00000000000000000000000000000000)
・合成後の
1行目の点滅・消灯パターン(=00000011111111111111111111000000)
For example, the blinking interval setting unit 103 combines the blinking / extinguishing pattern of the first line of the basic information shown in FIG. 3 and the blinking / extinguishing pattern of the first line of the additional information shown in FIG. A blinking / extinguishing pattern for the first line is generated.
・ Blinking / extinguishing pattern in the first line of basic information (= 00000011111111111111111111000000)
・ Blinking / extinguishing pattern on the first line of additional information (= 00000000000000000000000000000000)
-Flashing / extinguishing pattern on the first line after composition (= 00000011111111111111111111000000)

同様に、点滅間隔設定部103は、図3に示す基本情報の2行目の点滅・消灯パターンと、図4に示す付加情報の2行目の点滅・消灯パターンとを合成して、合成後の2行目の点滅・消灯パターンを生成する。
・基本情報の
2行目の点滅・消灯パターン(=00000111111111111111111111100000)
・付加情報の
2行目の点滅・消灯パターン(=00000001000100111100101100000000)
・合成後の
2行目の点滅・消灯パターン(=00000112111211222211212211100000)
Similarly, the blinking interval setting unit 103 combines the blinking / extinguishing pattern of the second line of the basic information shown in FIG. 3 with the blinking / extinguishing pattern of the second line of the additional information shown in FIG. The blinking / extinguishing pattern of the second row is generated.
・ Blinking / extinguishing pattern in the second line of basic information (= 00000111111111111111111111100000)
・ Blinking / extinguishing pattern on the second line of additional information (= 00000001000100111100101100000000)
-Flashing / extinguishing pattern on the second line after composition (= 00000112111211222211212211100000)

点滅間隔設定部103は、図3に示す基本情報及び図4に示す付加情報の3行目〜16行目についても同様にして点滅・消灯パターンを合成する。   The blinking interval setting unit 103 synthesizes blinking / extinguishing patterns in the same manner for the third line to the 16th line of the basic information shown in FIG. 3 and the additional information shown in FIG.

ここで、上記合成後の点滅・消灯パターンのうち、‘0’は基本情報及び付加情報のいずれにおいても点滅しない発光素子であり、‘1’は基本情報において点滅される発光素子であり、‘2’は基本情報及び付加情報の双方において点滅される発光素子である。   Here, among the blinking / extinguishing patterns after synthesis, '0' is a light emitting element that does not blink in either basic information or additional information, and '1' is a light emitting element that blinks in the basic information. Reference numeral 2 ′ denotes a light emitting element that blinks in both basic information and additional information.

また、基本情報の点滅・消灯パターンで‘1’となる発光素子のうち、付加情報の点滅・消灯パターンでも‘1’となる発光素子は、合成後の点滅・消灯パターンで‘2’となる。つまり、情報表示板100において、基本情報を表示する第1の領域内に、付加情報を表示する第2の領域が重畳されている。すなわち、合成後の点滅・消灯パターンでは、‘2’が付加情報の表示領域であり、‘1’が基本情報の表示領域のうち付加情報の表示領域以外の領域である。   In addition, among the light-emitting elements that are “1” in the blink / off pattern of the basic information, the light-emitting elements that are “1” in the blink / off pattern of the additional information are “2” in the combined blink / off pattern. . That is, in the information display board 100, the second area for displaying the additional information is superimposed on the first area for displaying the basic information. That is, in the blinking / extinguishing pattern after synthesis, “2” is a display area for additional information, and “1” is an area other than the display area for additional information in the display area for basic information.

図3及び図4に示すように、付加情報において点滅する発光素子は、基本情報において点滅する発光素子に含まれている必要がある。付加情報において点滅する発光素子が、基本情報において点滅する発光素子に含まれていない場合、基本情報の表示領域からはみ出た部分の発光素子においては、基本情報の点滅・消灯パターンのドットが‘0’、付加情報の点滅・消灯パターンにおけるドットが‘1’となる。よって合成後の点滅・消灯パターンにおけるドットが‘1’となり、以降の処理において基本情報において点滅される発光素子と同様に扱われることになってしまう。   As shown in FIGS. 3 and 4, the light emitting element blinking in the additional information needs to be included in the light emitting element blinking in the basic information. When the light-emitting element blinking in the additional information is not included in the light-emitting element blinking in the basic information, the dot of the blinking / extinguishing pattern of the basic information is “0” in the light-emitting element that protrudes from the basic information display area. ', The dot in the additional information blinking / extinguishing pattern is' 1'. Therefore, the dot in the blinking / extinguishing pattern after synthesis becomes “1”, and in the subsequent processing, it is handled in the same manner as the light emitting element blinking in the basic information.

点滅間隔設定部103は、合成後の点滅・消灯パターンで‘2’となる発光素子(付加情報の表示領域)の点滅間隔(周波数)を周波数f1の逆数に設定する。一方、点滅間隔設定部103は、合成後の点滅・消灯パターンで‘1’となる発光素子(基本情報の表示領域のうち付加情報の表示領域以外の領域)の点滅間隔を周波数f2の逆数に設定する。ここで、周波数f2は、例えば周波数f1の2の階乗倍の周波数に設定する。以下、f2はf1の2倍として説明するが、その限りではない。   The blinking interval setting unit 103 sets the blinking interval (frequency) of the light emitting element (additional information display region) that becomes ‘2’ in the combined blinking / extinguishing pattern to the reciprocal of the frequency f1. On the other hand, the blinking interval setting unit 103 sets the blinking interval of the light emitting elements (regions other than the additional information display region in the basic information display region) to “1” in the combined blinking / extinguishing pattern to the reciprocal of the frequency f2. Set. Here, the frequency f2 is set to, for example, a frequency that is a factorial of 2 of the frequency f1. Hereinafter, f2 is described as being twice as large as f1, but this is not restrictive.

これにより、情報表示板100が有するLED表示板の個々の発光素子について点滅間隔がそれぞれ設定され、図5に示す点滅間隔が設定されたドットパターンが生成される。つまり、図5に示すように、情報表示板100において、付加情報(「ソクドオーバー」)の表示領域の発光素子は周波数f1の逆数の時間間隔で点滅し、基本情報(上向き矢印)の表示領域のうち、付加情報の表示領域以外の領域は周波数f2の逆数の時間間隔で点滅する。そして、情報表示板100において、付加情報の表示領域または基本情報の表示領域のいずれにも該当しない領域に含まれる発光素子は、消灯する。   Thereby, the blinking interval is set for each light emitting element of the LED display plate included in the information display plate 100, and the dot pattern with the blinking interval shown in FIG. 5 is generated. That is, as shown in FIG. 5, in the information display board 100, the light emitting elements in the display area of the additional information (“sock over”) blink at a time interval that is the inverse of the frequency f1, and the display area of the basic information (upward arrow). Among these, the area other than the display area of the additional information blinks at a time interval that is the reciprocal of the frequency f2. Then, in the information display board 100, the light emitting elements included in a region that does not correspond to either the additional information display region or the basic information display region are turned off.

なお、周波数f1はどのような周波数に設定されてもよい。例えば、LED表示機は一般的に高周期で点滅を繰り返すので、通常の発光素子の点滅周波数を周波数f1としてもよい。   The frequency f1 may be set to any frequency. For example, since an LED display generally repeats blinking at a high cycle, the blinking frequency of a normal light emitting element may be set to the frequency f1.

以上の説明では付加情報として「ソクドオーバー」を表示する場合について説明したが、付加情報として他の情報を表示する場合は、他の情報に対応する図4のようなドットパターンを作成し、第1の領域を定義することで表示内容を変化させることができる。例えば、付加情報として「ショウトツチュウイ」を表示する場合においては、「ショウトツチュウイ」の表示に対応する図4のようなドットパターンを作成し、第1の領域を定義する。そして、作成されたドットパターンが付加情報蓄積部102に蓄積されるようにすればよい。上述したような点滅間隔設定部103、表示部104の処理により、「ショウトツチュウイ」が付加情報として情報表示板100に表示される。   In the above description, the case where “sock over” is displayed as additional information has been described. However, when other information is displayed as additional information, a dot pattern as shown in FIG. By defining one area, the display contents can be changed. For example, when “Shot Tutuui” is displayed as additional information, a dot pattern as shown in FIG. 4 corresponding to the display of “Shouttuchuui” is created, and the first region is defined. Then, the created dot pattern may be stored in the additional information storage unit 102. By the processing of the blinking interval setting unit 103 and the display unit 104 as described above, “Shot Tutuwi” is displayed on the information display board 100 as additional information.

図6は、情報表示板100において、周波数f1の逆数の時間間隔で点滅する発光素子の点滅パターン(オンオフパターン)、及び、周波数f2(図6においてf1の2倍)の逆数の時間間隔で点滅する発光素子の点滅パターンを、点滅タイミングに沿って示した図である。   FIG. 6 shows a blinking pattern (on / off pattern) of a light emitting element that blinks at a reciprocal time interval of the frequency f1 and a reciprocal time interval of the frequency f2 (twice f1 in FIG. 6) on the information display board 100. It is the figure which showed the blink pattern of the light emitting element to perform along the blink timing.

図6に示すように、周波数f1の逆数の時間間隔で点滅する発光素子は、1/(2*f1)の時間間隔だけオン状態(光が点いた状態)となり、1/(2*f1)の時間間隔だけオフ状態(光が消えた状態)となる動作(1周期(1/f1)の動作)を繰り返す。また、図6に示すように、周波数f2の逆数の時間間隔で点滅する発光素子は、1/(2*f2)(=1/(4*f1))の時間間隔だけオン状態(ON)となり、1/(2*f2)の時間間隔だけオフ状態(OFF)となる動作(1周期(1/f2)の動作)を繰り返す。   As shown in FIG. 6, the light-emitting element that blinks at a time interval of the reciprocal of the frequency f1 is turned on (light-on state) for a time interval of 1 / (2 * f1), and 1 / (2 * f1) The operation (one cycle (1 / f1) operation) that is turned off (the light is turned off) is repeated for the time interval of. Further, as shown in FIG. 6, the light-emitting element blinking at a time interval of the reciprocal of the frequency f2 is turned on (ON) for a time interval of 1 / (2 * f2) (= 1 / (4 * f1)). , The operation of turning off (OFF) (one cycle (1 / f2) operation) is repeated for a time interval of 1 / (2 * f2).

なお、同一の情報表示板100では、周波数f1の逆数の時間間隔で点滅する発光素子及び周波数f2の逆数の時間間隔で点滅する発光素子の立ち上がりタイミングは同期させるものとする。   In the same information display board 100, the rising timings of the light emitting elements flashing at the reciprocal time interval of the frequency f1 and the light emitting elements flashing at the reciprocal time interval of the frequency f2 are synchronized.

[情報表示装置200の動作]
図7は、情報表示装置200の動作説明に供するフロー図である。
[Operation of Information Display Device 200]
FIG. 7 is a flowchart for explaining the operation of the information display apparatus 200.

ステップ(以下、「ST」という)101では、撮像間隔設定部201は、情報表示装置200を搭載する車両内部で取得可能な車両情報を取得し、車両情報に関する所定の条件(又は状態)に応じて、撮像制御部202における撮像間隔を設定する。ここでは、情報表示装置200を搭載した車両が走行している道路の制限速度を50(km/h)とし、車両情報に関する所定の条件を、車両の速度が制限速度50(km/h)を超えているか否かとする。撮像間隔設定部201は、車両に設置されている車速センサ(図示せず)で車速を検知する。   In step (hereinafter, referred to as “ST”) 101, the imaging interval setting unit 201 acquires vehicle information that can be acquired inside the vehicle on which the information display device 200 is mounted, and responds to a predetermined condition (or state) regarding the vehicle information. Thus, the imaging interval in the imaging control unit 202 is set. Here, the speed limit of the road on which the vehicle equipped with the information display device 200 is traveling is set to 50 (km / h), and the vehicle speed is set to a speed limit of 50 (km / h) under a predetermined condition relating to vehicle information. Whether it has been exceeded. The imaging interval setting unit 201 detects the vehicle speed with a vehicle speed sensor (not shown) installed in the vehicle.

なお、情報表示装置200は、たとえば、接続された外部機器(例えばカーナビゲーション装置など)から道路の制限速度を取得してもよい。外部機器は、GPS(Global Positioning System)を用いて車両の現在位置を取得し、走行中の道路を特定する。そして、外部機器は、走行中の道路に対応する制限速度を、保持するデータベースから読み出して情報表示装置200に送信する。また、情報表示装置200は、接続された通信機器を用い、携帯電話網などを介して、道路の制限速度を取得してもよい。情報表示装置200は、GPSを用いて車両の現在位置を取得し、通信機器を用いて、現在位置に対応する走行中の道路の制限速度を問い合わせる。そして、問合せに対し、外部サーバが走行中の道路の制限速度を情報表示装置200に送信する。また、情報表示装置200に搭載された車載カメラ300を用いて、道路標識の制限速度情報又は路面にペイントされている道路標示の文字を読み取って、走行中の道路の制限速度を認識してもよい。道路の制限速度の情報を取得する方法はこれらに限定されない。   Note that the information display device 200 may acquire a road speed limit from, for example, a connected external device (for example, a car navigation device). The external device acquires the current position of the vehicle using GPS (Global Positioning System) and identifies the road on which the vehicle is running. Then, the external device reads out the speed limit corresponding to the running road from the stored database and transmits it to the information display device 200. In addition, the information display device 200 may acquire a road speed limit through a mobile phone network or the like using a connected communication device. The information display device 200 acquires the current position of the vehicle using the GPS, and inquires the speed limit of the running road corresponding to the current position using the communication device. In response to the inquiry, the external server transmits the speed limit of the road on which the external server is traveling to the information display device 200. Further, even if the on-board camera 300 mounted on the information display device 200 is used to read the speed limit information on the road sign or the characters of the road markings painted on the road surface, the speed limit of the running road is recognized. Good. The method of acquiring the information on the speed limit on the road is not limited to these.

なお、カーナビゲーション装置は、本実施の形態の情報表示装置に含まれてもよい。   Note that the car navigation device may be included in the information display device of the present embodiment.

撮像間隔設定部201は、車速センサで検知した速度が制限速度を超えていない場合(例えば30(km/h)の場合)、つまり、上記所定の条件を満たさない場合、撮像間隔を周波数f1の逆数に設定する。一方、撮像間隔設定部201は、車速センサで検知した速度が制限速度を超えた場合(例えば70(km/h)の場合)、つまり、上記所定の条件を満たす場合、撮像間隔を周波数f1の2倍の周波数の逆数に設定する。なお、情報表示装置200における各撮像間隔(f1及びf2)での動作の詳細については後述する。   When the speed detected by the vehicle speed sensor does not exceed the speed limit (for example, 30 (km / h)), that is, when the predetermined condition is not satisfied, the imaging interval setting unit 201 sets the imaging interval to the frequency f1. Set to the reciprocal. On the other hand, when the speed detected by the vehicle speed sensor exceeds the speed limit (for example, 70 (km / h)), that is, when the predetermined condition is satisfied, the imaging interval setting unit 201 sets the imaging interval to the frequency f1. Set to the inverse of twice the frequency. Details of the operation at each imaging interval (f1 and f2) in the information display device 200 will be described later.

なお、ここでは、情報表示板100において発光素子の点滅間隔の逆数であるf2をf1の2倍として説明するため、情報表示装置200において上記所定の条件を満たす場合の撮像間隔の逆数(f1の2倍)と、f2とが一致する。   Here, in order to explain that f2 which is the reciprocal of the blinking interval of the light emitting elements in the information display board 100 is twice f1, the reciprocal of the imaging interval when the predetermined condition is satisfied in the information display device 200 (of f1) 2) and f2.

ST102では、撮像制御部202は、ST101で設定された撮像間隔(1/周波数)で車両の前方を撮像する車載カメラ300の撮像タイミングを制御する。そして、撮像制御部202は、車載カメラ300によって所定の撮像間隔で撮像された複数の画像を取得する。例えば、撮像制御部202は、図8に示すような情報表示板100を含む画像を取得する。   In ST102, the imaging control unit 202 controls the imaging timing of the in-vehicle camera 300 that images the front of the vehicle at the imaging interval (1 / frequency) set in ST101. Then, the imaging control unit 202 acquires a plurality of images captured by the in-vehicle camera 300 at a predetermined imaging interval. For example, the imaging control unit 202 acquires an image including the information display board 100 as illustrated in FIG.

ST103では、表示板領域切出部203は、ST102で撮像された画像(例えば図8)から情報表示板100のLED表示領域のみを切り出す。   In ST103, the display board area cutout unit 203 cuts out only the LED display area of the information display board 100 from the image captured in ST102 (for example, FIG. 8).

ST104では、正規化補正部204は、ST103で切り出したLED表示領域を、特定のサイズに正規化するとともに、矩形への補正を行う。これにより、図9に示すような正規化と補正が施された画像が得られる。   In ST104, the normalization correction unit 204 normalizes the LED display area cut out in ST103 to a specific size and corrects it to a rectangle. Thereby, an image subjected to normalization and correction as shown in FIG. 9 is obtained.

ST105では、2値化処理部205は、図9に示す画像を2値化する。これにより、2値化処理部205は、図9に示す画像を、図10に示すように変換する。   In ST105, the binarization processing unit 205 binarizes the image shown in FIG. Thereby, the binarization processing unit 205 converts the image shown in FIG. 9 as shown in FIG.

ST106では、差分画像生成部206は、今回撮像された画像(第1の画像)と前回撮像された画像(第1の画像に対して、設定された撮像間隔だけ前に撮像された第2の画像)との差分をとり、ST107では、表示部207は、ST106で得られる差分画像データを表示する。   In ST106, the difference image generation unit 206 performs the second image captured before the set imaging interval with respect to the currently captured image (first image) and the previously captured image (first image). In ST107, the display unit 207 displays the difference image data obtained in ST106.

次に、情報表示装置200が搭載された車両の速度が制限速度を超えていない場合(所定の条件を満たさない場合)の情報表示装置200の動作について説明する。   Next, the operation of the information display device 200 when the speed of the vehicle on which the information display device 200 is mounted does not exceed the speed limit (when a predetermined condition is not satisfied) will be described.

この場合、撮像間隔設定部201は、撮像間隔を周波数f1の逆数に設定する。よって、撮像制御部202により撮像タイミングを制御される車載カメラ300は、周波数f1の周期(すなわち、(1/f1)の時間間隔)で車両前方を撮像する。   In this case, the imaging interval setting unit 201 sets the imaging interval to the reciprocal of the frequency f1. Therefore, the vehicle-mounted camera 300 whose imaging timing is controlled by the imaging control unit 202 images the front of the vehicle at a cycle of the frequency f1 (that is, a time interval of (1 / f1)).

例えば、撮像制御部202が、図6に示す破線のタイミング(周波数f1の1周期(1/f1))毎に撮像したとする。図6に示す破線のタイミングで取得される画像では、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f2の逆数の時間間隔で点滅する発光素子もオフ状態(OFF)となる。   For example, it is assumed that the imaging control unit 202 captures images at every broken line timing (one cycle (1 / f1) of the frequency f1) shown in FIG. In the image acquired at the timing of the broken line shown in FIG. 6, the light emitting element flashing at the reciprocal time interval of the frequency f1 is turned off (OFF), and the light emitting element flashing at the reciprocal time interval of the frequency f2 is also turned off ( OFF).

同様に、例えば、撮像制御部202が、図6に示す一点鎖線のタイミング(周波数f1の1周期(1/f1))毎に撮像したとする。図6に示す一点鎖線のタイミングで取得される画像では、周波数f1の逆数の時間間隔で点滅する発光素子はオン状態(ON)となり、周波数f2の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となる。   Similarly, for example, it is assumed that the imaging control unit 202 captures an image at every dot-and-dash line timing (one cycle (1 / f1) of the frequency f1) shown in FIG. In the image acquired at the time of the alternate long and short dash line shown in FIG. 6, the light emitting element blinking at the time interval of the reciprocal frequency f1 is turned on (ON), and the light emitting element blinking at the time interval of the reciprocal frequency f2 is turned off. (OFF).

撮像制御部202が周波数f1の逆数の撮像間隔で撮像することは、周波数f1の逆数の時間間隔で点滅する発光素子に対して1周期毎に撮像することであり、周波数f2の逆数の時間間隔で点滅する発光素子に対して2周期毎に撮像することである。よって、情報表示装置200において、図6に示すように、発光素子が点滅する情報表示板100を周波数f1の逆数の撮像間隔で撮像すると、周波数f1及び周波数f2の点滅パターンは、いずれの撮像タイミングでも同一となる。   The imaging control unit 202 captures images at an imaging interval having a reciprocal frequency f1 to capture the light emitting element blinking at a reciprocal time interval of the frequency f1 every cycle, and the reciprocal time interval of the frequency f2. The image is taken every two cycles for the light emitting element blinking at. Therefore, in the information display apparatus 200, as shown in FIG. 6, when the information display board 100 in which the light emitting element blinks is imaged at an imaging interval of the reciprocal number of the frequency f1, the blinking pattern of the frequency f1 and the frequency f2 has any imaging timing. But it is the same.

このように、車両の速度が制限速度を超えていない場合、いずれのタイミングにおいても情報表示装置200では同一画像が取得される。つまり、情報表示装置200の差分画像生成部206にはいずれのタイミングでも同一画像が入力される。よって、差分画像生成部206が、撮像制御部202で取得した第1の画像と、第1の画像に対して前回取得した第2の画像との差分をとると、双方の画像の差異が無いので、表示部207は、図11に示すように、オフ状態(OFF)にある発光素子を含めて、情報表示板100に含まれる全ての発光素子が消灯している画像を表示する。   In this way, when the vehicle speed does not exceed the speed limit, the information display device 200 acquires the same image at any timing. That is, the same image is input to the difference image generation unit 206 of the information display device 200 at any timing. Therefore, when the difference image generation unit 206 calculates the difference between the first image acquired by the imaging control unit 202 and the second image acquired last time with respect to the first image, there is no difference between the two images. Therefore, as shown in FIG. 11, the display unit 207 displays an image in which all the light emitting elements included in the information display board 100 are turned off, including the light emitting elements in the off state (OFF).

つまり、車両速度が制限速度を超えていない場合、その運転者は、情報表示板100に表示された基本情報(図5参照)を肉眼で認識するものの、情報表示装置200の表示部207を介して付加情報を認識しない(図11参照)。よって、制限速度を超過していない車両の運転者に対して、不要な情報を提供することがない。   That is, when the vehicle speed does not exceed the speed limit, the driver recognizes the basic information (see FIG. 5) displayed on the information display board 100 with the naked eye, but via the display unit 207 of the information display device 200. Thus, the additional information is not recognized (see FIG. 11). Therefore, unnecessary information is not provided to the driver of the vehicle that has not exceeded the speed limit.

次に、情報表示装置200が搭載された車両の速度が制限速度を超えている場合(所定の条件を満たす場合)の情報表示装置200の動作について説明する。   Next, the operation of the information display device 200 when the speed of the vehicle on which the information display device 200 is mounted exceeds the speed limit (when a predetermined condition is satisfied) will be described.

この場合、撮像間隔設定部201は、撮像間隔を周波数f1の2倍の逆数に設定する。よって、撮像制御部202によって撮像タイミングを制御される車載カメラ300は、周波数f1の2倍の周期(すなわち、(1/(f1*2))の時間間隔)で車両前方を撮像する。   In this case, the imaging interval setting unit 201 sets the imaging interval to an inverse of twice the frequency f1. Therefore, the vehicle-mounted camera 300 whose imaging timing is controlled by the imaging control unit 202 images the front of the vehicle at a cycle twice that of the frequency f1 (that is, a time interval of (1 / (f1 * 2))).

例えば、車載カメラ300で最初に撮像するタイミングで取得される画像における発光素子の点滅パターンは、図6に示すタイミング(1)〜(4)の4つのパターンに分けられる。以下、撮像制御部202によって撮像タイミングを制御される車載カメラ300で最初に撮像するタイミングが、図6に示すタイミング(1)〜(4)のそれぞれである場合に、表示部207に表示される画像について説明する。なお、図6に示すタイミング(1)〜(6)は、{1/(4*f1)}の時間間隔(周波数f1*2の半周期)ずつ離れたタイミングである。   For example, the blinking pattern of the light emitting element in the image acquired at the timing of first imaging with the in-vehicle camera 300 is divided into four patterns (1) to (4) shown in FIG. Hereinafter, when the first imaging timing of the in-vehicle camera 300 whose imaging timing is controlled by the imaging control unit 202 is each of the timings (1) to (4) illustrated in FIG. 6, the timing is displayed on the display unit 207. The image will be described. Note that timings (1) to (6) shown in FIG. 6 are timings separated by {1 / (4 * f1)} time intervals (half cycle of frequency f1 * 2).

<タイミング(1):周波数f1の発光素子がオフ、周波数f2の発光素子がオフ>
車載カメラ300が図6に示すタイミング(1)で最初に撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f2の逆数の時間間隔で点滅する発光素子もオフ状態(OFF)となる。このため、図6に示すタイミング(1)で撮像され、2値化処理部205から出力される画像は、図11に示すように、オフ状態(OFF)である発光素子を含め、情報表示板100に含まれるすべての発光素子が消えている画像となる。
<Timing (1): The light emitting element with the frequency f1 is off and the light emitting element with the frequency f2 is off>
When the vehicle-mounted camera 300 first captures an image at the timing (1) shown in FIG. 6, the light emitting element flashing at a time interval of the reciprocal frequency f1 is turned off (OFF), and the light emission flashing at a time interval of the reciprocal frequency f2. The element is also turned off (OFF). Therefore, an image captured at timing (1) shown in FIG. 6 and output from the binarization processing unit 205 includes an information display board including a light emitting element in an off state (OFF) as shown in FIG. An image is displayed in which all light emitting elements included in 100 disappear.

車載カメラ300がタイミング(1)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(3)である。撮像制御部202が図6に示すタイミング(3)で撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオン状態(ON)となり、周波数f2の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となる。このため、図6に示すタイミング(3)で撮像され、2値化処理部205から出力される画像は、図12に示すように、周波数f1の逆数の時間間隔で点滅する発光素子のみが点いている画像となる。   The timing (the timing after {1 / (f1 * 2)}) by the in-vehicle camera 300 after the timing (1) is the timing (3). When the imaging control unit 202 captures an image at the timing (3) shown in FIG. 6, the light emitting element that blinks at a time interval that is the inverse of the frequency f1 is turned on (ON), and the light emitting element that blinks at the time interval that is the inverse of the frequency f2. Is turned off. For this reason, as shown in FIG. 12, the image captured at the timing (3) shown in FIG. 6 and output from the binarization processing unit 205 is only a light emitting element that blinks at a time interval of the reciprocal frequency f1. It becomes the image that is.

よって、図6に示すタイミング(3)では、差分画像生成部206は、今回のタイミング(3)で取得した図12に示す画像と、前回のタイミング(1)で取得した図11に示す画像との差分をとる。図11と図12との差異は、周波数f1の逆数の時間間隔で点滅する発光素子がオン状態(ON)であるかオフ状態(OFF)であるかである。このため、図11と図12との差分画像は、図12と同一の画像である。よって、表示部207は、図12に示す画像を表示する。すなわち、情報表示装置200は、情報表示板100から特定の運転者に伝達する付加情報「ソクドオーバー」を表示する。   Therefore, at the timing (3) shown in FIG. 6, the difference image generation unit 206 has the image shown in FIG. 12 acquired at the current timing (3) and the image shown in FIG. 11 acquired at the previous timing (1). The difference is taken. The difference between FIG. 11 and FIG. 12 is whether the light emitting element blinking at a time interval of the reciprocal of the frequency f1 is in the on state (ON) or in the off state (OFF). Therefore, the difference image between FIG. 11 and FIG. 12 is the same image as FIG. Therefore, the display unit 207 displays the image shown in FIG. That is, the information display device 200 displays additional information “sock over” transmitted from the information display board 100 to a specific driver.

車載カメラ300がタイミング(3)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(5)である。図6に示すタイミング(5)は、タイミング(1)から周波数f1の1周期分(又は周波数f2の2周期分)経過したタイミングである。つまり、車載カメラ300が図6に示すタイミング(5)で撮像した場合、タイミング(1)と同様、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f2の逆数の時間間隔で点滅する発光素子もオフ状態(OFF)となる。このため、図6に示すタイミング(5)で撮像され、2値化処理部205から出力される画像は、図11に示すように、オフ状態(OFF)である発光素子を含めて、情報表示板100に含まれるすべての発光素子が消えている画像となる。   The timing (the timing after {1 / (f1 * 2)}) after the timing (3) by the vehicle-mounted camera 300 is the timing (5). The timing (5) shown in FIG. 6 is a timing when one cycle of the frequency f1 (or two cycles of the frequency f2) has elapsed from the timing (1). That is, when the in-vehicle camera 300 captures an image at the timing (5) shown in FIG. 6, the light-emitting element flashing at a time interval of the reciprocal number of the frequency f1 is turned off (OFF) as in the timing (1), and the reciprocal number of the frequency f2. The light-emitting element flashing at the time interval is also turned off (OFF). Therefore, the image captured at the timing (5) shown in FIG. 6 and output from the binarization processing unit 205 includes an information display including the light emitting elements in the off state (OFF) as shown in FIG. An image in which all the light emitting elements included in the plate 100 have disappeared is obtained.

よって、図6に示すタイミング(5)では、差分画像生成部206は、今回のタイミング(5)で取得した図11に示す画像と、前回のタイミング(3)で取得した図12に示す画像との差分をとる。図11と図12との差分画像は、上述したように、図12と同一の画像となる。よって、表示部207は、図6に示すタイミング(5)では、図12に示す画像(付加情報「ソクドオーバー」)を表示する。   Therefore, at the timing (5) shown in FIG. 6, the difference image generation unit 206 has the image shown in FIG. 11 acquired at the current timing (5) and the image shown in FIG. 12 acquired at the previous timing (3). The difference is taken. The difference image between FIG. 11 and FIG. 12 is the same image as FIG. 12 as described above. Therefore, the display unit 207 displays the image (additional information “sock over”) shown in FIG. 12 at the timing (5) shown in FIG.

タイミング(5)より後は、上記処理の繰り返しとなる。すなわち、車載カメラ300が図6に示すタイミング(1)で最初に撮像した場合には、タイミング(3)以降で、周波数f1の逆数の時間間隔で点滅する発光素子のみが点いている画像(図12に示す情報)が表示部207に表示される。   After the timing (5), the above process is repeated. That is, when the in-vehicle camera 300 first captures an image at the timing (1) shown in FIG. 6, only the light emitting elements that blink at a time interval of the reciprocal of the frequency f1 after the timing (3) (see FIG. 6). 12) is displayed on the display unit 207.

<タイミング(2):周波数f1の発光素子がオフ、周波数f2の発光素子がオン>
車載カメラ300が図6に示すタイミング(2)で最初に撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f2の逆数の時間間隔で点滅する発光素子はオン状態(ON)となる。このため、図6に示すタイミング(2)で撮像され、2値化処理部205から出力される画像は、図13に示すように、周波数f2の逆数の時間間隔で点滅する発光素子のみが点いている画像となる。
<Timing (2): Light-emitting element with frequency f1 is off and light-emitting element with frequency f2 is on>
When the in-vehicle camera 300 first captures an image at the timing (2) shown in FIG. 6, the light emitting element flashing at a time interval of the reciprocal frequency f1 is turned off, and the light emission flashing at the time interval of the reciprocal frequency f2. The element is turned on (ON). For this reason, as shown in FIG. 13, the image captured at the timing (2) shown in FIG. 6 and output from the binarization processing unit 205 is only a light emitting element that blinks at a time interval of the reciprocal frequency f2. It becomes the image that is.

車載カメラ300がタイミング(2)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(4)である。撮像制御部202が図6に示すタイミング(4)で撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオン状態(ON)であり、周波数f2の逆数の時間間隔で点滅する発光素子もオン状態(ON)である。このため、図6に示すタイミング(4)で撮像され、2値化処理部205から出力される画像は、図14に示すように、周波数f1及び周波数f2の逆数の時間間隔で点滅する発光素子が双方とも点いている画像となる。   The timing (timing after {1 / (f1 * 2)}) that the in-vehicle camera 300 captures after timing (2) is timing (4). When the imaging control unit 202 captures an image at the timing (4) shown in FIG. 6, the light emitting element that blinks at a time interval that is the reciprocal of the frequency f1 is in the ON state (ON), and the light emission that blinks at the time interval that is the reciprocal of the frequency f2. The element is also in the on state (ON). For this reason, the image picked up at the timing (4) shown in FIG. 6 and output from the binarization processing unit 205, as shown in FIG. 14, blinks at the time intervals of the reciprocals of the frequency f1 and the frequency f2. The images are both on.

よって、図6に示すタイミング(4)では、差分画像生成部206は、今回のタイミング(4)で取得した図14に示す画像と、前回のタイミング(2)で取得した図13に示す画像との差分をとる。図13と図14との差異は、周波数f1の逆数の時間間隔で点滅する発光素子がオン状態(ON)であるかオフ状態(OFF)であるかである。このため、図13と図14との差分画像は、図12と同一の画像となる。よって、表示部207は、図12に示す画像を表示する。すなわち、情報表示装置200は、情報表示板100から特定の運転者に伝達された付加情報「ソクドオーバー」を表示する。   Therefore, at the timing (4) shown in FIG. 6, the difference image generation unit 206 has the image shown in FIG. 14 acquired at the current timing (4) and the image shown in FIG. 13 acquired at the previous timing (2). The difference is taken. The difference between FIG. 13 and FIG. 14 is whether the light emitting element blinking at a time interval of the reciprocal number of the frequency f1 is in an on state (ON) or an off state (OFF). Therefore, the difference image between FIG. 13 and FIG. 14 is the same image as FIG. Therefore, the display unit 207 displays the image shown in FIG. That is, the information display device 200 displays the additional information “socked over” transmitted from the information display board 100 to the specific driver.

車載カメラ300がタイミング(4)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(6)である。図6に示すタイミング(6)は、タイミング(2)から周波数f1の1周期分(又は周波数f2の2周期分)経過したタイミングである。つまり、車載カメラ300が図6に示すタイミング(6)で撮像した場合、タイミング(2)と同様、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)であり、周波数f2の逆数の時間間隔で点滅する発光素子はオン状態(ON)である。このため、図6に示すタイミング(6)で撮像され、2値化処理部205から出力される画像は、図13に示すように、周波数f2の逆数の時間間隔で点滅する発光素子のみが点いている画像となる。   The timing (the timing after {1 / (f1 * 2)}) that the in-vehicle camera 300 captures after the timing (4) is the timing (6). The timing (6) shown in FIG. 6 is a timing when one cycle of the frequency f1 (or two cycles of the frequency f2) has elapsed from the timing (2). That is, when the in-vehicle camera 300 captures an image at the timing (6) shown in FIG. 6, the light-emitting element blinking at a time interval of the reciprocal of the frequency f1 is in the off state (OFF), as in the timing (2). A light emitting element blinking at a reciprocal time interval is in an on state (ON). For this reason, as shown in FIG. 13, the image captured at the timing (6) shown in FIG. 6 and output from the binarization processing unit 205 is only a light emitting element that blinks at a time interval of the reciprocal frequency f2. It becomes the image that is.

よって、図6に示すタイミング(6)では、差分画像生成部206は、今回のタイミング(6)で取得した図13に示す画像と、前回のタイミング(4)で取得した図14に示す画像との差分をとる。図13と図14との差分画像は、上述したように、図12と同一の画像となる。よって、表示部207は、図6に示すタイミング(6)では、図12に示す画像(付加情報「ソクドオーバー」)を表示する。   Therefore, at the timing (6) shown in FIG. 6, the difference image generation unit 206 displays the image shown in FIG. 13 acquired at the current timing (6) and the image shown in FIG. 14 acquired at the previous timing (4). The difference is taken. The difference image between FIG. 13 and FIG. 14 is the same image as FIG. 12 as described above. Therefore, the display unit 207 displays the image (additional information “sock over”) shown in FIG. 12 at the timing (6) shown in FIG.

タイミング(6)より後は、上記処理の繰り返しとなる。すなわち、車載カメラ300が図6に示すタイミング(2)で最初に撮像した場合には、タイミング(4)以降で、周波数f1の逆数の時間間隔で点滅する発光素子のみが点いている画像(図12に示す情報)が表示部207に表示される。   After the timing (6), the above process is repeated. That is, when the in-vehicle camera 300 first captures the image at the timing (2) shown in FIG. 6, only the light-emitting elements that blink at the time intervals opposite to the frequency f1 after the timing (4) (see FIG. 6). 12) is displayed on the display unit 207.

<タイミング(3):周波数f1の発光素子がオン、周波数f2の発光素子がオフ>
図6において、タイミング(3)で最初に撮像される場合と、タイミング(1)で最初に撮像される場合とは、最初のタイミングでの処理が異なるのみである。よって、図6において、タイミング(3)で最初に撮像される場合は、上述したタイミング(1)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (3): Light-emitting element with frequency f1 is on, and light-emitting element with frequency f2 is off>
In FIG. 6, only the processing at the first timing is different between the case where the image is first captured at the timing (3) and the case where the first image is captured at the timing (1). Therefore, in FIG. 6, when the first image is taken at the timing (3), the result is the same as the case where the first image is taken at the timing (1) described above.

<タイミング(4):周波数f1の発光素子がオン、周波数f2の発光素子がオン>
図6において、タイミング(4)で最初に撮像される場合と、タイミング(2)で最初に撮像される場合とは、最初のタイミングでの処理が異なるのみである。よって、図6において、タイミング(4)で最初に撮像される場合は、上述したタイミング(2)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (4): Light-emitting element with frequency f1 is on and light-emitting element with frequency f2 is on>
In FIG. 6, only the processing at the first timing is different between the case where the image is captured first at timing (4) and the case where the image is captured first at timing (2). Therefore, in FIG. 6, when the first image is taken at the timing (4), the result is the same as the case where the first image is taken at the timing (2) described above, and the description is omitted here.

以上、車載カメラ300で最初に撮像するタイミングが、図6に示すタイミング(1)〜(4)のそれぞれである場合における表示部207に表示される画像について説明した。   As described above, the image displayed on the display unit 207 when the first imaging timing with the in-vehicle camera 300 is each of the timings (1) to (4) illustrated in FIG. 6 has been described.

このように、情報表示装置200は、車両の速度が制限速度を超えている場合には、撮像間隔を周波数f1の2倍の周波数の逆数にする。撮像制御部202によって制御される車載カメラ300が周波数f1の2倍の周波数の逆数の撮像間隔で撮像することは、周波数f1の逆数の時間間隔で点滅する発光素子に対して半周期毎に撮像することであり、周波数f2の逆数の時間間隔で点滅する発光素子に対して1周期毎に撮像することである。つまり、隣接する撮像タイミング(例えば、図6に示すタイミング(1)と(3)、(2)と(4)等)では、周波数f2の逆数の時間間隔で点滅する発光素子は同一状態(オン状態又はオフ状態)となり、周波数f1の逆数の時間間隔で点滅する発光素子は異なる状態(オン状態及びオフ状態)となる。すなわち、隣接する撮像タイミングで画像に差異が生じる領域は、周波数f1の逆数の時間間隔で点滅する発光素子に対応する表示領域(付加情報の表示領域)のみである。よって、情報表示装置200は、車両の速度が制限速度を超えている場合には、最初にどのタイミングで撮像する場合でも、情報表示板100において周波数f1で点滅させた付加情報(「ソクドオーバー」)のみを表示することができる。   Thus, the information display apparatus 200 sets the imaging interval to the reciprocal of the frequency twice as high as the frequency f1 when the vehicle speed exceeds the speed limit. When the vehicle-mounted camera 300 controlled by the imaging control unit 202 captures images at an imaging interval that is a reciprocal of a frequency twice as high as the frequency f1, imaging is performed every half cycle with respect to a light emitting element that blinks at a time interval that is a reciprocal of the frequency f1. In other words, imaging is performed for each cycle of the light emitting element that blinks at a time interval of the reciprocal of the frequency f2. In other words, at adjacent imaging timings (for example, timings (1) and (3), (2) and (4), etc. shown in FIG. 6), the light-emitting elements flashing at a time interval opposite to the frequency f2 are in the same state (ON Light-emitting elements that are blinking at a time interval of the reciprocal of the frequency f1 are in different states (on-state and off-state). That is, the region where the difference in image occurs at the adjacent imaging timing is only the display region (display region for additional information) corresponding to the light emitting element that blinks at a time interval that is the reciprocal of the frequency f1. Therefore, when the vehicle speed exceeds the speed limit, the information display device 200 causes the additional information (“sock over”) blinked at the frequency f1 on the information display board 100 regardless of the timing at which the image is first captured. ) Only.

つまり、車両速度が制限速度を超過している運転者は、情報表示板100に表示された基本情報(図5参照)を肉眼で認識するとともに、情報表示装置200の表示部207を介して付加情報(図12参照)も認識する。よって、制限速度を超過している運転手に対して、適切な情報を提供することが可能となる。   That is, the driver whose vehicle speed exceeds the speed limit recognizes the basic information (see FIG. 5) displayed on the information display board 100 with the naked eye and adds it via the display unit 207 of the information display device 200. Information (see FIG. 12) is also recognized. Therefore, it is possible to provide appropriate information to the driver who exceeds the speed limit.

以上のように本実施の形態によれば、情報表示装置200において、撮像制御部202によって撮像タイミングを制御される車載カメラ300が、情報表示板100において、基本情報の表示領域内に付加情報(所定の条件を満たす場合のみに伝達すべき特定の情報)の表示領域が重畳され、付加情報の表示領域の発光素子が周波数f1の逆数の時間間隔で点滅し、基本情報の表示領域のうち付加情報の表示領域以外の領域が周波数f2(f2はf1の2倍の周波数であるとする)の逆数の時間間隔で点滅する表示板を、撮像する。この際、撮像間隔設定部201が、所定の条件を満たす場合、撮像間隔を周波数f1の2倍の周波数の逆数に設定し、所定の条件を満たさない場合、撮像間隔を周波数f1の逆数に設定する。   As described above, according to the present embodiment, in the information display board 100, the in-vehicle camera 300 whose imaging timing is controlled by the imaging control unit 202 is added to the additional information (in the basic information display area). The display area of specific information to be transmitted only when a predetermined condition is satisfied) is superimposed, and the light-emitting elements in the additional information display area blink at a time interval of the reciprocal of the frequency f1, and are added in the basic information display area. The display board blinks at a time interval that is a reciprocal time interval of the frequency f2 (assuming that f2 is twice the frequency of f1) in an area other than the information display area. At this time, if the imaging interval setting unit 201 satisfies a predetermined condition, the imaging interval is set to the reciprocal of the frequency twice the frequency f1, and if the predetermined condition is not satisfied, the imaging interval is set to the inverse of the frequency f1. To do.

こうすることで、情報表示装置200は、所定の条件を満たす運転者(ここでは車両速度が制限速度を超えている運転者。速度超過違反の運転者)に対してのみ、付加情報(図12では「ソクドオーバー」)を伝達することが可能となる。すなわち、情報表示装置200は、異なる情報にそれぞれ対応する表示領域において発光素子が異なる周波数で点滅する情報表示板100を撮像する際、所定の条件に応じて撮像間隔を適切に設定することで、特定の情報を、所定の条件を満たす特定の運転者のみに伝達することが可能となる。   In this way, the information display device 200 can provide additional information (FIG. 12) only to a driver that satisfies a predetermined condition (here, a driver whose vehicle speed exceeds the speed limit. Then, it is possible to transmit “socked over”). That is, when the information display apparatus 200 images the information display board 100 in which the light emitting elements blink at different frequencies in display areas respectively corresponding to different information, by appropriately setting the imaging interval according to a predetermined condition, It is possible to transmit specific information only to a specific driver that satisfies a predetermined condition.

ここまでの説明では、第2の領域である基本情報の表示領域のうち付加情報の表示領域以外の領域の点滅周波数f2を付加情報の表示領域の点滅周波数f1の2倍として説明した。ここでは、点滅周波数f2が、点滅周波数f1の2の階乗倍でも正しく動作することを説明する。図15に、第2の領域である基本情報の表示領域のうち付加情報の表示領域以外の領域の点滅周波数f2を、付加情報の表示領域の点滅周波数f1の4倍とした例を示す。以下、付加情報の表示領域の周波数をf4(=f1の4倍)と記載することとする。   In the description so far, the blinking frequency f2 of the area other than the additional information display area in the basic information display area which is the second area has been described as twice the blinking frequency f1 of the additional information display area. Here, it will be described that the flashing frequency f2 operates correctly even when the flashing frequency f1 is a factorial of two. FIG. 15 shows an example in which the blinking frequency f2 of the area other than the additional information display area in the basic information display area, which is the second area, is four times the blinking frequency f1 of the additional information display area. Hereinafter, the frequency of the display area of the additional information is described as f4 (= 4 times f1).

f1とf2(=f1の2倍)の場合は図6に示すようにf1が1周期を終わるまでの4つのタイミングに分割して説明したが、f1とf4(=f1の4倍)の場合は図15に示すように8つのタイミングに分割して説明する。   In the case of f1 and f2 (= twice f1), as shown in FIG. 6, the explanation is divided into four timings until f1 ends one cycle, but in the case of f1 and f4 (= four times f1) As shown in FIG. 15, the description will be divided into eight timings.

<タイミング(1):周波数f1の発光素子がオフ、周波数f4の発光素子がオフ>
車載カメラ300が図15に示すタイミング(1)で最初に撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f4の逆数の時間間隔で点滅する発光素子もオフ状態(OFF)となる。このため、図15に示すタイミング(1)で撮像され、2値化処理部205から出力される画像は、図11に示すように、オフ状態(OFF)である発光素子を含め、情報表示板100に含まれるすべての発光素子が消えている画像となる。
<Timing (1): Light-emitting element with frequency f1 is off and light-emitting element with frequency f4 is off>
When the in-vehicle camera 300 first captures an image at the timing (1) shown in FIG. 15, the light emitting element that blinks at a time interval that is the inverse of the frequency f1 is turned off (OFF), and the light emission that blinks at the time interval that is the inverse of the frequency f4. The element is also turned off (OFF). Therefore, an image captured at timing (1) shown in FIG. 15 and output from the binarization processing unit 205 includes an information display board including a light emitting element in an off state (OFF) as shown in FIG. An image is displayed in which all light emitting elements included in 100 disappear.

車載カメラ300がタイミング(1)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(5)である。車載カメラ300が図15に示すタイミング(5)で撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオン状態(ON)となり、周波数f4の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となる。このため、図15に示すタイミング(5)で撮像され、2値化処理部205から出力される画像は、図12に示すように、周波数f1の逆数の時間間隔で点滅する発光素子のみが点いている画像となる。   The timing (the timing after {1 / (f1 * 2)}) by the in-vehicle camera 300 after the timing (1) is the timing (5). When the in-vehicle camera 300 captures an image at the timing (5) shown in FIG. 15, the light emitting element blinking at the reciprocal time interval of the frequency f1 is turned on (ON), and the light emitting element blinking at the reciprocal time interval of the frequency f4 is It becomes an off state (OFF). For this reason, as shown in FIG. 12, the image captured at the timing (5) shown in FIG. 15 and output from the binarization processing unit 205 is only a light emitting element that blinks at a time interval of the reciprocal frequency f1. It becomes the image that is.

よって、図15に示すタイミング(5)では、差分画像生成部206は、今回のタイミング(5)で取得した図12に示す画像と、前回のタイミング(1)で取得した図11に示す画像との差分をとる。図11と図12との差異は、周波数f1の逆数の時間間隔で点滅する発光素子がオン状態(ON)であるかオフ状態(OFF)であるかである。このため、図11と図12との差分画像は、図12と同一の画像である。よって、表示部207は、図12に示す画像を表示する。すなわち、情報表示装置200は、情報表示板100から特定の運転者に伝達する付加情報「ソクドオーバー」を表示する。   Therefore, at the timing (5) shown in FIG. 15, the difference image generation unit 206 has the image shown in FIG. 12 acquired at the current timing (5) and the image shown in FIG. 11 acquired at the previous timing (1). The difference is taken. The difference between FIG. 11 and FIG. 12 is whether the light emitting element blinking at a time interval of the reciprocal of the frequency f1 is in the on state (ON) or in the off state (OFF). Therefore, the difference image between FIG. 11 and FIG. 12 is the same image as FIG. Therefore, the display unit 207 displays the image shown in FIG. That is, the information display device 200 displays additional information “sock over” transmitted from the information display board 100 to a specific driver.

車載カメラ300がタイミング(5)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(9)である。図15に示すタイミング(9)は、タイミング(1)から周波数f1の1周期分(又は周波数f4の4周期分)経過したタイミングである。つまり、車載カメラ300が図15に示すタイミング(9)で撮像した場合、タイミング(1)と同様、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f4の逆数の時間間隔で点滅する発光素子もオフ状態(OFF)となる。このため、図15に示すタイミング(9)で撮像され、2値化処理部205から出力される画像は、図11に示すように、オフ状態(OFF)である発光素子を含めて、情報表示板100に含まれるすべての発光素子が消えている画像となる。   The timing (the timing after {1 / (f1 * 2)}) after the timing (5) by the in-vehicle camera 300 is the timing (9). The timing (9) shown in FIG. 15 is the timing when one cycle of the frequency f1 (or four cycles of the frequency f4) has elapsed from the timing (1). That is, when the in-vehicle camera 300 captures an image at the timing (9) shown in FIG. 15, the light-emitting element blinking at a time interval of the reciprocal frequency f1 is turned off (OFF) and the reciprocal frequency f4, as in the timing (1). The light-emitting element flashing at the time interval is also turned off (OFF). For this reason, the image captured at the timing (9) shown in FIG. 15 and output from the binarization processing unit 205 includes an information display including the light emitting elements in the off state (OFF) as shown in FIG. An image in which all the light emitting elements included in the plate 100 have disappeared is obtained.

よって、図15に示すタイミング(9)では、差分画像生成部206は、今回のタイミング(9)で取得した図11に示す画像と、前回のタイミング(5)で取得した図12に示す画像との差分をとる。図11と図12との差分画像は、上述したように、図12と同一の画像となる。よって、表示部207は、図15に示すタイミング(5)では、図12に示す画像(付加情報「ソクドオーバー」)を表示する。   Therefore, at the timing (9) illustrated in FIG. 15, the difference image generation unit 206 includes the image illustrated in FIG. 11 acquired at the current timing (9) and the image illustrated in FIG. 12 acquired at the previous timing (5). The difference is taken. The difference image between FIG. 11 and FIG. 12 is the same image as FIG. 12 as described above. Therefore, the display unit 207 displays the image (additional information “sock over”) shown in FIG. 12 at the timing (5) shown in FIG.

タイミング(9)より後は、上記処理の繰り返しとなる。すなわち、車載カメラ300が図15に示すタイミング(1)で最初に撮像した場合には、タイミング(5)以降で、周波数f1の逆数の時間間隔で点滅する発光素子のみが点いている画像(図12に示す情報)が表示部207に表示される。   After the timing (9), the above process is repeated. That is, when the in-vehicle camera 300 first captures the image at the timing (1) shown in FIG. 15, only the light-emitting elements that blink at the time intervals of the reciprocal frequency f1 after the timing (5) (see FIG. 15). 12) is displayed on the display unit 207.

<タイミング(2):周波数f1の発光素子がオフ、周波数f4の発光素子がオン>
車載カメラ300が図15に示すタイミング(2)で最初に撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)となり、周波数f4の逆数の時間間隔で点滅する発光素子はオン状態(ON)となる。このため、図15に示すタイミング(2)で撮像され、2値化処理部205から出力される画像は、図13に示すように、周波数f4で点滅する発光素子のみが点いている画像となる。
<Timing (2): Light-emitting element with frequency f1 is off and light-emitting element with frequency f4 is on>
When the in-vehicle camera 300 first captures an image at the timing (2) shown in FIG. 15, the light emitting element flashing at a time interval of the reciprocal frequency f1 is turned off, and the light emission flashing at the time interval of the reciprocal frequency f4. The element is turned on (ON). Therefore, the image captured at the timing (2) shown in FIG. 15 and output from the binarization processing unit 205 is an image in which only the light emitting element blinking at the frequency f4 is turned on as shown in FIG. .

車載カメラ300がタイミング(2)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(6)である。車載カメラ300が図15に示すタイミング(6)で撮像した場合、周波数f1の逆数の時間間隔で点滅する発光素子はオン状態(ON)であり、周波数f4の逆数の時間間隔で点滅する発光素子もオン状態(ON)である。このため、図15に示すタイミング(6)で撮像され、2値化処理部205から出力される画像は、図14に示すように、周波数f1及び周波数f4の逆数の時間間隔で点滅する発光素子が双方とも点いている画像となる。   The timing (the timing after {1 / (f1 * 2)}) after the timing (2) by the in-vehicle camera 300 is the timing (6). When the vehicle-mounted camera 300 captures an image at the timing (6) shown in FIG. 15, the light-emitting element that blinks at a time interval that is the inverse of the frequency f1 is in the on state (ON), and the light-emitting element that blinks at the time interval that is the inverse of the frequency f4 Is also in the ON state (ON). For this reason, the image picked up at the timing (6) shown in FIG. 15 and output from the binarization processing unit 205 blinks at time intervals of the reciprocals of the frequency f1 and the frequency f4 as shown in FIG. The images are both on.

よって、図15に示すタイミング(6)では、差分画像生成部206は、今回のタイミング(6)で取得した図14に示す画像と、前回のタイミング(2)で取得した図13に示す画像との差分をとる。図13と図14との差異は、周波数f1の逆数の時間間隔で点滅する発光素子がオン状態(ON)であるかオフ状態(OFF)であるかである。このため、図13と図14との差分画像は、図12と同一の画像となる。よって、表示部207は、図12に示す画像を表示する。すなわち、情報表示装置200は、情報表示板100から特定の運転者に伝達された付加情報「ソクドオーバー」を表示する。   Therefore, at the timing (6) shown in FIG. 15, the difference image generation unit 206 has the image shown in FIG. 14 acquired at the current timing (6) and the image shown in FIG. 13 acquired at the previous timing (2). The difference is taken. The difference between FIG. 13 and FIG. 14 is whether the light emitting element blinking at a time interval of the reciprocal number of the frequency f1 is in an on state (ON) or an off state (OFF). Therefore, the difference image between FIG. 13 and FIG. 14 is the same image as FIG. Therefore, the display unit 207 displays the image shown in FIG. That is, the information display device 200 displays the additional information “socked over” transmitted from the information display board 100 to the specific driver.

車載カメラ300がタイミング(6)の次に撮像するタイミング({1/(f1*2)}後のタイミング)はタイミング(10)である。図15に示すタイミング(10)は、タイミング(2)から周波数f1の1周期分(又は周波数f4の4周期分)経過したタイミングである。つまり、車載カメラ300が図15に示すタイミング(10)で撮像した場合、タイミング(2)と同様、周波数f1の逆数の時間間隔で点滅する発光素子はオフ状態(OFF)であり、周波数f4の逆数の時間間隔で点滅する発光素子はオン状態(ON)である。このため、図15に示すタイミング(10)で撮像され、2値化処理部205から出力される画像は、図13に示すように、周波数f4の逆数の時間間隔で点滅する発光素子のみが点いている画像となる。   The timing (the timing after {1 / (f1 * 2)}) after the timing (6) by the in-vehicle camera 300 is the timing (10). The timing (10) shown in FIG. 15 is the timing when one cycle of the frequency f1 (or four cycles of the frequency f4) has elapsed from the timing (2). That is, when the in-vehicle camera 300 captures an image at the timing (10) shown in FIG. 15, the light-emitting element that blinks at a time interval of the reciprocal of the frequency f1 is in the off state (OFF), as in the timing (2). A light emitting element blinking at a reciprocal time interval is in an on state (ON). For this reason, as shown in FIG. 13, the image captured at the timing (10) shown in FIG. 15 and output from the binarization processing unit 205 is only a light emitting element that blinks at a time interval of the reciprocal frequency f4. It becomes the image that is.

よって、図15に示すタイミング(10)では、差分画像生成部206は、今回のタイミング(10)で取得した図13に示す画像と、前回のタイミング(6)で取得した図14に示す画像との差分をとる。図13と図14との差分画像は、上述したように、図12と同一の画像となる。よって、表示部207は、図15に示すタイミング(10)では、図12に示す画像(付加情報「ソクドオーバー」)を表示する。   Therefore, at the timing (10) illustrated in FIG. 15, the difference image generation unit 206 includes the image illustrated in FIG. 13 acquired at the current timing (10) and the image illustrated in FIG. 14 acquired at the previous timing (6). The difference is taken. The difference image between FIG. 13 and FIG. 14 is the same image as FIG. 12 as described above. Therefore, the display unit 207 displays the image (additional information “sock over”) shown in FIG. 12 at the timing (10) shown in FIG.

タイミング(10)より後は、上記処理の繰り返しとなる。すなわち、車載カメラ300が図15に示すタイミング(2)で最初に撮像した場合には、タイミング(6)以降で、周波数f1で点滅する発光素子のみが点いているである画像(図12に示す情報)が表示部207に表示される。   After the timing (10), the above process is repeated. That is, when the vehicle-mounted camera 300 first captures an image at the timing (2) shown in FIG. 15, only the light emitting element blinking at the frequency f1 after the timing (6) (an image shown in FIG. 12). Information) is displayed on the display unit 207.

<タイミング(3):周波数f1の発光素子がオフ、周波数f4の発光素子がオフ>
図15において、タイミング(3)での発光素子のオン/オフとタイミング(1)での発光素子のオン/オフは同一である。また、次に撮像するタイミング({1/(2*f1)}後のタイミング)はタイミング(7)であるが、タイミング(7)での発光素子のオン/オフとタイミング(5)での発光素子のオン/オフは同一である。このため、図15において、タイミング(3)で最初に撮像される場合は、上述したタイミング(1)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (3): Light-emitting element with frequency f1 is off and light-emitting element with frequency f4 is off>
In FIG. 15, ON / OFF of the light emitting element at the timing (3) and ON / OFF of the light emitting element at the timing (1) are the same. The next imaging timing (timing after {1 / (2 * f1)}) is timing (7). On / off of the light emitting element at timing (7) and light emission at timing (5). The on / off of the element is the same. For this reason, in FIG. 15, when the first image is taken at the timing (3), the result is the same as the case where the first image is taken at the timing (1) described above.

<タイミング(4):周波数f1の発光素子がオフ、周波数f4の発光素子がオン>
図15において、タイミング(4)での発光素子のオン/オフとタイミング(2)での発光素子のオン/オフは同一である。また、次に撮像するタイミング({1/(2*f1)}後のタイミング)はタイミング(8)であるが、タイミング(8)での発光素子のオン/オフとタイミング(6)での発光素子のオン/オフは同一である。このため、図15において、タイミング(4)で最初に撮像される場合は、上述したタイミング(2)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (4): Light-emitting element with frequency f1 is off and light-emitting element with frequency f4 is on>
In FIG. 15, ON / OFF of the light emitting element at timing (4) and ON / OFF of the light emitting element at timing (2) are the same. Further, the next image capturing timing (timing after {1 / (2 * f1)}) is the timing (8), but the light emitting element is turned on / off at the timing (8) and the light emission at the timing (6). The on / off of the element is the same. For this reason, in FIG. 15, when the first image is taken at the timing (4), the result is the same as the case where the first image is taken at the timing (2) described above.

<タイミング(5):周波数f1の発光素子がオン、周波数f4の発光素子がオフ>
図15において、タイミング(5)で最初に撮像される場合と、タイミング(1)で最初に撮像される場合とは、最初のタイミングでの処理が異なるのみである。よって、図15において、タイミング(5)で最初に撮像される場合は、上述したタイミング(1)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (5): The light emitting element of frequency f1 is on, and the light emitting element of frequency f4 is off>
In FIG. 15, only the processing at the first timing is different between the case where the image is captured first at timing (5) and the case where the image is captured first at timing (1). Therefore, in FIG. 15, when the first image is taken at the timing (5), the result is the same as the case where the first image is taken at the timing (1) described above.

<タイミング(6):周波数f1の発光素子がオン、周波数f4の発光素子がオン>
図15において、タイミング(6)で最初に撮像される場合と、タイミング(2)で最初に撮像される場合とは、最初のタイミングでの処理が異なるのみである。よって、図15において、タイミング(6)で最初に撮像される場合は、上述したタイミング(2)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (6): Light-emitting element with frequency f1 is on, and light-emitting element with frequency f4 is on>
In FIG. 15, only the processing at the first timing is different between the case of first imaging at timing (6) and the case of first imaging at timing (2). Therefore, in FIG. 15, when the first image is taken at the timing (6), the same result as the case where the first image is taken at the timing (2) described above is obtained, and thus the description is omitted here.

<タイミング(7):周波数f1の発光素子がオン、周波数f4の発光素子がオフ>
図15において、タイミング(7)で最初に撮像される場合と、タイミング(3)で最初に撮像される場合とは、最初のタイミングでの処理が異なるのみである。よって、図15において、タイミング(7)で最初に撮像される場合は、上述したタイミング(3)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (7): Light-emitting element with frequency f1 is on, and light-emitting element with frequency f4 is off>
In FIG. 15, only the processing at the first timing is different between the case of first imaging at timing (7) and the case of first imaging at timing (3). Therefore, in FIG. 15, when the first image is taken at the timing (7), the result is the same as the case where the first image is taken at the timing (3) described above, and the description is omitted here.

<タイミング(8):周波数f1の発光素子がオン、周波数f4の発光素子がオン>
図15において、タイミング(8)で最初に撮像される場合と、タイミング(4)で最初に撮像される場合とは、最初のタイミングでの処理が異なるのみである。よって、図15において、タイミング(8)で最初に撮像される場合は、上述したタイミング(4)で最初に撮像される場合と同一の結果となるので、ここでは説明を省略する。
<Timing (8): Light-emitting element with frequency f1 is on and light-emitting element with frequency f4 is on>
In FIG. 15, the processing at the first timing is different between the case where the image is first captured at timing (8) and the case where the first image is captured at timing (4). Therefore, in FIG. 15, when the first image is taken at the timing (8), the same result is obtained as when the first image is taken at the timing (4) described above, and thus the description is omitted here.

以上の説明にて第2の領域である基本情報の表示領域のうち付加情報の表示領域以外の領域の点滅周波数f2を付加情報の表示領域の点滅周波数f1の4倍にしても2倍の時と同様に正常に表示部207に「ソクドオーバー」の付加情報が表示されることが示せた。また、f1の8倍でも16倍でも2の階乗倍であれば、タイミングを細かく分けて検証すれば同様に表示部207に付加情報が表示されることがわかる。   In the above description, when the blinking frequency f2 of the basic information display area other than the additional information display area in the second area is four times the blinking frequency f1 of the additional information display area or twice. It can be shown that the additional information “sock over” is normally displayed on the display unit 207 as in FIG. In addition, if the factor of 2 is 8 times or 16 times f1, the additional information is displayed on the display unit 207 in the same manner if the timing is divided and verified.

[他の実施の形態]
(1)上記実施の形態では、撮像間隔設定部201が撮像制御部202における撮像間隔を設定するために用いる車両情報に関する条件を、車両の速度が制限速度を超えているか否か、とする場合について説明した。しかし、当該条件は、車両内部で取得可能な情報に関する条件であればどのようなものでもよい。例えば、交差点で右折する特定の運転者のみに情報を伝達する場合には、車両の方向指示器で右方向を指示する操作が行われたか否かを条件とすればよい。また、例えば、ナビゲーションでの目的地に特定の地域が設定された特定の運転者のみに情報を伝達する場合には、ナビゲーションの目的地が特定の地域であるか否かを条件とすればよい。
[Other embodiments]
(1) In the above embodiment, the condition regarding the vehicle information used by the imaging interval setting unit 201 to set the imaging interval in the imaging control unit 202 is whether or not the vehicle speed exceeds the speed limit. Explained. However, the condition may be any condition as long as it is a condition regarding information that can be acquired inside the vehicle. For example, in a case where information is transmitted only to a specific driver who turns right at an intersection, it is only necessary to determine whether or not an operation for instructing the right direction with a direction indicator of the vehicle has been performed. In addition, for example, when information is transmitted only to a specific driver whose specific area is set as a navigation destination, it may be determined whether the navigation destination is a specific area. .

また、上記条件は、運転者の動作又は挙動に関係のある条件に限らず、例えば、ガソリン車であればガソリンの残量、EV(Electric Vehicle)であれば蓄電残量が予め設定された閾値以下か否かを条件としてもよい。なお、ガソリン残量及び蓄電残量についても車両内部で取得可能な情報である。又は、速度超過しやすい運転者若しくはブレーキの踏み具合が急な運転者等のように、運転者のプロフィールに基づく条件を用いてもよい。   In addition, the above conditions are not limited to conditions related to the driver's movement or behavior. For example, in the case of a gasoline vehicle, the remaining amount of gasoline, and in the case of EV (Electric Vehicle), the remaining amount of charge is set in advance. It is good also as a condition whether it is below. The gasoline remaining amount and the remaining power storage amount are information that can be acquired inside the vehicle. Alternatively, conditions based on the driver's profile may be used, such as a driver who tends to exceed the speed or a driver whose brakes are suddenly depressed.

(2)また、上記実施の形態では、基本周波数f1及び基本周波数f1の2倍の周波数f2の1組を用いる場合について説明した。しかし、例えば、速度超過の運転手に表示「A」を伝達し、速度超過かつブレーキが急な運転手に表示「B」を伝達する場合には、情報表示板100は、周波数f1と周波数f2を用いて表示Aを表示し、周波数f2と周波数f2の2倍の周波数f4を用いて表示Bを表示してもよい。すなわち、本実施の形態では、或る周波数及びその周波数の2倍の周波数の組を階層的に複数用いてもよい。例えば、図16に示すように、情報表示板100は、表示領域(LED表示板)を2分割し、上側の領域では周波数f1又はf2の逆数の時間間隔で発光素子を点滅させ、下側の領域では周波数f2又はf4の逆数の時間間隔で発光素子を点滅させればよい。一方、情報表示装置200は、車両での条件(ここでは、車両の速度超過、及び、ブレーキのかけ具合)に応じて、撮像間隔を、周波数f1、f2及びf4の逆数の時間間隔のいずれかに設定すればよい。   (2) In the above embodiment, the case where one set of the basic frequency f1 and the frequency f2 that is twice the basic frequency f1 is used has been described. However, for example, when the display “A” is transmitted to an overspeed driver and the display “B” is transmitted to a driver whose speed is excessive and the brake is sudden, the information display board 100 displays the frequency f1 and the frequency f2. May be used to display display A, and display B may be displayed using frequency f2 and frequency f4 that is twice the frequency f2. That is, in the present embodiment, a plurality of sets of a certain frequency and a frequency twice that frequency may be used hierarchically. For example, as shown in FIG. 16, the information display board 100 divides the display area (LED display board) into two parts, and in the upper area, the light emitting element blinks at a time interval that is the inverse of the frequency f1 or f2. In the region, the light emitting element may be blinked at a time interval of the reciprocal of the frequency f2 or f4. On the other hand, the information display apparatus 200 sets the imaging interval to one of the reciprocal time intervals of the frequencies f1, f2, and f4 according to the conditions in the vehicle (in this case, overspeed of the vehicle and how the brake is applied). Should be set.

(3)また、近年、フルカラー(赤、緑、青)の発光素子が普及しつつある。このような赤、緑、青の3つの発光素子を利用した表示板の場合、例えば、赤の発光素子のみを用いて本実施の形態のように周波数を変更することで、情報を伝達することも可能である。   (3) Also, in recent years, full-color (red, green, blue) light emitting elements are becoming popular. In the case of such a display panel using three light emitting elements of red, green, and blue, information is transmitted by changing the frequency as in the present embodiment using only the red light emitting element, for example. Is also possible.

(4)また、上記実施の形態において、情報表示板100は道路で見かけるLED表示板に限らず、発光素子で表示されるものであれば何でもよい。例えば、LEDの信号機、パチンコ屋等で見かけるLED式のデジタルサイネージボードであってもよい。   (4) Moreover, in the said embodiment, the information display board 100 is not restricted to the LED display board seen on a road, What is displayed by a light emitting element may be used. For example, it may be an LED type digital signage board that can be seen at LED traffic lights, pachinko parlors, and the like.

(5)また、上記実施の形態では、情報表示装置200は車載器に限らず、カメラまたは撮像部(不図示)を具備し、撮像制御部202の撮像間隔を設定可能であり、表示部207を具備するものでもよい。例えば、カメラ付きスマートフォンに、撮像間隔を設定できるアプリケーションが搭載されており、設定結果を画面上に表示することができれば、そのようなスマートフォンでも本実施の形態と同様の動作を実現可能である。この場合、スマートフォンを情報表示板100又はLED式のデジタルサイネージボードにかざし、撮像間隔を設定するだけで付加情報を見ることができるので、遊園地での宝探し等のようなエンターテイメントへの応用も可能である。   (5) In the above embodiment, the information display device 200 is not limited to the vehicle-mounted device, and includes a camera or an imaging unit (not shown), can set the imaging interval of the imaging control unit 202, and the display unit 207. May be provided. For example, if an application that can set an imaging interval is mounted on a smartphone with a camera, and the setting result can be displayed on the screen, the same operation as in the present embodiment can be realized even with such a smartphone. In this case, the smartphone can be held over the information display board 100 or the LED digital signage board, and additional information can be viewed simply by setting the imaging interval. It is.

(6)上記実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。   (6) In the above embodiment, the case where the present invention is configured by hardware has been described as an example. However, the present invention can also be realized by software in cooperation with hardware.

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。   Each functional block used in the description of the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.

また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。   Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.

さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。   Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.

本発明は、路側装置に情報表示板を設置し、通常の情報に加えて特定の付加情報を特定の人に対して伝達することができるものとして有用である。   INDUSTRIAL APPLICABILITY The present invention is useful as an information display board installed on a roadside device and capable of transmitting specific additional information to a specific person in addition to normal information.

10 情報表示システム
100 情報表示板
101 基本情報蓄積部
102 付加情報蓄積部
103 点滅間隔設定部
104 表示部
200 情報表示装置
201 撮像間隔設定部
202 撮像制御部
203 表示板領域切出部
204 正規化補正部
205 2値化処理部
206 差分画像生成部
207 表示部
300 車載カメラ
DESCRIPTION OF SYMBOLS 10 Information display system 100 Information display board 101 Basic information storage part 102 Additional information storage part 103 Flashing interval setting part 104 Display part 200 Information display apparatus 201 Imaging interval setting part 202 Imaging control part 203 Display board area extraction part 204 Normalization correction | amendment Unit 205 binarization processing unit 206 difference image generation unit 207 display unit 300 vehicle-mounted camera

Claims (8)

第1の領域において所定の周波数の逆数の時間間隔で点滅し、前記第1の領域を包含する第2の領域のうち前記第1の領域以外の領域において前記所定の周波数の2の階乗倍である周波数の逆数の時間間隔で点滅する複数の発光素子を有する情報表示板を含む複数の画像を、所定の撮像間隔で撮像する車載カメラから取得し、前記第1の領域に示される情報を表示する情報表示装置であって、
車両情報を取得し、前記車両情報が所定の条件を満たすか否か判断し、前記所定の条件を満たす場合は前記撮像間隔を前記所定の周波数の2倍の逆数に設定し、前記所定の条件を満たさない場合は前記撮像間隔を前記所定の周波数の逆数に設定する設定手段と、
前記設定された撮像間隔に基づいて前記車載カメラの撮像タイミングを制御し、前記車載カメラから前記情報表示板を含む複数の画像を取得する撮像制御手段と、
前記撮像制御手段において取得された前記複数の画像のうち第1の画像に含まれる前記情報表示板と、前記第1の画像に対して前記設定された撮像間隔だけ前に撮像された第2の画像に含まれる前記情報表示板との差分画像を生成する差分画像生成手段と、
前記差分画像を表示する表示手段と、
を具備する情報表示装置。
Flashes at a time interval of the reciprocal of a predetermined frequency in the first region, and the factorial times 2 of the predetermined frequency in the region other than the first region among the second region including the first region A plurality of images including an information display board having a plurality of light emitting elements that blink at a time interval that is a reciprocal frequency of the frequency is acquired from an in-vehicle camera that images at a predetermined imaging interval, and information indicated in the first region is obtained. An information display device for displaying,
Vehicle information is acquired, it is determined whether or not the vehicle information satisfies a predetermined condition, and when the predetermined condition is satisfied, the imaging interval is set to an inverse of twice the predetermined frequency, and the predetermined condition Setting means for setting the imaging interval to the reciprocal of the predetermined frequency,
Imaging control means for controlling imaging timing of the in-vehicle camera based on the set imaging interval, and acquiring a plurality of images including the information display board from the in-vehicle camera;
The information display board included in the first image among the plurality of images acquired by the imaging control means, and a second image captured before the set imaging interval with respect to the first image Difference image generation means for generating a difference image with the information display board included in the image;
Display means for displaying the difference image;
An information display device comprising:
前記車両情報は、車両の速度情報、方向指示器の方向情報、または、ガソリン残量もしくは蓄電残量のうちいずれか1つである、
請求項1に記載の情報表示装置。
The vehicle information is any one of vehicle speed information, direction indicator direction information, or a gasoline remaining amount or a remaining power storage amount.
The information display device according to claim 1.
前記車両情報は車両の速度情報であり、かつ、前記所定の条件は制限速度情報であり、
カーナビゲーション装置を、さらに備え、
前記設定手段は、前記カーナビゲーション装置から、前記制限速度情報を取得する、
請求項1に記載の情報表示装置。
The vehicle information is vehicle speed information, and the predetermined condition is speed limit information;
A car navigation device,
The setting means acquires the speed limit information from the car navigation device.
The information display device according to claim 1.
前記第2の領域は、前記情報表示板の近辺に存在する不特定の人に伝達すべき情報の表示領域である、
請求項1に記載の情報表示装置。
The second area is a display area for information to be transmitted to an unspecified person in the vicinity of the information display board.
The information display device according to claim 1.
前記撮像制御手段から、前記情報表示板を含む複数の画像を取得し、前記複数の画像のそれぞれに含まれる前記情報表示板を、予め定められたサイズおよび矩形になるように正規化および補正を行う正規化補正手段、をさらに備え、
前記差分画像生成手段は、前記正規化補正手段から、正規化および補正された画像を取得する、
請求項1に記載の情報表示装置。
A plurality of images including the information display board are acquired from the imaging control means, and the information display board included in each of the plurality of images is normalized and corrected so as to have a predetermined size and rectangle. Normalization correction means for performing,
The difference image generation means acquires a normalized and corrected image from the normalization correction means;
The information display device according to claim 1.
前記撮像制御手段から、前記情報表示板を含む複数の画像を取得し、前記複数の画像の画素の輝度と、所定の閾値とを比較することにより、前記画素の輝度を2値化処理する2値化処理手段、をさらに備え、
前記差分画像生成手段は、前記2値化処理手段から、前記画素の輝度が2値化処理された画像を取得する、
請求項1に記載の情報表示装置。
A plurality of images including the information display board are acquired from the imaging control means, and the luminance of the pixels is binarized by comparing the luminance of the pixels of the plurality of images with a predetermined threshold value 2 Further comprising a value processing means,
The difference image generation unit acquires an image in which the luminance of the pixel is binarized from the binarization processing unit.
The information display device according to claim 1.
第1の領域において所定の周波数の逆数の時間間隔で点滅し、前記第1の領域を包含する第2の領域のうち前記第1の領域以外の領域において前記所定の周波数の2の階乗倍である周波数の逆数の時間間隔で点滅する複数の発光素子を有する情報表示板を含む複数の画像を、所定の撮像間隔で撮像する撮像手段と、
前記情報表示板の情報の伝達対象者を特定するための情報を取得し、前記情報が所定の条件を満たすか否か判断し、前記所定の条件を満たす場合は前記撮像手段の撮像間隔を前記所定の周波数の2倍の逆数に設定し、前記所定の条件を満たさない場合は前記撮像間隔を前記所定の周波数の逆数に設定する設定手段と、
前記設定された撮像間隔に基づいて前記撮像手段の撮像タイミングを制御し、前記撮像手段から前記複数の画像を取得する撮像制御手段と、
前記撮像制御手段において取得された前記複数の画像のうち第1の画像に含まれる前記情報表示板と、前記第1の画像に対して前記設定された撮像間隔だけ前に撮像された第2の画像に含まれる前記情報表示板との差分画像を生成する差分画像生成手段と、
前記差分画像を表示する表示手段と、
を具備する情報表示装置。
Flashes at a time interval of the reciprocal of a predetermined frequency in the first region, and the factorial times 2 of the predetermined frequency in the region other than the first region among the second region including the first region Imaging means for imaging a plurality of images including an information display board having a plurality of light emitting elements blinking at a time interval of a reciprocal frequency of
Aforementioned information acquisition information for identifying the transmission subject information display board, before Kijo paper is determined whether a predetermined condition is satisfied, when the predetermined condition is satisfied imaging interval of the image pickup means Setting means for setting the imaging interval to the reciprocal of the predetermined frequency when the predetermined condition is not satisfied, and when the predetermined condition is not satisfied,
Imaging control means for controlling the imaging timing of the imaging means based on the set imaging interval and acquiring the plurality of images from the imaging means;
The information display board included in the first image among the plurality of images acquired by the imaging control means, and a second image captured before the set imaging interval with respect to the first image Difference image generation means for generating a difference image with the information display board included in the image;
Display means for displaying the difference image;
An information display device comprising:
第1の領域において所定の周波数の逆数の時間間隔で点滅し、前記第1の領域を包含する第2の領域のうち前記第1の領域以外の領域において前記所定の周波数の2の階乗倍である周波数の逆数の時間間隔で点滅する複数の発光素子を有する情報表示板を含む複数の画像を、所定の撮像間隔で撮像する車載カメラから取得し、前記第1の領域に示される情報を表示する情報表示方法であって、
設定手段は、車両情報を取得し、前記車両情報が所定の条件を満たすか否か判断し、前記所定の条件を満たす場合は前記撮像間隔を前記所定の周波数の2倍の逆数に設定し、前記所定の条件を満たさない場合は前記撮像間隔を前記所定の周波数の逆数に設定し、
撮像制御手段は、前記設定された撮像間隔に基づいて前記車載カメラの撮像タイミングを制御し、前記車載カメラから前記情報表示板を含む複数の画像を取得し、
差分画像生成手段は、前記撮像制御手段において取得された前記複数の画像のうち第1の画像に含まれる前記情報表示板と、前記第1の画像に対して前記設定された撮像間隔だけ前に撮像された第2の画像に含まれる前記情報表示板との差分画像を生成し、
表示手段は、前記差分画像を表示する、
情報表示方法。
Flashes at a time interval of the reciprocal of a predetermined frequency in the first region, and the factorial times 2 of the predetermined frequency in the region other than the first region among the second region including the first region A plurality of images including an information display board having a plurality of light emitting elements that blink at a time interval that is a reciprocal frequency of the frequency is acquired from an in-vehicle camera that images at a predetermined imaging interval, and information indicated in the first region is obtained. An information display method for displaying,
The setting means obtains vehicle information, determines whether or not the vehicle information satisfies a predetermined condition, and if the predetermined condition is satisfied, sets the imaging interval to an inverse of twice the predetermined frequency, If the predetermined condition is not satisfied, the imaging interval is set to the inverse of the predetermined frequency,
The imaging control means controls the imaging timing of the in-vehicle camera based on the set imaging interval, acquires a plurality of images including the information display board from the in-vehicle camera,
The difference image generation means includes the information display board included in the first image among the plurality of images acquired by the imaging control means and the set imaging interval before the first image. Generating a difference image from the information display board included in the captured second image;
The display means displays the difference image.
Information display method.
JP2011161088A 2011-07-22 2011-07-22 Information display device and information display method Expired - Fee Related JP5776001B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011161088A JP5776001B2 (en) 2011-07-22 2011-07-22 Information display device and information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011161088A JP5776001B2 (en) 2011-07-22 2011-07-22 Information display device and information display method

Publications (2)

Publication Number Publication Date
JP2013025633A JP2013025633A (en) 2013-02-04
JP5776001B2 true JP5776001B2 (en) 2015-09-09

Family

ID=47783899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011161088A Expired - Fee Related JP5776001B2 (en) 2011-07-22 2011-07-22 Information display device and information display method

Country Status (1)

Country Link
JP (1) JP5776001B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062295A (en) * 2014-09-18 2016-04-25 宏幸 此平 Traffic light

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4206955B2 (en) * 2004-04-02 2009-01-14 株式会社デンソー VEHICLE DISPLAY DEVICE, VEHICLE DISPLAY SYSTEM, AND PROGRAM
JP2007114971A (en) * 2005-10-19 2007-05-10 Fujifilm Corp Sign display device
JP5179750B2 (en) * 2006-12-26 2013-04-10 株式会社堀場製作所 Drive recorder and photographing method thereof
JP4624396B2 (en) * 2007-10-26 2011-02-02 パナソニック株式会社 Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program

Also Published As

Publication number Publication date
JP2013025633A (en) 2013-02-04

Similar Documents

Publication Publication Date Title
KR102166367B1 (en) Camera systems using filters and exposure times to detect flickering illuminated objects
JP6325000B2 (en) In-vehicle image recognition device
JP2014153167A (en) Object recognition device, object recognition method, and object recognition program
EP3029632A2 (en) Vehicular image recognition system for display-board recognition
CN110087946B (en) Lighting system for vehicle and vehicle
JP2008021196A (en) Surrounding recognition device and system for vehicle
CN109383362B (en) Automobile headlamp control method and device
JP5065172B2 (en) Vehicle lighting determination device and program
JP6200673B2 (en) Traffic light discrimination device
JPWO2014132747A1 (en) Object detection device
JP5547160B2 (en) Vehicle periphery monitoring device
JP2009017157A (en) Image processor, method and program
EP2793469A1 (en) Image processing device
KR101723401B1 (en) Apparatus for storaging image of camera at night and method for storaging image thereof
JP2012027773A (en) Pseudo grayscale image generation device and program
JP4980970B2 (en) Image pickup means adjustment device and object detection device
CN109969072A (en) Vehicle lighting system and vehicle
CN109969077A (en) Vehicle lighting system and vehicle
JP2012221303A (en) In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system
US10636302B2 (en) Vehicle illumination device, vehicle and illumination control system
CN107554422B (en) Automobile safety warning device and automobile safety warning method
JP6759460B2 (en) Image processing device
CN102364560B (en) Traffic sign convenient for electronic identification and method for identifying traffic sign
JP2006171831A (en) Signal state display device
JP5776001B2 (en) Information display device and information display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140328

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150302

R151 Written notification of patent or utility model registration

Ref document number: 5776001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees