JP2019105751A - Display control apparatus, program, display system, display control method and display data - Google Patents
Display control apparatus, program, display system, display control method and display data Download PDFInfo
- Publication number
- JP2019105751A JP2019105751A JP2017238495A JP2017238495A JP2019105751A JP 2019105751 A JP2019105751 A JP 2019105751A JP 2017238495 A JP2017238495 A JP 2017238495A JP 2017238495 A JP2017238495 A JP 2017238495A JP 2019105751 A JP2019105751 A JP 2019105751A
- Authority
- JP
- Japan
- Prior art keywords
- display
- sentence
- display control
- control device
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御装置、プログラム、表示システム、表示制御方法及び表示データに関する。 The present invention relates to a display control device, a program, a display system, a display control method, and display data.
昨今、例えば、駅構内や街中における広告では、デジタルサイネージ等によるデジタル画像や映像を用いたものが主流になってきている。
そのような広告等は、立ち止まることなく通行人が歩きながら目を向けることが多く、通行人が実際に広告等を見ている時間が少ないと考えられる。そのため、必要最小限の情報を効率的に提示することが望まれる。
ところで、教育の分野において、リスニングの能力を向上させるために、文章内の重要語句を強調した音声を再生する学習支援装置が開示されている（例えば、特許文献１）。
Recently, for example, in advertisements in a station yard or in a town, those using digital images and images by digital signage and the like have become mainstream.
Such advertisements are often viewed by passers-by while walking without stopping, and it is considered that the time when the passers are actually watching the advertisement is short. Therefore, it is desirable to efficiently present the minimum necessary information.
By the way, in the field of education, in order to improve listening ability, a learning support device is disclosed which reproduces a voice emphasizing an important word / phrase in a sentence (for example, Patent Document 1).
特許文献１に記載のものは、音声による再生であるため、文章を順番に再生し、かつ、そのうちの重要語句に対しては、強調して再生するものであった。しかし、デジタル画像や映像のような表示は、一度に文章全体を表示させることができるため、必要最小限の情報を効率的に提示するには更なる工夫が必要である。 Since the thing of patent document 1 is reproduction | regeneration by an audio | voice, it reproduced | regenerated the sentence in order and was emphasized and reproduced | regenerated with respect to the important word phrase among those. However, since displays such as digital images and videos can display the entire text at one time, further devising is necessary to efficiently present the minimum information.
そこで、本発明は、必要最小限の情報を効率的に提示することが可能な表示制御装置、プログラム、表示システム、表示制御方法及び表示データを提供することを目的とする。 Therefore, the present invention has an object to provide a display control apparatus, a program, a display system, a display control method, and display data capable of efficiently presenting the minimum necessary information.
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、文章を解析して、前記文章の特徴を示す複数の特徴語を抽出する特徴語抽出手段と、前記文章を、表示装置に表示させる文章表示手段と、前記特徴語抽出手段により抽出した前記複数の特徴語を時間の経過と共に順番に強調して前記表示装置に表示させる強調表示手段と、を備える表示制御装置である。
第２の発明は、第１の発明の表示制御装置において、前記特徴語抽出手段は、前記文章を形態素解析して得られた単語ごとに重み付けをし、前記単語の重要度に応じて前記特徴語を抽出すること、を特徴とする表示制御装置である。
第３の発明は、第１の発明又は第２の発明の表示制御装置において、撮影装置の撮影画像から前記表示装置の方向を向いているユーザの存在を判断するユーザ判断手段を備え、前記文章表示手段は、前記ユーザ判断手段により前記ユーザの存在を判断したことに応じて、前記文章を前記表示装置に表示させること、を特徴とする表示制御装置である。
第４の発明は、第３の発明の表示制御装置において、前記ユーザの視線方向を判断する視線判断手段と、前記視線判断手段により判断した前記視線方向から、前記ユーザが見ている前記表示装置の表示位置を特定する位置特定手段と、を備え、前記強調表示手段は、前記位置特定手段により特定された前記表示位置の近傍に有する前記特徴語を最初に強調させ、時間の経過と共に順番に前記複数の特徴語を強調して表示させること、を特徴とする表示制御装置である。
第５の発明は、第１の発明又は第２の発明の表示制御装置において、撮影装置の撮影画像から前記表示装置の方向を向いているユーザの存在を判断するユーザ判断手段を備え、前記強調表示手段は、前記ユーザ判断手段により前記ユーザの存在を判断したことに応じて、前記複数の特徴語を時間の経過と共に順番に強調して表示させること、を特徴とする表示制御装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの表示制御装置において、前記強調表示手段は、前記特徴語を時間の経過と共に順番に強調して表示させる速度を、時間の経過と共に遅く変化させること、を特徴とする表示制御装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの表示制御装置において、前記強調表示手段は、前記特徴語の文字数及び前記特徴語に含まれる各文字の構成のうち少なくとも一方に応じて、強調して表示させる時間の長さを決定し、決定した長さの時間、前記特徴語を強調して表示させること、を特徴とする表示制御装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの表示制御装置において、前記文章に対応付けられた前記複数の特徴語から１以上の特徴語にまとめた複数の語群を生成する語群生成手段を備え、前記強調表示手段は、前記複数の特徴語を時間の経過と共に順番に強調することに代えて、前記文章のうち前記語群を、時間の経過と共に順番に強調して表示させること、を特徴とする表示制御装置である。
第９の発明は、第１の発明から第８の発明までのいずれかの表示制御装置において、前記特徴語抽出手段により抽出された前記複数の特徴語を、前記文章に対応付けて特徴語記憶部に記憶させる登録手段を備えること、を特徴とする表示制御装置である。
第１０の発明は、第１の発明から第９の発明までのいずれかの表示制御装置としてコンピュータを機能させるためのプログラムである。
第１１の発明は、第１の発明から第９の発明までのいずれかの表示制御装置と、前記表示制御装置に対して通信可能に接続され、前記文章を表示させる表示装置と、を備える表示システムである。
第１２の発明は、特徴語抽出手段が、文章を解析して、前記文章の特徴を示す複数の特徴語を抽出するステップと、文章表示手段が、表示装置に文章を表示させるステップと、強調表示手段が、前記特徴語抽出手段により抽出した前記複数の特徴語を時間の経過と共に順番に強調して前記表示装置に表示させるステップと、を含む表示制御方法である。
第１３の発明は、文章のデータと、前記文章の特徴を示す複数の特徴語を強調表示させるデータである強調データと、を備えた表示データである。
第１４の発明は、第１３の発明の表示データにおいて、前記強調データは、時間の経過と共に前記複数の特徴語を順番に強調表示させるものである、表示データである。
The present invention solves the above problems by the following solution means.
According to a first aspect of the present invention, there is provided a feature word extraction unit that analyzes a sentence and extracts a plurality of feature words indicating features of the sentence, a sentence display unit that causes the display device to display the sentence, and the feature word extraction unit And a highlighting means for emphasizing the plurality of feature words extracted in accordance with the passage of time and displaying the plurality of feature words in order on the display device.
A second aspect of the invention is the display control device according to the first aspect, wherein the feature word extraction means weights each word obtained by morphologically analyzing the sentence, and the feature is selected according to the importance of the word. It is a display control device characterized by extracting a word.
A third invention is the display control apparatus according to the first invention or the second invention, further comprising: user judgment means for judging the presence of a user facing the direction of the display device from a photographed image of the photographing device, the text The display means is a display control apparatus characterized in that the text is displayed on the display device in response to the presence of the user being judged by the user judgment means.
A fourth aspect of the invention is the display control device according to the third aspect of the invention, wherein: the display device viewed by the user from the gaze direction determined by the gaze determination means for determining the gaze direction of the user; Position identification means for specifying the display position of the display, and the highlighting means first emphasizes the feature words in the vicinity of the display position identified by the position identification means, and sequentially in order with the passage of time A display control apparatus characterized by emphasizing and displaying the plurality of feature words.
A fifth invention is the display control apparatus according to the first invention or the second invention, further comprising: user judgment means for judging the presence of a user pointing in the direction of the display device from a photographed image of a photographing device, The display means is a display control apparatus characterized in that the plurality of feature words are emphasized and displayed in order as time passes in response to the user judgment means judging the presence of the user.
A sixth invention is the display control device according to any one of the first invention to the fifth invention, wherein the highlighting means emphasizes and displays the feature words in order with time. To change slowly with the lapse of time.
A seventh invention is the display control device according to any one of the first invention to the sixth invention, wherein the highlighting means includes at least at least one of the number of characters of the feature word and the configuration of each character included in the feature word. According to one aspect of the present invention, the display control device is characterized in that the length of time to be emphasized and displayed is determined, and the characteristic word is emphasized and displayed for the determined length of time.
An eighth invention is a display control apparatus according to any one of the first invention to the seventh invention, wherein a plurality of word groups are grouped into one or more feature words from the plurality of feature words associated with the sentence. Instead of emphasizing the plurality of feature words sequentially with the passage of time, the highlighting unit sequentially generates the word group of the sentences with the passage of time. It is a display control device characterized by emphasizing and displaying.
A ninth invention relates to the display control device according to any one of the first invention to the eighth invention, wherein the plurality of feature words extracted by the feature word extraction means are associated with the sentence and feature word storage It is a display control apparatus characterized by providing the registration means made to memorize | store in a part.
A tenth invention is a program for causing a computer to function as the display control device according to any one of the first invention to the ninth invention.
An eleventh invention is a display comprising: the display control device according to any one of the first invention to the ninth invention; and a display device communicably connected to the display control device and displaying the text. It is a system.
In a twelfth aspect of the present invention, the feature word extraction means analyzes a sentence to extract a plurality of feature words indicating the feature of the sentence, the sentence display means causes the display device to display a sentence, and emphasizing And displaying the plurality of feature words extracted by the feature word extraction unit in order as the time passes and displaying them on the display device.
A thirteenth invention is display data comprising text data and emphasis data which is data for highlighting a plurality of feature words indicating the characteristics of the text.
A fourteenth aspect of the invention is the display data according to the thirteenth aspect of the invention, wherein the emphasis data is to highlight the plurality of feature words in order as time passes.
本発明によれば、必要最小限の情報を効率的に提示することが可能な表示制御装置、プログラム、表示システム、表示制御方法及び表示データを提供することができる。 According to the present invention, it is possible to provide a display control device, a program, a display system, a display control method, and display data capable of efficiently presenting the minimum necessary information.
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜表示システム１００＞
図１は、本実施形態に係る表示システム１００の全体概要図である。
図２は、本実施形態に係る表示システム１００の機能ブロック図である。
図３は、本実施形態に係る表示制御装置１の記憶部３０の例を示す図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
(Embodiment)
<
FIG. 1 is an overall schematic view of a
FIG. 2 is a functional block diagram of the
FIG. 3 is a diagram showing an example of the storage unit 30 of the display control device 1 according to the present embodiment.
図１に示す表示システム１００は、例えば、駅構内に設けられたディスプレイ４（表示装置）に文章を表示させ、文章内の必要最小限の情報を、効率的に提示するためのシステムである。
図２に示すように、表示システム１００は、表示制御装置１と、ディスプレイ４と、カメラ５（撮影装置）とを備える。表示制御装置１と、ディスプレイ４と、カメラ５とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等である。また、通信ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に基づく短距離無線通信等を用いるものであってもよい。
A
As shown in FIG. 2, the
＜表示制御装置１＞
表示制御装置１は、ディスプレイ４に表示させる文章に関する処理を行う。表示制御装置１は、文章の特徴を示す特徴語を抽出しておき、文章をディスプレイ４に表示させる際に、特徴語を順番に強調して表示させる。
ここで、特徴語とは、文章内の語のうち、文章の内容を理解するために必要な重要語をいう。
表示制御装置１は、例えば、サーバである。表示制御装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。
表示制御装置１は、制御部１０と、記憶部３０と、通信インタフェース部３９とを備える。
<Display control device 1>
The display control device 1 performs processing relating to a sentence to be displayed on the display 4. The display control device 1 extracts feature words indicating the feature of a sentence, and when displaying a sentence on the display 4, emphasizes and displays the feature words in order.
Here, the characteristic word means an important word necessary for understanding the content of the sentence among the words in the sentence.
The display control device 1 is, for example, a server. The display control device 1 may also be a personal computer (PC) or the like.
The display control device 1 includes a control unit 10, a storage unit 30, and a communication interface unit 39.
制御部１０は、表示制御装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、表示処理部１１と、文章処理部１８とを備える。
表示処理部１１は、文章をディスプレイ４に表示させるための処理を行う制御部である。
表示処理部１１は、ユーザ判断部１２（ユーザ判断手段）と、視線判断部１３（視線判断手段）と、文章出力部１４（文章表示手段）と、強調出力部１５（強調表示手段）とを備える。
The control unit 10 is a central processing unit (CPU) that controls the entire display control device 1. The control unit 10 appropriately reads and executes an operating system (OS) and an application program stored in the storage unit 30 to cooperate with the above-described hardware to execute various functions.
The control unit 10 includes a display processing unit 11 and a
The display processing unit 11 is a control unit that performs processing for displaying a sentence on the display 4.
The display processing unit 11 includes a user determination unit 12 (user determination unit), a line-of-sight determination unit 13 (line-of-sight determination unit), a text output unit 14 (text display means), and an emphasis output unit 15 (emphasis display means). Prepare.
ユーザ判断部１２は、カメラ５から取得した撮影データの画像を分析して、ユーザ（人）の存在を判断する。
視線判断部１３は、ユーザ判断部１２がユーザの存在を判断した場合に、そのユーザの視線方向を判断する。ここで、視線判断部１３は、ユーザ判断部１２が複数のユーザの存在を判断した場合には、各ユーザの視線方向を判断してもよいし、ディスプレイ４に最も近いユーザの視線方向を判断してもよい。また、視線判断部１３は、ディスプレイ４から近い距離の範囲（例えば、５ｍ以内等）にいるユーザの視線方向を判断してもよい。
文章出力部１４は、視線判断部１３によりユーザの視線方向が、ディスプレイ４の方向を向いている場合に、ディスプレイ４に文章データ（文章のデータ）を出力し、ディスプレイ４に文章を表示させる。
強調出力部１５は、文章出力部１４により文章データが出力された場合に、ディスプレイ４に特徴語を強調した強調データを出力し、文章中の特徴語を順番に強調してディスプレイ４に表示させる。
The
When the
The
When the
文章処理部１８は、表示処理部１１が表示処理をする文章の前処理を行うものであり、文章を解析して特徴語を抽出する処理を行う制御部である。
文章処理部１８は、文章解析部１９と、特徴語抽出部２０（特徴語抽出手段）と、特徴語登録部２１（登録手段）とを備える。
文章解析部１９は、処理対象の文章から複数の単語を抽出する。具体的には、文章解析部１９は、例えば、文章に対して形態素解析を行うことによって、文章から複数の単語を抽出する。
The
The
The
特徴語抽出部２０は、文章解析部１９によって抽出された単語から、特徴語を抽出する。具体的には、特徴語抽出部２０は、文章解析部１９によって抽出された複数の単語ごとに重み付けをし、重要度に応じて抽出した単語を、特徴語にする。
語に対する重み付けとしては、例えば、語の品詞による重み付けや、他の文章との弁別性を用いた重み付け等がある。語の品詞による重み付けであれば、例えば、特徴をより表す品詞である名詞の重み付けを最も高く設定し、次に動詞の重み付けを高く設定する、等のルールを予め決めておき、そのルールに則って語に対して重み付けを付与する。ルールは、経験則から決められたものであってよく、例えば、名詞でも、固有名詞の重み付けをさらに高く設定したりしてもよい。また、他の文章との弁別性を用いた重み付けであれば、例えば、Ｗｅｂ上の様々な文章を分析して抽出した単語との相対出現頻度であるＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）を算出し、算出したスコアにより語に対して重み付けを付与する。
特徴語登録部２１は、特徴語抽出部２０により抽出した特徴語を、文章に対応付けて特徴語記憶部３３に記憶させる。
The feature
As weighting to words, for example, weighting by part-of-speech of words, weighting using discrimination from other sentences, and the like can be used. In the case of weighting by the part of speech of a word, for example, a rule of setting the weighting of the noun which is the part of speech representing the feature more high, and then setting the weighting of the verb high next is determined in advance. Assign weights to the words. The rules may be determined from heuristics, and for example, nouns or proper noun weighting may be set higher. In addition, in the case of weighting using discriminability with other sentences, for example, IDF (Inverse Document Frequency), which is a relative appearance frequency with words extracted by analyzing various sentences on the Web, is calculated The words are given a weight according to the score.
The feature
記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部３０は、プログラム記憶部３１と、文章記憶部３２と、特徴語記憶部３３とを備える。
プログラム記憶部３１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部３１は、表示制御プログラム３１ａを記憶している。表示制御プログラム３１ａは、表示制御装置１の制御部１０が実行する各種機能を行うためのプログラムである。
The storage unit 30 is a storage area such as a hard disk or a semiconductor memory device for storing programs, data and the like necessary for the control unit 10 to execute various processes.
The storage unit 30 includes a
The
文章記憶部３２は、ディスプレイ４に表示させる文章データを記憶する記憶領域である。文章記憶部３２は、文章データのみならず、文章データの内容を表す絵や画像のデータを、文章データに関連付けて記憶してもよい。そして、制御部１０は、文章データを出力する際に、関連する画像データ等をあわせて出力してもよい。
図３（Ａ）は、文章記憶部３２の項目例を示す。文章記憶部３２は、文章ＩＤと、文章データとを対応付けて記憶する。文章ＩＤは、文章を識別するための識別情報である。文章データは、例えば、テキストデータである。
特徴語記憶部３３は、図３（Ｂ）に示すように、文章ＩＤに対応付けてその文章の特徴語を記憶する記憶領域である。特徴語は、１つの文章に対して複数有するものであってよい。また、特徴語記憶部３３は、特徴語に対応付けて特徴語の文章内での位置情報を有してもよい。
The
FIG. 3A shows an example of an item of the
As shown in FIG. 3B, the feature
図２（Ａ）に戻り、通信インタフェース部３９は、通信ネットワークＮを介してディスプレイ４及びカメラ５との間の通信を行うためのインタフェースである。
ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、表示制御装置１は、制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。
Referring back to FIG. 2A, the communication interface unit 39 is an interface for performing communication between the display 4 and the
Here, a computer refers to an information processing apparatus provided with a control unit, a storage device and the like, and the display control apparatus 1 is an information processing apparatus provided with a control unit, a storage unit and the like, and is included in the concept of a computer.
＜ディスプレイ４＞
ディスプレイ４は、例えば、駅構内の壁や柱等に設けられ、縦が１〜２ｍ程度で、横幅が６０〜９０ｃｍ程度の液晶ディスプレイ等のモニタである。ディスプレイ４は、表示制御装置１から受信した文章データ等を表示する。
<Display 4>
The display 4 is, for example, a monitor such as a liquid crystal display which is provided on a wall, a pillar, or the like in the station yard and has a length of about 1 to 2 m and a width of about 60 to 90 cm. The display 4 displays text data and the like received from the display control device 1.
＜カメラ５＞
カメラ５は、例えば、ディスプレイ４の上部等に設けられ、ディスプレイ４に対面する位置を撮影する。カメラ５は、ディスプレイ４の近傍にいるユーザ等を撮影するためのものであればよく、設置位置は、ディスプレイ４の上部に限らない。そして、カメラ５は、撮影データを、表示制御装置１に送信する。
<
The
＜表示処理＞
次に、表示制御装置１での処理について説明する。
図４は、本実施形態に係る表示制御装置１の表示処理を示すフローチャートである。
図５は、本実施形態に係る表示制御装置１による表示処理の具体例を示す図である。
<Display processing>
Next, processing in the display control device 1 will be described.
FIG. 4 is a flowchart showing display processing of the display control device 1 according to the present embodiment.
FIG. 5 is a diagram showing a specific example of display processing by the display control device 1 according to the present embodiment.
この表示処理の前提として、表示制御装置１の制御部１０は、常に又は定期的（例えば、１０秒おき等）に、カメラ５から撮影データを受信している。
図４のステップＳ（以下、単に「Ｓ」という。）１０において、表示制御装置１の制御部１０（ユーザ判断部１２）は、撮影データの画像からユーザの存在を確認する。具体的には、制御部１０は、撮影データの画像を分析し、例えば、人検出や、顔検出等の公知な方法を用いて、画像から人（対象者）を検出する処理を行う。
As a premise of this display process, the control unit 10 of the display control device 1 receives shooting data from the
In step S (hereinafter, simply referred to as "S") 10 in FIG. 4, the control unit 10 (user determination unit 12) of the display control device 1 confirms the presence of the user from the image of the photographing data. Specifically, the control unit 10 analyzes the image of the imaging data, and performs processing of detecting a person (target person) from the image using a known method such as person detection or face detection.
人検出の手法としては、例えば、ＨＯＧ特徴量を用いるものがある。ＨＯＧ特徴量を用いた人検出に関しては、「Ｎ． Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ． Ｉｎ ＣＶＰＲ， ｐａｇｅｓ ８８６−８９３， ２００５」に記載されている。
また、顔検出の手法としては、例えば、Ｈａａｒ−ｌｉｋｅ特徴を用いるものがある。Ｈａａｒ−ｌｉｋｅ特徴を用いた顔検出に関しては、「Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ． Ｊｏｎｅｓ： “Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．５１１−５１８， （２００１）．」に記載されている。
As a method of human detection, for example, there is one using HOG feature value. Human detection using HOG features is described in "N. Dalal and B. Triggs. Histograms of Oriented Gradients for Human Detection. In CVPR, pages 886-893, 2005".
Also, as a face detection method, for example, there is one using a Haar-like feature. For face detection using Haar-like features, see "P. Viola and M. J. Jones:" Rapid Object Detection Using a Boosted Cascade of Simple Features "," Proceedings of the 2001 Computer Society Conference on Computer Vision and Pattern Recognition ". , Pp. 511-518, (2001). ".
Ｓ１１において、制御部１０（ユーザ判断部１２）は、撮影データにユーザがいるか否か、つまり、ユーザを検出する処理によって撮影データにユーザを含むか否かを判断する。ユーザを含む場合（Ｓ１１：ＹＥＳ）には、制御部１０は、処理をＳ１２に移す。他方、ユーザを含まない場合（Ｓ１１：ＮＯ）には、制御部１０は、処理をＳ１０に移す。ユーザがいない場合には、ユーザを検出するまで、常に又は定期的に受信する撮影データの画像から人検出を行う処理を繰り返す。
Ｓ１２において、制御部１０（視線判断部１３）は、ユーザの視線方向を確認する。具体的には、制御部１０は、画像から顔画像を検出し、顔の各パーツ（器官）の配置位置に基づいて、顔の向きを判別する。そして、制御部１０は、判別した顔の向きをユーザの見ている方向とする。顔の各器官（目、鼻、口等）の位置を求める手法としては、様々な公知の手法があるが、例えば、回帰モデルを用いた顔の器官検出手法を用いることができる。そして、回帰モデルを用いた顔の器官検出手法に関しては、例えば、米国特許出願公開第２０１４／０１８５９２４号明細書に記載されている。
In S11, the control unit 10 (user determination unit 12) determines whether or not there is a user in the imaging data, that is, whether or not the imaging data includes the user in the process of detecting the user. When the user is included (S11: YES), the control unit 10 shifts the processing to S12. On the other hand, when the user is not included (S11: NO), the control unit 10 shifts the process to S10. When the user is not present, the process of detecting a person from the image of the imaging data received constantly or periodically is repeated until the user is detected.
In S12, the control unit 10 (gaze determination unit 13) confirms the gaze direction of the user. Specifically, the control unit 10 detects a face image from the image, and determines the direction of the face based on the arrangement position of each part (organ) of the face. Then, the control unit 10 sets the determined face direction as the direction in which the user is looking. There are various known methods for determining the position of each of the face organs (eyes, nose, mouth, etc.), and for example, a face organ detection method using a regression model can be used. The method for detecting a face organ using a regression model is described, for example, in US Patent Application Publication No. 2014/0185924.
Ｓ１３において、制御部１０（視線判断部１３）は、ユーザがディスプレイ４の方向を向いているか否かを判断する。この例では、ディスプレイ４の上方に設置されたカメラ５が撮影した画像に基づく処理であるため、制御部１０は、顔の器官が正面に向いている場合に、ユーザがディスプレイ４の方向を向いている場合と判断できる。ユーザがディスプレイ４の方向を向いている場合（Ｓ１３：ＹＥＳ）には、制御部１０は、処理をＳ１４に移す。他方、ユーザがディスプレイ４の方向を向いていない場合（Ｓ１３：ＮＯ）には、制御部１０は、処理をＳ１０に移す。
なお、この処理において、制御部１０は、ユーザがディスプレイ４の方向を向いていると判断しても、ユーザとディスプレイ４との距離に応じて、本処理としてはＮＯと判断してもよい。あまり遠くにいるユーザでは、ディスプレイ４に表示される文章をよく見ることができないからである。
In S13, the control unit 10 (line-of-sight determination unit 13) determines whether the user is pointing in the direction of the display 4. In this example, since the processing is based on the image captured by the
In this process, even if the control unit 10 determines that the user is pointing in the direction of the display 4, the control unit 10 may determine NO as this process according to the distance between the user and the display 4. This is because a user who is too far can not often see the sentences displayed on the display 4.
Ｓ１４において、制御部１０（文章出力部１４）は、文章データをディスプレイ４に出力する。ディスプレイ４に出力する文章データは、例えば、予め決められている。
Ｓ１５において、制御部１０（強調出力部１５）は、出力した文章データに対応した特徴語を、特徴語記憶部３３から抽出し、所定の特徴語を強調した強調データを、ディスプレイ４に出力する。ここで、所定の特徴語とは、文章内で最初に出現する特徴語をいう。
In S14, the control unit 10 (text output unit 14) outputs the text data to the display 4. The sentence data to be output to the display 4 is determined in advance, for example.
In S15, the control unit 10 (emphasis output unit 15) extracts a feature word corresponding to the output sentence data from the feature
Ｓ１６において、制御部１０は、強調データを出力後、切替時間（例えば、１秒等）が経過したか否かを判断する。切替時間とは、特徴語を次の特徴語に切り替えるための時間をいう。切替時間が経過した場合（Ｓ１６：ＹＥＳ）には、制御部１０は、処理をＳ１７に移す。他方、切替時間が経過していない場合（Ｓ１６：ＮＯ）には、制御部１０は、本処理に留まる。
Ｓ１７において、制御部１０（ユーザ判断部１２、視線判断部１３）は、まだユーザがディスプレイ４の方向を向いているか否かを判断する。ユーザがディスプレイ４の方向を向いたままである場合（Ｓ１７：ＹＥＳ）には、制御部１０は、処理をＳ１８に移す。他方、ユーザがディスプレイ４の方向を向いていない場合（Ｓ１７：ＮＯ）には、制御部１０は、処理をＳ２０に移す。
In S16, after outputting the emphasis data, the control unit 10 determines whether a switching time (for example, one second) has elapsed. The switching time is a time for switching a feature word to the next feature word. If the switching time has elapsed (S16: YES), the control unit 10 shifts the processing to S17. On the other hand, when the switching time has not elapsed (S16: NO), the control unit 10 remains in this process.
In S17, the control unit 10 (the
Ｓ１８において、制御部１０（強調出力部１５）は、文章内で次に出現する特徴語を強調した強調データを、ディスプレイ４に出力する。その後、制御部１０は、処理をＳ１６に移し、強調データをディスプレイ４に順番に出力する処理を繰り返す。
図５は、文章中の特徴語を強調する処理に関する具体例を示す。
まず、制御部１０は、文章データをディスプレイ４に出力することで、ディスプレイ４には、文章６０が表示される。この例の文章６０は、強調表示を説明するための例示であり、実際にディスプレイ４に表示されるものは、ニュース記事や広告の文章である。
In S <b> 18, the control unit 10 (emphasis output unit 15) outputs, to the display 4, emphasis data emphasizing the feature word appearing next in the sentence. Thereafter, the control unit 10 moves the process to S16 and repeats the process of outputting the emphasis data to the display 4 in order.
FIG. 5 shows a specific example of processing for emphasizing feature words in sentences.
First, the control unit 10 outputs sentence data to the display 4, whereby the
時間Ｔ１において、文章６０には、特徴語を示す強調表示領域６１ａが、ハイライト表示及び異なる文字色によって強調表示されている。ここで、時間Ｔ１は、ディスプレイ４に文章６０が表示されたと同時であってもよいし、少しの時間（例えば、数秒程度）が経過した後であってもよい。
次に、時間Ｔ２において、強調表示する特徴語が切り替えられ、強調表示領域６１ａの強調表示が解除され、強調表示領域６１ａに代わり次の特徴語を示す強調表示領域６１ｂが強調表示される。
さらに、時間Ｔ３において、強調表示する特徴語がさらに切り替えられ、強調表示領域６１ｂの強調表示が解除され、強調表示領域６１ｂに代わり次の特徴語を示す強調表示領域６１ｃが強調表示される。
At time T1, in the
Next, at time T2, the feature word to be highlighted is switched, the highlighting of the highlighting
Furthermore, at time T3, the feature word to be highlighted is further switched, the highlighting of the highlighting
このように、表示制御装置１は、時間の経過と共に、特徴語を順番に切り替えて強調してディスプレイ４に表示させることができる。
なお、制御部１０は、強調表示をする時間である切替時間を、時間の経過と共に長くするようにしてもよい。また、制御部１０は、文章内の特徴語を順番に強調表示し、文章内の最後の特徴語を強調表示した後、文章内の最初の特徴語に戻って強調表示するときに、切替時間を、その前に強調表示した時間よりも長くするようにしてもよい。
As described above, the display control device 1 can switch the feature words in order and emphasize them and display them on the display 4 as time passes.
The control unit 10 may make the switching time, which is the time for highlighting, longer as the time passes. Also, after highlighting the feature words in the sentence in order and highlighting the last feature word in the sentence, the control unit 10 switches back to the first feature word in the sentence and highlights it. May be made longer than the previously highlighted time.
他方、Ｓ２０において、制御部１０は、文章非表示処理を行う。具体的には、制御部１０は、ディスプレイ４に対して出力した文章データ及び強調データを表示しないように制御する。その後、制御部１０は、処理をＳ１０に移す。
なお、文章非表示処理として、制御部１０は、文章内の最後の特徴語を強調表示するまで文章を表示させた後に、ディスプレイ４に対して出力した文章データ及び強調データを表示しないように制御してもよい。
On the other hand, in S20, the control unit 10 performs a sentence non-display process. Specifically, the control unit 10 controls not to display the sentence data and the emphasis data output to the display 4. Thereafter, the control unit 10 shifts the processing to S10.
As the sentence non-display process, the control unit 10 performs control so that the sentence data and the emphasis data output to the display 4 are not displayed after the sentence is displayed until the last feature word in the sentence is highlighted. You may
このように、表示制御装置１は、文章の特徴語を、時間の経過と共に順番に切り替えて強調表示する。よって、文章内の必要最小限の情報を、特徴語を強調表示することで効率的に提示することができる。
また、表示制御装置１は、時間の経過と共に、各特徴語を強調表示させる時間を長くする。そのようにすることで、最初は、強調表示が順番に移動することによって、ユーザのディスプレイ４に対して注目を集めさせると共に、その後は、必要最小限の情報を効率的かつ見やすいように提示することができる。
As described above, the display control device 1 switches the feature words of the sentence in order as time passes and highlights them. Therefore, the necessary minimum information in the sentence can be efficiently presented by highlighting the feature words.
Further, the display control device 1 lengthens the time for highlighting each feature word as time passes. By doing so, initially, the highlighting moves in order to draw attention to the user's display 4 and thereafter present the necessary and minimum information in an efficient and easy-to-see manner. be able to.
＜文章処理＞
次に、文章から特徴語を抽出する処理について説明する。
図６は、本実施形態に係る表示制御装置１の文章処理を示すフローチャートである。
Ｓ３０において、表示制御装置１の制御部１０（文章処理部１８）は、文章データを受け付ける。制御部１０は、文章データを、例えば、図示しない表示制御装置１の入力部を介して受け付けてもよいし、文章データを記録した記録媒体から読み取ってもよい。また、制御部１０は、例えば、通信インタフェース部３９を介して他の外部装置から文章データを受信してもよい。
<Sentence processing>
Next, the process of extracting feature words from sentences will be described.
FIG. 6 is a flowchart showing the text processing of the display control device 1 according to the present embodiment.
In S30, the control unit 10 (text processing unit 18) of the display control device 1 receives text data. The control unit 10 may receive sentence data, for example, via an input unit of the display control device 1 (not shown), or may read it from a recording medium on which the sentence data is recorded. Also, the control unit 10 may receive, for example, sentence data from another external device via the communication interface unit 39.
Ｓ３１において、制御部１０（文章処理部１８）は、受け付けた文章データを、文章記憶部３２に記憶させる。その際、制御部１０は、一意になるように文章ＩＤを決定して、決定した文章ＩＤを文章データに対応付けて記憶する。
Ｓ３２において、制御部１０（文章解析部１９）は、文章データを形態素解析する。そして、制御部１０は、形態素解析の結果として語を抽出する。
Ｓ３３において、制御部１０（特徴語抽出部２０）は、抽出した語に重み付けを付与する。制御部１０は、例えば、語の品詞に応じて、重み付けをする。
In S31, the control unit 10 (text processing unit 18) stores the received text data in the
In S32, the control unit 10 (text analysis unit 19) morphologically analyzes text data. Then, the control unit 10 extracts a word as a result of morphological analysis.
In S33, the control unit 10 (feature word extraction unit 20) assigns weights to the extracted words. The control unit 10 weights, for example, according to the part of speech of the word.
Ｓ３４において、制御部１０（特徴語抽出部２０）は、重み付けが、例えば、一定以上のものや、重み付けが上位のものを、重要語として、重要度に応じた特徴語を抽出する。
Ｓ３５において、制御部１０（特徴語登録部２１）は、Ｓ３４にて抽出した特徴語を、特徴語記憶部３３に記憶させる。具体的には、制御部１０は、文章ＩＤに対応付けて、特徴語を記憶する。なお、制御部１０は、特徴語の文章内における位置情報（最初から何文字目等）を含めて、特徴語を特徴語記憶部３３に記憶させてもよい。その後、制御部１０は、本処理を終了する。
In S34, the control unit 10 (feature word extraction unit 20) extracts feature words according to the degree of importance, with, for example, one having a certain weight or more or one having a higher weight as an important word.
In S35, the control unit 10 (feature word registration unit 21) stores the feature word extracted in S34 in the feature
このように、本実施形態の表示システム１００によれば、以下のような効果がある。
（１）表示制御装置１によって、ディスプレイ４に文章を表示させる際、文章の特徴語を強調して順番に表示させるので、人の視線を、特徴語に注視させることができる。その結果、強調表示をした特徴語によって、必要最小限の情報を効率的に提示することができる。
（２）表示制御装置１は、文章の特徴語を、文章を分析して得るため、特徴語は、文章の内容を示す語になり得る。よって、表示制御装置１は、ユーザに全ての文章を読ませずとも、特徴語によって文章の内容が理解できるものを抽出できる。
As described above, according to the
(1) When displaying a sentence on the display 4 by the display control device 1, the feature words of the sentence are emphasized and displayed in order, so that the person's gaze can be focused on the feature word. As a result, it is possible to efficiently present the minimum necessary information by the highlighted feature words.
(2) Since the display control device 1 obtains the characteristic word of the sentence by analyzing the sentence, the characteristic word can be a word indicating the content of the sentence. Therefore, the display control apparatus 1 can extract the one in which the content of the sentence can be understood by the feature word without the user reading all the sentences.
（３）表示制御装置１は、特徴語を強調表示する速度を、時間の経過と共に遅くするので、時間の経過と共に、より内容を理解しやすい程度の速さで強調表示ができる。
（４）カメラ５を、ディスプレイ４の近傍に設けることで、ユーザがディスプレイ４の方向を見ているか否かを確認しやすいものにできる。
(3) The display control device 1 reduces the speed of highlighting the characteristic word with the passage of time, so the display control device 1 can perform the highlighting with a speed at which the content can be more easily understood with the passage of time.
(4) By providing the
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above. Further, the effects described in the embodiment only list the most preferable effects arising from the present invention, and the effects according to the present invention are not limited to those described in the embodiment. In addition, although embodiment mentioned above and the deformation | transformation form mentioned later can also be combined and used suitably, detailed description is abbreviate | omitted.
（変形形態）
（１）本実施形態では、ディスプレイとカメラとは、通信ネットワークを介して接続されているものとして説明したが、これに限定されない。例えば、表示制御装置がディスプレイとカメラとの少なくとも一方を備える装置であってもよい。
（２）本実施形態では、ユーザの視線が表示装置の方向である場合に、ディスプレイに文章を表示し、所定の特徴語として、文章に出現する順番に、特徴語を強調表示するものを例に説明したが、これに限定されない。ユーザの視線がディスプレイのどこの位置であるかを判断し、判断した位置の近傍に表示されている特徴語を、最初に強調表示するものであってもよい。そのようにすることで、ユーザは、強調出力部分を自然に見ることができる。さらに、ユーザの視線が強調表示されている位置に向いたら、強調表示の位置を、文章に出現する順番に、次の特徴語に移すようにしてもよい。そのようにすることで、確実にユーザに強調表示を見させることができる。
(Modified form)
(1) In the present embodiment, the display and the camera are described as being connected via a communication network, but the present invention is not limited to this. For example, the display control apparatus may be an apparatus provided with at least one of a display and a camera.
(2) In this embodiment, when the line of sight of the user is in the direction of the display device, a sentence is displayed on the display, and the feature word is highlighted as the predetermined feature word in the order of appearance in the sentence. Although described above, the present invention is not limited thereto. It may be determined at which position on the display the user's line of sight is, and the feature words displayed in the vicinity of the determined position may be highlighted first. By doing so, the user can view the highlight output part naturally. Furthermore, when the line of sight of the user is directed to the highlighted position, the position of the highlighted display may be shifted to the next feature word in the order of appearance in the text. By doing so, it is possible to make the user see highlighting clearly.
（３）本実施形態では、形態素解析を用いて文章を分析し、特徴語を抽出するものを例に説明したが、これに限定されない。他の手法によって文章を分析し、特徴語を抽出してもよく、例えば、意味解析の手法を用いて文章を分析し、特徴語を抽出するものであってもよい。
（４）本実施形態では、１つの特徴語を強調表示する時間について、一律のものを例に説明したが、これに限定されない。特徴語の文字数や各文字の構成（例えば、ひらがな、漢字等であり、漢字であれば、画数を含む。）に応じた時間で強調表示するようにしてもよい。また、１つの特徴語を強調表示する時間は、経験則に基づくものであってもよい。その場合には、特徴語記憶部は、特徴語に対応付けて時間係数を記憶し、制御部は、時間係数に基づいて特徴語を強調表示する時間を決めればよい。
(3) In the present embodiment, sentences are analyzed using morphological analysis to extract feature words. However, the present invention is not limited to this. The sentence may be analyzed by another method to extract feature words. For example, the sentence may be analyzed using a semantic analysis method to extract feature words.
(4) In the present embodiment, the time for highlighting and displaying one feature word has been described as an example, but the present invention is not limited to this. Highlighting may be performed for a time according to the number of characters of the characteristic word and the configuration of each character (for example, hiragana, kanji, etc., and in the case of kanji, including the number of strokes). In addition, the time for highlighting one feature word may be based on a rule of thumb. In that case, the feature word storage unit may store time coefficients in association with the feature words, and the control unit may determine the time for highlighting the feature words based on the time coefficients.
（５）本実施形態では、ユーザの視線がディスプレイの方向を向いていると判断した場合に、ディスプレイに文章を表示するものを例に説明したが、これに限定されない。予め文章がディスプレイに表示された状態であってもよい。そして、予め文章がディスプレイに表示されている場合に、強調表示を行っていてもよい。その場合には、強調表示をする速度は、比較的早いものである方が、通りすがりのユーザが注目しやすいため好ましい。
（６）本実施形態では、ユーザの視線がディスプレイの方向を向いていると判断した場合に、どのようなユーザであっても同じように文章を表示するものを例に説明したが、これに限定されない。例えば、撮影データからユーザの属性（例えば、性別、年齢）を取得し、ユーザの属性に応じて、文章を属性に合ったものにしたり、特徴語を強調表示する際の最初の速度を変えたりしてもよい。
(5) In the present embodiment, when it is determined that the line of sight of the user is directed to the direction of the display, an example in which text is displayed on the display has been described. However, the present invention is not limited thereto. The text may be displayed in advance on the display. And when a sentence is beforehand displayed on a display, highlighting may be performed. In such a case, it is preferable that the speed of highlighting be relatively high, as it is easy for the passing user to notice.
(6) In the present embodiment, when it is determined that the line of sight of the user points in the direction of the display, an example is described in which sentences are displayed in the same manner by any user. It is not limited. For example, the user's attributes (eg, gender, age) are acquired from shooting data, and sentences are matched to the attributes according to the user's attributes, or the initial speed for highlighting the feature word is changed. You may
（７）本実施形態では、特徴語の強調表示として、特徴語の文字色及び特徴語のハイライト色によって強調するものを例に説明したが、これに限定されない。例えば、特徴語の文字の大きさを大きくしたり、太字にしたりするものであってもよい。また、文章全体に対する色の濃淡であってもよく、例えば、最初は、強調文字以外の文章を薄い色で表示し、時間の経過と共に、文章の色を濃い色に変化させるものであってもよい。同様に、最初は、強調文字以外の文章をぼかして表示し、時間の経過と共に、ぼかし度合を低くして文章が読めるようにしてもよい。
（８）本実施形態では、特徴語を１つずつ順番に強調表示するものを例に説明したが、これに限定されない。２以上の特徴語をまとめた語群を強調表示してもよい。その場合であっても、時間の経過と共に、語群を順番に強調表示する。そのようにすることで、意味内容が分かる程度のまとまりを１回で強調表示させることができ、ユーザの理解を深めることができる。
(7) In the present embodiment, as the highlighting of the feature word, the highlighting using the character color of the feature word and the highlight color of the feature word has been described as an example, but the present invention is not limited thereto. For example, the character size of the feature word may be increased or bolded. Also, it may be shades of color to the whole sentence, for example, at first, sentences other than the emphasized character are displayed in light color, and the color of the sentence is changed to dark color with the passage of time. Good. Similarly, at first, sentences other than the emphasized characters may be displayed in a blurred state, and the degree of blurring may be reduced as time passes so that the sentences can be read.
(8) In the present embodiment, an example has been described in which feature words are highlighted in order one by one, but the present invention is not limited to this. A word group in which two or more feature words are grouped may be highlighted. Even in that case, the word groups are highlighted in order as time passes. By doing so, it is possible to highlight at once a group that shows the meaning content, and to deepen the user's understanding.
（９）本実施形態では、駅構内に設けられたディスプレイに文章を表示するものを例に説明したが、これに限定されない。聴衆が見るディスプレイとして、例えば、電車内のディスプレイであってもよいし、街中のディスプレイであってもよい。さらに、聴衆が見るディスプレイに限らず、ユーザの端末等であってもよい。
（１０）本実施形態では、文章記憶部と、特徴語記憶部とを備えるものを例に説明したが、これに限定されない。文章データと、特徴語とを対応付けて、１つの記憶部に記憶させてもよい。また、文章データと、特徴語とのうち少なくとも一方を、通信ネットワークを介して接続可能な外部装置に備えてもよい。さらに、文章データを記憶するだけであってもよい。
(9) In this embodiment, although the thing which displays a sentence on the display provided in the station yard was demonstrated to the example, it is not limited to this. The display seen by the audience may be, for example, a display in a train or a display in a city. Furthermore, not only the display viewed by the audience but also the terminal of the user may be used.
(10) In the present embodiment, an example has been described in which a sentence storage unit and a feature word storage unit are provided, but the present invention is not limited to this. Text data and feature words may be associated with each other and stored in one storage unit. Further, at least one of the sentence data and the feature word may be provided in an external device connectable via a communication network. Furthermore, only sentence data may be stored.
１ 表示制御装置
４ ディスプレイ
５ カメラ
１０ 制御部
１１ 表示処理部
１２ ユーザ判断部
１３ 視線判断部
１４ 文章出力部
１５ 強調出力部
１８ 文章処理部
１９ 文章解析部
２０ 特徴語抽出部
２１ 特徴語登録部
３０ 記憶部
３１ａ 表示制御プログラム
３２ 文章記憶部
３３ 特徴語記憶部
６０ 文章
６１ａ，６１ｂ，６１ｃ 強調表示領域
１００ 表示システム
Reference Signs List 1 display control device 4
Claims (14)
前記文章を、表示装置に表示させる文章表示手段と、
前記特徴語抽出手段により抽出した前記複数の特徴語を時間の経過と共に順番に強調して前記表示装置に表示させる強調表示手段と、
を備える表示制御装置。 Feature word extraction means for analyzing a sentence and extracting a plurality of feature words indicating the features of the sentence;
Text display means for displaying the text on a display device;
Emphasizing display means for emphasizing the plurality of feature words extracted by the feature word extraction means in order as the time passes and displaying them on the display device;
A display control apparatus comprising:
前記特徴語抽出手段は、前記文章を形態素解析して得られた単語ごとに重み付けをし、前記単語の重要度に応じて前記特徴語を抽出すること、
を特徴とする表示制御装置。 In the display control device according to claim 1,
The feature word extraction unit weights each word obtained by morphological analysis of the sentence, and extracts the feature word according to the degree of importance of the word.
A display control device characterized by
撮影装置の撮影画像から前記表示装置の方向を向いているユーザの存在を判断するユーザ判断手段を備え、
前記文章表示手段は、前記ユーザ判断手段により前記ユーザの存在を判断したことに応じて、前記文章を前記表示装置に表示させること、
を特徴とする表示制御装置。 In the display control device according to claim 1 or 2,
A user determination unit configured to determine the presence of a user facing the direction of the display device from a captured image of the imaging device;
The text display means causes the display device to display the text in response to the user determining means determining the presence of the user.
A display control device characterized by
前記ユーザの視線方向を判断する視線判断手段と、
前記視線判断手段により判断した前記視線方向から、前記ユーザが見ている前記表示装置の表示位置を特定する位置特定手段と、
を備え、
前記強調表示手段は、前記位置特定手段により特定された前記表示位置の近傍に有する前記特徴語を最初に強調させ、時間の経過と共に順番に前記複数の特徴語を強調して表示させること、
を特徴とする表示制御装置。 In the display control device according to claim 3,
Gaze determination means for determining the gaze direction of the user;
Position specifying means for specifying the display position of the display device viewed by the user from the direction of the line of sight judged by the line of sight judging means;
Equipped with
The highlighting means first emphasizes the feature words in the vicinity of the display position specified by the position specifying means, and emphasizes and displays the plurality of feature words in order as time passes.
A display control device characterized by
撮影装置の撮影画像から前記表示装置の方向を向いているユーザの存在を判断するユーザ判断手段を備え、
前記強調表示手段は、前記ユーザ判断手段により前記ユーザの存在を判断したことに応じて、前記複数の特徴語を時間の経過と共に順番に強調して表示させること、
を特徴とする表示制御装置。 In the display control device according to claim 1 or 2,
A user determination unit configured to determine the presence of a user facing the direction of the display device from a captured image of the imaging device;
The highlighting means emphasizes and displays the plurality of feature words in order as time passes in response to the user determining means determining the presence of the user.
A display control device characterized by
前記強調表示手段は、前記特徴語を時間の経過と共に順番に強調して表示させる速度を、時間の経過と共に遅く変化させること、
を特徴とする表示制御装置。 In the display control device according to any one of claims 1 to 5,
The highlighting means changes the speed at which the feature words are emphasized and displayed in order with the passage of time, with the passage of time.
A display control device characterized by
前記強調表示手段は、前記特徴語の文字数及び前記特徴語に含まれる各文字の構成のうち少なくとも一方に応じて、強調して表示させる時間の長さを決定し、決定した長さの時間、前記特徴語を強調して表示させること、
を特徴とする表示制御装置。 The display control device according to any one of claims 1 to 6.
The highlighting means determines the length of time to be emphasized and displayed according to at least one of the number of characters of the feature word and the configuration of each character included in the feature word, and the time of the determined length, Emphasizing and displaying the feature words,
A display control device characterized by
前記文章に対応付けられた前記複数の特徴語から１以上の特徴語にまとめた複数の語群を生成する語群生成手段を備え、
前記強調表示手段は、前記複数の特徴語を時間の経過と共に順番に強調することに代えて、前記文章のうち前記語群を、時間の経過と共に順番に強調して表示させること、
を特徴とする表示制御装置。 The display control device according to any one of claims 1 to 7.
A word group generation unit configured to generate a plurality of word groups collected into one or more feature words from the plurality of feature words associated with the sentence;
Instead of emphasizing the plurality of feature words sequentially with the passage of time, the emphasizing display means emphasizes and displays the word group in the sentence sequentially with the passage of time;
A display control device characterized by
前記特徴語抽出手段により抽出された前記複数の特徴語を、前記文章に対応付けて特徴語記憶部に記憶させる登録手段を備えること、
を特徴とする表示制御装置。 The display control device according to any one of claims 1 to 8.
And a registration unit configured to store the plurality of feature words extracted by the feature word extraction unit in the feature word storage unit in association with the sentence.
A display control device characterized by
前記表示制御装置に対して通信可能に接続され、前記文章を表示させる表示装置と、
を備える表示システム。 A display control device according to any one of claims 1 to 9;
A display device communicably connected to the display control device and displaying the text;
A display system comprising:
文章表示手段が、表示装置に文章を表示させるステップと、
強調表示手段が、前記特徴語抽出手段により抽出した前記複数の特徴語を時間の経過と共に順番に強調して前記表示装置に表示させるステップと、
を含む表示制御方法。 A feature word extraction unit analyzes a sentence to extract a plurality of feature words indicating features of the sentence;
The sentence display means causes the display device to display a sentence;
Emphasizing display means for emphasizing the plurality of feature words extracted by the feature word extraction means in order as time passes and displaying them on the display device;
Display control method including.
前記文章の特徴を示す複数の特徴語を強調表示させるデータである強調データと、
を備えた表示データ。 With sentence data,
Emphasis data, which is data for highlighting a plurality of feature words indicating the feature of the sentence;
Display data with.
前記強調データは、時間の経過と共に前記複数の特徴語を順番に強調表示させるものである、
表示データ。 In the display data according to claim 13,
The emphasizing data highlights the plurality of feature words in order as time passes.
Display data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017238495A JP7052328B2 (en) | 2017-12-13 | 2017-12-13 | Display control device, program, display system and display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017238495A JP7052328B2 (en) | 2017-12-13 | 2017-12-13 | Display control device, program, display system and display control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019105751A true JP2019105751A (en) | 2019-06-27 |
| JP7052328B2 JP7052328B2 (en) | 2022-04-12 |
Family
ID=67061273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017238495A Active JP7052328B2 (en) | 2017-12-13 | 2017-12-13 | Display control device, program, display system and display control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7052328B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021145146A1 (en) * | 2020-01-16 | 2021-07-22 | 株式会社テンクー | Document display assistance system, document display assistance method, and program for executing said method |
| JP2022068817A (en) * | 2020-10-22 | 2022-05-10 | ネイバー コーポレーション | Method for improving voice recognition rate for voice recording, system, and computer readable recording medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0765005A (en) * | 1993-08-24 | 1995-03-10 | Ricoh Co Ltd | Document fast read support display device, word processor and digital copying device |
| JP2001167107A (en) * | 1999-12-08 | 2001-06-22 | Sharp Corp | Device and method for displaying electronic book |
| JP2012022589A (en) * | 2010-07-16 | 2012-02-02 | Hitachi Ltd | Method of supporting selection of commodity |
| JP2016173803A (en) * | 2015-03-18 | 2016-09-29 | 大日本印刷株式会社 | Sentence display device, program and control method |
| JP2017037159A (en) * | 2015-08-10 | 2017-02-16 | キヤノン株式会社 | Image display apparatus, image display method, and program |
-
2017
- 2017-12-13 JP JP2017238495A patent/JP7052328B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0765005A (en) * | 1993-08-24 | 1995-03-10 | Ricoh Co Ltd | Document fast read support display device, word processor and digital copying device |
| JP2001167107A (en) * | 1999-12-08 | 2001-06-22 | Sharp Corp | Device and method for displaying electronic book |
| JP2012022589A (en) * | 2010-07-16 | 2012-02-02 | Hitachi Ltd | Method of supporting selection of commodity |
| JP2016173803A (en) * | 2015-03-18 | 2016-09-29 | 大日本印刷株式会社 | Sentence display device, program and control method |
| JP2017037159A (en) * | 2015-08-10 | 2017-02-16 | キヤノン株式会社 | Image display apparatus, image display method, and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021145146A1 (en) * | 2020-01-16 | 2021-07-22 | 株式会社テンクー | Document display assistance system, document display assistance method, and program for executing said method |
| JP2021114057A (en) * | 2020-01-16 | 2021-08-05 | 株式会社テンクー | Document display support system and document display support method, and program executing the method |
| JP2022068817A (en) * | 2020-10-22 | 2022-05-10 | ネイバー コーポレーション | Method for improving voice recognition rate for voice recording, system, and computer readable recording medium |
| JP7166370B2 (en) | 2020-10-22 | 2022-11-07 | ネイバー コーポレーション | Methods, systems, and computer readable recording media for improving speech recognition rates for audio recordings |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7052328B2 (en) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110968736B (en) | Video generation method and device, electronic equipment and storage medium | |
| Hong et al. | Video accessibility enhancement for hearing-impaired users | |
| Hong et al. | Dynamic captioning: video accessibility enhancement for hearing impairment | |
| CN110446063B (en) | Video cover generation method and device and electronic equipment | |
| US11158206B2 (en) | Assisting learners based on analytics of in-session cognition | |
| CN116484318B (en) | Lecture training feedback method, lecture training feedback device and storage medium | |
| Gökçe et al. | Score-level multi cue fusion for sign language recognition | |
| Tripathy et al. | Voice for the mute | |
| Haamer et al. | Review on emotion recognition databases | |
| US9525841B2 (en) | Imaging device for associating image data with shooting condition information | |
| CN112911324B (en) | Content display method and device for live broadcast room, server and storage medium | |
| US20120088211A1 (en) | Method And System For Acquisition Of Literacy | |
| JP2012083925A (en) | Electronic apparatus and method for determining language to be displayed thereon | |
| KR102148021B1 (en) | Information search method and apparatus in incidental images incorporating deep learning scene text detection and recognition | |
| JP2017016296A (en) | Image display device | |
| JP7052328B2 (en) | Display control device, program, display system and display control method | |
| Rajbongshi et al. | Bangla optical character recognition and text-to-speech conversion using raspberry Pi | |
| Ouali et al. | Architecture for real-time visualizing arabic words with diacritics using augmented reality for visually impaired people | |
| US9055161B2 (en) | Text processing method for a digital camera | |
| Jones et al. | Vocabulary acquisition for deaf readers using augmented technology | |
| CN108628454B (en) | Visual interaction method and system based on virtual human | |
| Kapitanov et al. | Slovo: Russian Sign Language Dataset | |
| CN116088675A (en) | Virtual image interaction method, related device, equipment, system and medium | |
| JP6794740B2 (en) | Presentation material generation device, presentation material generation system, computer program and presentation material generation method | |
| CN114302231A (en) | Video processing method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7052328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |