JP6496220B2 - Information distribution apparatus and information distribution program - Google Patents
Information distribution apparatus and information distribution program Download PDFInfo
- Publication number
- JP6496220B2 JP6496220B2 JP2015184660A JP2015184660A JP6496220B2 JP 6496220 B2 JP6496220 B2 JP 6496220B2 JP 2015184660 A JP2015184660 A JP 2015184660A JP 2015184660 A JP2015184660 A JP 2015184660A JP 6496220 B2 JP6496220 B2 JP 6496220B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- distribution
- unit
- information distribution
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Telephone Function (AREA)
Description
本発明は、情報配信装置および情報配信プログラムに関する。 The present invention relates to an information distribution apparatus and an information distribution program.
従来より、ユーザに対して種々の情報を配信する情報配信装置が知られている（たとえば特許文献１参照）。 2. Description of the Related Art Conventionally, an information distribution apparatus that distributes various information to a user is known (see, for example, Patent Document 1).
情報配信装置において配信される情報が、情報配信の対象者である本人のプライベート情報である場合には、その情報を他人には知られたくないという要望がある。しかし、情報配信装置によっては、情報配信装置からの情報が、たとえば、比較的大きなディスプレイに表示されたり、音声として出力されたりする場合も少なくない。この場合、配信された本人のプライベート情報が、情報配信装置の周囲にいる他人にも知られてしまう可能性がある。 When the information distributed in the information distribution apparatus is private information of the person who is the target of information distribution, there is a demand for the information not to be known to others. However, depending on the information distribution apparatus, information from the information distribution apparatus is often displayed on a relatively large display or output as sound, for example. In this case, the distributed personal information may be known to others around the information distribution apparatus.
本発明は、上記問題点に鑑みてなされたものであり、プライベート性を考慮した情報配信が可能な情報配信装置および情報配信プログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an information distribution apparatus and an information distribution program capable of distributing information in consideration of privateness.
本発明の一態様に係る情報配信装置は、情報配信の対象者を決定する決定手段と、周囲画像を取得する取得手段と、取得手段によって取得された周囲画像に含まれる人物を特定する特定手段と、決定手段の決定結果および特定手段の特定結果に基づいて、情報を配信するための配信モードを選択する選択手段と、選択手段によって選択された配信モードを用いて情報を配信する配信手段と、を備える。 An information distribution apparatus according to an aspect of the present invention includes a determination unit that determines a target person of information distribution, an acquisition unit that acquires a surrounding image, and a specifying unit that specifies a person included in the surrounding image acquired by the acquisition unit And a selection unit that selects a distribution mode for distributing information based on the determination result of the determination unit and the identification result of the identification unit; and a distribution unit that distributes information using the distribution mode selected by the selection unit; .
また、本発明の一態様に係る情報配信プログラムは、情報配信装置に設けられたコンピュータを、情報配信の対象者を決定する決定手段と、周囲画像を取得する取得手段と、取得手段によって取得された周囲画像に含まれる人物を特定する特定手段と、決定手段の決定結果および特定手段の特定結果に基づいて、情報を配信するための配信モードを選択する選択手段と、選択手段によって選択された配信モードを用いて情報を配信する配信手段、として機能させる。 An information distribution program according to one aspect of the present invention is obtained by a computer provided in an information distribution apparatus by a determination unit that determines a target person of information distribution, an acquisition unit that acquires a surrounding image, and an acquisition unit. Selected by the selecting means, the specifying means for specifying the person included in the surrounding image, the selecting means for selecting the distribution mode for distributing information based on the determination result of the determining means and the specifying result of the specifying means, and the selecting means It functions as distribution means for distributing information using the distribution mode.
情報配信される情報は、対象者のプライベート情報である場合も少なくない。上記の情報配信装置または情報配信プログラムによれば、情報配信の対象者および周囲画像に含まれる人物に基づいて、配信モードが選択され、情報が配信される。たとえば、情報配信の対象者（本人）の周囲に他の者（他人）が存在しているか否かといった、本人の置かれている環境（周囲環境）のプライベート性に応じた適切な配信モードを選択し、情報を配信することができる。よって、プライベート性を考慮した情報配信を行うことができる。 In many cases, information to be distributed is private information of the target person. According to the information distribution apparatus or the information distribution program, the distribution mode is selected based on the information distribution target person and the person included in the surrounding image, and the information is distributed. For example, an appropriate distribution mode according to the personality of the environment (surrounding environment) in which the person is placed, such as whether or not there is another person (other person) around the person to whom the information is distributed (person) You can select and distribute information. Therefore, it is possible to perform information distribution in consideration of privateness.
選択手段によって選択される配信モードには、情報を配信する第１のモードと、情報を配信せず当該情報が配信可能である旨を通知する第２のモードとが含まれてもよい。この場合、たとえば、周囲環境のプライベート性に応じて、第１のモードを選択して情報をただちに配信することもできるし、第２のモードを選択して情報の配信を保留することもできる。たとえばこのようにして、プライベート性を考慮した情報配信を行うことができる。 The distribution mode selected by the selection unit may include a first mode for distributing information and a second mode for notifying that information can be distributed without distributing information. In this case, for example, according to the private nature of the surrounding environment, the first mode can be selected and information can be distributed immediately, or the second mode can be selected and the distribution of information can be suspended. For example, in this way, information distribution can be performed in consideration of privateness.
特定手段は、顔認識によって人物を特定してもよい。これにより、顔の特徴などに基づいて人物を精度良く特定することができる。 The specifying unit may specify a person by face recognition. Thereby, a person can be specified with high accuracy based on facial features and the like.
選択手段は、決定手段の決定結果および特定手段の特定結果に基づいて定められる対象者の周囲環境のプライベート性に基づいて、配信モードを選択してもよい。たとえば、本人の周囲に他人が存在している場合はプライベート性が低く、そうでない場合にはプライベート性が高い。この場合、プライベート性が比較的高いときには第１の選択モードを選択して情報を配信し、プライベート性が比較的低いときには第２の選択モードを選択して情報の配信を保留することができる。よって、プライベート性を考慮した情報配信を行うことができる。 The selection means may select the delivery mode based on the privateness of the surrounding environment of the subject determined based on the determination result of the determination means and the specification result of the specification means. For example, if there is another person around the person, the private property is low, and if not, the private property is high. In this case, when the private property is relatively high, the first selection mode can be selected to distribute information, and when the private property is relatively low, the second selection mode can be selected to suspend information distribution. Therefore, it is possible to perform information distribution in consideration of privateness.
選択手段は、周囲環境のプライベート性に加えて、情報の緊急度にも基づいて、配信モードを選択してもよい。たとえば、情報の緊急度が比較的高いときには第１のモードを選択して情報を配信することもできる。このようにして、情報の緊急度をも考慮した情報配信を行うことができる。 The selection means may select the distribution mode based on the urgency of the information in addition to the privacy of the surrounding environment. For example, when the urgency level of information is relatively high, the first mode can be selected and information can be distributed. In this way, information distribution can be performed in consideration of the urgency of information.
特定手段は、さらに、取得手段によって取得された周囲画像に含まれる人物の視線を特定し、配信手段は、決定手段によって決定された対象者の特定手段によって特定された視線が、所定時間以上継続して情報配信装置に向けられた場合に、情報の配信を開始してもよい。これにより、たとえば、対象者は、ハンズフリー状態で、情報配信装置に情報の配信を要求することができる。 The specifying unit further specifies the line of sight of the person included in the surrounding image acquired by the acquiring unit, and the distributing unit continues the line of sight specified by the target specifying unit determined by the determining unit for a predetermined time or more. Then, when the information is directed to the information distribution apparatus, the distribution of information may be started. Thereby, for example, the subject can request the information distribution apparatus to distribute information in a hands-free state.
本発明によれば、プライベート性を考慮した情報配信が可能な情報配信装置および情報配信プログラムが提供される。 ADVANTAGE OF THE INVENTION According to this invention, the information delivery apparatus and the information delivery program which can perform the information delivery which considered the private property are provided.
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant descriptions are omitted.
実施形態に係る情報配信装置は、ユーザに対して種々の情報を配信する装置である。ユーザは複数存在してもよい。配信装置は、たとえばスマートフォンのような移動体端末装置、あるいは据え置き型の端末として実現されてもよいし、人間の形状を模したロボットとして実現されてもよい。据え置き型の端末としては、ＴＶ（いわゆるスマートＴＶも含む）、パソコン、ディジタルサイネージなどがある。配信される情報（配信情報）はとくに限定されない。本明細書では、ｅメールなどによるメッセージを例に挙げて説明する。配信情報には対象者（本人）が存在し得る。ユーザが複数存在する場合、そのうちの一部または全部のユーザが、対象者となり得る。ｅメールなどによるメッセージの場合、宛先に含まれている人物が本人となる。 The information distribution apparatus according to the embodiment is an apparatus that distributes various information to a user. There may be a plurality of users. The distribution device may be realized as a mobile terminal device such as a smartphone or a stationary terminal, or may be realized as a robot imitating a human shape. As stationary terminals, there are TVs (including so-called smart TVs), personal computers, digital signage, and the like. Information to be distributed (distributed information) is not particularly limited. In this specification, a message by e-mail or the like will be described as an example. A target person (person) may exist in the distribution information. When there are a plurality of users, some or all of them can be targeted. In the case of a message by e-mail or the like, the person included in the destination is the person.
情報配信装置は、本人の置かれている周囲環境のプライベート性に応じた適切な態様で、情報を配信する。プライベート性は、たとえば、本人の周囲に他の者（他人）が存在しているか否かといった種々の状況に対応して定められる。 The information distribution apparatus distributes information in an appropriate manner according to the private nature of the surrounding environment where the person is placed. Privateness is determined in accordance with various situations such as whether or not another person (another person) exists around the person.
図１は、実施形態に係る情報配信装置の機能ブロックを示す図である。図１に示されるように、情報配信装置１００は、入力部１１０と、出力部１２０と、制御部１３０と、記憶部１４０と、通信部１５０とを含む。
FIG. 1 is a diagram illustrating functional blocks of the information distribution apparatus according to the embodiment. As illustrated in FIG. 1, the
入力部１１０および出力部１２０は、情報配信装置１００の外部、主にユーザとの間で情報をやり取りするための部分（入出力インタフェース）である。入力部１１０は、ユーザの音声を含む情報配信装置１００の周囲の音声（以下、単に「周囲音声」という場合もある）の入力を受け付け、また、ユーザを含む情報配信装置１００の周囲の画像、映像（以下、単に「周囲画像」という場合もある）の入力を受け付ける。出力部１２０は、種々の画像、映像を出力し、また、種々の音声を出力する。
The
具体的に、入力部１１０は、集音部１１１と、撮像部１１２とを含む。集音部１１１は、周囲音声の入力を受け付ける部分である。集音部１１１は、たとえばマイクで構成される。撮像部１１２は、周囲画像の入力を受け付ける部分である。撮像部１１２は、たとえばカメラで構成される。なお、入力部１１０は、たとえば、ユーザが情報配信装置１００を操作するための操作ボタンなどの要素をさらに含んでもよい。
Specifically, the
出力部１２０は、発音部１２１と、表示部１２２とを含む。発音部１２１は、音声を出力する部分である。発音部１２１は、たとえばスピーカで構成される。表示部１２２は、画像、映像を出力する部分である。表示部１２２は、たとえばディスプレイで構成される。ディスプレイはタッチパネルで構成されてもよく、その場合、タッチパネルは、ユーザが情報配信装置１００を操作するための要素としても機能する。
The
制御部１３０は、情報配信装置１００の各要素を制御することによって、情報配信装置１００の全体制御を行う部分である。制御部１３０は、取得部１３１と、決定部１３２と、特定部１３３と、選択部１３４と、配信部１３５とを含む。
The
取得部１３１は、入力部１１０に入力された周囲音声および周囲画像を取得する部分である。すなわち、取得部１３１および入力部１１０（集音部１１１、撮像部１１２を含む）は、周囲音声および周囲画像を取得する取得手段として機能する。
The
決定部１３２は、情報配信の対象者（本人）を決定する部分（決定手段）である。対象者は、配信情報ごとに決定される。たとえば、当該ｅメールの宛先に含まれる人物が対象者である。また、決定部１３２は、配信情報の緊急度を決定する。緊急度は、たとえば、ｅメールに付随して送られる緊急度を示す情報に基づいて決定される。
The
特定部１３３は、取得部１３１によって取得された周囲画像に含まれる人物を特定する部分（特定手段）である。特定部１３３は、たとえば、周囲画像に対して画像認識処理を行うことによって、周囲画像に含まれる人物を特定する。画像認識処理は、たとえばｏｐｅｎＣＶ（Open Source Computer Vision Library）など、種々の公知の手法によって実現される。特定部１３３は、たとえば、顔認識によって、周囲画像に含まれる人物を特定してよい。その場合、たとえば、後述の記憶部１４０がユーザの顔に関する特徴を示すデータを記憶しており、特定部１３３は、当該データと、周囲画像に含まれる人物の顔の画像とを照合することによって、周囲画像に含まれる人物を特定する。また、特定部１３３は、周囲画像に含まれる人物の視線を特定してもよい。視線の特定は、たとえば、視線が所定の方向に向けられているか否かといった判断を含む。所定の方向は、たとえば人物から見て情報配信装置１００の方向であってよい。また、特定部１３３は、周囲音声、とくにユーザの音声を認識するための音声認識処理を実行する部分であってもよい。その場合、特定部１３３は、取得部１３１によって取得された周囲音声に対して、音声認識処理を実行する。音声認識処理は、たとえば、予め用意された音響モデル、言語モデルを用いた手法を含む、種々の公知の手法によって実現される。
The
選択部１３４は、決定部１３２の決定結果および特定部１３３の特定結果に基づいて、情報を配信するための配信モードを選択する部分（選択手段）である。配信モードには、第１のモードと第２のモードとが含まれる。第１のモードは、情報を配信するモードである。第２のモードは、情報を配信せず、情報が配信可能である旨を通知するモードである。また、選択部１３４は、対象者のプライベート性に基づいて、配信モードを選択する。また、選択部１３４は、配信情報の緊急度に基づいて、配信モードを選択してもよい。プライベート性および緊急度に基づく配信モードの選択の詳細については、後に図６を参照して説明する。
The
配信部１３５は、選択部１３４によって選択された配信モードを用いて情報を配信する部分（配信手段）である。第１のモードでは、配信部１３５は、出力部１２０を用いて情報の内容を出力する。第２のモードでは、配信部１３５は、出力部１２０を用いて情報が配信可能である旨のみを通知し、情報の内容は出力しない。また、配信部１３５は、たとえば決定部１３２によって決定された対象者の視線に応じて、情報配信を開始する。先に説明したように、決定部１３２によって決定された対象者の視線は、特定部１３３によって特定される。配信部１３５は、たとえば、特定部１３３によって特定された視線が所定時間以上継続して情報配信装置１００に向けられた場合に、情報配信を開始する。
The
記憶部１４０は、制御部１３０によって実行される処理に必要な種々の情報を記憶する部分である。記憶部１４０は、たとえば、配信部１３５によって配信される種々の情報を記憶する。また、記憶部１４０は、ユーザデータを記憶する。ユーザデータには、前述した特定部１３３による顔認識が行えるように、ユーザの顔の特徴を示すデータが含まれる。さらに、記憶部１４０は、前述の音響モデル、言語モデルを記憶する。また、記憶部１４０は、情報配信装置１００がユーザに情報を配信するために必要な処理を情報配信装置１００に実行させるためのプログラム（情報配信プログラム）を記憶する。
The
通信部１５０は、情報配信装置１００の外部と通信を行う部分である。通信部１５０によって、たとえば、配信情報、ユーザデータ、情報配信プログラムなどが追加して取得され、あるいは、更新され得る。
The
ここで、図２を参照して、情報配信装置１００のハードウェア構成について説明する。図２に示されるように、情報配信装置１００は、物理的には、１または複数のＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２およびＲＯＭ（Read Only Memory）２３、カメラなどの撮像装置２４、データ送受信デバイスである通信モジュール２６、半導体メモリなどの補助記憶装置２７、操作盤（操作ボタンを含む）やタッチパネルなどのユーザ操作の入力を受け付ける入力装置２８、ディスプレイなどの出力装置２９、ならびにＣＤ−ＲＯＭドライブ装置などの読み取り装置２Ａを備えるコンピュータとして構成され得る。図１における情報配信装置１００の機能は、たとえば、ＣＤ−ＲＯＭなどの記憶媒体Ｍに記憶された１または複数のプログラムを読み取り装置２Ａにより読み取ってＲＡＭ２２などのハードウェア上に取り込むことにより、ＣＰＵ２１の制御のもとで撮像装置２４、通信モジュール２６、入力装置２８、出力装置２９を動作させるとともに、ＲＡＭ２２および補助記憶装置２７におけるデータの読み出しおよび書き込みを行うことで実現される。
Here, the hardware configuration of the
また、図３には、コンピュータを情報配信装置１００として機能させるための情報配信プログラムのモジュールが示される。図３に示されるように、情報配信プログラムＰ１００は、取得部モジュールＰ１０１、決定モジュールＰ１０２、特定モジュールＰ１０３、選択モジュールＰ１０４および配信モジュールＰ１０５を備えている。各モジュールによって、先に図１を参照して説明した、取得部１３１、決定部１３２、特定部１３３、選択部１３４および配信部１３５の機能が実現される。
Also, FIG. 3 shows an information distribution program module for causing a computer to function as the
対話プログラムは、たとえば記憶媒体に格納されて提供される。記憶媒体は、フレキシブルディスク、ＣＤ−ＲＯＭ、ＵＳＢメモリ、ＤＶＤ、半導体メモリなどであってよい。 The interactive program is provided by being stored in a storage medium, for example. The storage medium may be a flexible disk, CD-ROM, USB memory, DVD, semiconductor memory, or the like.
次に、図４〜６を用いて、情報配信装置１００の動作（情報配信装置１００によって実行される情報配信方法）について説明する。 Next, the operation of the information distribution apparatus 100 (information distribution method executed by the information distribution apparatus 100) will be described with reference to FIGS.
図４は、情報配信装置１００において実行される処理の一例を示すフローチャートである。このフローチャートの処理は、情報配信装置１００が情報を配信する際に実行される。とくに説明がない場合、各処理は、制御部１３０によって（つまり制御部１３０に含まれるいずれの要素かを問わず）実行され得る。
FIG. 4 is a flowchart illustrating an example of processing executed in the
まず、情報配信装置１００において、通知要求が発生する（ステップＳ１）。たとえば、情報配信装置１００のユーザを宛先としたｅメールが受信された場合に、通知要求が発生する。
First, a notification request is generated in the information distribution apparatus 100 (step S1). For example, a notification request is generated when an e-mail addressed to the user of the
すると、情報配信装置１００は、通知の宛先・緊急度を記憶する（ステップＳ２）。具体的に、決定部１３２が緊急度・宛先を決定し、決定された緊急度・宛先が記憶部１４０に記憶される。たとえば、ｅメールの宛先に含まれる人物が、宛先として決定される。なお、宛先が個人を特定する場合、ｅメールによるメッセージは、プライベート情報を含み得る。宛先が個人を特定しない（たとえば不特定多数の人物を宛先とする）場合、ｅメールによるメッセージは、プライベート情報を含まず、一般的な情報のみを含み得る。緊急度は、ｅメールによるメッセージの緊急の程度を示す情報であり、各ｅメールに付随して送られる情報（たとえばフラグなど）に基づいて決定され得る。緊急度は、たとえば、「緊急」と「普通」の２通りに分類される。緊急度が「緊急」の場合、メッセージは、たとえば、災害情報など、人命や安全にかかわる事項を含み得る。そのような事項を含まないメッセージは、緊急度が「普通」の場合のメッセージとされ得る。
Then, the
次に、情報配信装置１００は、顔検出により、人数ｎを決定する（ステップＳ３）。具体的に、特定部１３３が、取得部１３１によって取得された周囲画像に含まれる人物の顔を検出するとともに、検出した顔の数を、人数ｎとして決定する。
Next, the
次に、情報配信装置１００は、人数ｎが０より大きいか否かを判断する（ステップＳ４）。すなわち、先のステップＳ３において、顔検出された人物が存在するか否かが判断される。人数ｎが０より大きい場合（ステップＳ４：ＹＥＳ）、情報配信装置１００は、ステップＳ５に処理を進める。そうでない場合（ステップＳ４：ＮＯ）、情報配信装置１００は、ステップＳ３に再び処理を戻す。
Next, the
ステップＳ５において、情報配信装置１００は、周囲の人物の状況を確認するため、音声分析を開始する。音声分析は、先に説明したように、特定部１３３が取得部１３１によって取得された周囲音声に対して音声認識処理を実行することによって行われる。
In step S5, the
次のステップＳ６〜Ｓ９において、情報配信装置１００は、ｎ人の人物のそれぞれを特定する。具体的に、情報配信装置１００は、変数ｉの初期値を０とし（ステップＳ６）、ｉを１ずつ増加させながら（ステップＳ８）、ｉがｎ以上になるまでの間（ステップＳ９：ＮＯ）、ｉ番目の人物について、以下のステップＳ７の処理を繰り返し実行する。
In the next steps S6 to S9, the
すなわち、情報配信装置１００は、顔の認識により、個人を特定する（ステップＳ７）。具体的に、特定部１３３が、取得部１３１によって取得された周囲画像に含まれる人物の顔の画像と、記憶部１４０にユーザデータとして記憶されているユーザの顔の特徴を示す情報とを照合し、当該人物を特定する。
That is, the
ｎ人の人物のそれぞれについて上記ステップＳ７の処理が完了した後（ステップＳ９：ＹＥＳ）、情報配信装置１００は、ステップＳ１０に処理を進める。
After the process of step S7 is completed for each of the n persons (step S9: YES), the
ステップＳ１０において、情報配信装置１００は、周囲のプライベート性を判断する。プライベート性の判断は、たとえば、選択部１３４によって実行される。具体的に、配信情報の宛先とされている人物（本人）の置かれている状況（周囲環境）に基づいて、プライベート性が判断される。たとえば、情報配信装置１００の近くに本人のみがいる場合、プライベート性は高い（高プライベート）と判断される。一方、情報配信装置１００の近くに他の人物がいる場合、プライベート性は低い（低プライベート）と判断される。
In step S10, the
次に、情報配信装置１００は、視線認識処理を実行する（ステップＳ１１）。具体的に、図５を参照して、視線認識処理について説明する。
Next, the
視線認識処理では、次のステップＳ２０〜Ｓ２４において、情報配信装置１００が、ｎ人の人物のそれぞれの視線を特定する。具体的に、情報配信装置１００は、変数ｊの初期値を０とし（ステップＳ２０）、ｊを１ずつ増加させながら（ステップＳ２３）、ｊがｎ以上になるまでの間（ステップＳ２４：ＮＯ）、ｊ番目の人物について、以下のステップＳ２１およびＳ２２の処理を繰り返し実行する。
In the line-of-sight recognition process, in the next steps S20 to S24, the
すなわち、情報配信装置１００は、まず、視線が特定の方向を向いているか否かを判断する（ステップＳ２１）。この処理は、特定部１３３によって実行される。特定の方向は、人物から情報配信装置１００に向かう方向であってよい。たとえば、視線が所定時間以上継続して情報配信装置１００に向けられている場合、視線が特定の方向を向いていると判断されてよい。所定時間は、たとえば数秒であってよい。視線が特定の方向を向いている場合（ステップＳ２１：ＹＥＳ）、情報配信装置１００は、ステップＳ２２に処理を進める。そうでない場合（ステップＳ２１：ＮＯ）、情報配信装置１００は、ステップＳ２３に処理を進める。
That is, the
ステップＳ２２において、情報配信装置１００は、ユーザリストを作成する。具体的に、先のステップＳ２１において視線が特定の方向を向いているか否かの判断の対象となった人物が、ユーザリストに追加される。ユーザリストは、たとえば記憶部１４０に記憶されてよい。
In step S22, the
ｎ人の人物のそれぞれについて上記ステップＳ２１およびＳ２２の処理が完了した後（ステップＳ２４：ＹＥＳ）、情報配信装置１００は、視線認識処理を完了し、ステップＳ１２（図４）に処理を進める。
After the processes in steps S21 and S22 are completed for each of n persons (step S24: YES), the
ステップＳ１２において、情報配信装置１００は、通知・配信処理を実行する。具体的に、図６を参照して、通知・配信処理について説明する。
In step S12, the
通知・配信処理では、次のステップＳ３０〜Ｓ３４において、情報配信装置１００が、対象者の周囲環境のプライベート性および配信情報の緊急度に基づいて、情報の配信を行う。
In the notification / distribution process, in the next steps S30 to S34, the
まず、情報配信装置１００は、緊急メッセージか否かを判断する（ステップＳ３０）。たとえば、先のステップＳ２で記憶された緊急度が「緊急」の場合には緊急メッセージであると判断され、緊急度が「通常」の場合には緊急メッセージでないと判断される。緊急メッセージの場合（ステップＳ３０：ＹＥＳ）、情報配信装置１００は、ステップＳ３１に処理を進める。そうでない場合（ステップＳ３０：ＮＯ）、情報配信装置１００は、ステップＳ３２に処理を進める。
First, the
ステップＳ３１において、情報配信装置１００は、ユーザに同意を確認する。具体的に、出力部１２０が、配信情報の詳細を通知する旨をユーザに通知し、入力部１１０がユーザの同意を受け付ける。出力部１２０は、たとえば、発音部１２１によって配信情報の詳細を通知してよいかどうかという旨の音声を発してもよいし、表示部１２２によって配信情報の詳細を通知してよいかどうかという旨のメッセージを表示してもよい。また、入力部１１０は、たとえば、集音部１１１によってユーザの音声による応答を受け付けてもよいし、表示部１２２によってユーザのジェスチャーによる応答、瞬きによる応答などを受け付けてもよい。たとえば、ユーザが視線を所定時間以上継続して情報配信装置１００に向けたり、情報配信装置１００に視線を向けて瞬きを行ったりした場合に、配信情報の詳細を通知することにユーザが同意したと判断されてよい。この判断は、たとえば特定部１３３によって行われる。ユーザの同意が確認されると、情報配信装置１００は、ステップＳ３４に処理を進める。なお、一定時間内にユーザからの応答が無い場合、情報配信装置１００は、たとえば、所定時間処理を待機した後再びユーザの同意を確認してもよいし、ステップＳ３２に処理を進めてもよい。
In step S31, the
ステップＳ３２において、情報配信装置１００は、パターン分析を実行する。この処理は、選択部１３４によって実行される。パターン分析は、本人のプライベート性を分析するための処理である。分析パターンは、たとえば、パターン１〜４の４通りに大別される。
In step S32, the
パターン１は、情報配信装置１００の近くに、本人がいるとともに本人の周囲に他人がいる場合である。たとえば、情報配信装置による配信情報を見ることができ、あるいは聞くことができる位置に本人がおよび他人がいる場合、情報配信装置１００の近に本人および他人がいると判断されてよい。パターン２は、情報配信装置１００の近くに他人のみがいる場合である。パターン１およびパターン２は、たとえば取得部１３１によって取得された周囲画像に基づいて判断される。
パターン３は、情報配信装置１００の近くに本人がいるとともに本人の周囲に他人がいる場合であって、他人が周囲画像に含まれていない場合である。パターン３は、たとえば取得部１３１によって取得された周囲音声に基づいて判断される。周囲画像には他人含まれていないが、周囲音声中に他人の音声が検出された場合に、パターン３であると判断し得る。
Pattern 3 is a case where the person is near the
パターン４は、情報配信装置１００の近くに本人のみがいる場合である。パターン４は、たとえば取得部１３１によって取得された周囲画像および周囲音声に基づいて判断される。周囲画像に他人が含まれておらず、周囲音声中にも他人の音声が検出されない場合に、パターン４であると判断し得る。
Pattern 4 is a case where only the person is near the
パターン１〜３の場合、本人の置かれている環境（周囲環境）のプライベート性は低いと判断される。一方、パターン４の場合、周囲環境のプライベート性は高いと判断される。
In the case of
ステップＳ３２の処理が完了した後、情報配信装置１００は、パターン分析の結果が本人のみであるか否かを判断する（ステップＳ３３）。すなわち、パターン分析の結果が、パターン４の、周囲環境のプライベート性が高い（本人のみ）という結果であるか否かが判断される。パターン分析の結果が本人のみの場合（ステップＳ３３：ＹＥＳ）、情報配信装置１００は、ステップＳ３４に処理を進める。そうでない場合（ステップＳ３３：ＮＯ）、すなわち、パターン分析の結果が、パターン１〜３の、周囲環境のプライベート性が低い（本人および他人、または他人のみ）という結果である場合、情報配信装置１００は、ステップＳ３５に処理を進める。
After the process of step S32 is completed, the
なお、周囲音声を利用してパターン分析を行う場合、雑音などの影響により音声の認識が困難な場合には、本人の周囲に他人がいるものと推定されてよい。 When pattern analysis is performed using ambient speech, if speech recognition is difficult due to the influence of noise or the like, it may be estimated that there is another person around the person.
ステップＳ３４において、情報配信装置１００は、詳細情報を通知する。具体的に、配信部１３５が、出力部１２０を用いて、配信情報の詳細を出力する。
In step S34, the
ステップＳ３５において、情報配信装置１００は、メッセージを受信した旨のみを通知する。具体的に、配信部１３５が、出力部１２０を用いて、配信情報の詳細を出力することなく、メッセージを受信した旨を通知する。たとえば表示部１２２による文字表示、アイコン表示、ポップアップ／ダイアログ表示などが行われてもよいし、発音部１２１による音声通知などが行われてよい。
In step S35, the
以上説明した、ステップＳ３３からステップＳ３４に処理が進められる場合には、選択部１３４によって前述の第１のモードが選択され、配信部１３５によって第１のモードを用いて情報が配信されることとなる。ステップＳ３３からステップＳ３５に処理が進められる場合には、選択部１３４によって前述の第２のモードが選択され、配信部１３５によって第２のモードを用いて情報が配信されることとなる。いずれの場合も、その前のステップＳ３０，Ｓ３１の処理、すなわち、緊急メッセージであるか否かという配信情報の緊急度に基づいて、選択部１３４によってモードが選択され、配信部１３５によって情報が配信され得る。ステップＳ３４またはＳ３５の処理が完了した後、情報配信装置１００は、ステップＳ１（図４）に再び処理を戻す。
When the process proceeds from step S33 to step S34 as described above, the
なお、ステップＳ３２のパターン分析の結果が本人および他人、または他人のみがいる場合（ステップＳ３３：ＮＯ）であっても、たとえば、本人の視線によっては、ステップＳ３４に処理が進められてもよい。具体的に、分析結果がパターン１の場合（情報配信装置１００の近くに、本人および他人がいる場合）に、本人の視線が情報配信装置１００の方向に向かっているのであれば、詳細情報が通知されてよい。この場合、本人の視線が情報配信装置１００の方向に向かっているか否かは、たとえば、取得部１３１によって取得された周囲画像に基づいて判断される。また、パターン３の場合（情報配信装置１００の近くに本人および他人がいる場合であって、他人が周囲画像に含まれていない場合）にも、本人の視線が情報配信装置１００の方向に向かっているのであれば、詳細情報が通知されてもよい。この場合、本人の視線が情報配信装置１００の方向に向かっているか否かは、たとえば、取得部１３１によって取得された周囲画像および周囲音声に基づいて判断される。
Even if the result of the pattern analysis in step S32 is that of the person and others or only others (step S33: NO), for example, the process may proceed to step S34 depending on the line of sight of the person. Specifically, when the analysis result is pattern 1 (when the person and others are near the information distribution apparatus 100), if the person's line of sight is directed toward the
次に、情報配信装置１００の作用効果について説明する。情報配信装置１００によれば、情報配信の対象者および周囲画像に含まれる人物に基づいて、配信モードが選択され、情報が配信される（ステップＳ３２〜Ｓ３５）。たとえば、情報配信の対象者（本人）の周囲に他の者（他人）が存在しているか否かといった、本人の置かれている環境（周囲環境）のプライベート性に応じた適切な配信モードを選択し、情報を配信することができる。よって、プライベート性を考慮した情報配信を行うことができる。
Next, the effect of the
配信モードには、第１のモードと第２のモードとが含まれる。第１のモードは、情報を配信するモードである。第２のモードは、情報を配信せず、情報が配信可能である旨を通知するモードである。そして、選択部１３４は、周囲環境のプライベート性に基づいて、配信モードを選択する。具体的に、パターン分析が実行されることによって、本人のプライベート性が分析する。プライベート性が高いと判断されると、第１のモードが選択され、詳細情報が配信される（ステップＳ３３：ＹＥＳ，Ｓ３４）。一方、プライベート性が低いと判断されると、第２のモードが選択され、メッセージを受信した旨のみが通知されるので、詳細情報の配信が保留される（ステップＳ３３：ＮＯ，Ｓ３５）。このようにして、プライベート性を考慮した情報配信が行われる。
The delivery mode includes a first mode and a second mode. The first mode is a mode for distributing information. The second mode is a mode for notifying that information is delivered and notifying that information can be delivered. And the
特定部１３３は、顔認識によって人物を特定し得る（ステップＳ７）。これにより、顔の特徴などに基づいて人物を精度良く特定することができる。
The specifying
選択部１３４は、周囲環境のプライベート性に加えて、情報の緊急度にも基づいて、配信モードを選択し得る（ステップＳ３０〜Ｓ３４）。たとえば、情報の緊急度が比較的高いときには第１のモードが選択され、詳細情報が配信される（ステップＳ３０：ＹＥＳ，Ｓ３１，Ｓ３４）。このようにして、情報の緊急度をも考慮した情報配信を行うことができる。
The
特定部１３３は人物の視線を特定し、配信部１３５は、特定部１３３によって特定された視線が所定時間以上継続して情報配信装置１００に向けられた場合に、情報の配信を開始し得る（ステップＳ３１〜Ｓ３４）。これにより、ユーザは、たとえばハンズフリー状態であっても、情報配信装置に情報の配信を要求することができるようになる。ハンズフリー状態とは、ユーザが情報配信装置１００を操作するための物理的な要素（操作ボタン、タッチパネルなど）に接触していない状態を意味する。
The specifying
以上説明した情報配信装置１００の各機能は、たとえば、コンピュータにおいて情報配信プログラムが実行されることによって実現することもできる。
Each function of the
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.
図７は、変形例に係る情報配信装置の機能ブロックを示す図である。情報配信装置１００Ａは、サーバ２００との協働により、情報配信システム１を構成する。この変形例では、１が本発明に係る情報配信装置に相当する。
FIG. 7 is a diagram illustrating functional blocks of the information distribution apparatus according to the modification. The
図７に示されるように、サーバ２００は、制御部２３０と、記憶部２４０と、通信部２５０とを含む。
As illustrated in FIG. 7, the
制御部２３０は、取得部２３１、決定部２３２、特定部２３３、選択部２３４および配信部２３５を含む。これらの各要素は、先に図１を参照して説明した取得部１３１、決定部１３２、特定部１３３、選択部１３４および配信部１３５と同様の機能を有する。
The
記憶部２４０は、先に図１を参照して説明した記憶部１４０と同様の機能を有する。すなわち、記憶部２４０は、制御部２３０によって実行される処理に必要な種々の情報を記憶する部分であり、たとえば配信情報、ユーザデータ、音響モデル、言語モデル、情報配信プログラムなどを記憶する。
The
通信部２５０は、情報配信装置１００Ａの通信部１５０と通信する部分である。通信部２５０によって、情報配信装置１００Ａとサーバ２００とが通信可能となる。
The
以上の構成により、情報配信システム１は、情報配信装置１００Ａと、サーバ２００との協働により、情報配信を可能とする。すなわち、情報配信システム１では、情報配信装置１００（図１）において情報配信のために実行される処理の一部（とくに制御部１３０によって実行される処理）が、サーバ２００によって実行される。したがって、情報配信装置１００Ａによれば、情報配信装置１００よりも、情報配信装置における処理負担を軽減することができる。
With the above configuration, the
具体的に、情報配信装置１００Ａは、情報配信装置１００と比較して、制御部１３０および記憶部１４０に代えて、制御部１３０Ａおよび記憶部１４０Ａを含む構成とすることができる。
Specifically, the
制御部１３０Ａは、情報配信装置１００Ａの全体制御を行う部分である。ただし、制御部１３０Ａは、制御部１３０と比較して、取得部１３１、決定部１３２、特定部１３３、選択部１３４、配信部１３５を含むことが必須でなく、それによって、制御部１３０Ａの構成は、制御部１３０よりも簡素化することができる。
The
記憶部１４０Ａは、制御部１３０Ａによって実行される処理に必要な種々の情報を記憶する部分であるが、サーバ２００の記憶部２４０と重複するデータの記憶は、記憶部１４０Ａにおいては必須ではない。その分、記憶部１４０Ａの記憶容量を、記憶部１４０の記憶容量よりも小さくするなどして、構成を簡素化することができる。
The
１００，１００Ａ…情報配信装置、１１０…入力部（取得手段）、１１１…集音部（取得手段）、１１２…撮像部（取得手段）、１２０…出力部、１２１…発音部、１２２…表示部、１３０，１３０Ａ，２３０…制御部、１３１,２３１…取得部（取得手段）、１３２，２３２…決定部（決定手段）、１３３，２３３…特定部（特定手段）、１３４，２３４…選択部（選択手段）、１３５，２３５…配信部（配信手段）、１４０，１４０Ａ，２４０…記憶部、１５０，２５０…通信部、２００…サーバ。 DESCRIPTION OF SYMBOLS 100,100A ... Information delivery apparatus, 110 ... Input part (acquisition means), 111 ... Sound collection part (acquisition means), 112 ... Imaging part (acquisition means), 120 ... Output part, 121 ... Sound generation part, 122 ... Display part , 130, 130A, 230 ... control unit, 131, 231 ... acquisition unit (acquisition unit), 132, 232 ... determination unit (determination unit), 133, 233 ... identification unit (identification unit), 134, 234 ... selection unit ( Selection unit), 135, 235... Distribution unit (distribution unit), 140, 140A, 240 ... storage unit, 150, 250 ... communication unit, 200 ... server.
Claims (6)
周囲画像を取得する取得手段と、
前記取得手段によって取得された周囲画像に含まれる人物を特定する特定手段と、
前記決定手段の決定結果および前記特定手段の特定結果に基づいて、情報を配信するための配信モードを選択する選択手段と、
前記選択手段によって選択された配信モードを用いて情報を配信する配信手段と、
を備え、
前記選択手段によって選択される配信モードには、前記情報を配信する第１のモードと、前記情報を配信せず当該情報が配信可能である旨を通知する第２のモードとが含まれ、
前記第２のモードにおける前記配信可能である旨の通知は、文字表示、アイコン表示、ポップアップ表示、ダイアログ表示、及び音声通知の少なくとも一つを含む、情報配信装置。 A determination means for determining a target person of information distribution;
Acquisition means for acquiring a surrounding image;
Specifying means for specifying a person included in the surrounding image acquired by the acquiring means;
Selection means for selecting a distribution mode for distributing information based on the determination result of the determination means and the determination result of the specifying means;
Distribution means for distributing information using the distribution mode selected by the selection means;
Equipped with a,
The distribution mode selected by the selection means includes a first mode for distributing the information and a second mode for notifying that the information can be distributed without distributing the information,
The notification that the distribution is possible in the second mode includes at least one of a character display, an icon display, a pop-up display, a dialog display, and an audio notification .
請求項１に記載の情報配信装置。 The specifying means specifies the person by face recognition;
The information distribution apparatus according to claim 1 .
請求項１又は２に記載の情報配信装置。 The selection means selects the delivery mode based on the personality of the surrounding environment of the subject determined based on the determination result of the determination means and the specification result of the specification means.
The information distribution apparatus according to claim 1 or 2 .
請求項３に記載の情報配信装置。 The selection means selects the delivery mode based on the urgency of the information in addition to the private nature of the surrounding environment.
The information distribution apparatus according to claim 3 .
前記配信手段は、前記緊急度が比較的高いときには、前記決定手段によって決定された対象者の前記特定手段によって特定された視線が、所定時間以上継続して前記情報配信装置に向けられた場合にのみ、前記情報の配信を開始する、
請求項４に記載の情報配信装置。 The specifying means further specifies the line of sight of the person included in the surrounding image acquired by the acquiring means,
The distribution means, when the degree of urgency is relatively high, when the line of sight identified by the identification means of the subject determined by the determination means continues to be directed to the information distribution apparatus for a predetermined time or more. Only start distribution of the information,
The information distribution apparatus according to claim 4 .
情報配信の対象者を決定する決定手段と、
周囲画像を取得する取得手段と、
前記取得手段によって取得された周囲画像に含まれる人物を特定する特定手段と、
前記決定手段の決定結果および前記特定手段の特定結果に基づいて、情報を配信するための配信モードを選択する選択手段と、
前記選択手段によって選択された配信モードを用いて情報を配信する配信手段、
として機能させるための情報配信プログラムであって、
前記選択手段によって選択される配信モードには、前記情報を配信する第１のモードと、前記情報を配信せず当該情報が配信可能である旨を通知する第２のモードとが含まれ、
前記第２のモードにおける前記配信可能である旨の通知は、文字表示、アイコン表示、ポップアップ表示、ダイアログ表示、及び音声通知の少なくとも一つを含む、情報配信プログラム。 A computer provided in the information distribution device,
A determination means for determining a target person of information distribution;
Acquisition means for acquiring a surrounding image;
Specifying means for specifying a person included in the surrounding image acquired by the acquiring means;
Selection means for selecting a distribution mode for distributing information based on the determination result of the determination means and the determination result of the specifying means;
Distribution means for distributing information using the distribution mode selected by the selection means;
An information distribution program to function as,
The distribution mode selected by the selection means includes a first mode for distributing the information and a second mode for notifying that the information can be distributed without distributing the information,
The notification that the distribution is possible in the second mode includes at least one of a character display, an icon display, a pop-up display, a dialog display, and an audio notification .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015184660A JP6496220B2 (en) | 2015-09-18 | 2015-09-18 | Information distribution apparatus and information distribution program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015184660A JP6496220B2 (en) | 2015-09-18 | 2015-09-18 | Information distribution apparatus and information distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017059079A JP2017059079A (en) | 2017-03-23 |
| JP6496220B2 true JP6496220B2 (en) | 2019-04-03 |
Family
ID=58391624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015184660A Expired - Fee Related JP6496220B2 (en) | 2015-09-18 | 2015-09-18 | Information distribution apparatus and information distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6496220B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6971088B2 (en) * | 2017-08-25 | 2021-11-24 | 京セラ株式会社 | Interactive electronics, communication systems, methods, and programs |
| JP6876593B2 (en) * | 2017-11-13 | 2021-05-26 | トヨタホーム株式会社 | Message playback system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009065620A (en) * | 2007-09-10 | 2009-03-26 | Panasonic Corp | Videophone apparatus and call arrival response method of videophone apparatus |
| JP2013164760A (en) * | 2012-02-13 | 2013-08-22 | Sharp Corp | Data output system and portable terminal device |
-
2015
- 2015-09-18 JP JP2015184660A patent/JP6496220B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017059079A (en) | 2017-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102404702B1 (en) | Cross-device hadnoffs | |
| US11462213B2 (en) | Information processing apparatus, information processing method, and program | |
| US9781106B1 (en) | Method for modeling user possession of mobile device for user authentication framework | |
| KR101726945B1 (en) | Reducing the need for manual start/end-pointing and trigger phrases | |
| CN110447232B (en) | Electronic device for determining user emotion and control method thereof | |
| US9456074B2 (en) | System and method of providing voice-message call service | |
| US10673788B2 (en) | Information processing system and information processing method | |
| US10841534B2 (en) | Real-world awareness for virtual reality | |
| KR102193029B1 (en) | Display apparatus and method for performing videotelephony using the same | |
| WO2019107145A1 (en) | Information processing device and information processing method | |
| EP3419020B1 (en) | Information processing device, information processing method and program | |
| JP6305883B2 (en) | Notification device, output device, information notification system, control method of notification device, and control program | |
| CN113168227A (en) | Method of performing function of electronic device and electronic device using the same | |
| US10368112B2 (en) | Technologies for immersive user sensory experience sharing | |
| JP2006260275A (en) | Content management system, display control device, display control method and display control program | |
| JP6891601B2 (en) | Robot control programs, robot devices, and robot control methods | |
| US20210105437A1 (en) | Information processing device, information processing method, and storage medium | |
| CN112154412A (en) | Providing audio information with a digital assistant | |
| CN110945473A (en) | Information processing apparatus, information processing method, and computer program | |
| JP6973380B2 (en) | Information processing device and information processing method | |
| JP6496220B2 (en) | Information distribution apparatus and information distribution program | |
| WO2016206646A1 (en) | Method and system for urging machine device to generate action | |
| CN110543290B (en) | Multimodal response | |
| JP6950708B2 (en) | Information processing equipment, information processing methods, and information processing systems | |
| US10296723B2 (en) | Managing companionship data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190308 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6496220 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |