以下、本発明による番組出力装置等の実施形態について、図面を参照して説明する。
なお、実施の形態において、同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、本実施の形態において、説明する各種の情報の形式、内容などは、あくまで例示であり、形式、内容は問わない。
(実施の形態1)
図1は、実施の形態1における番組出力装置1Aのブロック図である。
番組出力装置1Aは、テレビジョン放送やIP放送などによって放送される番組を受信してディスプレイとスピーカーに出力する。番組出力装置1Aには、例えば、デジタルテレビ受信機や、パソコンや、ハードディスクレコーダーや、プルーレイディスク・レコーダーなどが含まれる。
番組出力装置1Aは、番組受信部101、絵文字識別情報受信部102、絵文字情報取得部103、絵文字情報格納部104および出力部105を備える。
番組受信部101は、番組を受信する。番組は、通常、番組のコンテンツを示す映像と音声を含む。番組が、例えば、二ヶ国語放送などのような字幕付き番組の場合や手話映像が付加されている場合は、映像および音声に対応付けられた字幕や手話映像などを番組のコンテンツの要素に含んでもよい。
絵文字識別情報受信部102は、放送局などから送信される絵文字識別情報を受信する。絵文字識別情報は、予め作成された複数の絵文字を識別するための各絵文字固有の情報である。絵文字識別情報は、通常、絵文字に付与されたID番号などの絵文字識別子であるが、絵文字に固有の名称などであってもよい。
番組受信部101と絵文字識別情報受信部102は、通常、無線または有線の通信手段で実現されるが、放送受信手段で実現しても良い。番組受信部101と絵文字識別情報受信部102は、同一媒体から無線または有線の通信手段で番組と絵文字識別情報をそれぞれ受信しても良いし、異なる媒体から無線で番組と絵文字識別情報とをそれぞれ受信しても良い。
番組受信部101が受信する番組と絵文字識別情報受信部102が受信する絵文字識別情報とのデータ構造は問わない。例えば、番組がデジタル放送される場合、絵文字識別情報は、番組の映像または音声に埋め込まれていても良いし、番組の映像および音声に多重化されるデータに含まれていても良い。例えば、絵文字識別情報は、データに含まれる番組関連情報に含まれていても良い。
なお、絵文字識別情報が番組の映像、音声またはデータに埋め込まれている場合は、番組受信部101が絵文字識別情報受信部102として機能し、番組受信部101が放送波を受信することによって番組と絵文字識別情報の両方を受信することになる。従って、番組受信部101と絵文字識別情報受信部102は、番組受信部101が絵文字識別情報受信部102を兼用する構成でも良く、互いに独立した構成でも良い。
番組受信部101は、通常、番組出力装置1Aの電源がONになっている間、図示省略のチャネル番号格納部に格納されているチャネル番号で放送されている番組を受信している。また、絵文字識別情報受信部102は、同チャネル番号で送信される絵文字識別情報を受信する。チャネル番号格納部には、視聴者がリモコンを操作して受信チャネルのチャネル番号を設定する毎に、設定されたチャネル番号が格納される。従って、番組受信部101は、視聴者が設定した最新のチャネル番号で放送されている番組を受信し、絵文字識別情報受信部102は、当該チャネル番号で送信される絵文字識別情報を受信する。
絵文字情報取得部103は、絵文字識別情報受信部102が受信した絵文字識別情報に対応する1または2以上の絵文字情報を絵文字情報格納部104から取得する。
絵文字情報格納部104は、1または2以上の絵文字に関する絵文字情報を絵文字識別情報に対応付けて格納している。絵文字情報格納部104は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも良い。絵文字情報格納部104に絵文字情報が格納される過程は問わない。例えば、記録媒体を介して絵文字情報が絵文字情報格納部104に格納されてもよい。また、通信回線等を介して送信された絵文字情報が絵文字情報格納部104に格納されてもよい。あるいは、入力デバイスを介して入力された絵文字情報が絵文字情報格納部104に格納されてもよい。
絵文字情報格納部104が格納している絵文字情報は、例えば、災害発生時に災害の種類と災害の規模(若しくはレベル)やその災害に対する対処の緊急度合いを視聴者に報知する絵文字情報や、悲報、朗報などの人間の感情に関連した報道内容の種類を表す絵文字情報などである。例えば、台風、地震、津波などの災害が発生した場合、その災害発生は、例えば、番組表に基づいて放送されている番組(以下、この種の番組を「通常の番組」という。)を緊急放送に切り替えて視聴者に報道されたり、通常の番組に字幕などのニュース速報を重畳させて視聴者に報道されたりする。また、災害発生以外でも、国民に対して速報性を要する出来事が生じた場合は、そのニュースが緊急放送やニュース速報によって視聴者に報道される。
絵文字情報格納部104が格納している絵文字情報は、緊急放送やニュース速報が行われる場合に、災害の種類や緊急度合いなどの情報を直感的に視聴者に伝達したり、速報される出来事の朗報、悲報などの種類を直感的に視聴者に伝達したりするために用いられる絵文字の情報である。
災害に対する対処の緊急度合いとしては、例えば、避難所や安全な場所への避難の緊急性の度合いや防災準備の緊急性の度合いなどが含まれる。通常、災害の規模が大きいほど、その災害に対する対処の緊急性が高くなるので、災害の規模やレベルを示す情報は、緊急度合いを示す情報として視聴者に伝達される。
災害発生などの緊急放送に対する絵文字は、例えば、図2に示すように、災害をデザインした絵柄と避難や防災の行動を促す絵柄や記号とで構成される。なお、図2に示す絵文字の例は、地震発生を報知する絵文字で、ビルの建物が揺れている絵柄と地震のレベル(避難の緊急度合い)を示す数値(図2では「1」)とを組み合わせた構成となっている。
災害のレベルの表現としては、例えば、災害の種類を示す絵柄に災害のレベルを示す数値を組み合わせたり、災害の種類を示す絵柄の色を災害のレベルに応じて変化させたり、災害の種類を示す絵柄の内容や大きさを災害のレベルに応じて変化させたりする方法が含まれる。
災害の種類を示す絵柄に数値を組み合わせる場合、通常、災害のレベルが高くなるのに応じて高いレベル値が組み合わされる。また、災害の種類を示す絵柄の色を変化させる場合、通常、絵柄の色は、災害のレベルが高くなるのに応じて危険色系(例えば、赤色系)の色に変化させる。また、災害の種類を示す絵柄の大きさを変化させる場合、通常、災害のレベルが高くなるのに応じて絵柄の大きさが大きくなるように変化させる。
また、人間の感情に関連した報道内容の種類を表す絵文字としては、例えば、図3に示すように、人間の感情を顔の表情などで象徴的に表現した絵柄で構成される。なお、図3に示す絵文字は、人間の笑い顔を表現した絵文字で、例えば、ニュース速報が朗報を伝える内容の場合に使用される絵文字の例である。
絵文字に関する絵文字情報は、例えば、出力部105が絵文字を出力するための情報である。絵文字のデータ構造は問わない。絵文字像のデータ構造は、ビットマップデータ形式でもよく、ベクターデータ形式でもよく、外字のデータ形式でもよい。
絵文字情報格納部104に格納されている1または2以上の絵文字情報は、絵文字コード表の形式で格納されている。絵文字情報は、絵文字コードと絵文字の画像で構成される。絵文字コードは、通常、絵文字の絵文字識別情報として使用される。なお、絵文字に絵文字コードとは異なる絵文字識別子(絵文字ID)を付与し、その絵文字識別子を絵文字コードに変換する構成にしてもよい。
絵文字コードは、絵文字コード表における絵文字の位置を行番号(コード表の横方向(行方向)の番号)と列番号(コード表の縦方向(列方向)の番号)を組み合わせた番号で表したものである。例えば、行番号がX0,X1,X2,…で表され、列番号がY0,Y1,Y2,…表される場合、Xn(n=0,1,2,…)の行とYm(m=0,1,2,…)の列が交叉する位置に割り当てられた絵文字の絵文字コードは「XnYm」で表される。
絵文字情報取得部103は、絵文字識別情報受信部102が受信した絵文字識別情報を用いて、絵文字情報格納部104を検索し、当該絵文字識別情報に対応付けられた絵文字情報を取得する。例えば、絵文字識別情報が絵文字コードである場合、絵文字情報取得部103は、絵文字識別情報受信部102が受信した絵文字コードを有する絵文字情報を絵文字情報格納部104から取得する。
絵文字情報取得部103は、通常、MPUやメモリ等から実現され得る。絵文字情報取得部103の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、絵文字情報取得部103をハードウェア(専用回路)で実現しても良い。
出力部105は、番組受信部101が受信した番組を出力する。また、出力部105は、絵文字情報取得部103が取得した絵文字情報を用いて、番組受信部101が受信した番組とともに絵文字を出力する。出力部105は、通常、番組の映像に重畳して絵文字情報(絵文字の画像)を番組出力装置1Aのディスプレイに出力する。
出力部105は、絵文字情報取得部103が絵文字情報格納部104から絵文字情報を取得した場合、例えば、図4に示すように、その絵文字情報によって絵文字を番組の映像に重畳してディスプレイの所定の位置に出力する。絵文字情報取得部103が絵文字情報格納部104から複数個の絵文字情報を取得する場合、出力部105が複数の絵文字を出力する方法は問わない。例えば、出力部105は、絵文字情報取得部103が絵文字情報を取得する毎にその絵文字情報に対応する絵文字を順番に出力しても良く、絵文字情報取得部103が全ての絵文字情報を取得した後、全ての絵文字情報に対応する絵文字を一括して出力しても良い。
絵文字を番組の映像に重畳する技術としては、例えば、スーパーインポーズなど周知の技術を用いることができる。
なお、出力部105は、番組の映像に絵文字を重畳して出力しても良く、番組の映像とは別の領域に絵文字を出力しても良い。また、絵文字は、番組の最初に一時的に出力しても良く、番組中に連続して出力しても良い。
また、番組と絵文字の出力処理は、ディスプレイへの出力(画像表示)だけでなく、例えば、プロジェクターを用いた投影、プリンタでの印字、他の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどの処理であってもよい。
他の処理装置としては、例えば、携帯電話、スマートフォンなどのように、画像を出力することができる装置が含まれる。従って、出力部105は、絵文字を番組出力装置1Aとは異なる、携帯電話やスマートフォンのような携帯端末のディプレイに出力するようにしても良い。なお、送信、蓄積、処理結果の引渡しの処理については、出力対象が最終的に視聴者に提示されるものとする。
従って、出力部105は、ディスプレイ等の出力デバイスを含むと考えても良く、含まないと考えても良い。出力部105は、出力デバイスのドライバーソフト、または、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、番組出力装置1Aの番組と絵文字の出力動作について、図5のフローチャートを用いて説明する。
(ステップS501)番組受信部101は、電源がONになったか否かを判断する。電源がONになると(S501:Y)、ステップS502に進み、電源がOFF状態であれば(S501:N)、ステップS501に戻る。
(ステップS502)番組受信部101は、チャネル番号格納部に格納されているチャネル番号で放送される番組を受信する。出力部105は、番組受信部101が受信し、復調した番組の映像をフレーム単位でディスプレイに表示し、番組の音声をスピーカーから出力する。
(ステップS503)絵文字識別情報受信部102は、絵文字識別情報を受信したか否かを判断する。絵文字識別情報受信部102が絵文字識別情報を受信すると(S503:Y)、ステップS504に進み、絵文字識別情報受信部102が絵文字識別情報を受信しなければ(S503:N)、ステップS506に進む。
(ステップS504)絵文字情報取得部103は、絵文字識別情報受信部102が受信した絵文字識別情報を用いて絵文字情報格納部104を検索し、当該絵文字識別情報に対応付けられた絵文字情報を取得する。
(ステップS505)出力部105は、絵文字情報取得部103が受信した絵文字情報を用いて絵文字を出力する。出力部105は、例えば、番組の映像が出力されている番組出力装置1Aのディスプレイに当該番組に重畳して絵文字を出力する。
(ステップS506)番組受信部101は、電源がOFFになったか否かを判断する。電源がOFFになっていないときは(S506:N)、ステップS502に戻り、電源がOFFになったときは(S506:Y)、番組と絵文字の出力処理を終了する。
図5の処理手順では、絵文字識別情報受信部102が絵文字識別情報を受信すると、出力部105が絵文字識別情報の受信期間に当該絵文字識別情報を有する絵文字情報を用いて番組とともに絵文字を出力する。この処理に対して、出力部105は、絵文字識別情報の受信開始から所定の時間だけ番組とともに絵文字を出力するようにしてもよい。
(具体例1)
次に、番組出力装置1Aにおける番組と絵文字の出力動作の具体例について説明する。
具体例1は、災害などの安全に関する重大な出来事を緊急放送やニュース速報で視聴者に報道する場合に絵文字によって災害の種類や緊急度合いのレベルを視聴者に直感的に伝達する場合の例である。
具体例1では、1または2以上の絵文字情報が、例えば、図6に示す絵文字コード表の形式で絵文字情報格納部104に格納されているものとする。図6に示す絵文字情報は、災害発生時に災害の内容や緊急レベルを視聴者に報知する場合の絵文字情報の例である。
図6では、地震発生を報知する3種類の絵文字PGA1,PGA2,PGA3と、津波発生を報知する3種類の絵文字PGB1,PGB2,PGB3と、噴火発生を報知する3種類の絵文字PGC1,PGC2,PGC3とを示している。絵文字PGAn,PGBn,PGCn(n=1,2,3)は、災害の種類を示す絵柄と災害の規模(緊急度合いのレベル)を示す数値を組み合わせて構成されている。絵文字PGAn,PGBn,PGCnの画像は、例えば、ビットマップデータ形式で作成されている。
X0,X1,X2,…は、絵文字コード表の行番号であり、Y0,Y1,Y2,…は、絵文字コード表の列番号である。行番号Xi(i=0,1,…n)と列番号Yj(j=0,1,…m)を組み合わせた絵文字コード「XiYj」は、Xiの行とYjの列が交叉する位置に割り当てられた絵文字の絵文字コードである。
従って、地震発生を報知する3種類の絵文字PGA1,PGA2,PGA3は、それぞれ絵文字コードX0Y0、絵文字コードX0Y1、絵文字コードX0Y2に割り当てられ、津波発生を報知する3種類の絵文字PGB1,PGB2,PGB3は、それぞれ絵文字コードX1Y0、絵文字コードX1Y1、絵文字コードX1Y2に割り当てられ、噴火発生を報知する3種類の絵文字PGC1,PGC2,PGC3は、それぞれ絵文字コードX2Y0、絵文字コードX2Y1、絵文字コードX2Y2に割り当てられている。
本具体例1では、絵文字コードが絵文字の絵文字識別情報となっている。従って、絵文字情報格納部104には、PGA1〜PGA3,PGB1〜PGB3,PGC1〜PGC3,…の各絵文字が、図7に示すように、絵文字識別情報(絵文字コード)に対応付けて格納されている。
次に、番組出力装置1Aで通常の番組を受信中に、例えば、地震が発生し、その報道が緊急放送や字幕などによるニュース速報で行なわれる場合の絵文字の出力処理について、説明する。
番組受信部101が通常の番組を受信しているときには、出力部104は、番組受信部101が受信した番組の映像を番組出力装置1Aのディスプレイに出力し、番組の音声をスピーカーから出力している。このときには、絵文字識別情報受信部102が絵文字識別情報を受信しないので、番組出力装置1Aのディスプレイには絵文字は出力されない。
通常の放送中に地震が発生し、例えば、その放送が地震発生を報道する緊急放送に切り換えられた場合、番組受信部101は、その緊急放送を受信し、出力部105は、受信した緊急放送の映像を番組出力装置1Aのディスプレイに出力し、緊急放送の音声をスピーカーから出力する。また、例えば、通常の番組に地震発生のニュース速報の字幕が付加された場合、出力部105は、番組受信部101が受信したニュース速報の字幕付きの映像を番組出力装置1のディスプレイに出力する。
放送局は、地震発生の緊急放送やニュース速報を行う際、地震発生に対応する絵文字の絵文字識別情報を送信するので、絵文字識別情報受信部102はその絵文字識別情報を受信する。例えば、放送局は、絵文字PGA1,PGA2,PGA3のいずれかの絵文字識別情報(絵文字コード)を送信し、絵文字識別情報受信部102がその絵文字識別情報を受信する。
絵文字識別情報受信部102が地震発生に対応する絵文字PGA1,PGA2,PGA3のいずれかの絵文字識別情報を受信すると、絵文字情報取得部103が絵文字情報格納部104からその絵文字識別情報に対応付けられた絵文字情報を取得する。
例えば、絵文字識別情報受信部102が受信した絵文字識別情報が絵文字コード「X0Y0」であった場合、絵文字情報取得部103は絵文字情報格納部104から絵文字コード「X0Y0」に対応付けられた絵文字情報(緊急度合いのレベル値「2」と建物が揺れている絵柄とを組み合わせた絵文字PGA1の画像情報)(図6,図7参照)を取得する。
そして、出力部105は、例えば、緊急放送の場合、図4に示す表示態様で、絵文字情報取得部103が取得した絵文字PGA1の画像を地震発生の緊急放送の映像に重畳してディスプレイに出力する。
放送局は、通常、緊急放送中は絵文字識別情報(絵文字コード「X0Y0」)を送信するので、番組受信部101が緊急放送を受信している間は絵文字識別情報受信部102もその絵文字識別情報を受信し、番組出力装置1Aのディスプレイには、当該絵文字識別情報(絵文字コード「X0Y0」)を有する絵文字PGA1が緊急放送の映像に重畳して出力される。
緊急放送中に緊急度合いが変化し、放送局から当初の絵文字識別情報とは異なる絵文字識別情報が送信されると、絵文字識別情報受信部102が受信する絵文字識別情報が変化するので、出力部105は、変化後の絵文字識別情報を有する絵文字を緊急放送の映像に重畳して出力する。
例えば、緊急放送中に、絵文字識別情報受信部102が受信した絵文字コードが絵文字コード「X0Y1」に変化すると、絵文字情報取得部103は絵文字情報格納部104から絵文字コード「X0Y1」を有する絵文字情報(緊急度合いのレベル値「2」と建物が大きく揺れている絵柄とを組み合わせた絵文字PGA2の画像情報)を取得する。そして、出力部105は、ディスプレイに緊急放送に重畳して出力している絵文字PGA1を絵文字PGA2に切り換える。
地震発生がニュース速報の字幕などで報知される場合も上述した緊急放送の場合と同様の処理が行われる。すなわち、絵文字識別情報受信部102が絵文字識別情報(絵文字コード)をすると、絵文字情報取得部103が絵文字情報格納部104からその絵文字識別情報(絵文字コード)に対応付けられた絵文字情報(絵文字PGAnの画像情報)を取得し、出力部105がその絵文字情報を番組の映像とニュース速報の字幕に重畳して出力する。
以上のように、具体例1によれば、番組受信部101が受信している番組が、例えば、地震発生の緊急放送に切り換えられたり、字幕によるニュース速報が行なわれたりした場合、絵文字識別情報受信部102と絵文字情報取得部103とによって、放送局から送信される絵文字識別情報に対応付けられた絵文字情報(地震発生を示す絵文字PGAnの画像情報)を取得し、その絵文字情報を番組の映像に重畳して出力する。これにより、絵文字PGAnによって緊急放送やニュース速報が地震発生の報知であることを視聴者に直感的に伝達することができる。
また、絵文字PGAnには、地震の規模や緊急度合いなどを示す情報が含まれているので、地震発生の該当地域の視聴者に対して避難や防災などの緊急性を直感的に伝達することができる。
なお、上記具体例1では、絵文字情報を緊急放送中やニュース速報中に常時出力しているが、例えば、緊急度合いが低い場合などでは、緊急放送やニュース速報の開始から所定の時間だけ絵文字を出力させるようにしてもよい。
また、上記具体例1では、緊急放送やニュース速報の例として地震発生の場合について説明したが、津波、噴火、山火事、雪崩、山崩れなどの他の災害発生の場合についても同様である。また、緊急放送やニュース速報の種類は災害に限られるものではなく、政変、事変、テロ発生などの他の種類の出来事の緊急放送やニュース速報であってもよい。
(具体例2)
具体例1は、災害などの安全に関する重大な出来事を緊急放送やニュース速報で視聴者に報道する場合に絵文字によって災害の種類やレベルを視聴者に直感的に伝達する場合の例だったが、具体例2は、視聴者の関心が高く、かつ、速報性の高い出来事を緊急放送やニュース速報で視聴者に報道する場合にその出来事の人の感情に関連した種類(例えば、朗報、悲報などの種類)を絵文字によって視聴者に直感的に伝達する場合の例である。
具体例2では、1または2以上の絵文字情報が、例えば、図8に示す絵文字コード表の形式で絵文字情報格納部104に格納されているものとする。図8は、図6に対して、絵文字と絵文字コードの内容が異なる。図8に示す絵文字情報は、人の顔の喜んでいる表情や泣いている表情などを象徴的に表現した絵柄で人の感情を表す絵文字を構成したものである。
図8では、人が喜んでいる表情の絵文字PGD、人が怒っている表情の絵文字PGE、人が哀しんでいる表情の絵文字PGF、人が楽しんでいる表情の絵文字PGGの4種類を示しているが、人間の感情を表す絵文字はこれらに限定されない。例えば、恐れ、不安、迷惑、困窮などの他の種類の感情を表す絵文字を絵文字コード表に適宜、登録してもよい。
図8において、x0,x1,…は、絵文字コード表の行番号であり、y0,y1,…は、絵文字コード表の列番号である。行番号xi(i=0,1,…n)と列番号yj(i=0,1,…m)を組み合わせた絵文字コード「xiyj」は、xiの行とyjの列が交叉する位置に割り当てられた絵文字の絵文字コードである。4種類の絵文字PGD,PGE,PGF,PGGはそれぞれ絵文字コード「x0y0」、「x0y1」、「x1y0」、「x1y1」に割り当てられている。
具体例2でも、絵文字コードが絵文字の絵文字識別情報となっている。従って、絵文字情報格納部104には、PGD,PGE,PGF,PGGの各絵文字が、図9に示すように、絵文字識別情報(絵文字コード)に対応付けて格納されている。
次に、番組出力装置1Aで番組を受信中に、例えば、視聴者の関心が高く、速報性の高い出来事が発生し、その出来事が、例えば、ニュース速報で報道される場合の絵文字の出力処理について、説明する。
出来事が生じていない状態では、放送局は、番組表に基づいて通常の番組を放送し、絵文字識別情報は送信しないので、絵文字識別情報受信部102は絵文字識別情報を受信しない。従って、出来事が生じていない状態では、出力部105は、番組出力装置1Aのディスプレイには絵文字を出力しない。
番組の放送中に、例えば、日本チームがオリンピックなどの世界大会で優勝したなどの出来事があり、放送局がその出来事を字幕などでニュース速報を行う場合、放送局は、その出来事の人の感情に関連した絵文字の絵文字識別情報を送信する。例えば、出来事が上記の日本チームがオリンピックなどの世界大会で優勝した内容である場合、その出来事は嬉しい出来事であるので、放送局は、朗報に対応する絵文字の絵文字識別情報を送信する。一方、出来事が、例えば、著名人の急逝の場合、その出来事は悲しい内容であるので、放送局は悲報に対応する絵文字の絵文字識別情報を送信する。
放送局が絵文字識別情報を送信すると、絵文字識別情報受信部102はその絵文字識別情報を受信する。例えば、番組の放送中に日本チームが世界大会で優勝したという出来事が発生し、放送局が朗報を示す絵文字PGDに付与された絵文字識情報(絵文字コード「x0y0」)を送信すると、絵文字識別情報受信部102がその絵文字識別情報(絵文字コード「x0y0」)を受信する。
絵文字識別情報受信部102が絵文字コード「x0y0」を受信すると、絵文字情報取得部103が絵文字情報格納部104からその絵文字コード「x0y0」に対応付けられた絵文字(人が笑っている顔の絵文字PGDの画像)(図8,図9参照)を取得する。そして、出力部105は、例えば、図10に示す表示態様で、絵文字情報取得部103が取得した絵文字PGDの画像をニュー速報の字幕とともに番組の映像に重畳してディスプレイに出力する。
放送局は、通常、ニュース速報中は絵文字識別情報を送信するので、出力部105がニュース速報を出力している間は絵文字識別情報受信部102も絵文字識別情報を受信し、番組出力装置1Aのディスプレイには、当該絵文字識別情報を有する絵文字がニュース速報の字幕とともに通常の番組の映像に重畳して出力される。
なお、上記の具体例2では、速報性の高い出来事をニュース速報で報道する場合の絵文字情報の出力について説明したが、速報性の高い出来事を通常の番組から緊急放送に切り換えて報道する場合も同様の出力処理をすることによって絵文字を緊急放送の映像に重畳して出力することができる。
以上のように、具体例2によれば、国民の関心が高く、速報性の高い出来事をニュース速報や緊急放送によって報道する場合、その出来事の種類に応じた人間の感情を表す絵文字を番組の映像に重畳して出力するので、当該絵文字によって報道内容の感情的なニュアンスを視聴者に直感的に伝達することができる。
なお、上記具体例2でも絵文字をニュース速報中若しくは緊急放送中に常時出力しているが、ニュース速報若しくは緊急放送の開始から所定の時間だけ絵文字を出力させるようにしてもよい。
以上のように、実施の形態1によれば、緊急放送やニュース速報によって報道される出来事が災害発生などの国民の安全に関連した重大な出来事の場合、災害内容や緊急度合いのレベルなどを絵文字によって視聴者に直感的に伝達することができる。
また、緊急放送やニュース速報によって報道される出来事が視聴者の関心が高く、且つ、速報性が高い出来事の場合、その出来事の人の感情に関連した種類(例えば、朗報、悲報などの種類)を絵文字によって視聴者に直感的に伝達することができる。
(実施の形態2)
図11は、実施の形態2における番組出力装置1Bとサーバ2Aを具備する番組システムのブロック図である。
実施の形態2は、絵文字情報が格納された絵文字情報格納部201を備えたサーバ2Aに番組出力装置1Bを通信可能に接続し、当該サーバ2Aから番組出力装置1Bの要求に応じて絵文字識別情報に対応した絵文字情報を番組出力装置1Bに提供する構成である。番組出力装置1Bとサーバ2Aは、例えば、インターネット回線網3に接続され、相互に通信可能になっている。
図11に示す番組出力装置1Bは、図1に示す実施の形態1の番組出力装置1Aにおいて、絵文字情報取得部103と絵文字情報格納部104を削除し、絵文字情報送信指示送信部106と絵文字情報受信部107を追加した構成である。
番組出力装置1B内の番組受信部101、絵文字識別情報受信部102および出力部105は、実施の形態1で説明した番組受信部101、絵文字識別情報受信部102および出力部105と基本的に同一の動作をするので、重複する構成の説明は省略し、異なる構成について説明する。
絵文字情報送信指示送信部106は、絵文字識別情報受信部102が受信した絵文字識別情報を有する絵文字識別情報送信指示をサーバ2Aに送信する。絵文字識別情報送信指示は、サーバ2Aに対して絵文字識別情報に対応付けられた1または2以上の絵文字情報を番組出力装置1Bに送信することの指示である。
絵文字情報受信部107は、絵文字識別情報送信指示に応じて、サーバ2Aから送信される絵文字識別情報に対応付けられた1または2以上の絵文字情報を受信する。出力部105は、絵文字情報受信部107が受信した絵文字情報を用いて、番組受信部101が受信した番組とともに絵文字を出力する。出力部105は、通常、番組の映像に重畳して絵文字(絵文字の画像)を番組出力装置1Aのディスプレイに出力する。
絵文字情報送信指示送信部106は、通常、無線または有線の通信手段で実現されるが、放送送信手段で実現しても良い。また、絵文字情報受信部107は、通常、無線または有線の通信手段で実現されるが、放送受信手段で実現しても良い。
サーバ2Aは、絵文字情報格納部201、絵文字情報送信指示受信部202、絵文字情報取得部203および絵文字情報送信部204を備える。
絵文字情報格納部201は、1または2以上の絵文字に関する絵文字情報を絵文字識別情報に対応付けて格納している。絵文字情報格納部201は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも良い。絵文字情報格納部201に絵文字情報が格納される過程は問わない。例えば、記録媒体を介して絵文字情報が絵文字情報格納部201に格納されてもよい。また、通信回線等を介して送信された絵文字情報が絵文字情報格納部201に格納されてもよい。あるいは、入力デバイスを介して入力された絵文字情報が絵文字情報格納部201に格納されてもよい。
絵文字情報格納部201には、例えば、上述した実施の形態1の番組出力装置1Aの絵文字情報格納部104に格納されている絵文字情報と同様の絵文字情報が格納されている。すなわち、絵文字情報格納部201には、例えば、災害発生時に災害の種類と災害の規模(若しくはレベル)やその災害に対する対処の緊急度合いを視聴者に報知する絵文字情報や、悲報、朗報などの人間の感情に関連した報道内容の種類を表す絵文字情報などが格納されている。
具体的には、絵文字情報格納部201は、災害発生などに関連した1または2以上の絵文字情報が、例えば、図6に示す絵文字コード表の形式で格納され、例えば、視聴者の関心が高く、かつ、速報性の高い出来事に関連した1または2以上の絵文字情報が、図8に示す絵文字コード表の形式で格納されている。
絵文字情報格納部201は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。絵文字情報格納部201に絵文字情報が記憶される過程は問わない。例えば、記録媒体を介して絵文字情報が絵文字情報格納部201で記憶されてもよい。また、通信回線等を介して送信された絵文字情報が絵文字情報格納部201で記憶されてもよい。あるいは、入力デバイスを介して入力された絵文字情報が絵文字情報格納部201で記憶されてもよい。
絵文字情報送信指示受信部202は、番組出力装置1Bから絵文字情報を有する絵文字情報送信指示を受信する。絵文字情報送信指示受信部202は、通常、無線または有線の通信手段で実現されるが、放送受信手段で実現しても良い。
絵文字情報取得部203は、絵文字情報送信指示受信部202が受信した絵文字情報送信指示に含まれる絵文字識別情報に対応付けられた絵文字情報を絵文字情報格納部201から取得する。絵文字情報取得部203は、通常、MPUやメモリ等から実現され得る。絵文字情報取得部203の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、絵文字情報取得部203をハードウェア(専用回路)で実現しても良い。
絵文字情報送信部204は、絵文字情報取得部203が取得した絵文字情報を番組出力装置1Bに送信する。絵文字情報送信部204は、通常、無線または有線の通信手段で実現されるが、放送送信手段で実現しても良い。
次に、番組出力装置1Bの番組と絵文字の出力動作について、図12のフローチャートを用いて説明する。
図12に示すフローチャートは、図5に示すフローチャートにおいて、ステップS504の処理を、ステップS504−1とステップS504−2の処理に置き換えたものである。ステップS504−1は、番組出力装置1Bからサーバ2Aに絵文字情報送信指示を送信する処理であり、ステップS504−2は、絵文字情報送信指示に応じてサーバ2Aから送信される絵文字情報を受信する処理である。以下、番組出力装置1Bの番組と絵文字情報の出力動作を説明する。
(ステップS501)番組受信部101は、電源がONになったか否かを判断する。電源がONになると(S501:Y)、ステップS502に進み、電源がOFF状態であれば(S501:N)、ステップS501に戻る。
(ステップS502)番組受信部101は、チャネル番号格納部に格納されているチャネル番号で放送される番組を受信する。出力部105は、番組受信部101が受信し、復調した番組の映像をフレーム単位でディスプレイに表示し、番組の音声をスピーカーから出力する。
(ステップS503)絵文字識別情報受信部102は、絵文字識別情報を受信したか否かを判断する。絵文字識別情報受信部102が絵文字識別情報を受信すると(S503:Y)、ステップS504−1に進み、絵文字識別情報受信部102が絵文字識別情報を受信しなければ(S503:N)、ステップS506に進む。
(ステップS504−1)絵文字情報送信指示送信部106は、絵文字識別情報受信部102が受信した絵文字識別情報を含む絵文字情報送信指示をサーバ2Aに送信する。
(ステップS504−2)絵文字情報受信部107は、絵文字情報送信指示送信部106による絵文字情報送信指示に応じてサーバ2Aから送信される絵文字情報を受信する。
(ステップS505)出力部105は、絵文字情報受信部107が受信した絵文字情報を用いて絵文字を出力する。出力部105は、例えば、番組の映像が出力されている番組出力装置1Bのディスプレイに当該番組に重畳して絵文字情報を出力する。
(ステップS506)番組受信部101は、電源がOFFになったか否かを判断する。電源がOFFになっていないときは(S506:N)、ステップS502に戻り、電源がOFFになったときは(S506:Y)、番組と絵文字の出力処理を終了する。
図12の処理手順では、絵文字識別情報受信部102が絵文字識別情報を受信すると、出力部105が絵文字識別情報の受信期間に絵文字を番組とともに出力する。この処理に対して、出力部105は、絵文字識別情報の受信開始から所定の時間だけ絵文字を番組とともに出力するようにしてもよい。
次に、サーバ2Aの絵文字情報の送信制御の動作について、図13のフローチャートを用いて説明する。
(ステップS1301)絵文字情報送信指示受信部202は、番組出力装置1Cから絵文字情報送信指示があるか否かを監視しており(ステップS1301のループ処理)、絵文字情報送信指示受信部202が番組出力装置1Cから絵文字情報送信指示を受信すると(ステップS1301:Y)、ステップS1302に進む。
(ステップS1302)絵文字情報送信指示受信部202は、絵文字情報格納部201から絵文字情報送信指示受信部202が受信した絵文字情報送信指示に含まれる絵文字識別情報(絵文字コード)に対応する絵文字情報を絵文字情報格納部201から取得する。
(ステップS1303)絵文字情報送信部204は、絵文字情報取得部203が取得した絵文字情報を番組出力装置1Cに送信し、ステップS1301に戻る。
(具体例3)
次に、番組出力装置1Bにおける番組と絵文字の出力動作の具体例について説明する。
具体例3は、実施の形態1の具体例1と同様に、災害などの完全に関する重大な出来事を緊急放送やニュース速報で視聴者に報道する場合に絵文字によって災害の種類やレベルを視聴者に直感的に伝達する場合の例である。
従って、具体例3では、サーバ2Aの絵文字情報格納部201に、1または2以上の絵文字情報が、例えば、図6に示す絵文字コード表の形式で格納されている。
実施の形態2の番組出力装置1Bでは、番組出力装置1Bの番組受信部101が通常の番組を受信しているときに、例えば、その番組中に発生した地震の報道が、例えば、緊急放送で行われる場合、番組受信部101は、その緊急放送を受信し、出力部105は、受信した緊急放送の映像を番組出力装置1Bのディスプレイに出力する。これにより、番組出力装置1Bのディスプレイに表示される番組の映像は、緊急放送の映像に切り換えられる。
また、絵文字識別情報受信部102は、放送局から送信される地震発生に対応する絵文字識別情報を受信する。絵文字識別情報受信部102が絵文字識別情報を受信すると、絵文字情報送信指示送信部106は、その絵文字識別情報とともに絵文字識別情報送信指示をサーバ2Aに送信する。
サーバ2Aは、絵文字情報送信指示受信部202が番組出力装置1Bからの絵文字識別情報送信指示を受信すると、絵文字情報取得部203が絵文字情報格納部201から当該絵文字識別情報送信指示に含まれる絵文字識別情報に対応付けられた1または2以上の絵文字情報を取得する。
例えば、絵文字情報送信指示受信部202が絵文字識別情報(絵文字コード「X0Y0」)を有する絵文字識別情報送信指示を受信した場合、絵文字情報取得部203は、絵文字情報格納部201に格納されている図6の絵文字コード表から絵文字コード「X0Y0」に割り当てられた絵文字情報(地震発生の絵文字PGA1の画像情報)を取得する。
絵文字情報取得部203が、絵文字PGA1の画像情報を取得すると、絵文字情報送信部204は、その絵文字PGA1の画像を番組出力装置1Bに送信する。
サーバ2Aが絵文字識別情報送信指示に応じて絵文字PGA1の画像情報を番組出力装置1Bに送信すると、絵文字情報受信部107がその絵文字PGA1の画像情報を受信する。そして、出力部105は、例えば、図4に示す表示態様で、絵文字情報受信部107が受信した絵文字PGA1の画像情報を地震発生の緊急放送の映像に重畳してディスプレイに出力する。
放送局が、例えば、地震発生の報道を字幕によるニュース速報などで行う場合も、番組システム1Bは、上述した処理手順と同様の処理手順でサーバ2Aから地震発生に対応する絵文字(絵文字PAG1〜PAG3のいずれかの画像情報)を取得し、例えば、図10の表示態様で、その絵文字を番組の映像に重畳して出力する。
(具体例4)
具体例4は、実施の形態1の具体例2と同様に、視聴者の関心が高く、かつ、速報性の高い出来事を緊急放送やニュース速報で視聴者に報道する場合にその出来事の人の感情に関連した種類(例えば、朗報、悲報などの種類)を絵文字によって視聴者に直感的に伝達する場合の例である。
従って、具体例4では、サーバ2Aの絵文字情報格納部201に、1または2以上の絵文字情報が、例えば、図8に示す絵文字コード表の形式で格納されている。
実施の形態2の番組出力装置1Bでは、番組出力装置1Bの番組受信部101が通常の番組を受信しているときに、例えば、日本チームが世界大会で優勝したなどの速報性の高い出来事が発生し、例えば、その報道が字幕などのニュース速報で行われる場合、番組出力装置1Bの出力部105は、番組受信部101が受信した番組に含まれる字幕情報を当該番組に重畳してディスプレイに出力する。
また、絵文字識別情報受信部102は、放送局から送信される絵文字識別情報(ニュース速報の種類(朗報、悲報などの種類)に対応する絵文字の絵文字識別情報)を受信する。例えば、ニュース速報が朗報の場合、絵文字識別情報受信部102は、例えば、朗報を示す絵文字PGDに付与された絵文字識情報(絵文字コード「x0y0」)を受信する。
絵文字識別情報受信部102が絵文字識別情報を受信すると、絵文字情報送信指示送信部106は、その絵文字識別情報とともに絵文字識別情報送信指示をサーバ2Aに送信する。
サーバ2Aでは、絵文字情報送信指示受信部202が番組出力装置1Bからの絵文字識別情報送信指示を受信すると、絵文字情報取得部203が絵文字情報格納部201から当該絵文字識別情報送信指示に含まれる絵文字識別情報に対応付けられた1または2以上の絵文字情報を取得する。
例えば、絵文字情報送信指示受信部202が絵文字コード「x0y0」を有する絵文字識別情報送信指示を受信した場合、絵文字情報取得部203は、絵文字情報格納部201に格納されている図8に示す絵文字コード表から絵文字コード「x0y0」に割り当てられた絵文字情報(笑い顔の絵文字PGDの画像)を取得する。そして、絵文字情報取得部203が、絵文字PGDの画像を取得すると、絵文字情報送信部204は、その絵文字PGDの画像を番組出力装置1Bに送信する。
サーバ2Aが絵文字識別情報送信指示に応じて絵文字PGDの画像を番組出力装置1Bに送信すると、絵文字情報受信部107がその絵文字PGDの画像を受信する。そして、出力部105は、例えば、図10に示す表示態様で、絵文字情報受信部107が受信した絵文字PGDの画像をニュース速報の映像に重畳してディスプレイに出力する。
上記実施の形態1,2では、通常の番組とは異なる緊急放送やニュース速報などが行われる場合に、当該緊急放送若しくニュース速報の人の感情に関連した絵文字を出力させるようにしているが、通常の番組に対しても人の感情に関連した絵文字を出力させるようにしても良い。
例えば、通常の番組を、例えば、泣ける番組、笑える番組、怖い番組などの人の感情に関連した複数の種類に分類し、番組の放送中に当該番組の種類に対応した絵文字を出力させるようにしてもよい。
例えば、通常の番組が映画やドラマを放送する場合、スリラー、喜劇、悲劇、戦争などの映画やドラマをそのテーマや内容によって怖い映画(若しくはドラマ)、笑える映画(若しくはドラマ)、泣ける映画(若しくはドラマ)、気分が高揚する映画(若しくはドラマ)などの複数の種類に分類し、その映画(若しくはドラマ)の種類に対応する絵文字を出力させるようにしてもよい。
この場合は、例えば、番組に絵文字識別情報を含めておき、番組受信部101が番組を受信したときに絵文字識別情報も受信し、出力部105が番組(映画若しくはドラマ)とともに当該絵文字識別情報に対応する絵文字を出力するようにする。従って、この場合は、番組受信部101が絵文字識別情報受信部102の機能も果たすことになる。
例えば、デジタル放送では、番組は、デジタル符号化された映像、音声および各種のデータをそれぞれ、例えば、トランスポートストリーム(Transport Stream)と呼ばれる伝送信号形式に変換した後、更にそれらのトランスポートストリームを多重化して1つのトランスポートストリームとしたデータ構造を有している。
各種のデータのトランスポートストリームには、例えば、番組名、放送日時、放送時間、番組の概要などの番組に関連した情報(番組関連情報)を含めることができる。従って、この番組関連情報に番組の種類に対応した絵文字識別情報を含めておき、番組受信部101がデジタル放送の番組を受信したときに絵文字識別情報を取得できるようにするとよい。
あるいは、番組関連情報にスリラー、喜劇、悲劇、戦争などの映画若しくはドラマの種類の情報を含めておき、番組受信部101が番組を受信したときに番組関連情報から映画若しくはドラマの種類の情報が得られるようにしてもよい。例えば、喜劇と悲劇の映画若しくはドラマの種類の情報として「M001」と「M002」の番組種類識別子を設定し、番組受信部101が映画若しくはドラマを受信したときに番組関連情報から番組種類識別子が得られるようにしてもよい。
この場合は、図8に示す絵文字コード表に加えて、番組種類識別子を絵文字識別情報に変換する変換リストを絵文字情報格納部104に格納しておき、絵文字情報取得部103がその変換リストから番組受信部101が受信した番組種類識別子に対応する絵文字識別情報を取得し、さらに図8に示す絵文字コード表からその絵文字識別情報に対応する絵文字の画像を取得するようにするとよい。
例えば、絵文字情報格納部104に格納された変換リストに、番組種類識別子「M001」と番組種類識別子「M002」がそれぞれ絵文字コード「x0y0」と絵文字コード「x1y0」を対応付けられている場合、番組受信部101が、例えば、番組種類識別子「M001」を受信したときには、絵文字情報取得部103が変換リストからその番組種類識別子「M001」に対応する絵文字コード「x0y0」を取得し、さらに図8に示す絵文字コード表から絵文字コード{x0y0」に割り当てられた絵文字PGDの画像情報を取得する。
そして、出力部105が番組(喜劇の映画若しくはドラマ)とともに絵文字PGDを番組出力装置1A,1Bのディスプレイに出力する。
なお、上記の例は、番組が映画若しくはドラマの放送の場合であったが、映画若しくはドラマの放送以外の番組についても、人の感情を表す複数の絵文字の種類に基づいて番組の種類を分類し、各番組の番組関連情報に当該番組の種類を示す番組種類識別子の情報を含めて放送するようにしてもよい。
例えば、バラエティ番組に「楽しい番組」の番組種類識別子を設定し、スポーツ番組に「気分が高揚する番組」の番組種類識別子を設定しておき、番組受信部101がバラエティ番組を受信し、出力部105がそのバラエティ番組を出力する場合、番組受信部101が受信した「楽しい番組」の番組種類識別子に対応する絵文字情報(例えば、笑い顔の絵文字PGDの画像)を絵文字情報取得部103が絵文字情報格納部104から取得して、出力部105がその絵文字情報を用いてバラエティ番組とともに絵文字を出力するようにしてもよい。
以上のように、実施の形態2においても、緊急放送やニュース速報によって報道される出来事が災害発生などの国民の安全に関連した重大な出来事の場合、災害内容や緊急度合いのレベルなどを絵文字によって視聴者に直感的に伝達することができる。
また、緊急放送やニュース速報によって報道される出来事が視聴者の関心が高く、且つ、速報性が高い出来事の場合、その出来事の人の感情に関連した種類(例えば、朗報、悲報などの種類)を絵文字によって視聴者に直感的に伝達することができる。
また、実施の形態2では、サーバ2Aの絵文字情報格納部201に格納されている絵文字情報を修正することにより、絵文字の修正や追加を容易に行うことができる。
上記実施の形態1,2では、緊急放送やニュース速報や通常の番組の全体に対して当該番組に関連した絵文字を番組とともに出力させるようにしているが、番組内の特定のシーンに対して当該シーンの内容に関連した絵文字を出力させるようにしてもよい。
例えば、ドラマや映画の場合、全体的には喜劇であっても個別のシーンでは悲しいシーンや楽しいシーンや怖いシーンなど、人間の感情に関連した多様なシーンが混在する場合が多い。また、ニュース番組でも朗報や悲報のニュースが混在している場合がある。
このような番組に対して、各シーンの出現に対応して当該シーンに関連した人間の感情を表す絵文字を出力するようにしてもよい。
この場合は、例えば、放送局側で番組のデータに、番組内の各シーンの出現時刻に対応付けられた各シーンの内容に関連した絵文字の絵文字識別情報を含めておけば、番組出力装置1A,1Bの番組受信部101が番組の絵文字識別情報が対応付けられたシーンを受信した際、そのシーンの出現時に当該絵文字識別情報に対応する所定の絵文字を出力させることができる。
例えば、番組がドラマや映画の場合、番組内の特定のシーン(例えば、悲しいシーン)の出現時刻は、例えば、当該シーンのフレーム番号によって決定することができる。従って、番組のデータに、1又は2以上の悲しいシーンのフレーム番号に対応付けて泣き顔の絵文字の絵文字識別情報(例えば、絵文字コード「x1y0」)を含めておく。
番組出力装置1Aでは、番組受信部101が番組の悲しいシーンを受信する毎に、当該番組受信部101が番組のデータから絵文字識別情報(絵文字コード「x1y0」)を取得するので、絵文字情報取得部103が絵文字情報格納部104からその絵文字コード「x1y0」に対応する泣き顔の絵文字PGFの画像情報を取得し、出力部105が番組の悲しいシーンが出現する毎にそのシーンの映像に重畳して絵文字PGFを出力する。
番組出力装置1Bでは、番組受信部101が番組の悲しいシーンを受信する毎に、当該番組受信部101が番組のデータから絵文字識別情報(絵文字コード「x1y0」)を取得するので、絵文字情報送信指示送信部106がその絵文字識別情報(絵文字コード「x1y0」)を有する絵文字情報送信指示をサーバ2Aに送信し、絵文字情報取得部103が当該サーバ2Aから送信される絵文字識別情報(絵文字コード「x1y0」)に対応する泣き顔の絵文字PGFの画像を取得する。そして、出力部105が番組の悲しいシーンが出現する毎にそのシーンの映像に重畳して絵文字PGFを出力する。
同様の方法で、番組がニュース番組の場合も、例えば、朗報のニュースを報道するシーンではそのシーンのフレーム番号に対応付けて笑い顔の絵文字の絵文字コード「x0y0」を含めておき、例えば、悲報のニュースを報道するシーンではそのシーンのフレーム番号に対応付けて泣き顔の絵文字の絵文字コード「x1y0」を含めておく。
番組出力装置1Aでは、番組受信部101が朗報のニュースを受信する際には番組受信部101が番組のデータから絵文字コード「x0y0」を取得するとともに、絵文字情報取得部103が絵文字コード「x0y0」に対応する絵文字PGDの画像情報を取得し、同番組受信部101が悲報のニュースを受信する際には番組受信部101が番組のデータから絵文字コード「x1y0」を取得するとともに、絵文字情報取得部103が絵文字コード「x1y0」に対応する絵文字PGFの画像を取得するので、出力部105は、朗報のニュースの場面では笑い顔の絵文字PGDを番組の映像に重畳して出力させ、悲報のニュースの場面では泣き顔の絵文字PGFを番組の映像に重畳して出力させることができる。
また、番組出力装置1Bでは、番組受信部101が朗報のニュースを受信する際には番組受信部101が番組のデータから絵文字コード「x0y0」を取得するとともに、絵文字情報送信指示送信部106および絵文字情報受信部107が絵文字コード「x0y0」に対応する絵文字PGDの画像をサーバ2Aから取得し、同番組受信部101が悲報のニュースを受信する際には番組受信部101が番組のデータから絵文字コード「x1y0」を取得するとともに、絵文字情報送信指示送信部106および絵文字情報受信部107が絵文字コード「x1y0」に対応する絵文字PGFの画像を取得するので、出力部105は、朗報のニュースの場面では笑い顔の絵文字PGDを番組の映像に重畳して出力させ、悲報のニュースの場面では泣き顔の絵文字PGFを番組の映像に重畳して出力させることができる。
上記のように、番組の特定のシーンの出現に対して当該シーンに関連した人間の感情を表す所定の絵文字を出力するようにすれば、特定のシーンが出現する毎に、当該シーンが視聴者のどのような感情に関連した内容(例えば、悲しい内容や嬉しい内容など)であるのかを直感的に伝達することができる。
(実施の形態3)
図14は、実施の形態3における番組出力装置1Cとサーバ2Bを具備する番組システムのブロック図である。
実施の形態3は、絵文字コード表が格納された絵文字情報格納部201と字幕や手話映像などの番組の視聴を補助する補助情報が格納された補助情報格納部205とを備えたサーバ2Bに番組出力装置1Cを通信可能に接続し、当該サーバ2Bから番組出力装置1Cの要求に応じて番組識別情報に対応した補助情報と絵文字識別情報に対応した絵文字情報とを番組出力装置1Cに提供する構成である。番組出力装置1Cとサーバ2Bは、例えば、インターネット回線網3に接続され、相互に通信可能になっている。
図14に示す番組出力装置1Cは、図11に示す実施の形態2の番組出力装置1Bにおいて、補助情報送信指示送信部108と補助情報受信部109を追加した構成である。図14に示すサーバ2Bは、図11に示す実施の形態2のサーバ2Aにおいて、補助情報格納部205、補助情報送信指示受信部206、補助情報取得部207および補助情報送信部208を追加した構成である。
番組出力装置1C内の番組受信部101、絵文字識別情報受信部102、出力部105、絵文字情報送信指示送信部106および絵文字情報受信部107は、実施の形態1と実施の形態2で説明した番組受信部101、絵文字識別情報受信部102、出力部105、絵文字情報送信指示送信部106および絵文字情報受信部107と基本的に同一の動作をするので、重複する構成の説明は省略し、異なる構成について説明する。
サーバ2B内の絵文字情報格納部201、絵文字情報送信指示受信部202、絵文字情報取得部203および絵文字情報送信部204は、実施の形態2で説明した絵文字情報格納部201、絵文字情報送信指示受信部202、絵文字情報取得部203および絵文字情報送信部204と基本的に同一の動作をするので、重複する構成の説明は省略し、異なる構成について説明する。
番組出力装置1Cの番組受信部101は、放送局から放送される番組と当該番組の番組識別情報とを受信する。番組識別情報は、通常は、番組毎に付与される番組識別子(番組ID)であるが、番組を識別できるものであれば、他の識別情報であっても良い。例えば、番組名や、Gコードなどの番組に設定されたコード番号を番組識別情報に利用してもよい。
番組受信部101は、番組配信サーバから有線や無線の通信手段で番組と番組識別情報を受信しても良いし、地上波放送局から無線で番組と番組識別情報を受信しても良い。番組受信部101が受信した番組識別情報は図示省略の番組情報格納部に一時的に記憶される。
番組がデジタル放送される場合、番組識別情報は、デジタル化される映像または音声に埋め込まれていても良いし、デジタル化された映像および音声に多重化されるデータに含まれていても良い。例えば、データに含まれる番組関連情報に番組識別情報を含めても良い。なお、番組識別情報が番組の映像、音声またはデータに埋め込まれている場合は、番組受信部101は、番組識別情報受信部として機能し、放送波を受信することによって番組と番組識別情報とを受信する。
番組識別情報は、番組の伝送信号にリンク付けされていてもよい。要するに、番組受信部101が放送波を受信し、その放送波を復調することによって番組の映像、音声およびデータと、当該番組の番組識別情報とが得られる構造であれば、番組の放送波における番組と番組識別情報のデータ構造は問わない。
番組出力装置1Cの補助情報送信指示送信部108は、番組受信部101が受信した番組識別情報を有する補助情報送信指示をサーバ2Bに送信する。補助情報送信指示は、サーバ2Bに対して番組識別情報に対応付けられた1または2以上の補助情報を番組出力装置1Cに送信することの指示である。
サーバ2Bに2以上の補助情報の送信を指示する場合、補助情報送信指示部108は、番組識別情報と補助情報識別子とを指定した補助情報送信指示をサーバ2Bに送信して、各補助情報送信指示に対応する補助情報をサーバ2Bから送信させる。
なお、サーバ2Bに2以上の補助情報の送信を指示する場合、補助情報送信指示送信部108は、最初の補助情報送信指示では、番組識別情報だけを有する補助情報送信指示をサーバ2Bに送信する。最初の補助情報送信指示を送信するときには、最初の補助情報の補助情報識別子が分からないので、番組識別情報だけを有する補助情報送信指示をサーバ2Bに送信し、サーバ2Bから当該番組識別情報と番組の受信開始時とに対応する補助情報を送信させるためである。
補助情報送信指示送信部108は、2回目以降の補助情報送信指示では、番組受信部101が受信した番組識別情報と、取得した最新の補助情報に含まれる補助情報識別子とを有する補助情報送信指示をサーバ2Bに送信する。
番組出力装置1Cの補助情報受信部109は、補助情報送信指示送信部108による補助情報送信指示の送信に応じて、補助情報送信指示に対応する補助情報をサーバ2Bから受信する。補助情報送信指示送信部108が番組識別情報だけを有する補助情報送信指示を送信した場合、補助情報受信部109は、サーバ2Bから送信される当該番組識別情報に対応付けられ、かつ、当該補助情報送信指示を受信した時刻に対応する補助情報を受信する。
また、補助情報送信指示送信部108が番組識別情報と補助情報識別子とを有する補助情報送信指示を送信した場合、補助情報受信部109は、サーバ2Bから当該番組識別情報と当該補助情報識別子の次の補助情報識別子とに対応付けられた補助情報を受信する。
補助情報受信部109は、受信した補助情報を図示省略の補助情報格納部に少なくとも一時的に格納する。補助情報格納部は、例えば、バッファメモリで構成される。
補助情報送信指示送信部108は、通常、無線または有線の通信手段または放送送信手段で実現される。また、補助情報受信部109は、通常、無線または有線の通信手段または放送受信手段で実現される。
番組出力装置1Cの出力部105は、補助情報受信部109が取得した1または2以上の補助情報を出力する。出力部105は、補助情報が箇所情報を有しない場合は、補助情報受信部109が補助情報を受信する毎に、その補助情報を直ちに出力し、補助情報が箇所情報を有している場合は、出力している番組の開始からの経過時間がその箇所情報に含まれる番組内の出力時間になったときに補助情報を出力する。
番組と補助情報の出力は、例えば、スピーカーへの出力(発音)、ディスプレイへの出力(画像表示)、プロジェクターを用いた投影、プリンタでの印字、他の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
なお、他の装置とは、例えば、イヤホン、ヘッドホン、携帯電話、スマートフォンなどのように、画像または音声を出力することができる装置である。また、送信、蓄積、処理結果の引渡しについては、出力対象が最終的に視聴者に提示されるものとする。
サーバ2Bの補助情報格納部205は、番組識別情報に対応付いている1または2以上の補助情報を格納している。補助情報格納部205に格納される補助情報は、字幕、手話映像、補助音声などの補助情報である。補助情報格納部205に格納されている1または2以上の補助情報には、補助情報識別子が付与されている。補助情報には、番組内の出力箇所を示す箇所情報を有する場合がある。番組内の出力箇所とは、番組の出力時間における補助情報の時間的な出力位置(番組内の相対的な出力時刻)である。
字幕は、番組の映像に合わせて表示させる会話、解説、擬音語などを文字や記号で表記したものである。字幕は、通常、無地の背景に文字や記号を表記した静止画で構成され、通常、番組の映像の当該字幕が対応付けられたシーンに重畳して出力される。
手話映像は、会話、解説、擬音語などを手話で表現している映像(動画)である。手話映像は、例えば、CG(Computer Graphics)の映像であっても良く、手話通訳者が行う手話通訳の動作を撮影した映像でも良い。また、手話映像は、番組の映像に対応付けられたテキスト情報を用いて自動的に生成した手話映像であっても良い。番組の映像に対応付けられたテキスト情報は、例えば、番組の映像に対応付けられた字幕や、番組の映像に対応付けられた音声を音声認識によって取得したテキスト情報などである。
補助音声は、番組の映像に表示若しくは付加される解説などを音声で解説した情報である。補助音声は、例えば、人が解説文を読み上げた音声であっても良く、解説文を音声合成により変換した合成音や音声合成される文字列などであっても良い。
1つの番組には、通常、1または2以上の補助情報が対応付けられる。例えば、映像に登場する話者の会話に対応付けて字幕を出力させる場合、通常、1つの番組に対応付けられる字幕は、番組内の複数のシーンに対応付けられた複数の字幕によって構成される。映像の一部のシーンにだけ解説の字幕が出力される場合は、1つの番組に対応付けられる字幕は、番組内の該当シーンに対応付けられた1つの字幕によって構成される場合もある。
ニュース解説のような番組に対して手話映像による解説を付加する場合は、通常、1つの番組に対応付けられる手話映像は1本の手話映像で構成されるが、番組の一部に解説や説明の必要なシーンがある場合は、1つの番組に対応付けられる手話映像は、番組内の該当シーンに対応付けられた1または2以上の手話映像によって構成される場合もある。補助音声の場合も同様で、1つの番組に対して当該番組全体に対応付けられる1本の補助音声で構成される場合と、当該番組の一部のシーンに対応付けられた1または2以上の補助音声で構成される場合とがある。
1つの番組に2以上の補助情報が対応付けられる場合、各補助情報が番組内の出力箇所によって対応付けられる場合がある。番組内の出力箇所(番組内における補助情報の時間的な出力位置)は、番組開始からの経過時間や、番組の映像を構成するフレームの識別子(例えば、フレームIDやフレーム番号など)や、番組開始時からのオフセットなどで定義することができる。なお、補助情報の時間的な出力位置は、番組内の時間的な位置を定義できるパラメータであれば、経過時間、フレームID、オフセットなどのパラメータに限定されるものではない。
補助情報格納部205は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。補助情報格納部205に補助情報が記憶される過程は問わない。例えば、記録媒体を介して補助情報が補助情報格納部205で記憶されてもよい。また、通信回線等を介して送信された補助情報が補助情報格納部205で記憶されてもよい。あるいは、入力デバイスを介して入力された補助情報が補助情報格納部205で記憶されてもよい。
補助情報送信指示受信部206は、番組出力装置1Cから番組識別情報を有する補助情報送信指示若しくは番組識別情報と補助情報識別子とを有する補助情報送信指示を有する補助情報送信指示を受信する。
補助情報取得部207は、補助情報送信指示受信部206が番組識別情報を有する補助情報送信指示に対応する補助情報を補助情報格納部205から取得する。
補助情報取得部207は、補助情報送信指示受信部206が番組識別情報と補助情報識別子とを有する補助情報送信指示を受信した場合、補助情報送信指示が有する番組識別情報と補助情報識別子とに対応付けられた補助情報の次の補助情報を補助情報格納部205から取得する。次の補助情報は、補助情報識別子で識別され、順番が次となる補助情報である。通常は、補助情報送信指示が有する補助情報識別子の次の順番の補助情報識別子である。
補助情報送信部208は、補助情報取得部207が取得した補助情報を番組出力装置1Cに送信する。
補助情報送信指示受信部206は、通常、無線または有線の通信手段または放送受信手段で実現され、補助情報送信部208は、通常、無線または有線の通信手段または放送受信手段で実現される。また、補助情報取得部207は、通常、MPUやメモリ等から実現され得る。補助情報取得部207の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
なお、サーバ2Bは、複数種類の補助情報(例えば、字幕、手話映像および補助音声等の情報)を管理・提供する構成でも良く、1種類の補助情報(例えば、字幕の補助情報)を管理・提供する構成でもよい。また、例えば、字幕用サーバ2B1、手話映像用サーバ2B2、補助音声用サーバ2B3を設け、番組出力装置1Cの要求に応じて各サーバ2B1,2B2,2B3から字幕、手話映像、補助音声の各補助情報を提供するようにしてもよい。
次に、番組出力装置1Cの番組と絵文字の出力制御の動作について、説明する。
以下の説明では、番組識別情報が番組に含まれており、番組の受信によって番組識別情報も受信される場合について説明する。番組出力装置1Cが受信する番組に対してサーバ2Bから当該番組の番組識別情報に対応付けられた1または2以上の補助情報が提供される場合について説明する。
図15は、番組出力装置1Cが番組識別情報に対応付けられた1又は2以上の補助情報をサーバ2Bから順番に取得し、各補助情報を順次出力させる場合(補助情報を連続的に出力させる場合)の番組と絵文字の出力制御の処理手順を示すフローチャートである。以下、図15のフローチャートについて説明する。
(ステップS1501)番組受信部101は、電源がONになったか否かを判断する。電源がONになると(S1501:Y)、ステップS1502に進み、電源がOFF状態であれば(S1501:N)、ステップS1501に戻る。
(ステップS1502)番組受信部101は、チャネル番号格納部に格納されているチャネル番号で送信される番組を受信する。出力部105は、番組受信部101が受信し、フレーム単位で復調した番組の映像をディスプレイに表示し、番組の音声をスピーカーから出力する。
(ステップS1503)番組受信部101は、受信した番組に含まれる番組識別情報を復調し、番組識別情報格納部に格納する。
(ステップS1504)補助情報送信指示送信部108は、出力部105が出力している番組に対して当該番組に対応付けて出力させる複数個の補助情報をサーバ2Bから全て取得しているか否かを判別する。補助情報送信指示送信部108は、複数個の補助情報を全て取得していなければ(S1504:N)、ステップS1507に進み、複数個の補助情報を全て取得していれば(S1504:Y)、ステップS1505に進む。
(ステップS1505)補助情報送信指示送信部108は、番組受信部101が受信した番組識別情報を含む補助情報送信指示をサーバ2Bに送信する。具体的には、補助情報送信指示送信部108は、既に補助情報を受信していなければ、番組識別情報格納部から番組識別情報を読み出し、補助情報送信指示のコマンドとともにサーバ2Bに送信する。また、補助情報送信指示送信部108は、既に補助情報を受信していれば、番組識別情報格納部から番組識別情報を読み出し、その番組識別情報と最新の補助情報の補助情報識別子とを補助情報送信指示のコマンドとともにサーバ2Bに送信する。
(ステップS1506)補助情報受信部109は、補助情報送信指示送信部108による補助情報送信指示に応じてサーバ2Bから送信される補助情報を番組受信部101が現在受信している番組に対する補助情報として受信する。
なお、補助情報送信指示送信部108が補助情報送信指示をサーバ2Bに送信したとき、サーバ2Bは、補助情報送信指示に含まれる番組識別情報と現在時刻(補助情報送信指示の受信時刻に相当)に対応する補助情報を番組出力装置1Cに送信する。従って、補助情報受信部109は、番組受信部101が受信を開始した時刻に放送されている番組に対応する補助情報を受信する。
(ステップS1507)出力部105は、補助情報取得部206が取得した補助情報を出力する。
(ステップS1508)絵文字識別情報受信部102は、絵文字識別情報を受信したか否かを判断する。絵文字識別情報受信部102が絵文字識別情報を受信すると(S1508:Y)、ステップS1509に進み、絵文字識別情報受信部102が絵文字識別情報を受信しなければ(S1508:N)、ステップS1512に進む。
(ステップS1509)絵文字情報送信指示送信部106は、絵文字識別情報受信部102が受信した絵文字識別情報を含む絵文字情報送信指示をサーバ2Bに送信する。
(ステップS1510)絵文字情報受信部107は、絵文字情報送信指示送信部106による絵文字情報送信指示に応じてサーバ2Bから送信される絵文字情報を受信する。
(ステップS1511)出力部105は、絵文字情報受信部107が受信した絵文字情報を用いて絵文字を出力する。出力部105は、例えば、番組の映像と補助情報が出力されている番組出力装置1Bのディスプレイに当該番組と補助情報に重畳して絵文字を出力する。
(ステップS1512)番組受信部101は、電源がOFFになったか否かを判断する。電源がOFFになっていないときは(S1512:N)、ステップS1502に戻り、電源がOFFになったときは(S1512:Y)、番組と絵文字の出力制御を終了する。
次に、サーバ2Bの絵文字情報と補助情報の送信制御の動作について、図16のフローチャートを用いて説明する。
(ステップS1601)絵文字情報送信受信部202は、番組出力装置1Cから絵文字情報送信指示があるか否かを判断する。絵文字情報送信受信部202が絵文字情報送信指示を受信しなければ(S1601:N)、ステップS1604に進み、絵文字情報送信指示受信部202が絵文字情報送信指示を受信すると(ステップS1601:Y)、ステップS1602に進む。
(ステップS1602)絵文字情報取得部203は、絵文字情報格納部201から絵文字情報送信指示受信部202が受信した絵文字情報送信指示に含まれる絵文字識別情報(絵文字コード)に対応する絵文字情報を取得する。
(ステップS1603)絵文字情報送信部204は、絵文字情報取得部203が取得した絵文字情報を番組出力装置1Cに送信し、ステップS1601に戻る。
(ステップS1604)補助情報送信指示受信部206は、番組出力装置1Cから補助情報送信指示があるか否かを判断する。補助情報送信指示受信部206が補助情報送信指示を受信しなければ(S1604:N)、ステップS1601に戻り、補助情報送信指示受信部206が補助情報送信指示を受信すると(ステップS1604:Y)、ステップS1605に進む。
(ステップS1605)補助情報取得部207は、補助情報送信指示受信部206が受信した補助情報送信指示に補助情報識別子が含まれているか否かを判別する。補助情報取得部207は、補助情報送信指示受信部206が受信した補助情報送信指示に補助情報識別子が含まれていなければ(S1605:N)、ステップS1606に進み、補助情報識別子が含まれていれば(S1605:Y)、ステップS1608に進む。
(ステップS1606)補助情報取得部207は、現在時刻(補助情報送信指示受信部206が補助情報送信指示を受信した時刻に相当)の情報を、例えば、サーバ2Bに内蔵された時計から取得する。
(ステップS1607)補助情報取得部207は、補助情報格納部205に格納された補助情報のうち、補助情報送信指示受信部206が受信した補助情報送信指示に含まれる番組識別情報と、補助情報取得部207が取得した現在時刻とに対応する補助情報を決定する。
(ステップS1608)補助情報取得部207は、補助情報格納部205に格納された補助情報のうち、補助情報送信指示受信部206が受信した補助情報送信指示に含まれる番組識別情報と、補助情報送信指示に含まれる補助情報識別子に対して次の順番となる補助情報識別子とに対応する補助情報を決定する。
(ステップS1609)補助情報取得部207は、決定した補助情報(補助情報識別子、番組識別情報、箇所情報および補助内容などを含む情報)を補助情報格納部205から読み出す。
(ステップS1610)補助情報送信部208は、補助情報取得部207が読み出した補助情報を番組出力装置1Cに送信して、ステップS1601に戻る。
図16のフローチャートにおいて、ステップS1604で受信した補助情報送信指示に現在時刻が含まれている場合は、ステップS1606の処理をせず、ステップS1607で、補助情報取得部207は、補助情報格納部205に格納された補助情報のうち、補助情報送信指示受信部206が受信した補助情報送信指示に含まれる番組識別情報と現在時刻とに対応する補助情報を決定するようにしてもよい。
また、図16のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
(具体例5)
次に、番組出力装置1Cにおける番組と補助情報および絵文字の出力動作の具体例について説明する。
以下の説明では、番組出力装置1Cは、放送局から番組放送制御情報に基づいてデジタル放送される番組を受信するものとし、その番組の番組関連情報には当該番組の番組識別情報が含まれているものとする。
また、サーバ2Bの補助情報格納部205には、例えば、図17に示すリスト形式で1または2以上の字幕が格納されているものとし、本具体例では、補助情報として字幕がサーバ2Bから番組出力装置1Cに提供されるものとする。
図17において、「字幕ID」の欄は、補助情報識別子を示す欄であり、「番組ID」は、字幕が対応付けられている番組の番組識別情報(番組識別子)を示す欄である。また、「出力箇所」の欄は、対応付けられた番組内での字幕の出力箇所を示す欄であり、「字幕内容」の欄は、出力される字幕の内容を示す欄である。
図17の例では、「出力箇所」の情報として、例えば、字幕が対応付けられる番組シーンのフレームに関する情報(例えば、フレーム番号)が記載されている。「字幕内容」は、短文の場合は、1つの文章であるが、長文の場合は、1つの文章を複数個に分割した文である。例えば、「今日の天気は晴れです。」の文章や、「今日の天気は、午前中は晴れますが、」、「午後になると雨になるでしょう。」などの分割された文である。
以下の説明では、番組出力装置1Cが番組ID「xx11」を有する喜劇映画の番組を受信する場合の例について、説明する。なお、番組のデータのトランスポートストリームには、番組ID(xx11)、番組名(AAA)、放送日(Y年M月D日)、放送時間(放送開始時刻T1、放送終了時刻T2)、番組の概要(×××・・・・。)、放送のチャネル番号(X1)などの当該番組に関連した番組関連情報が含まれているものとする。
また、チャネル番号格納部にはチャネル番号「X1」が格納されているものとし、番組受信部101は、番組出力装置1Cの電源がONになると、そのときにチャネル番号「X1」で放送されている番組名「AAA」および番組ID「xx11」を有する映画番組の受信を開始するものとする。
番組受信部101は、番組名「AAA」の番組の受信を開始すると、受信した番組を復調して得られる映像と音声を順次、番組格納部に一時的に格納する。一方、出力部105は、番組格納部に格納された番組の映像と音声を格納順に読み出して映像をディスプレイに表示し、音声をスピーカーから出力する。また、番組受信部101は、受信した番組を復調して得られる番組ID「xx11」を順次、番組識別情報格納部に一時的に格納する。
番組受信部101が番組名「AAA」の番組の番組ID「xx11」を取得すると、補助情報送信指示送信部108は、その番組ID「xx11」に対応付けられた字幕の情報をサーバ2Bから取得しているか否かを判断する。番組の受信開始時は、サーバ2Bから字幕の情報を受信していないので、補助情報送信指示送信部108は、番組識別情報格納部に格納されている番組ID「xx11」を読み出し、その番組ID「xx11」とともに補助情報送信指示をサーバ2Bに送信する。
そして、その補助情報送信指示に対して、サーバ2Bから字幕の情報(例えば、字幕ID=PN02、番組ID=xx11、出力箇所(フレーム番号)=BB02、字幕内容=「bbb・・・・、」の情報)が送信されると、補助情報受信部109がその字幕の情報を受信し、バッファメモリに格納する。
なお、サーバ2Bでは、補助情報送信指示受信部206が補助情報送信指示を受信すると、補助情報取得部207が現在時刻Tc(T1<Tc<T2)を取得し、その現在時刻Tcと補助情報送信指示に含まれる番組ID「xx11」とを用いて補助情報格納部205を検索し、現在時刻Tcと番組ID「xx11」とに対応する字幕の情報を読み出す。現在時刻Tcと番組ID「xx11」とに対応する字幕の情報は、番組ID「xx11」を有し、かつ、現在時刻Tcに最も近い当該現在時刻Tcよりも遅い出力箇所を有する字幕の情報である。
図17に示す補助情報の例で、現在時刻Tcに最も近い当該現在時刻Tcよりも遅い出力箇所がフレーム番号「BB02」の映像が出現する時刻であるとすると、補助情報取得部207は、番組ID「xx11」と出力箇所「フレーム番号BB02」とを有する字幕の情報(字幕ID=PN02、番組ID=xx11、出力箇所(フレーム番号)=BB02、字幕内容=「bbb・・・・、」の情報)を補助情報格納部205から読み出す。そして、補助情報送信部208がその字幕の情報を番組出力装置1Cに送信する。
補助情報送信指示部108は、補助情報受信部109が字幕ID「PN02」を有する字幕の情報を受信すると、次の字幕の情報の取得処理を行う。2回目以降の字幕の情報の取得処理では、補助情報送信指示部108は、番組識別情報格納部から格納されている番組ID「xx11」を読み出し、その番組ID「xx11」と、直前に受信した字幕の情報に含まれる字幕ID「PN02」とともに補助情報送信指示をサーバ2Bに送信する。
なお、番組受信部101が番組を受信している期間では周期的に当該番組を復調して得られる番組IDによって番組識別情報格納部に格納された番組IDが更新される。従って、番組識別情報格納部には、番組受信部101が現在受信している番組の番組ID(図17の例では、番組ID「xx11」)が格納されている。
そして、その補助情報送信指示に対して、サーバ2Bから次の字幕の情報(字幕ID=PN03、番組ID=xx11、出力箇所(フレーム番号)=CC03、字幕内容=「ccc・・・・。」の情報)が送信されると、補助情報受信部109がその字幕の情報を受信し、バッファメモリに格納する。
なお、サーバ2Bでは、補助情報送信指示受信部206が補助情報送信指示を受信すると、その補助情報送信指示に含まれる字幕ID「PN02」の次の字幕ID「PN03」とその補助情報送信指示に含まれる番組ID「xx11」とを用いて補助情報格納部205を検索し、字幕ID「PN03」と番組ID「xx11」とに対応する字幕の情報(字幕ID=PN03、番組ID=xx11、出力箇所(フレーム番号)=CC03、字幕内容=「ccc・・・・。」の情報)を補助情報格納部205から読み出す。そして、補助情報送信部208がその字幕の情報を番組出力装置1Cに送信する。
以下、補助情報送信指示部108と補助情報受信部109は、字幕の情報を受信する毎に、番組識別情報に格納された番組IDと直前に取得した字幕の情報に含まれる字幕IDとを有する補助情報送信指示をサーバ2Bに送信し、サーバ2Bから番組ID「xx11」を有する、字幕ID「PN04」、「PN05」、…「PN50」の字幕の情報を順番に受信し、一旦ファメモリに格納する。
出力部105は、組受信部101が受信する番組の映像と音声の出力を開始すると、バッファメモリに字幕の情報が格納される毎に、当該バッファメモリからその字幕を読み出し、予め設定された出力態様で出力する。
出力部105は、例えば、スーパーインポーズなどの出力技術を用いて、例えば、図18に示す出力態様で、番組の映像が出力されているディスプレイに当該映像に重畳して複数の字幕を順次、出力する。図18に示す表示態様は、喜劇映画の映像が表示されているディスプレイの下部中央に字幕を一行で表示する態様である。
また、絵文字識別情報受信部102は、番組受信部101が番組名「AAA」の番組の受信を開始すると、放送局から送信される絵文字識別情報(番組名「AAA」の番組に対応する絵文字コード「x0y0」)を受信する。
絵文字識別情報受信部102が絵文字識別情報(絵文字コード「x0y0」)を受信すると、絵文字情報送信指示送信部106は、その絵文字識別情報とともに絵文字識別情報送信指示をサーバ2Bに送信する。
サーバ2Bでは、絵文字情報送信指示受信部202が番組出力装置1Cからの絵文字識別情報送信指示を受信すると、絵文字情報取得部203が絵文字情報格納部201から当該絵文字識別情報送信指示に含まれる絵文字識別情報(絵文字コード「x0y0」)に対応付けられた1または2以上の絵文字識別情報を取得する。
例えば、絵文字情報送信指示受信部202が絵文字コード「x0y0」を有する絵文字識別情報送信指示を受信した場合、絵文字情報取得部203は、絵文字情報格納部201に格納されている図8に示す絵文字コード表から絵文字コード「x0y0」に割り当てられた絵文字情報(笑い顔の絵文字PGDの画像情報)を取得する。そして、絵文字情報送信部204がその絵文字PGDの画像情報を番組出力装置1Bに送信する。
サーバ2Bが絵文字識別情報送信指示に応じて絵文字PGDの画像情報を番組出力装置1Cに送信すると、絵文字情報受信部107がその絵文字PGDの画像情報を受信する。そして、出力部105は、例えば、図18に示す表示態様で、絵文字情報受信部107が受信した絵文字PGDを字幕とともに喜劇映画の映像に重畳してディスプレイに出力する。図18に示す表示態様は、喜劇映画の映像が表示されているディスプレイの左下隅に絵文字PGDを表示する態様である。
なお、上記の具体例5では、字幕ID「PN02」、「PN03」、…「PN50」の字幕の情報を番組内の各字幕の出力箇所AA02、BB03、…DD50よりも前に予め取得しておき、各字幕に対応付けられた番組のシーンが出現するときに、字幕ID「PN02」、「PN03」、…「PN50」の字幕内容を出力させる構成だった。これに対し、各字幕に対応付けられた番組のシーンが出現する毎に、補助情報送信指示部108が番組ID「xx11」を有する補助情報送信指示をサーバ2Bに送信して当該番組ID「xx11」と出力箇所に対応する字幕の情報をサーバ2Bから取得し、その字幕の情報に含まれる字幕内容を出力部105が直ちに出力させるようにしてもよい。
また、具体例5では、番組全体に対応する絵文字を出力させるようにしているが、字幕の内容に対応する絵文字情報を出力させるようにしてもよい。
また、具体例5では、字幕を例に説明したが、手話映像や補助音声等の補助情報についても同様の出力制御を行うことによって、番組のシーンに対応付けて(同期させて)1または2以上の補助情報を出力させることができ、その補助情報とともに絵文字を出力させることができる。
以上のように、本実施の形態3によっても、番組出力装置1Cが受信する番組に対して、補助情報により番組の視聴を補助できるとともに、絵文字により伝達し難い情報を視聴者に直感的に伝達することができる。
なお、上記実施の形態3では、サーバ2Bから番組出力装置1Cに補助情報情報を提供する構成であるが、放送局から番組識別情報に対応する補助情報が提供される構成でもよい。この場合は、図1に示す番組出力装置1Aの構成を図19に示す番組出力装置1Dの構成に変形し、図11に示す番組出力装置1Bの構成を図20に示す番組出力装置1Eの構成に変形すればよい。
図19に示す番組出力装置1Dは、図1に示す番組出力装置1Aに対して、番組識別情報受信部110と補助情報受信部111を追加したものである。また、図20に示す番組出力装置1Eは、図11に示す番組出力装置1Bに対して、番組識別情報受信部110と補助情報受信部111を追加したものである。
番組出力装置1D,1Eにおいては、番組識別情報受信部110は、放送局から放送される番組の番組識別情報を受信する。すなわち、番組識別情報受信部110は、図14に示す番組出力装置1Cの番組受信部101が果たす番組識別情報の受信機能と同一の機能を果たす。図19、図20では、番組識別情報受信部110を追加した構成としているが、番組受信部101が番組識別情報受信部110を兼用する構成でもよい。番組識別情報受信部110の番組識別情報の受信動作は、上述した図14に示す番組出力装置1Cの番組受信部101の番組識別情報の受信動作と基本的に同一であるので、その説明の詳細は省略する。
補助情報受信部111は、放送局から送信される補助情報のうち、番組識別情報受信部110が受信した番組識別情報に対応付けられた補助情報を受信する。番組受信部101が番組の受信を開始したとき、放送局から補助情報として、例えば、図17に示す字幕情報が送信され、番組識別情報受信部110が、例えば、番組ID=xx11の番組識別情報を受信した場合、補助情報受信部111は、番組ID=xx11を含む字幕情報(PN01〜PN50の字幕IDを有する字幕情報)を受信する。そして、出力部105が、番組受信部101が受信する番組(番組ID「xx11」を有する番組名「AAA」の番組)の映像をディスプレイに出力するとともに、補助情報受信部111が受信した字幕情報に含まれる字幕を、例えば、図18に示した出力態様で、番組の映像に重畳して出力する。
これらの変形例でも、番組出力装置1D,1Eが受信する番組に対して、補助情報により番組の視聴を補助できるとともに、絵文字により伝達し難い情報を視聴者に直感的に伝達することができる。
本実施の形態1〜3の番組出力装置1A,1B,1Cにおける処理や本実施の形態2,3のサーバ2A,2Bにおける処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。
本実施の形態1における番組出力装置1Aを実現するソフトウェアは、以下のようなプログラムである。
すなわち、コンピュータがアクセス可能な記録媒体は、絵文字識別情報に対応付けて絵文字に関する1または2以上の絵文字情報を格納する絵文字情報格納部を具備し、コンピュータを、番組を受信する番組受信部と、絵文字識別情報を受信する絵文字識別情報受信部と、絵文字情報受信部が受信した絵文字識別情報に対応する絵文字情報を絵文字情報格納部から取得する絵文字情報取得部と、絵文字情報取得部が取得した絵文字情報を、番組受信部が受信した番組とともに出力する出力部と、して機能させるためのプログラムである。
また、実施の形態2における番組出力装置1Bを実現するソフトウェアは、以下のようなプログラムである。
すなわち、コンピュータを、番組を受信する番組受信部と、絵文字識別情報を受信する絵文字識別情報受信部と、絵文字識別情報受信部が受信した絵文字識別情報を有する絵文字情報送信指示を、絵文字識別情報に対応付けられた1または2以上の絵文字情報を備えるサーバに送信する絵文字情報送信指示送信部と、絵文字情報送信指示の送信に応じて、当該絵文字情報送信指示が有する絵文字識別情報に対応する絵文字情報をサーバから受信する絵文字情報受信部と、絵文字情報受信部が受信した絵文字情報を用いて、受信部が受信した番組とともに絵文字を出力する出力部と、して機能させるためのプログラムである。
また、実施の形態3における番組出力装置1Cを実現するソフトウェアは、以下のようなプログラムである。
すなわち、コンピュータを、番組を受信する番組受信部と、絵文字識別情報を受信する絵文字識別情報受信部と、絵文字識別情報受信部が受信した絵文字識別情報を有する絵文字情報送信指示を、絵文字識別情報に対応付けられた1または2以上の絵文字情報と番組識別情報に対応付けられた1または2以上の補助情報とを備えるサーバに送信する絵文字情報送信指示送信部と、絵文字情報送信指示の送信に応じて、当該絵文字情報送信指示が有する絵文字識別情報に対応する絵文字情報をサーバから受信する絵文字情報受信部と、番組の番組識別情報を受信する番組識別情報受信部と、番組識別情報を有する補助情報送信指示を、サーバに送信する補助情報送信指示送信部と、補助情報送信指示の送信に応じて、当該補助情報送信指示が有する番組識別情報に対応する補助情報をサーバから受信する補助情報受信部と、絵文字情報受信部が受信した絵文字情報と補助情報受信部が受信した補助情報とを、受信部が受信した番組とともに出力する出力部と、して機能させるためのプログラムである。
また、実施の形態2におけるサーバ2Aを実現するソフトウェアは、以下のようなプログラムである。
すなわち、コンピュータがアクセス可能な記録媒体は、絵文字識別情報に対応付けて絵文字に関する1または2以上の絵文字情報を格納する絵文字情報格納部を具備し、コンピュータを、番組とともに絵文字を出力する番組出力装置から絵文字識別情報を有する絵文字情報送信指示を受信する絵文字情報送信指示受信部と、絵文字情報送信指示が有する絵文字識別情報に対応する絵文字情報を絵文字情報格納部から取得する絵文字情報取得部と、絵文字情報取得部が取得した絵文字情報を番組出力装置に送信する絵文字情報送信部と、して機能させるためのプログラムである。
また、実施の形態2におけるサーバ2Bを実現するソフトウェアは、以下のようなプログラムである。
すなわち、コンピュータがアクセス可能な記録媒体は、絵文字識別情報に対応付けて絵文字に関する1または2以上の絵文字情報を格納する絵文字情報格納部と、番組を識別する番組識別情報に対応付いている1または2以上の補助情報を格納している補助情報格納部と、を具備し、コンピュータを、番組とともに絵文字を出力する番組出力装置から絵文字識別情報を有する絵文字情報送信指示を受信する絵文字情報送信指示受信部と、絵文字情報送信指示が有する絵文字識別情報に対応する絵文字情報を絵文字情報格納部から取得する絵文字情報取得部と、絵文字情報取得部が取得した絵文字情報を番組出力装置に送信する絵文字情報送信部と、番組出力装置から番組識別情報を有する補助情報送信指示を受信する補助情報送信指示受信部と、補助情報送信指示が有する番組識別情報に対応する補助情報を補助情報格納部から取得する補助情報取得部と、補助情報取得部が取得した補助情報を番組出力装置に送信する補助情報送信部と、して機能させるためのプログラムである。
図21は、上記プログラムを実行して、番組出力装置1A〜1Eやサーバ2A,2Bを実現するコンピュータの外観の一例を示す模式図である。
図21において、コンピュータシステム900は、CD−ROMドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図22は、コンピュータシステム900の内部構成を示す図である。図22において、コンピュータ901は、CD−ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANやWAN等への接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム900に、上記の番組出力装置1A,〜1Eやサーバ2A,2Bの機能を実行させるプログラムは、CD−ROM921に記憶されて、CD−ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921、またはネットワークから直接、ロードされてもよい。また、CD−ROM921に代えて他の記録媒体(例えば、DVD等)を介して、プログラムがコンピュータシステム900に読み込まれてもよい。
プログラムは、コンピュータ901に、上記の番組出力装置1A,〜1Eやサーバ2A,2Bの機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記実施の形態1〜3において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記実施の形態1〜3において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。