JP6906801B2 - Information processing system, information processing method, and information processing program - Google Patents
Information processing system, information processing method, and information processing program Download PDFInfo
- Publication number
- JP6906801B2 JP6906801B2 JP2018177974A JP2018177974A JP6906801B2 JP 6906801 B2 JP6906801 B2 JP 6906801B2 JP 2018177974 A JP2018177974 A JP 2018177974A JP 2018177974 A JP2018177974 A JP 2018177974A JP 6906801 B2 JP6906801 B2 JP 6906801B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- input
- character
- characters
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 59
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005065 mining Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、字幕入力を行うための情報処理システム、情報処理方法、及び、情報処理プログラムに関する。 The present invention relates to an information processing system for inputting subtitles, an information processing method, and an information processing program.
従来より、例えば生放送の番組にリアルタイムで字幕を付与する装置がある。例えば、特許文献１に記載の装置では、事前原稿を基に番組開始直前に記者が修正する箇所を、オペレータが撮像画像を見ながらリアルタイムで修正し、その修正結果を、同一のオペレータあるいは別のオペレータが、字幕スーパーとして見易いセンテンスに分割しておき、番組開始と同時に、アナウンサの音声をモニタしながら、作成したセンテンスをタイミング良く送り出す。
Conventionally, for example, there is a device for adding subtitles to a live broadcast program in real time. For example, in the apparatus described in
しかしながら、上記特許文献１に記載の装置は、事前原稿が元になるため、例えば事前原稿のない番組については字幕を付与することができなかった。
However, since the device described in
それ故、本発明の目的の一つは、従来には無い新たな字幕付与のためのシステムを提供することである。 Therefore, one of the objects of the present invention is to provide a new system for adding subtitles, which has never existed before.
本発明の一例では、上記の課題を解決するために、以下の構成を採用した。 In one example of the present invention, the following configuration was adopted in order to solve the above problems.
本発明に係る情報処理システムは、複数の入力者によって入力された入力文字をそれぞれ取得する取得手段と、前記複数の入力者によって入力された入力文字のうち、何れの入力文字を字幕文字として採用するかを決定する字幕文字決定手段と、前記字幕文字として採用された入力文字を入力した入力者に対して、特典を付与する特典付与手段と、を備える。 The information processing system according to the present invention employs an acquisition means for acquiring input characters input by a plurality of input persons and any input character among the input characters input by the plurality of input persons as a subtitle character. It is provided with a subtitle character determining means for determining whether or not to perform, and a privilege granting means for granting a privilege to an input person who has input an input character adopted as the subtitle character.
上記によれば、複数の入力者によって入力された入力文字について、何れの文字を字幕文字として採用するかを決定し、字幕文字として採用された文字を入力した入力者に対して、特典を付与することができる。入力者に対して特典を付与することにより、多数の入力者を字幕文字のための文字の入力に参加させることができる。 According to the above, for the input characters input by a plurality of inputters, which character is adopted as the subtitle character is determined, and a privilege is given to the input person who input the character adopted as the subtitle character. can do. By giving a privilege to the input person, a large number of input persons can participate in the input of characters for the subtitle character.
他の構成では、前記情報処理システムは、前記複数の入力者に対して、マイクで集音された音声に基づく音声情報をリアルタイムで送信する送信手段を更に備えてもよい。前記取得手段は、前記入力者が前記音声情報に基づいてリアルタイムで入力した入力文字を取得してもよい。前記字幕文字決定手段は、前記複数の入力者が前記音声情報に基づいてリアルタイムで入力した入力文字のうち、何れの入力文字を字幕文字として採用するかを決定してもよい。 In another configuration, the information processing system may further include transmission means for transmitting voice information based on the voice collected by the microphone to the plurality of input persons in real time. The acquisition means may acquire input characters input by the input person in real time based on the voice information. The subtitle character determining means may determine which of the input characters input by the plurality of inputters in real time based on the voice information is adopted as the subtitle character.
上記によれば、マイクで集音された音声をリアルタイムで送信し、当該音声に応じた文字を取得し、字幕文字を決定することができる。 According to the above, it is possible to transmit the voice collected by the microphone in real time, acquire the characters corresponding to the voice, and determine the subtitle characters.
他の構成では、前記取得手段は、インターネットで接続された複数の入力者端末から、放送のための音声に応じて入力された前記入力文字を取得してもよい。また、前記字幕文字決定手段は、前記音声に対応する放送のための映像に付与する前記字幕文字を決定してもよい。 In another configuration, the acquisition means may acquire the input characters input according to the voice for broadcasting from a plurality of inputter terminals connected via the Internet. Further, the subtitle character determining means may determine the subtitle character to be added to the video for broadcasting corresponding to the audio.
上記によれば、複数の入力者端末はインターネットに接続され、入力者は、インターネットを介して放送のための音声に応じた文字を入力する。入力された入力文字に基づいて、放送のための映像に付与する字幕文字が決定される。これにより、放送のための映像に付与する字幕文字をインターネットに接続された入力者が入力することができ、放送される映像に字幕を付与するための新たなシステムを構築することができる。 According to the above, the plurality of inputter terminals are connected to the Internet, and the inputter inputs characters according to the voice for broadcasting via the Internet. Based on the input characters, the subtitle characters to be added to the video for broadcasting are determined. As a result, the input person connected to the Internet can input the subtitle characters to be added to the video for broadcasting, and a new system for adding subtitles to the video to be broadcast can be constructed.
他の構成では、前記字幕文字決定手段は、前記複数の入力者によって入力された入力文字のうち、何れかの入力文字を字幕文字の候補として判定する字幕判定手段と、前記字幕判定手段によって判定された字幕文字の候補のうち何れかを前記字幕文字として決定する決定手段と、を含んでもよい。 In another configuration, the subtitle character determining means determines by the subtitle determining means for determining any of the input characters input by the plurality of input characters as a candidate for the subtitle character and the subtitle determining means. It may include a determination means for determining any of the subtitle character candidates as the subtitle character.
上記によれば、複数の入力者によって入力された入力文字を字幕文字の候補として決定し、その候補の中から何れかを字幕文字として決定することができる。 According to the above, the input characters input by a plurality of inputters can be determined as subtitle character candidates, and any of the candidates can be determined as the subtitle character.
他の構成では、前記情報処理システムは、前記字幕判定手段によって判定された字幕文字の候補を表示手段に表示させる候補表示制御手段を更に備えてもよい。前記決定手段は、決定者の入力に基づいて、前記候補表示制御手段によって表示された前記字幕文字の候補のうち何れかを前記字幕文字として決定してもよい。 In another configuration, the information processing system may further include candidate display control means for causing the display means to display candidates for subtitle characters determined by the subtitle determination means. The determination means may determine any of the candidates for the subtitle character displayed by the candidate display control means as the subtitle character based on the input of the determiner.
上記によれば、字幕文字の候補を表示手段に表示し、決定者が表示された候補の中から字幕文字を決定することができる。 According to the above, the candidate for the subtitle character can be displayed on the display means, and the deciding person can determine the subtitle character from the displayed candidates.
他の構成では、前記情報処理システムは、音声認識システムが前記音声情報に基づいて音声認識を行った結果を取得する音声認識結果取得手段を更に備えてもよい。前記字幕文字決定手段は、前記音声認識結果取得手段によって取得された前記音声認識の結果と、前記複数の入力者によって入力された入力文字とに基づいて、前記字幕文字を決定してもよい。 In another configuration, the information processing system may further include voice recognition result acquisition means for acquiring the result of voice recognition performed by the voice recognition system based on the voice information. The subtitle character determining means may determine the subtitle character based on the result of the voice recognition acquired by the voice recognition result acquisition means and the input characters input by the plurality of inputters.
上記によれば、入力者からの入力文字に加えて、音声認識システムの結果に基づいて字幕文字を決定することができる。 According to the above, in addition to the input characters from the input person, the subtitle characters can be determined based on the result of the voice recognition system.
他の構成では、前記字幕文字決定手段は、前記複数の入力者によって入力された入力文字のうち、共通する入力文字を前記字幕文字として決定してもよい。 In another configuration, the subtitle character determining means may determine a common input character as the subtitle character among the input characters input by the plurality of inputters.
上記によれば、複数の入力者が入力した文字について共通する入力文字を字幕文字として決定することができ、正確な字幕文字を決定することができる。 According to the above, it is possible to determine a common input character as a subtitle character for characters input by a plurality of inputters, and it is possible to determine an accurate subtitle character.
他の構成では、前記特典付与手段は、前記特典として、仮想通貨、電子マネー、ポイント、及び法定通貨のうちの何れかを付与してもよい。 In another configuration, the privilege granting means may grant any of virtual currency, electronic money, points, and legal tender as the privilege.
上記によれば、入力者に対して、仮想通貨、電子マネー、ポイント、及び法定通貨のうちの何れかを付与することができる。 According to the above, any one of virtual currency, electronic money, points, and legal tender can be given to the input person.
他の構成では、前記特典付与手段は、分散型台帳システムを介して、前記特典を付与してもよい。 In another configuration, the privilege granting means may grant the privilege via a distributed ledger system.
上記によれば、特典を分散型台帳システムを介して付与することができ、付与された特典の改ざんを防止することができる。 According to the above, the privilege can be given via the distributed ledger system, and falsification of the given privilege can be prevented.
また、他の発明は、上記情報処理システムにおいて行われる情報処理方法であってもよい。また、他の発明は、上記情報処理システムにおいて実行される情報処理プログラムであってもよい。また、上記情報処理システムは、複数の装置によって実現されてもよいし、１つの装置によって実現されてもよい。 Further, the other invention may be an information processing method performed in the above information processing system. Further, the other invention may be an information processing program executed in the above information processing system. Further, the information processing system may be realized by a plurality of devices or may be realized by one device.
本発明によれば、多数の入力者に字幕文字のための入力に参加させることができる。 According to the present invention, a large number of input persons can participate in the input for subtitle characters.
（情報処理システムの概要）
以下、本発明の一実施形態に係る情報処理システムについて説明する。図１は、本実施形態の情報処理システム１の全体構成の一例を示す図である。情報処理システム１は、放送局４と、音声認識システム５と、複数の字幕入力者端末６（６ａ、６ｂ等）とを含む。字幕入力者端末６は、字幕入力者によって操作される端末である。情報処理システム１には、図に示す他にも多数の字幕入力者端末６が含まれる。なお、以下では、字幕入力者端末６ａ、６ｂを総称して「字幕入力者端末６」と表記する。
(Overview of information processing system)
Hereinafter, the information processing system according to the embodiment of the present invention will be described. FIG. 1 is a diagram showing an example of the overall configuration of the
放送局４と、音声認識システム５と、複数の字幕入力者端末６とは、インターネット２（ネットワークの一例）を介して接続される。また、インターネット２は、複数のノードＮで構成されるブロックチェーンネットワーク（以下、「ブロックチェーンＮＷ」と表記することがある）３を含む。また、インターネット２には、複数の視聴者端末７が接続される。
The
ブロックチェーンＮＷ３は、複数のノードがＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）で接続されたネットワークであり、ブロックチェーン技術（分散型台帳技術）で接続されたネットワークである。ブロックチェーンＮＷ３は、分散型アプリケーションやスマートコントラクトを実行する。ブロックチェーンＮＷ３のノードは、ネットワークに投函されたトランザクション（例えば、後述する仮想通貨の送金のためのトランザクション）を各ノードに伝播し、各ノードはトランザクションをブロックに取り込むためのマイニング（採掘作業；具体的には数学的な計算）を行う。マイニングに成功したノードは、ネットワーク内の各ノードにその結果をブロードキャストし、各ノードはその結果をブロックに書き込む。これにより、ブロックチェーンＮＷ３全体で同じ情報が記録される。 The blockchain NW3 is a network in which a plurality of nodes are connected by P2P (Peer to Peer), and is a network connected by blockchain technology (distributed ledger technology). The blockchain NW3 executes decentralized applications and smart contracts. The nodes of the blockchain NW3 propagate the transactions posted on the network (for example, the transactions for remittance of virtual currency described later) to each node, and each node is mining (mining work; concretely) for incorporating the transaction into the block. Mathematical calculation) is performed. A successfully mined node broadcasts the result to each node in the network, and each node writes the result to a block. As a result, the same information is recorded throughout the blockchain NW3.
ブロックチェーンＮＷ３は、例えば、イーサリアム（Ｅｔｈｅｒｅｕｍ）、Ｈｙｐｅｒｌｅｄｇｅｒ Ｆａｂｒｉｃ、ＮＥＭ等のブロックチェーン技術を実現するプラットフォームを用いて構成されてもよい。本実施形態では、ブロックチェーンＮＷ３は、イーサリアムネットワークであるものとする。なお、ブロックチェーンＮＷ３は、他のブロックチェーン技術を実現するプラットフォームを用いて構成されてもよい。また、ブロックチェーンＮＷ３は、ブロックチェーン技術とは異なる他の分散型台帳技術を用いて構成されてもよい。また、ブロックチェーンＮＷ３は、パブリックなブロックチェーンネットワークであってもよいし、プライベートなブロックチェーンネットワークであってもよい。 The blockchain NW3 may be configured using a platform that implements blockchain technology, such as Ethereum, Hyperledger Fabric, NEM, and the like. In the present embodiment, the blockchain NW3 is assumed to be an Ethereum network. The blockchain NW3 may be configured using a platform that realizes other blockchain technologies. Further, the blockchain NW3 may be configured by using another distributed ledger technology different from the blockchain technology. Further, the blockchain NW3 may be a public blockchain network or a private blockchain network.
放送局４は、地上波、衛星、有線、インターネット等により映像及び音声を放送する。放送局４は、映像を撮影するためのカメラ、音声を集音するためのマイク、放送のための機器、及び、字幕付与のための字幕付与システム等を含む。放送局４内の字幕付与システムは、番組関係者によって操作される端末と、少なくとも音声を事前に字幕入力者端末６及び音声認識システム５に配信する配信装置と、決定された字幕を映像に付与するための装置とを含む。
放送局４は、例えば、スポーツ番組やニュース番組等を生放送する。本実施形態の情報処理システム１は、放送局４が放送する生放送の映像に、字幕入力者が字幕入力者端末６を用いて入力した字幕を付与するためのシステムであり、字幕を入力した字幕入力者に対して報酬を付与するためのシステムである。以下、情報処理システム１の動作について説明する。
The
図２は、情報処理システム１の動作の一例を示す図である。字幕入力者は、予め本情報処理システム１のユーザとして登録されているものとする。図２に示されるように、放送局４（の配信装置）は、例えばインターネット２を介して、各字幕入力者に対して少なくとも音声情報を配信する（図２の（１））。この音声情報は、放送局４がこれから生放送する番組の音声情報である。具体的には、カメラで撮影した映像およびマイクで集音した音声を生放送する前に、放送局４は、各字幕入力者に対して、マイクで集音した音声をインターネット２を介して字幕入力者端末６に配信する。放送局４は、撮影した映像および集音した音声をすぐに地上波等を通して放送するのではなく、例えば３０秒だけ遅らせて放送する。一方、放送局４は、字幕入力者に対しては、集音した音声をリアルタイムで音声データに変換し、当該音声データをインターネット２を介してリアルタイムで字幕入力者端末６に配信する。字幕入力者端末６は、放送局４からの音声データを受信して再生する。これにより、字幕入力者は、生放送される前の（例えば３０秒前の）番組の音声を聞くことができる。なお、放送局４は、音声に加えて映像も字幕入力者に事前に配信してもよい。
FIG. 2 is a diagram showing an example of the operation of the
また、放送局４は、音声認識システム５に対しても同様の音声データを配信する。音声認識システム５は、音声認識プログラムを実行するプロセッサと、放送局４からの音声データを入力する音声データ入力部と、通信を行うための通信部とを有する。音声認識システム５は、放送局４からの音声データを受信し、当該音声データに基づいて音声認識処理を行う。そして、音声認識システム５は、音声認識の結果（すなわち、文字情報）をブロックチェーンネットワーク３に送信する（図２の（２））。
The
字幕入力者端末６は、放送局４から配信された音声データに基づいて音声を再生する。字幕入力者は、当該再生された音声を聞き、字幕入力者端末６を用いて、その音声に対応する文字を入力する。字幕入力者端末６は、字幕入力者によって入力された入力文字をブロックチェーンＮＷ３に送信する（図２の（３））。
The
ブロックチェーンＮＷ３は、字幕入力者端末６からの入力文字を受信した場合、又は、音声認識システム５から音声認識結果（文字情報）を受信した場合、これらの情報をブロックチェーンＮＷ３に記録するとともに、これらの情報に基づいて、字幕判定を行う（図２の（４））。具体的には、ブロックチェーンＮＷ３は、複数の字幕入力者が入力した入力文字の中から映像に付与する字幕文字の候補を判定する。例えば、ブロックチェーンＮＷ３は、字幕文字の候補を複数判定してもよいし、１つだけ判定してもよい。
When the blockchain NW3 receives the input characters from the
次に、放送局４（の端末）は、字幕判定の結果（すなわち、少なくとも１つの字幕文字の候補）を取得する（図２の（５））。そして、放送局４において、少なくとも１つの字幕文字の候補の中から映像に付与する字幕文字が決定され、決定された字幕文字が映像に付与される（図２の（６））。放送局４は、字幕文字が付与された映像を例えば地上波を通じて放送する。これにより、視聴者（例えば聴覚障がい者）は、受信機を用いて、字幕付きの映像を視聴することが可能になる。なお、視聴者は、聴覚障がい者に限らず、例えば、音声を聞くことが困難な状況にある視聴者（例えば、地上波を受信可能な端末を有する視聴者であって電車に乗っている視聴者）であってもよい。
Next, the broadcasting station 4 (terminal) acquires the result of the subtitle determination (that is, at least one candidate for the subtitle character) ((5) in FIG. 2). Then, in the
映像に付与する字幕文字が決定された場合、字幕入力者に対して、入力文字が字幕文字として採用されたか否かの採否通知がなされる（図２の（７））。例えば、字幕入力者が、放送局４からの音声（図２の（１）で配信された音声）を正しく文字として入力した場合、当該入力文字は、映像に付与する字幕文字として採用される。この場合、字幕文字として採用されたことを示す情報が、その文字を入力した字幕入力者に通知される。例えば、採用された文字数、及び、その文字数に応じて付与される特典の情報が、Ｅ−Ｍａｉｌを通じて字幕入力者に通知されてもよい。なお、字幕文字として採用されなかった場合は、採用されなかったことを示す情報が字幕入力者に通知されてもよい。 When the subtitle character to be added to the video is determined, the subtitle input person is notified of whether or not the input character is adopted as the subtitle character ((7) in FIG. 2). For example, when the subtitle inputter correctly inputs the audio from the broadcasting station 4 (the audio distributed in (1) of FIG. 2) as characters, the input characters are adopted as the subtitle characters to be added to the video. In this case, the information indicating that the character has been adopted as the subtitle character is notified to the subtitle input person who input the character. For example, the number of characters adopted and the information of the privilege given according to the number of characters may be notified to the subtitle input person through E-Mail. If the subtitle character is not adopted, the subtitle input person may be notified of information indicating that the subtitle character has not been adopted.
また、字幕文字として採用された文字を入力した字幕入力者に対して、その報酬としての特典が付与される（図２の（８））。具体的には、放送局４から字幕入力者に対して、ブロックチェーンＮＷ３を通じて特典が付与される。例えば、付与される特典は、情報処理システム１内においてのみ利用可能な独自のトークン（独自の仮想通貨）であってもよいし、仮想通貨取引所等で法定通貨と交換可能な仮想通貨であってもよい。また、付与される特典は、電子マネーであってもよいし、情報処理システム１内において利用可能なポイントであってもよいし、情報処理システム１外においても利用可能なポイントであってもよい。本実施形態では、付与される特典は、独自のトークンであるものとする。
In addition, a privilege as a reward is given to the subtitle input person who has input the character adopted as the subtitle character ((8) in FIG. 2). Specifically, the
本実施形態では、予めブロックチェーンＮＷ３において独自のトークン（独自の仮想通貨）を作成し、字幕入力者に対する報酬として当該独自のトークンを付与するものとする。なお、各字幕入力者に対して、予め所定量のトークンが付与されているものとする。 In the present embodiment, a unique token (original virtual currency) is created in advance in the blockchain NW3, and the unique token is given as a reward to the subtitle input person. It is assumed that a predetermined amount of tokens are given to each subtitle input person in advance.
付与されたトークンに関する情報は、ブロックチェーンＮＷ３に書き込まれる。トークンが付与された字幕入力者は、字幕入力者端末６を用いてブロックチェーンＮＷ３に接続することで、付与されたトークンを確認することができる。また、字幕入力者は、ブロックチェーンＮＷ３に接続することで、付与されたトークンを他のアイテムと交換することができる。例えば、字幕入力者は、付与されたトークンと引き換えに、放送局４が有償で提供するサービス（例えば映像や音楽等のコンテンツ）を利用したり、法定通貨と交換したり、商品と交換したりすることができる。なお、字幕入力者は、字幕入力者端末６に限らず、ウォレットをインストールした他の端末（他のパーソナルコンピュータ、タブレット、スマートフォン等）を用いて、付与されたトークンを確認したり、トークンを他のアイテムと交換したりすることができる。
Information about the granted token is written to the blockchain NW3. The subtitle input person to which the token is given can confirm the given token by connecting to the blockchain NW3 using the subtitle
このように、本実施形態の情報処理システム１では、字幕入力者が放送される音声を聞いてリアルタイムで字幕を入力することで、リアルタイムで映像に字幕を付与することができる。本実施形態では、字幕入力者に対して、字幕を入力したことに対する報酬としてトークン（独自の仮想通貨）を付与するため、多数の人を字幕入力に参加させることができる。多数の字幕入力者が字幕入力に参加することで、一部の番組にしか付与できなかった字幕を、より多くの番組に付与することができる。また、多数の字幕入力者が字幕入力に参加することで、字幕付与にかかるコストを低減することができるとともに、正確な字幕を付与することができる。また、多数の一般の人が番組の制作に関わることができるため、放送局と視聴者との距離を縮めることができる。
As described above, in the
また、本実施形態では、ブロックチェーンＮＷ３にトークンを送金するためのトランザクションを発行することで、ブロックチェーンＮＷ３にトークンに関する情報を記録することができ、トークンに関する情報の改ざんを困難にすることができる。 Further, in the present embodiment, by issuing a transaction for remittance of the token to the blockchain NW3, the information about the token can be recorded in the blockchain NW3, and it is possible to make it difficult to falsify the information about the token. ..
また、視聴者は、放送された字幕付きの映像を見て、字幕に対する評価を放送局４にフィードバックすることができる（図２の（９））。例えば、字幕の表示タイミングや正確さに関して評価し、その評価結果が、例えば視聴者端末７を介して放送局４に送信されてもよい。放送局４では、そのフィードバックを考慮して、システムを改善することができる。放送局４は、フィードバックを送信した視聴者に対して、評価を送信したことに対する対価として、トークンを付与する。この視聴者に対するトークンの付与は、ブロックチェーンＮＷ３を通じて行われる。
In addition, the viewer can see the broadcast video with subtitles and feed back the evaluation of the subtitles to the broadcasting station 4 ((9) in FIG. 2). For example, the display timing and accuracy of the subtitles may be evaluated, and the evaluation result may be transmitted to the
なお、図は単なる一例であり、情報処理システム１の構成はこれに限らない。例えば、音声認識システム５は、放送局４と同一主体により管理されてもよいし、別主体により管理されてもよい。また、音声認識システム５は、放送局４と同じ場所に配置されてもよいし、異なる場所に配置されてもよい。また、音声認識システム５と放送局４の専用システムとは、同一のシステムであってもよい。音声認識システム５と放送局４とが別の場所に配置される場合、放送局４からの音声データは、インターネット２を介して送信されてもよいし、専用ネットワークを介して送信されてもよい。
The figure is just an example, and the configuration of the
次に、字幕入力者端末６、ブロックチェーンネットワーク３内のノード、及び、放送局内の字幕付与システムの構成について説明する。図３は、字幕入力者端末６の機能構成の一例を示すブロック図である。
Next, the configuration of the
図３に示されるように、字幕入力者端末６は、処理装置６１と、入力装置６２と、表示装置６３と、スピーカ６４と、通信装置６５とを備える。処理装置６１は、少なくとも１つのプロセッサとメモリとを含む。プロセッサによって所定のプログラムが実行されることにより、プロセッサは、音声再生手段６６、入力文字送信手段６７、及び、特典管理手段６８として機能する。
As shown in FIG. 3, the
通信装置６５は、放送局４からの音声情報（映像情報も含む場合は映像情報も）を受信し、処理装置６１に当該音声情報を出力する。処理装置６１の音声再生手段６６は、当該音声情報に基づいて音声を再生し、スピーカ６４に出力する。また、放送局４から映像情報が送信される場合、音声再生手段６６は、当該映像情報を再生して表示装置６３に出力する。
The
入力装置６２は、例えばキーボードである。入力装置６２は、字幕入力者によって入力された情報を処理装置６１に出力する。処理装置６１の入力文字送信手段６７は、入力装置６２からの情報に基づいて、字幕入力者によって入力された入力文字を設定し、入力文字を通信装置６５を介してブロックチェーンＮＷ３に送信する。具体的には、入力文字送信手段６７は、入力文字を含むトランザクションを発行することにより、入力文字をブロックチェーンＮＷ３に送信する。入力文字送信手段６７は、どのようなタイミングで入力文字を送信してもよい。例えば、入力文字送信手段６７は、字幕入力者によって送信の指示が行われた場合に、入力文字を送信してもよい。また、入力文字送信手段６７は、所定の時間間隔（例えば、５秒間隔や１０秒間隔）で入力文字を送信してもよい。また、入力文字送信手段６７は、字幕入力者によって入力された入力文字列を文節に区切り、文節毎に送信してもよい。
The
特典管理手段６８は、放送局４によって字幕入力者に付与されたトークン（特典の一例）を管理する。具体的には、各字幕入力者は、固有のウォレット（アドレス）を有している。各字幕入力者は、自分自身に固有のウォレットを他の字幕入力者に開示することなく、自分自身に固有のウォレットを管理する。特典管理手段６８は、この字幕入力者に固有のウォレットを記憶および管理する。特典管理手段６８は、ウォレットに基づいてブロックチェーンＮＷ３にアクセスすることで、字幕入力者に付与されたトークンを参照する。これにより、字幕入力者は、自身が現在保有しているトークンの残高を確認することができる。また、特典管理手段６８は、字幕入力者からの指示に基づいて、トークンを他のユーザに送信する（所有権を移転させる）ためのトランザクションをブロックチェーンＮＷ３に送信する。また、特典管理手段６８は、字幕入力者からの指示に基づいて、トークンを他のアイテム（例えば、商品、放送局が有する映像や音楽等のコンテンツ、他の仮想通貨、法定通貨等）と交換するためのトランザクションをブロックチェーンＮＷ３に送信する。これにより、字幕入力者は、トークンを他のユーザに送信したり、トークンを他のアイテムと交換したりすることができる。
The privilege management means 68 manages a token (an example of a privilege) given to a subtitle input person by the
図４は、ブロックチェーンＮＷ３内のノードの機能構成の一例を示すブロック図である。ブロックチェーンＮＷ３内には複数のノードがあり、各ノードＮは、Ｐ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）で接続されている。 FIG. 4 is a block diagram showing an example of the functional configuration of the nodes in the blockchain NW3. There are a plurality of nodes in the blockchain NW3, and each node N is connected by P2P (Peer to Peer).
図４に示されるように、各ノードＮは、少なくとも１つのプロセッサ３１と、メモリ３２と、通信装置３３と、記憶装置３４とを備える。通信装置３３は、音声認識システム５からの音声認識結果を受信したり、字幕入力者端末６からの入力文字を受信したり、これら受信した情報を他のノードＮに伝播させたりする。また、各ノードの記憶装置３４には、字幕判定の結果や各字幕入力者に付与された特典に関する情報が記憶される。
As shown in FIG. 4, each node N includes at least one
ブロックチェーンＮＷ３の各ノードのメモリ３２には、ブロックチェーンＮＷ３に参加するための参加プログラムが予めインストールされている。また、各ノードのメモリ３２には、上述した字幕判定を行うための字幕判定プログラム（スマートコントラクト）が予め配信されている。
A participation program for participating in the blockchain NW3 is pre-installed in the
プロセッサ３１は、メモリ３２に記憶された参加プログラムを実行することにより、ブロックチェーンＮＷ３内の各ノードとピア・ツー・ピアで通信したり、仮想通貨の送金（トークンの付与や交換）を行ったりする。また、プロセッサ３１は、参加プログラムを実行することにより、ノードに送信されたトランザクションをブロックチェーンＮＷ３に取り込むためのマイニングを行ったりする。
By executing the participation program stored in the
また、プロセッサ３１は、メモリ３２に記憶された字幕判定プログラムを実行することにより、上述した字幕判定を行う。具体的には、プロセッサ３１は、音声認識システム５からの音声認識結果と各字幕入力者端末６からの入力文字とに基づいて、字幕判定を行うことにより、映像に付与する字幕文字の候補を判定する。この字幕判定の詳細については後述する。
Further, the
図５は、放送局内の字幕付与システムの機能構成の一例を示すブロック図である。字幕付与システムは、字幕文字の候補の中から字幕文字を選択したり、映像に字幕を付与したりするためのシステムである。字幕付与システムは、複数の装置によって構成されてもよいし、１つの装置によって構成されてもよい。字幕付与システムは、少なくとも１つのプロセッサと、メモリと、通信装置とを備える。字幕付与システムの少なくとも１つのプロセッサによって所定のプログラムが実行されることにより、当該プロセッサは、図５に示す音声再生手段７１、字幕候補表示手段７２、字幕文字決定手段７３、及び、字幕付与手段７４として機能する。 FIG. 5 is a block diagram showing an example of the functional configuration of the subtitle addition system in the broadcasting station. The subtitle addition system is a system for selecting subtitle characters from candidates for subtitle characters and adding subtitles to video. The captioning system may be composed of a plurality of devices or may be composed of one device. The captioning system includes at least one processor, memory, and a communication device. When a predetermined program is executed by at least one processor of the subtitle addition system, the processor causes the audio reproduction means 71, the subtitle candidate display means 72, the subtitle character determination means 73, and the subtitle addition means 74 shown in FIG. Functions as.
音声再生手段７１は、マイクによって集音された音声を再生する。具体的には、音声再生手段７１は、字幕入力者に配信される音声よりも所定時間遅れて、マイクで集音された音声を再生する。 The voice reproduction means 71 reproduces the sound collected by the microphone. Specifically, the voice reproducing means 71 reproduces the voice collected by the microphone with a predetermined time delay from the voice delivered to the subtitle input person.
字幕候補表示手段７２は、字幕文字の候補を表示装置に表示する。ここで表示される字幕文字の候補は、ブロックチェーンＮＷ３からの字幕判定の結果であり、字幕入力者によって入力された文字である。例えば、字幕候補表示手段７２は、複数の字幕文字の候補を１画面に表示する。なお、ここで表示される字幕文字の候補と、音声再生手段７１によって再生される音声とは、同期される。すなわち、出力されている音声に対応する文字が表示されるように、字幕文字の候補が表示される。これにより、番組関係者が字幕文字を決定する際に、出力されている音声を聞きながら表示されている字幕文字の候補の中から何れかを選択することができる。 The subtitle candidate display means 72 displays the subtitle character candidates on the display device. The subtitle character candidates displayed here are the results of the subtitle determination from the blockchain NW3, and are the characters input by the subtitle inputter. For example, the subtitle candidate display means 72 displays a plurality of subtitle character candidates on one screen. The subtitle character candidates displayed here and the audio reproduced by the audio reproduction means 71 are synchronized with each other. That is, the subtitle character candidates are displayed so that the characters corresponding to the output voice are displayed. As a result, when the person concerned with the program determines the subtitle character, he / she can select one of the candidates for the subtitle character displayed while listening to the output sound.
字幕文字決定手段７３は、例えば番組関係者からの入力に応じて、複数の字幕文字の候補の中から、実際に映像に付与する字幕文字を決定する。なお、字幕文字決定手段７３は、番組関係者からの入力によらずに自動で、実際に映像に付与する字幕文字を決定してもよい。字幕付与手段７４は、字幕文字決定手段７３によって決定された字幕文字を映像に付与する。 The subtitle character determining means 73 determines a subtitle character to be actually given to the video from a plurality of subtitle character candidates in response to input from, for example, a person involved in the program. The subtitle character determining means 73 may automatically determine the subtitle characters to be actually added to the video without being input from the person involved in the program. The subtitle adding means 74 adds the subtitle characters determined by the subtitle character determining means 73 to the video.
次に、情報処理システム１において行われる処理の流れについて説明する。図６は、情報処理システム１において行われる処理の一例を示す図である。
Next, the flow of processing performed in the
まず、放送局４は、実際に地上波等で番組の生放送を行う前に、インターネット２を介して、少なくとも音声データを字幕入力者端末６および音声認識システム５に配信する（ステップＳ０）。この音声データの配信は、番組が継続している間、ストリーミング形式で行われる。例えば、生放送の番組中にマイクによって集音された音声がリアルタイムで音声データに変換され、当該音声データがインターネット２を介して字幕入力者端末６及び音声認識システム５に送信される。地上波による映像及び音声の放送は、この字幕入力者への音声配信よりも例えば３０秒遅れて行われる。
First, the
音声認識システム５は、放送局４からの音声データを受信し、音声認識を行う（ステップＳ１）。音声認識システム５は、音声認識の結果として文字情報を出力する。そして、音声認識システム５は、その音声認識結果を含むトランザクションをブロックチェーンＮＷ３に送信する（ステップＳ２）。
The
また、各字幕入力者端末６は、放送局４からの音声データを受信し、音声を再生する。各字幕入力者は、再生された音声を聞いて、字幕入力者端末６の入力装置６２を用いて文字を入力する。そして、字幕入力者端末６は、字幕入力者によって入力された入力文字を含むトランザクションをブロックチェーンＮＷ３に送信する（ステップＳ４）。例えば、字幕入力者端末６は、トークンを送信するためのトランザクションに、入力文字のデータを含めて送信してもよい。当該トランザクションでは、トークンの送信元として当該字幕入力者端末６を所有する字幕入力者が指定され、トークンの送信先として放送局４が指定されてもよい。すなわち、トークンは字幕入力者が入力文字を送信するための媒体として機能してもよい。なお、入力文字は、トークンを送信するためのトランザクションに限らず、他のトランザクションに含められて、ブロックチェーンＮＷ３に送信されてもよい。
In addition, each
ブロックチェーンＮＷ３（内のノード）は、各字幕入力者端末６からの入力文字と、音声認識システム５からの音声認識結果とに基づいて、字幕判定を行う（ステップＳ５）。例えば、ブロックチェーンＮＷ３は、入力文字を受け付ける受付時間を設定し、受付時間内に受信した入力文字に基づいて字幕判定を行ってもよい。受付時間は、例えば、予め定められた時間間隔（例えば１５秒間）に基づいて設定されてもよい。また、受付時間は、例えば、音声認識結果を受信してからの所定時間（例えば、１５秒）であってもよい。
The blockchain NW3 (node in) determines the subtitle based on the input characters from each
ステップＳ５の字幕判定では、映像に付与する字幕文字の候補が決定される。決定される字幕文字の候補は、１つでもよいし複数でもよい。なお、ステップＳ５の字幕判定の詳細については後述する。 In the subtitle determination in step S5, candidates for subtitle characters to be added to the video are determined. The candidate for the subtitle character to be determined may be one or a plurality. The details of the subtitle determination in step S5 will be described later.
字幕判定が行われると、字幕文字の候補を示す字幕情報が放送局４に送られる（ステップＳ６）。次に、放送局４において、実際に映像に付与する字幕文字を決定する（ステップＳ７）。すなわち、ステップＳ５で判定された１又は複数の字幕文字の候補のうちの何れが、実際に映像に付与する字幕文字として決定される。実際に映像に付与する字幕文字の決定は、放送局４の番組関係者によって行われてもよい。例えば、字幕文字の候補が表示装置に表示され、放送局４の番組関係者が、表示された字幕文字の候補の中から何れかを選択することにより、字幕文字が決定される。なお、番組関係者は、字幕文字の候補の中に適切な文字が無いと判断した場合は、自身で字幕文字を修正又は入力してもよい。また、送信された字幕文字の候補が自動的に字幕文字として決定されてもよい。
When the subtitle determination is performed, the subtitle information indicating the candidate for the subtitle character is sent to the broadcasting station 4 (step S6). Next, the
字幕文字が決定された場合、決定された字幕文字が、映像に付与される（ステップＳ８）。そして、字幕が付与された映像が例えば地上波を通じて放送される。 When the subtitle character is determined, the determined subtitle character is added to the video (step S8). Then, the video with subtitles is broadcast, for example, through terrestrial broadcasting.
ステップＳ１〜ステップＳ８は、番組の放送中、所定の時間間隔で繰り返し行われる。これにより、生放送の番組にリアルタイムで字幕が付与され、視聴者は、字幕付きの番組を視聴することができる。 Steps S1 to S8 are repeated at predetermined time intervals during the broadcasting of the program. As a result, subtitles are added to the live broadcast program in real time, and the viewer can watch the program with subtitles.
例えば番組終了後、各字幕入力者に対して、入力文字が字幕文字として採用されたか否かが通知される（ステップＳ９）。例えば、字幕文字として採用された文字数や文節数が各字幕入力者に通知される。この通知は、例えば、Ｅメール等により行われてもよいし、ブロックチェーンＮＷ３を介して行われてもよい。また、採用された入力文字に応じて、特典が付与される（ステップＳ１０）。例えば、付与される特典は、情報処理システム１内においてのみ利用可能なトークン（独自の仮想通貨）である。具体的には、トークンを字幕入力者に送信するためのトランザクションがブロックチェーンＮＷ３に送信される。このトランザクションには、特典の送信先である字幕入力者に対応するウォレットアドレスと、トークンの量と、特典の送信元である放送局４に対応するウォレットアドレスとが含まれる。なお、付与される特典は、法定通貨と交換可能な仮想通貨であってもよいし、電子マネーであってもよいし、情報処理システム１内において利用可能なポイントであってもよいし、情報処理システム１外において利用可能なポイントであってもよい。
For example, after the program ends, each subtitle input person is notified whether or not the input character is adopted as the subtitle character (step S9). For example, each subtitle input person is notified of the number of characters adopted as subtitle characters and the number of phrases. This notification may be given, for example, by e-mail or the like, or may be given via the blockchain NW3. In addition, a privilege is given according to the adopted input character (step S10). For example, the privilege given is a token (unique virtual currency) that can be used only in the
ブロックチェーンＮＷ３内のノードがマイニングに成功し、トランザクションがブロックチェーンＮＷ３に組み込まれた場合、字幕入力者は、自身に固有のウォレットアドレスを用いてブロックチェーンＮＷ３にアクセスすることで、付与されたトークンを参照したり、トークンの残高を確認したりすることができる。また、字幕入力者は、ブロックチェーンＮＷ３にアクセスして、トークンをアイテムに交換することができる。 When a node in the blockchain NW3 is successfully mined and a transaction is incorporated into the blockchain NW3, the subtitle inputter can access the blockchain NW3 using his or her own unique wallet address to give the token. You can refer to and check the balance of tokens. In addition, the subtitle input person can access the blockchain NW3 and exchange tokens for items.
例えば、字幕入力者は、自身が有するトークンを放送局に送金する代わりに、放送局からアイテム（例えば、放送局が提供するコンテンツ）を入手する。例えば、字幕入力者からトークンが送信されたことを放送局が確認できた場合、放送局から字幕入力者に対して、コンテンツを視聴するためのデータ（データ本体あるいは暗号化されたコンテンツデータを復号化するための鍵）が送信される。これにより、字幕入力者は、トークンと引き換えにコンテンツを視聴することができる。 For example, a subtitle inputter obtains an item (for example, content provided by a broadcasting station) from the broadcasting station instead of sending his / her own token to the broadcasting station. For example, if the broadcasting station can confirm that the token has been sent from the subtitle input person, the data for viewing the content (data body or encrypted content data is decrypted) from the broadcasting station to the subtitle input person. The key to convert) is sent. This allows the subtitle inputter to view the content in exchange for the token.
このトークンとアイテムとの交換は、ブロックチェーンＮＷ３におけるスマートコントラクトによって自動的に行われてもよい。例えば、字幕入力者は、トークンとアイテムとの交換を行う場合、字幕入力者端末６を用いて、自身が有するトークンを放送局に送金するためのトランザクションをブロックチェーンＮＷ３に送信する。所定の条件が満たされている場合に（例えば、送金されたトークンが指定されたアイテムの価格以上であり、かつ、指定されたアイテムが利用可能な場合に）、ブロックチェーンＮＷ３は、送金されたトークンとアイテムとの交換が成立したと見なし、コンテンツデータをダウンロードするためのデータ（例えば、暗号化されたコンテンツデータを復号化するためのデータ）を字幕入力者端末６に送信する。
The exchange of this token for an item may be automatically performed by a smart contract in the blockchain NW3. For example, when exchanging a token for an item, the subtitle input person uses the subtitle
なお、本実施形態では、実際に番組が地上波で放送されるよりも前に、番組内の音声が字幕入力者に配信されることとした。番組内の音声に対して字幕文字が遅れて表示されることが許容されるのであれば、実際に番組が地上波で放送されるよりも前に音声が字幕入力者に配信される必要はない。この場合、字幕入力者は実際に地上波により放送された番組を視聴しながら文字入力を行う。字幕入力者が入力した入力文字に対して字幕判定が行われ、字幕が付与されて、字幕付きの映像が放送される。この場合、字幕入力者が文字を入力してから字幕文字が付与されるまでに時間がかかるため、音声に対して、字幕文字が遅れて表示される。 In the present embodiment, the audio in the program is delivered to the subtitle input person before the program is actually broadcast on the terrestrial broadcast. If it is permissible for the subtitle characters to be displayed later than the audio in the program, the audio does not need to be delivered to the subtitle input person before the program is actually broadcast on terrestrial broadcasting. .. In this case, the subtitle inputter inputs characters while actually watching the program broadcast by terrestrial broadcasting. Subtitle judgment is performed on the input characters input by the subtitle input person, subtitles are added, and the video with subtitles is broadcast. In this case, since it takes time for the subtitle input person to input the characters until the subtitle characters are added, the subtitle characters are displayed with a delay with respect to the voice.
また、字幕入力者に対するトークンの付与のタイミングは番組終了後に限らない。例えば、字幕判定が行われる毎に、トークンが付与されてもよい。この場合、字幕文字として採用される毎に、トークンを付与するためのトランザクションがブロックチェーンＮＷ３に送信（投函）される。 Further, the timing of granting the token to the subtitle input person is not limited to after the end of the program. For example, a token may be given each time the subtitle determination is performed. In this case, each time it is adopted as a subtitle character, a transaction for granting a token is transmitted (posted) to the blockchain NW3.
（字幕判定の説明）
次に、ステップＳ５で行われる字幕判定について説明する。図７は、字幕判定の一例を示す図である。図７において、横方向は時間軸を示す。番組出演者（例えば、アナウンサー）が、例えば「明日の東京の天気は晴れです」という言葉を発したとする。この場合、例えば、番組出演者が発した言葉は、「明日の」という文節Ｐ１と、「東京の」という文節Ｐ２と、「天気は」という文節Ｐ３と、「晴れ」という文節Ｐ４と、「です」という文節Ｐ５とに分けられる。
(Explanation of subtitle judgment)
Next, the subtitle determination performed in step S5 will be described. FIG. 7 is a diagram showing an example of subtitle determination. In FIG. 7, the horizontal direction indicates the time axis. Suppose a program performer (for example, an announcer) says, for example, "Tomorrow's weather in Tokyo will be sunny." In this case, for example, the words spoken by the program performers are the phrase "tomorrow" P1, the phrase "Tokyo" P2, the phrase "weather" P3, the phrase "sunny" P4, and " It is divided into the phrase P5.
この番組出演者の発声に応じて、字幕入力者Ａ〜Ｃは、自身の字幕入力者端末６を用いて、文字を入力する。字幕入力者によって入力された入力文字は、ブロックチェーンＮＷ３に送信される。また、音声認識システム５は、この番組出演者の発声に応じて、音声を認識して音声を文字に変換する。音声認識システム５による音声認識の結果は、ブロックチェーンＮＷ３に送信される。
In response to the utterances of the program performers, the subtitle inputters A to C input characters using their own
例えば、字幕入力者Ａは、出演者の発声「明日の」に対応する文字として「明日の」という文字Ｐ１Ａを入力し、出演者の発声「東京の」に対応する文字として「東京の」という文字Ｐ２Ａを入力し、出演者の発声「天気は」に対応する文字として「電気は」という文字Ｐ３Ａを入力し、出演者の発声「晴れ」に対応する文字として「晴れ」という文字Ｐ４Ａを入力したとする。その後、文字入力者Ａは、出演者の発声「です」に対応する文字を受付時間内に入力しなかった（できなかった）とする。 For example, the subtitle input person A inputs the character P1A of "tomorrow" as the character corresponding to the performer's utterance "tomorrow", and the character "Tokyo's" is used as the character corresponding to the performer's utterance "Tokyo's". Enter the letter P2A, enter the letter P3A as the letter corresponding to the performer's utterance "Weather", and enter the letter P4A as the letter corresponding to the performer's utterance "Sunny". Suppose you did. After that, it is assumed that the character input person A does not (cannot) input the character corresponding to the performer's utterance "desu" within the reception time.
また、字幕入力者Ｂは、出演者の発声「明日の」に対応する文字として「明日の」という文字Ｐ１Ｂを入力し、出演者の発声「東京の」に対応する文字を入力せず、その後、出演者の発声「天気は」に対応する文字として「天気は」という文字Ｐ３Ｂを入力し、出演者の発声「晴れ」に対応する文字として「あれ」という文字Ｐ４Ｂを入力し、さらにその後、出演者の発声「です」に対応する文字として「です」という文字Ｐ５Ｂを入力したとする。 Further, the subtitle input person B inputs the character P1B of "tomorrow" as the character corresponding to the performer's utterance "tomorrow", does not input the character corresponding to the performer's utterance "Tokyo's", and then. , Enter the character P3B "Weather" as the character corresponding to the performer's utterance "Weather", enter the character "That" P4B as the character corresponding to the performer's utterance "Sunny", and then enter the character P4B. It is assumed that the character P5B "is" is input as the character corresponding to the utterance "desu" of the performer.
また、字幕入力者Ｃは、出演者の発声「明日の」に対応する文字を入力せず、出演者の発声「東京の」に対応する文字として「東京の」という文字Ｐ２Ｃを入力し、出演者の発声「天気は」に対応する文字として「天気は」という文字Ｐ３Ｃを入力し、出演者の発声「晴れ」に対応する文字として「晴れ」という文字Ｐ４Ｃを入力し、さらにその後、出演者の発声「です」に対応する文字として「ｄす」という文字Ｐ５Ｃを入力したとする。 In addition, the subtitle input person C does not input the character corresponding to the utterance "tomorrow" of the performer, but inputs the character P2C of "Tokyo" as the character corresponding to the utterance "Tokyo" of the performer, and appears. Enter the character P3C "Weather" as the character corresponding to the utterance "Weather", enter the character P4C "Sunny" as the character corresponding to the utterance "Sunny" of the performer, and then enter the character P4C. It is assumed that the character P5C of "dsu" is input as the character corresponding to the utterance "desu".
一方、音声認識システム５は、出演者の発声「明日の」に対応する文字として「明日の」という文字Ｐ１Ｓを認識し、出演者の発声「東京の」に対応する文字として「東京の」という文字Ｐ２Ｓを認識し、出演者の発声「天気は」に対応する文字として「天気は」という文字Ｐ３Ｓを認識し、出演者の発声「晴れ」に対応する文字として「晴れ」という文字Ｐ４Ｓを認識し、出演者の発声「です」に対応する文字として「です」という文字Ｐ５Ｓを認識したとする。
On the other hand, the
この場合、ブロックチェーンＮＷ３は、複数の字幕入力者によって入力された入力文字について、最も共通点の多い文字を字幕文字の候補として採用する。例えば、複数の字幕入力者によって同じ文字（文字列）が入力された場合には、その入力された文字（文字列）が字幕文字の候補として採用される。複数の字幕入力者によって入力された文字が一致しているかどうかは、１文字毎に判定してもよいし、文節毎に判定してもよい。また、例えば、Ｎ名の字幕入力者によって文字Ｘが入力され、Ｍ名の字幕入力者によって別の文字Ｙが入力された場合、同じ文字を入力した字幕入力者の数が多い方を、字幕文字の第１の候補として採用してもよい。この場合、２番目に多い文字を字幕文字の第２の候補として採用してもよい。 In this case, the blockchain NW3 adopts the character having the most common points as the candidate for the subtitle character among the input characters input by the plurality of subtitle inputters. For example, when the same character (character string) is input by a plurality of subtitle inputters, the input character (character string) is adopted as a candidate for the subtitle character. Whether or not the characters input by the plurality of subtitle inputters match may be determined for each character or for each clause. Further, for example, when the character X is input by the N subtitle input person and another character Y is input by the M subtitle input person, the one with the larger number of subtitle input people who input the same character is subtitled. It may be adopted as the first candidate for the character. In this case, the second most common character may be adopted as the second candidate for the subtitle character.
例えば、図７に示すように、出演者の発声のうちの１番目の文節Ｐ１について、字幕入力者ＡおよびＢが「明日の」という文字を入力しており、他の字幕入力者は文字を入力していない。このため、ブロックチェーンＮＷ３は、１番目の文節Ｐ１について、「明日の」という文字を字幕文字の候補として採用する。このとき、ブロックチェーンＮＷ３は、音声認識システム５による音声の認識結果を参照して、字幕文字の候補を採用する。この例では、音声認識システム５は、１番目の文節Ｐ１に対して「明日の」という文字を認識しており、字幕入力者ＡおよびＢが入力した入力文字と一致する。このため、ブロックチェーンＮＷ３は、１番目の文節Ｐ１に対する字幕文字の候補として、「明日の」という文字を採用する。仮に、音声認識システム５による認識結果と、複数の字幕入力者による入力文字とが一致しない場合（又は類似しない場合）、ブロックチェーンＮＷ３は、複数の字幕入力者によって入力された入力文字を優先して字幕文字の候補を採用する。あるいは、この場合、ブロックチェーンＮＷ３は、音声認識システム５による認識結果を優先して字幕文字の候補を採用してもよい。
For example, as shown in FIG. 7, the subtitle inputters A and B input the characters "tomorrow" for the first phrase P1 of the performer's utterances, and the other subtitle inputters input the characters. Not entered. Therefore, the blockchain NW3 adopts the character "tomorrow" as a candidate for the subtitle character for the first clause P1. At this time, the blockchain NW3 adopts the candidate of the subtitle character by referring to the voice recognition result by the
なお、各字幕入力者が文字を入力するタイミングは、各字幕入力者によって異なるが、ブロックチェーンＮＷ３のノードは、各字幕入力者がどのような順番で文字を入力したかを、各端末から送信されるトランザクションのシーケンス番号に基づいて判断することができる。また、各字幕入力者は、出演者の発声の全てについて文字を入力するとは限らない。例えば、字幕入力者Ｃは、出演者の発声の１番目の文節Ｐ１に対応する文字を入力せず、２番目の文節Ｐ２に対応する文字Ｐ２Ｃを最初に入力している。この場合、ブロックチェーンＮＷ３は、他の字幕入力者によって入力された入力文字、および、音声認識システム５による認識結果に基づいて、字幕入力者Ｃが、出演者の発声の１番目の文節Ｐ１に対応する文字を入力しているか否かを判定することができる。例えば、ブロックチェーンＮＷ３は、各字幕入力者によって入力された入力文字について、他の入力者の入力文字、及び／又は、音声認識システム５による認識結果との類似度を算出し、類似度が所定の閾値よりも低い場合は、その入力文字は、出演者の別の発声に対応する文字であると判定してもよい。
The timing at which each subtitle input person inputs characters differs depending on each subtitle input person, but the node of the blockchain NW3 transmits from each terminal in what order each subtitle input person inputs characters. Judgment can be made based on the sequence number of the transaction to be performed. In addition, each subtitle input person does not always input characters for all the utterances of the performers. For example, the subtitle input person C does not input the character corresponding to the first phrase P1 of the performer's utterance, but first inputs the character P2C corresponding to the second phrase P2. In this case, in the blockchain NW3, the subtitle input person C sets the first phrase P1 of the performer's utterance based on the input characters input by another subtitle input person and the recognition result by the
次に、出演者の発声の２番目の文節Ｐ２について、字幕入力者ＡおよびＣが「東京の」という文字を入力しており、音声認識結果も同じであるため、２番目の文節Ｐ２について、「東京の」という文字が字幕文字の候補として採用される。また、３番目の文節Ｐ３について、字幕入力者ＢおよびＣが「天気は」という文字を入力しており、字幕入力者Ａは誤って「電気は」という文字を入力しており、音声認識結果は「天気は」である。この場合、２名の字幕入力者が同じ文字を入力しているため、他の１名の字幕入力者による入力文字は採用されず、２名の字幕入力者が入力した文字が字幕文字の候補として採用される。 Next, regarding the second phrase P2 of the performer's utterance, the subtitle inputters A and C have input the characters "Tokyo", and the voice recognition result is the same. Therefore, regarding the second phrase P2, The word "Tokyo" is adopted as a candidate for subtitle characters. Further, for the third phrase P3, the subtitle inputters B and C input the characters "weather", and the subtitle input person A mistakenly inputs the characters "electricity", and the voice recognition result. Is "weather". In this case, since the two subtitle inputters are inputting the same character, the input character by the other one subtitle inputter is not adopted, and the character input by the two subtitle inputters is a candidate for the subtitle character. Is adopted as.
同様に、４番目の文節Ｐ４について、字幕入力者ＡおよびＣは「晴れ」という文字を入力しており、字幕入力者Ｂは誤って「あれ」という文字を入力している。この場合、字幕入力者ＡおよびＣによって入力された入力文字が字幕文字の候補として採用される。また、５番目の文節Ｐ５について、字幕入力者Ａは文字を入力せず、字幕入力者Ｂは「です」という文字を入力しており、字幕入力者Ｃは誤って「ｄす」という文字を入力している。この場合、音声認識システム５の音声認識結果と、各字幕入力者によって入力された入力文字とが比較され、字幕文字の候補が決定される。この例では、字幕入力者Ｂの入力文字と音声認識システム５の音声認識結果とが一致するため、字幕入力者Ｂによって入力された入力文字が字幕文字の候補として採用される。
Similarly, for the fourth phrase P4, the subtitle inputters A and C input the character "sunny", and the subtitle input person B erroneously inputs the character "that". In this case, the input characters input by the subtitle inputters A and C are adopted as the candidates for the subtitle characters. Further, regarding the fifth phrase P5, the subtitle input person A does not input a character, the subtitle input person B inputs the character "is", and the subtitle input person C mistakenly inputs the character "d". I'm typing. In this case, the voice recognition result of the
なお、上記字幕判定は、放送局４（内の字幕付与システム）又は音声認識システム５において行われてもよい。図８は、音声認識システムにおいて字幕判定が行われる場合の情報処理システム１の構成を示す図である。
The subtitle determination may be performed by the broadcasting station 4 (inside the subtitle giving system) or the
図８に示すように、放送局４内の字幕付与システムと、音声認識システムとは同一主体又は別主体により管理され、同じ又は異なる場所に配置される。上記と同様に、放送局から音声認識システムにマイクで集音された音声が配信されるとともに、各字幕入力者に対して当該音声が配信される（図８の（１））。音声認識システムは、配信された音声に基づいて音声認識を行う（図８の（２））。また、各字幕入力者は、配信された音声に基づいて文字を入力し、当該入力文字がインターネットを介して音声認識システムに送信される（図８の（３））。
As shown in FIG. 8, the subtitle giving system in the
音声認識システムは、受信した字幕入力者からの入力文字と、音声認識結果とに基づいて、上述した字幕判定を行い（図８の（４））、その字幕判定の結果としての字幕文字の候補を放送局に送信する（図８の（５））。次に、放送局において字幕文字が決定され、映像に字幕文字が付与される（図８の（６））。そして、字幕付きの映像が放送される。また、番組終了後（又は、字幕判定が行われる毎に）、字幕文字の採否結果が通知される（図８の（７））。また、番組終了後（又は、字幕判定が行われる毎に）、字幕文字として採用された文字を入力した字幕入力者に対してトークンが付与される（図８の（８））。具体的には、放送局から字幕入力者へトークンを送信するためのトランザクションが、ブロックチェーンＮＷに送信される。なお、このトランザクションの発行は、放送局内の番組関係者が端末を用いて手動で行ってもよいし、番組終了後（又は、字幕判定が行われる毎に）、放送局内のシステムによって自動で行われてもよい。ブロックチェーンＮＷでは、送信されたトランザクションがブロックに取り込まれ、字幕入力者に対して付与されたトークンがブロックチェーンＮＷに書き込まれる。字幕入力者は、ブロックチェーンＮＷにアクセスすることで、付与されたトークンを確認したり、トークンを他のアイテムに交換したりする。 The voice recognition system performs the above-mentioned subtitle determination based on the received characters input from the subtitle input person and the voice recognition result ((4) in FIG. 8), and is a candidate for the subtitle character as a result of the subtitle judgment. Is transmitted to the broadcasting station ((5) in FIG. 8). Next, the subtitle characters are determined by the broadcasting station, and the subtitle characters are added to the video ((6) in FIG. 8). Then, a video with subtitles is broadcast. In addition, after the program ends (or every time the subtitle determination is performed), the acceptance / rejection result of the subtitle character is notified ((7) in FIG. 8). Further, after the program ends (or every time the subtitle determination is performed), a token is given to the subtitle input person who has input the character adopted as the subtitle character ((8) in FIG. 8). Specifically, a transaction for transmitting a token from a broadcasting station to a subtitle input person is transmitted to the blockchain NW. It should be noted that this transaction may be issued manually by a person involved in the program in the broadcasting station using a terminal, or automatically performed by the system in the broadcasting station after the program ends (or every time the subtitle is judged). You may be broken. In the blockchain NW, the transmitted transaction is taken into the block, and the token given to the subtitle input person is written in the blockchain NW. By accessing the blockchain NW, the subtitle input person confirms the granted token and exchanges the token for another item.
（字幕入力者端末の処理）
次に、字幕入力者端末６において行われる処理の詳細について説明する。図９は、字幕入力者端末６において行われる処理の一例を示すフローチャートである。字幕入力者端末６（以下、「端末６」と表記する）のプロセッサが所定のプログラムを実行することにより、図９に示す処理が行われる。
(Processing of subtitle inputter terminal)
Next, the details of the processing performed in the
図９に示すように、端末６は、例えばインターネットを介して、放送局から配信された音声データを取得する（ステップＳ１００）。次に、端末６は、取得した音声データに基づいて音声を再生する（ステップＳ１０１）。
As shown in FIG. 9, the
続いて、端末６は、字幕入力者によって文字が入力されたか否かを判定する（ステップＳ１０２）。文字が入力された場合（ステップＳ１０２：ＹＥＳ）、端末６は、入力文字をメモリに記憶する（ステップＳ１０３）。なお、字幕入力者が文字を入力する毎に、端末６の表示装置６３において、入力された文字が表示される。なお、表示装置６３には、利用頻度の高い語を表すアイコンが表示され、字幕入力者が当該アイコンを選択すると当該アイコンに対応する文字が入力文字として入力されてもよい。例えば、アイコンとして、一人称、二人称を表す語、天候を表す語、あいさつ文、擬音語（例えば、天候や街の音を表す語）等を表すアイコンが表示されてもよい。
Subsequently, the
ステップＳ１０３の処理を実行した場合、又は、ステップＳ１０２でＮＯと判定した場合、端末６は、入力文字をブロックチェーンＮＷ３に送信するか否かを判定する（ステップＳ１０４）。例えば、端末６は、表示装置６３に表示された送信ボタンが字幕入力者によって押された場合、あるいは入力装置６２のリターンキーが押下された場合、入力文字をブロックチェーンＮＷ３に送信すると判定する。また、端末６は、音声データを受信してから所定時間が経過した場合に、入力文字をブロックチェーンＮＷ３に送信すると判定してもよい。
When the process of step S103 is executed, or when it is determined as NO in step S102, the
入力文字を送信すると判定した場合（ステップＳ１０４：ＹＥＳ）、端末６は、入力文字をブロックチェーンＮＷ３に送信する（ステップＳ１０５）。具体的には、端末６は、入力文字を含むトランザクションをブロックチェーンＮＷ３に送信する。例えば、端末６は、字幕入力者が有する独自のトークンを放送局４に送信するためのトランザクションに入力文字を含めて送信する。
When it is determined to transmit the input character (step S104: YES), the
ステップＳ１０５の処理を実行した場合、又は、ステップＳ１０４でＮＯと判定した場合、端末６は、字幕入力を終了するか否かを判定する（ステップＳ１０６）。例えば、字幕入力者によって字幕入力を終了する指示が行われた場合、端末６は、ステップＳ１０６においてＹＥＳと判定する。あるいは、放送局４から番組の終了を示す情報を受信した場合、端末６は、ステップＳ１０６においてＹＥＳと判定してもよい。
When the process of step S105 is executed, or when it is determined as NO in step S104, the
ステップＳ１０６でＮＯと判定した場合、端末６は、再びステップＳ１００の処理を実行する。
If it is determined as NO in step S106, the
ステップＳ１０６でＹＥＳと判定した場合、端末６は、字幕入力者からの操作に基づいて、自身が有する特典（トークン）を確認するか否かを判定する（ステップＳ１０７）。例えば、トークンを確認するための操作が行われた場合（ステップＳ１０７：ＹＥＳ）、端末６は、付与されたトークンを参照するためにブロックチェーンＮＷ３にアクセスする（ステップＳ１０８）。これにより、端末６において、字幕入力者は、自身が保有するトークンの残高を確認することができる。以上で図９の説明を終了する。
If it is determined to be YES in step S106, the
（音声認識システムの処理）
次に、音声認識システム５において行われる処理の詳細について説明する。図１０は、音声認識システム５において行われる処理の一例を示すフローチャートである。音声認識システム５には、音声認識を行うためのプログラムが記憶されている。音声認識システム５のプロセッサが当該プログラムを実行することにより、図１０に示す処理が行われる。
(Processing of voice recognition system)
Next, the details of the processing performed in the
図１０に示すように、音声認識システム５は、放送局から配信された音声データを取得する（ステップＳ２００）。次に、音声認識システム５は、取得した音声データに基づいて音声認識処理を行い、音声認識処理の結果としての文字を出力する（ステップＳ２０１）。
As shown in FIG. 10, the
続いて、音声認識システム５は、音声認識結果をブロックチェーンＮＷ３に送信するか否かを判定する（ステップＳ２０２）。音声認識結果を送信すると判定した場合（ステップＳ２０２：ＹＥＳ）、音声認識システム５は、音声認識結果をブロックチェーンＮＷ３に送信する（ステップＳ２０３）。例えば、音声認識システム５は、音声認識処理の結果としての文字を出力する毎に音声認識結果を送信してもよいし、文節毎に音声認識結果を送信してもよい。あるいは、音声認識システム５は、所定の時間間隔で音声認識結果を送信してもよい。
Subsequently, the
ステップＳ２０３の処理を実行した場合、又は、ステップＳ２０２でＮＯと判定した場合、音声認識システム５は、ステップＳ２００の処理を再び実行する。以上で図１０の説明を終了する。
When the process of step S203 is executed, or when NO is determined in step S202, the
（字幕判定・特典付与処理の詳細）
次に、上記字幕判定処理および特典付与のための処理の詳細について説明する。図１１は、情報処理システム１において行われる字幕判定処理および特典付与のための処理の一例を示すフローチャートである。なお、字幕判定処理および特典付与のための処理は、ブロックチェーンＮＷ３内の各ノードが行うものとして説明する。各ノードには、上記字幕判定処理および特典付与のための処理を行うためのプログラム（スマートコントラクト）が予め配置されているものとする。また、ノードは、図１１に示す処理を所定の時間間隔で繰り返し実行するものとする。
(Details of subtitle judgment / privilege grant processing)
Next, the details of the subtitle determination process and the process for granting the privilege will be described. FIG. 11 is a flowchart showing an example of the subtitle determination process and the process for granting the privilege performed in the
図１１に示すように、ブロックチェーンＮＷ３の各ノード（以下、単に「ノード」という）は、字幕入力を受け付けるか否かを判定する（ステップＳ３００）。例えば、放送局４では、番組の放送を開始する場合、ブロックチェーンＮＷ３に対してこれからその番組用に字幕入力を受け付けるように指示する。ノードは、その指示に応じて、番組の開始から終了までの間、字幕入力者からの字幕入力を受け付ける。
As shown in FIG. 11, each node of the blockchain NW3 (hereinafter, simply referred to as “node”) determines whether or not to accept the subtitle input (step S300). For example, when the
ステップＳ３００でＮＯと判定した場合、ノードは、次にステップＳ３０６の処理を行う。 If NO is determined in step S300, the node then performs the process of step S306.
ステップＳ３００でＹＥＳと判定した場合、ノードは、音声認識システム５によって認識された音声認識結果を取得する（ステップＳ３０１）。また、ノードは、字幕入力者端末６において字幕入力者によって入力された入力文字を取得する（ステップＳ３０２）。 If it is determined to be YES in step S300, the node acquires the voice recognition result recognized by the voice recognition system 5 (step S301). Further, the node acquires the input character input by the subtitle input person in the subtitle input person terminal 6 (step S302).
次に、ノードは、字幕判定処理を行う（ステップＳ３０３）。具体的には、ノードは、音声認識システム５からの音声認識結果と、複数の字幕入力者端末６からの入力文字とに基づいて、上述した方法により字幕文字の候補を判定する。
Next, the node performs the subtitle determination process (step S303). Specifically, the node determines a candidate for a subtitle character by the above-mentioned method based on the voice recognition result from the
続いて、ノードは、ステップＳ３０３の字幕判定処理の結果を放送局４の字幕付与システムに送信する（ステップＳ３０４）。具体的には、放送局４の字幕付与システムは所定の時間間隔でブロックチェーンＮＷ３にアクセスして、字幕判定結果を取得する。そして、番組関係者は、当該字幕付与システムを用いて、字幕判定処理で判定された字幕文字の候補の中から何れか１つを字幕文字として決定する。これにより、映像に付与される字幕文字が決定される。字幕文字が決定されると、決定された字幕文字が字幕付与システムによって映像に付加され、字幕付きの映像として放送される。なお、この字幕文字の決定は、人の入力を介さずにブロックチェーンＮＷ３のノードにおいて自動で行われてもよいし、放送局４内の字幕付与システムにおいて自動で行われてもよい。
Subsequently, the node transmits the result of the subtitle determination process in step S303 to the subtitle addition system of the broadcasting station 4 (step S304). Specifically, the subtitle addition system of the
放送局４内で字幕文字が決定された場合、ステップＳ３０３で判定された字幕文字の候補の中から何れが決定されたかを示す情報が放送局４の字幕付与システムからブロックチェーンＮＷ３に送信される。当該情報を受信したことに応じて、ノードは、決定された字幕文字をブロックチェーンＮＷ３内に記録する（ステップＳ３０５）。また、ノードは、字幕入力者毎に、入力した文字の文字数、字幕文字として採用された文字数をブロックチェーンＮＷ３に記録する。なお、決定された字幕文字が複数の字幕入力者によって入力された場合、複数の字幕入力者に対して、字幕文字として採用された文字数が加算される。
When the subtitle character is determined in the
図１２は、字幕文字の決定に応じてブロックチェーンＮＷ３に記録される情報の一例を示す図である。例えば、字幕入力者Ａ、Ｂ、Ｃが現在の番組の字幕入力に参加している場合、字幕入力者Ａが入力した文字数、及び、その入力文字数のうち字幕文字として採用された文字数が記録される。また、字幕入力者Ｂ及びＣについても、入力文字数および採用文字数が記録される。 FIG. 12 is a diagram showing an example of information recorded in the blockchain NW3 according to the determination of the subtitle character. For example, when the subtitle inputters A, B, and C are participating in the subtitle input of the current program, the number of characters input by the subtitle inputter A and the number of characters adopted as the subtitle characters among the input characters are recorded. NS. Further, the number of input characters and the number of adopted characters are also recorded for the subtitle input persons B and C.
このように、各字幕入力者が入力した文字のうち字幕文字として採用された文字の文字数が、ブロックチェーンＮＷ３に記録される。これにより、透明性、公正さを担保することができる。 In this way, the number of characters adopted as the subtitle characters among the characters input by each subtitle input person is recorded in the blockchain NW3. As a result, transparency and fairness can be ensured.
次に、ノードは、字幕入力者に対して特典を付与するか否かを判定する（ステップＳ３０６）。特典を付与すると判定した場合（ステップＳ３０６：ＹＥＳ）、ノードは、字幕入力者に対して特典を付与する（ステップＳ３０７）。付与される特典の量は、字幕入力者が入力した文字のうち、字幕文字として決定された文字数に応じて決定される。 Next, the node determines whether or not to give the privilege to the subtitle input person (step S306). When it is determined that the privilege is to be given (step S306: YES), the node grants the privilege to the subtitle input person (step S307). The amount of the privilege to be given is determined according to the number of characters entered as the subtitle character among the characters input by the subtitle input person.
例えば、放送局４の字幕付与システムから、番組終了後に字幕入力者に対して特典を付与するためのトランザクションがブロックチェーンＮＷ３に送信される。このトランザクションには、特典の送信元（放送局）に関する情報、特典の送信先（字幕入力者）に関する情報、及び、送信する特典の量に関する情報が含まれる。例えば、放送局４から字幕入力者Ａに対して、その番組内で採用された採用文字数「１００」に応じて、「１００」のトークンが送信されてもよい。このトランザクションに応じて、ノードは、トランザクションをブロックチェーンＮＷ３に取り込むためのマイニングを行う。ノードによるマイニングが成功すると、ブロックチェーンＮＷ３内にトランザクションが取り込まれる。これにより放送局４から字幕入力者に対する特典の送信が完了する。すなわち、放送局４が有する特典の量が減少するとともに、字幕入力者が有する特典の量が増加する。
For example, the subtitle giving system of the
なお、番組関係者による入力に応じて放送局４の字幕付与システムがブロックチェーンＮＷ３にトランザクションを送信することにより、字幕入力者に対する特典の付与が行われてもよい。また、放送局４の字幕付与システムが自動でブロックチェーンＮＷ３にトランザクションを送信することにより、字幕入力者に対する特典の付与が行われてもよい。
In addition, the subtitle addition system of the
また、ブロックチェーンＮＷ３において、自動的に字幕入力者に対する特典の付与が行われてもよい。例えば、番組の開始が指示されてから番組終了時間が経過した場合、あるいは、放送局４からの番組終了の指示を受信した場合、ブロックチェーンＮＷ３のノードは、ブロックチェーンＮＷ３内に記録した字幕入力者毎の採用文字数に応じて、各字幕入力者に対して、自動的に特典を付与してもよい。以上で、図１１に示す処理の説明を終了する。
Further, in the blockchain NW3, the privilege may be automatically given to the subtitle input person. For example, when the program end time elapses after the program start instruction is instructed, or when the program end instruction from the
なお、図１１に示す処理の一部又は全部は、情報処理システム１内の何れの装置において実行されてもよい。
A part or all of the processing shown in FIG. 11 may be executed by any device in the
例えば、ブロックチェーンＮＷ３外の音声認識システム５が、字幕入力者からの入力文字を取得し、取得した入力文字と、音声認識結果とに基づいてステップＳ３０３の字幕判定処理を行い、字幕文字を決定してもよい。また、放送局４内の端末が、字幕入力者からの入力文字を取得し、取得した入力文字と、音声認識結果とに基づいて字幕判定処理を行い、字幕文字を決定してもよい。この場合、音声認識システム５又は放送局４内の情報処理装置において決定された字幕文字（すなわち、実際に字幕として付与される文字）は、ブロックチェーンＮＷ３に送信されて記録されてもよい。
For example, the
また、他の実施形態では、音声認識システム５はなくてもよい。すなわち、複数の字幕入力者が入力した入力文字に基づいて字幕判定が行われ、字幕文字が決定されてもよい。
Further, in other embodiments, the
また、上記実施形態では、文節毎に字幕判定を行う例について説明したが、他の実施形態では、複数の字幕入力者が入力した入力文字について、１文字ずつ字幕判定が行われてもよい。また、上記実施形態では、複数の字幕入力者によって入力された入力文字について、最も共通点の多い文字を字幕文字の候補として決定することとしたが、他の実施形態では、字幕判定はこの方法に限らない。例えば、複数の字幕入力者によって入力された入力文字の類似度を算出し、類似度に基づいて字幕文字の候補を決定してもよい。 Further, in the above embodiment, an example in which the subtitle determination is performed for each phrase has been described, but in other embodiments, the subtitle determination may be performed character by character for the input characters input by a plurality of subtitle inputters. Further, in the above embodiment, with respect to the input characters input by a plurality of subtitle inputters, the character having the most common points is determined as a candidate for the subtitle character, but in other embodiments, the subtitle determination is performed by this method. Not limited to. For example, the similarity of the input characters input by a plurality of subtitle inputters may be calculated, and the subtitle character candidates may be determined based on the similarity.
また、上記実施形態では、複数の字幕入力者によって入力された入力文字がそのまま字幕文字の候補として決定されたが、他の実施形態では、入力文字について補正を行い、字幕文字として決定してもよい。例えば、複数の字幕入力者によって入力された入力文字について、予め記憶された辞書を参照し、その結果に応じて入力文字を補正し、字幕文字（又は字幕文字の候補）を決定してもよい。例えば、番組の内容に応じた専門用語を記憶した辞書を参照してもよい。また、複数の字幕入力者によって入力された入力文字について、文脈から判断して補正を行ってもよい。このような入力文字の補正は、予め大量のデータをコンピュータに機械学習（例えばディープラーニング）させて得られた学習済みモデルを用いて行われてもよい。 Further, in the above embodiment, the input characters input by a plurality of subtitle inputters are determined as they are as subtitle character candidates, but in other embodiments, the input characters may be corrected and determined as subtitle characters. good. For example, for the input characters input by a plurality of subtitle inputters, the subtitle characters (or subtitle character candidates) may be determined by referring to a dictionary stored in advance and correcting the input characters according to the result. .. For example, you may refer to a dictionary that stores technical terms according to the content of the program. Further, the input characters input by a plurality of subtitle inputters may be corrected by judging from the context. Such correction of input characters may be performed using a trained model obtained by subjecting a computer to machine learning (for example, deep learning) a large amount of data in advance.
また、上記実施形態では、決定された字幕文字や図１２に示した情報はブロックチェーンＮＷ３に記録されるものとしたが、これらの情報はブロックチェーンＮＷ３外の他のシステムにおいて記録されてもよい。 Further, in the above embodiment, the determined subtitle characters and the information shown in FIG. 12 are recorded in the blockchain NW3, but these information may be recorded in another system outside the blockchain NW3. ..
また、上記実施形態では、生放送の番組に字幕を付与する場合を想定したが、生放送の番組に限らず、録画放送の番組に字幕を付与する場合でも上記情報処理システム１が適用されてもよい。また、番組に限らず、ＣＭに対して上述した方法で字幕を付与してもよい。
Further, in the above embodiment, it is assumed that subtitles are added to the live broadcast program, but the
また、上記実施形態では、複数の字幕入力者端末がインターネットに接続され、インターネットを介して入力文字を送信することとした。他の実施形態では、複数の字幕入力者端末と、字幕判定のためのシステムとは、インターネットに限らず、ＷＡＮ又はＬＡＮを介して接続されてもよい。 Further, in the above embodiment, it is decided that a plurality of subtitle inputter terminals are connected to the Internet and input characters are transmitted via the Internet. In another embodiment, the plurality of subtitle inputter terminals and the system for determining subtitles may be connected via WAN or LAN, not limited to the Internet.
１ 情報処理システム
３ ブロックチェーンＮＷ
４ 放送局
５ 音声認識システム
６ 字幕入力者端末
1 Information processing system 3 Blockchain NW
4
Claims (10)
前記情報処理システムには、インターネットを介して文字を入力する入力者が予め登録されており、
放送局により放送される番組の放送の所定時間前に、少なくとも前記番組に係る音声の音声情報を、予め登録された複数の前記入力者のそれぞれに対応する複数の入力者端末にインターネットを介して送信する送信手段を備え、
前記入力者端末は、前記送信手段によって送信された音声情報を受信し、受信した音声情報に基づいて前記番組に係る音声の部分を再生し、再生された音声の部分に応じて前記入力者によって入力された入力文字を送信し、
前記複数の入力者端末によって送信された、前記音声の部分に対応する前記複数の入力者によって入力された入力文字のそれぞれをインターネットを介して取得する取得手段と、
前記複数の入力者によって入力された同じ音声の部分に対応する複数の入力文字のうちの何れかの入力文字を、当該音声の部分に対応する字幕文字として決定する字幕文字決定手段と、
前記字幕文字決定手段によって決定された字幕文字を前記音声の部分に対応する映像に付加する字幕文字付加手段と、
前記所定時間の経過後に、前記字幕文字付加手段によって前記字幕文字が付加された映像を前記音声とともに放送する放送手段と、
前記字幕文字として決定された入力文字を入力した入力者に対して、特典を付与する特典付与手段と、を備え、
前記特典付与手段は、前記番組に係る音声の部分毎に、当該音声の部分に対応する字幕文字として決定された入力文字を入力した入力者に対して前記特典を付与する、情報処理システム。 An information processing system that can connect to the Internet
An input person who inputs characters via the Internet is registered in advance in the information processing system.
A predetermined time before the broadcast program to be broadcast Ri by the broadcasting station, the voice information of the voice in accordance with at least the program, the Internet to a plurality of input terminal corresponding to each of the plurality of the input person registered in advance Equipped with a means of transmission to transmit via
The input person terminal receives the voice information transmitted by the transmission means, reproduces a voice portion related to the program based on the received voice information, and is performed by the input person according to the reproduced voice portion. Send the entered characters and
An acquisition means for acquiring each of the input characters transmitted by the plurality of inputter terminals and input by the plurality of inputters corresponding to the voice portion via the Internet.
A subtitle character determining means for determining any of a plurality of input characters corresponding to the same voice portion input by the plurality of inputters as a subtitle character corresponding to the voice portion.
Subtitle character adding means for adding the subtitle character determined by the subtitle character determining means to the video corresponding to the audio portion, and
After the elapse of the predetermined time, the broadcasting means for broadcasting the video to which the subtitle character is added by the subtitle character addition means together with the audio, and the broadcasting means.
It is provided with a privilege granting means for granting a privilege to an input person who has input the input character determined as the subtitle character .
The privilege granting means, for each part of speech according to the program, to grant the privilege to the input who enter the input character determined as a subtitle character corresponding to the portion of the speech, the information processing system.
前記取得手段は、前記入力者が前記音声情報に応じてリアルタイムで入力した入力文字を取得し、
前記字幕文字決定手段は、前記複数の入力者が前記音声情報に基づいてリアルタイムで入力した複数の入力文字のうちの何れかの入力文字を字幕文字として決定する、請求項１に記載の情報処理システム。 The transmission means transmits audio information of audio related to live broadcasting to the plurality of inputter terminals in real time.
The acquisition means acquires input characters input by the input person in real time according to the voice information, and obtains the input characters.
The information processing according to claim 1, wherein the subtitle character determining means determines any of a plurality of input characters input in real time by the plurality of inputters as subtitle characters. system.
前記複数の入力者によって入力された入力文字のうち、何れかの入力文字を字幕文字の候補として判定する字幕判定手段と、
前記字幕判定手段によって判定された字幕文字の候補のうち何れかを前記字幕文字として決定する決定手段と、を含む、請求項１又は２に記載の情報処理システム。 The subtitle character determination means is
A subtitle determination means for determining any of the input characters input by the plurality of inputters as candidates for subtitle characters, and
The information processing system according to claim 1 or 2 , further comprising a determination means for determining any of the candidates for the subtitle character determined by the subtitle determination means as the subtitle character.
前記決定手段は、決定者の入力に基づいて、前記候補表示制御手段によって表示された前記字幕文字の候補のうち何れかを前記字幕文字として決定する、請求項３に記載の情報処理システム。 Further, a candidate display control means for displaying the candidate of the subtitle character determined by the subtitle determination means on the display means is provided.
The information processing system according to claim 3 , wherein the determination means determines any of the candidates for the subtitle character displayed by the candidate display control means as the subtitle character based on the input of the determiner.
前記字幕文字決定手段は、前記音声認識結果取得手段によって取得された前記音声認識の結果と、前記複数の入力者によって入力された入力文字とに基づいて、前記字幕文字を決定する、請求項１から４の何れかに記載の情報処理システム。 The voice recognition system further includes a voice recognition result acquisition means for acquiring the result of voice recognition based on the voice information.
The subtitle character determining means determines the subtitle character based on the result of the voice recognition acquired by the voice recognition result acquisition means and the input characters input by the plurality of inputters. The information processing system according to any one of 4 to 4.
前記特典付与手段は、前記ブロックチェーンに記録された字幕情報に関する情報に応じて、前記特典として、前記ブロックチェーンで利用可能な仮想通貨を付与し、
前記送信手段は、前記ブロックチェーンを構成するノードに対して前記入力文字を含むトランザクションを送信し、
前記トランザクションは前記ブロックチェーンに記録され、
前記取得手段は、前記トランザクションから前記入力文字を取得する、請求項１から７の何れかに記載の情報処理システム。 Further provided with a recording means for recording information on the subtitle character determined by the subtitle character determining means on the blockchain.
The privilege granting means grants a virtual currency that can be used in the blockchain as the privilege according to the information regarding the subtitle information recorded in the blockchain .
The transmitting means transmits a transaction including the input character to the nodes constituting the blockchain, and the transmission means transmits the transaction including the input character.
The transaction is recorded on the blockchain
The information processing system according to any one of claims 1 to 7 , wherein the acquisition means acquires the input character from the transaction.
前記特典付与手段は、前記評価を送信した視聴者に対して前記特典をさらに付与する、請求項１から８の何れかに記載の情報処理システム。 Further provided with an evaluation receiving means for receiving an evaluation regarding subtitle characters added to the broadcasted video from a viewer of the broadcasted video.
The information processing system according to any one of claims 1 to 8 , wherein the privilege granting means further grants the privilege to a viewer who has transmitted the evaluation.
前記情報処理システムには、インターネットを介して文字を入力する入力者が予め登録されており、
放送局により放送される番組の放送の所定時間前に、少なくとも前記番組に係る音声の音声情報を、予め登録された複数の前記入力者のそれぞれに対応する複数の入力者端末にインターネットを介して送信する送信ステップを含み、
前記入力者端末は、前記送信ステップで送信された音声情報を受信し、受信した音声情報に基づいて前記番組に係る音声の部分を再生し、再生された音声の部分に応じて前記入力者によって入力された複数の入力文字を送信し、
前記複数の入力者端末によって送信された、前記音声の部分に対応する前記複数の入力者によって入力された入力文字のそれぞれをインターネットを介して取得する取得ステップと、
前記複数の入力者によって入力された同じ音声の部分に対応する複数の入力文字のうちの何れかの入力文字を、当該音声の部分に対応する字幕文字として決定する字幕文字決定ステップと、
前記字幕文字決定ステップで決定された字幕文字を前記音声の部分に対応する映像に付加する字幕文字付加ステップと、
前記所定時間の経過後に、前記字幕文字付加ステップで前記字幕文字が付加された映像を前記音声とともに放送する放送ステップと、
前記字幕文字として決定された入力文字を入力した入力者に対して、特典を付与する特典付与ステップと、を含み、
前記特典付与ステップでは、前記番組に係る音声の部分毎に、当該音声の部分に対応する字幕文字として決定された入力文字を入力した入力者に対して前記特典を付与する、情報処理方法。 It is an information processing method performed in an information processing system that can connect to the Internet.
An input person who inputs characters via the Internet is registered in advance in the information processing system.
A predetermined time before the broadcast program to be broadcast Ri by the broadcasting station, the voice information of the voice in accordance with at least the program, the Internet to a plurality of input terminal corresponding to each of the plurality of the input person registered in advance Includes send steps to send via
The input person terminal receives the voice information transmitted in the transmission step, reproduces a voice portion related to the program based on the received voice information, and is performed by the input person according to the reproduced voice portion. Send multiple input characters,
An acquisition step of acquiring each of the input characters input by the plurality of inputters corresponding to the voice portion transmitted by the plurality of inputter terminals via the Internet, and
A subtitle character determination step of determining any of a plurality of input characters corresponding to the same voice portion input by the plurality of inputters as a subtitle character corresponding to the voice portion.
A subtitle character addition step of adding the subtitle character determined in the subtitle character determination step to the video corresponding to the audio portion, and a subtitle character addition step.
After the elapse of the predetermined time, a broadcasting step of broadcasting the video to which the subtitle character is added in the subtitle character addition step together with the audio,
With respect to the input who entered the determined input character as the subtitle characters, only containing and benefits granted step to grant the privilege, the,
In the privilege giving step, an information processing method in which the privilege is given to an input person who has input an input character determined as a subtitle character corresponding to the voice portion for each voice portion related to the program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177974A JP6906801B2 (en) | 2018-09-21 | 2018-09-21 | Information processing system, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018177974A JP6906801B2 (en) | 2018-09-21 | 2018-09-21 | Information processing system, information processing method, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020053715A JP2020053715A (en) | 2020-04-02 |
| JP6906801B2 true JP6906801B2 (en) | 2021-07-21 |
Family
ID=69994282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018177974A Active JP6906801B2 (en) | 2018-09-21 | 2018-09-21 | Information processing system, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6906801B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115150660B (en) * | 2022-06-09 | 2024-05-10 | 深圳市闪剪智能科技有限公司 | Video editing method based on subtitles and related equipment |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188843A (en) * | 1999-12-27 | 2001-07-10 | Hougi Koyama | Distribution mediation system for supporting selection of naming or the like |
| JP3455879B2 (en) * | 2000-10-06 | 2003-10-14 | 株式会社朝日文字テレビ | Caption creation method and caption creation system |
| JP4253762B2 (en) * | 2003-05-12 | 2009-04-15 | 独立行政法人情報通信研究機構 | Subtitle creation management server and distributed caption program production system |
| JP2006099418A (en) * | 2004-09-29 | 2006-04-13 | Chugoku Electric Power Co Inc:The | Information processor, method for controlling information processor, and program |
| JP2006324779A (en) * | 2005-05-17 | 2006-11-30 | Sony Corp | Caption distributing system, caption transmitting apparatus, caption synthesis apparatus and subtitle distributing method |
| JP2007202094A (en) * | 2006-01-27 | 2007-08-09 | Tbs Service Inc | Semi-real-time caption producing and sending system |
| JP2007324872A (en) * | 2006-05-31 | 2007-12-13 | Tv Asahi Data Vision Corp | Delay controller and delay control program for video signal with closed caption |
| JP2010157961A (en) * | 2009-01-05 | 2010-07-15 | Kadokawa Marketing Co Ltd | Caption creation system and program |
| JP6323828B2 (en) * | 2013-12-27 | 2018-05-16 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Support device, information processing method, and program |
| JP5890924B1 (en) * | 2015-02-16 | 2016-03-22 | 株式会社 ディー・エヌ・エー | System, method, and program for managing distribution of advertisement video |
| JP6648555B2 (en) * | 2016-02-29 | 2020-02-14 | 富士ゼロックス株式会社 | Information processing device and program |
-
2018
- 2018-09-21 JP JP2018177974A patent/JP6906801B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020053715A (en) | 2020-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5094804B2 (en) | Conference relay device and computer program | |
| TWI261791B (en) | System for multimedia information communication service | |
| CN104731767B (en) | Exchange assisting system and exchange support method | |
| US20120330643A1 (en) | System and method for translation | |
| US8411130B2 (en) | Apparatus and method of video conference to distinguish speaker from participants | |
| CN109036374B (en) | Data processing method and device | |
| CN110650366B (en) | Interactive dubbing method and device, electronic equipment and readable storage medium | |
| WO2019214456A1 (en) | Gesture language translation system and method, and server | |
| CN112653902B (en) | Speaker recognition method and device and electronic equipment | |
| WO2017166651A1 (en) | Voice recognition model training method, speaker type recognition method and device | |
| US20180286389A1 (en) | Conference system, conference system control method, and program | |
| JP2011205243A (en) | Information processing apparatus, conference system, information processing method, and computer program | |
| TW200421850A (en) | Supplementary apparatus for telephone translation and a system for telephone translation using the same | |
| CN113784163A (en) | Live wheat-connecting method and related equipment | |
| EP3665910B1 (en) | Online automatic audio transcription for hearing aid users | |
| JP2018174439A (en) | Conference support system, conference support method, program of conference support apparatus, and program of terminal | |
| JP6906801B2 (en) | Information processing system, information processing method, and information processing program | |
| JP4077656B2 (en) | Speaker specific video device | |
| JP2010176544A (en) | Conference support device | |
| JP5020838B2 (en) | Viewing response sharing system, viewing response management server, and viewing response sharing method | |
| CN116996702A (en) | Concert live broadcast processing method and device, storage medium and electronic equipment | |
| JP6385543B1 (en) | Server apparatus, distribution system, distribution method, and program | |
| CN111193939B (en) | Online video mutual-help method and device, electronic equipment and storage medium | |
| Kim et al. | Comparison of Automatic Speech Recognition Systems | |
| WO2014148190A1 (en) | Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210406 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210407 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210531 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210623 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6906801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |