JP2021196562A - Acoustic communication system, acoustic transmission device, acoustic reception device, program, and acoustic signal transmission method - Google Patents
Acoustic communication system, acoustic transmission device, acoustic reception device, program, and acoustic signal transmission method Download PDFInfo
- Publication number
- JP2021196562A JP2021196562A JP2020104835A JP2020104835A JP2021196562A JP 2021196562 A JP2021196562 A JP 2021196562A JP 2020104835 A JP2020104835 A JP 2020104835A JP 2020104835 A JP2020104835 A JP 2020104835A JP 2021196562 A JP2021196562 A JP 2021196562A
- Authority
- JP
- Japan
- Prior art keywords
- data
- acoustic
- unit
- information
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004891 communication Methods 0.000 title claims abstract description 47
- 230000008054 signal transmission Effects 0.000 title claims abstract description 9
- 230000005236 sound signal Effects 0.000 claims abstract description 66
- 239000000284 extract Substances 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 51
- 239000008186 active pharmaceutical agent Substances 0.000 abstract description 90
- 238000009792 diffusion process Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical group [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、音波などの音響信号に埋め込んで情報を伝送する音響通信システム、音響送信装置、音響受信装置、プログラムおよび音響信号送信方法に関する。 The present invention relates to an acoustic communication system, an acoustic transmitter, an acoustic receiver, a program, and an acoustic signal transmission method that are embedded in an acoustic signal such as a sound wave to transmit information.
音響通信システムとして、特許文献1に記載の技術が知られている。この特許文献1に記載の音響通信システムは、識別情報を音電子透かし技術により埋め込んだ音響信号を放音する音響送信装置と、この放音された音響信号をマイクロホンで収音(受信)する音響受信装置(携帯端末)とを備える。音響受信装置は、音響信号から識別情報を抽出してその識別情報に対応付けられた関連情報を利用者に提供する。 As an acoustic communication system, the technique described in Patent Document 1 is known. The acoustic communication system described in Patent Document 1 is an acoustic transmission device that emits an acoustic signal in which identification information is embedded by a digital watermarking technique, and an acoustic sound that collects (receives) the emitted acoustic signal with a microphone. It is equipped with a receiving device (portable terminal). The acoustic receiving device extracts the identification information from the acoustic signal and provides the user with the related information associated with the identification information.
ところで、音電子透かし技術では、音響信号に識別情報を埋め込むことで、識別情報を送信できるものの、1回の埋込で送信できる情報量が、例えば数ビット〜10数ビット程度と少ない。そのため、識別情報を伝送する用途に制限されているという課題がある。よって、音電子透かし技術によって埋込情報1つ当たりの単位情報量よりも十分多くの情報量をもつデータを伝送したいニーズがある。 By the way, in the sound digital watermarking technology, although the identification information can be transmitted by embedding the identification information in the acoustic signal, the amount of information that can be transmitted by one embedding is as small as, for example, several bits to several bits. Therefore, there is a problem that the use of transmitting identification information is limited. Therefore, there is a need to transmit data having a sufficiently larger amount of information than the unit amount of information per embedded information by the sound digital watermarking technology.
そこで、音響信号に埋め込まれる埋込情報によって埋込情報1つ当たりの単位情報量よりも多い情報量をもつデータを送信することができる音響通信システム、音響送信装置、音響受信装置、プログラムおよび音響信号送信方法を提供する。 Therefore, an acoustic communication system, an acoustic transmitter, an acoustic receiver, a program, and an acoustic capable of transmitting data having an amount of information larger than the unit information amount per embedded information by the embedded information embedded in the acoustic signal. Provide a signal transmission method.
以下、上記課題を解決するための手段及びその作用効果について記載する。
(1)上記課題を解決する音響通信システムは、埋込情報が埋め込まれた音響信号を放音する放音部を有する音響送信装置と、前記音響信号を収音する収音部を有する音響受信装置とを備えた音響通信システムであって、前記音響送信装置は、入力した元データを複数の小データに分割するデータ分割部と、入力した原音信号に複数の前記小データを1つずつ順番に埋込情報として埋め込むことにより、埋込情報が原音信号に埋め込まれた音響信号を前記放音部に放音させる埋込部とを備え、前記音響受信装置は、前記収音部が収音した前記音響信号から複数の埋込情報を抽出して当該複数の埋込情報から複数の前記小データを取得するデータ取得部と、複数の前記小データを結合して前記元データを再構築するデータ再構築部とを備える。
Hereinafter, means for solving the above problems and their actions and effects will be described.
(1) An acoustic communication system that solves the above problems is an acoustic transmission device having a sound emitting unit that emits an acoustic signal in which embedded information is embedded, and an acoustic reception device that has a sound collecting unit that collects the acoustic signal. An acoustic communication system including a device, wherein the acoustic transmission device has a data division unit that divides input original data into a plurality of small data, and a plurality of the small data in order for the input original sound signal. By embedding as embedded information in the sound receiving device, the sound receiving device includes an embedded unit in which the embedded information emits an acoustic signal embedded in the original sound signal to the sound emitting unit, and the sound collecting unit collects sound. A data acquisition unit that extracts a plurality of embedded information from the acoustic signal and acquires a plurality of the small data from the plurality of embedded information, and a plurality of the small data are combined to reconstruct the original data. It has a data reconstruction unit.
この構成によれば、音電子透かし技術を使って、原音信号に埋め込まれる埋込情報1つ当たりの単位情報量よりも多い情報量をもつ元データを送信することができる。この結果、音電子透かし技術の用途が広がる。 According to this configuration, it is possible to transmit the original data having a larger amount of information than the unit information amount per embedded information embedded in the original sound signal by using the sound digital watermarking technique. As a result, the use of sound digital watermarking technology is expanded.
(2)上記音響通信システムにおいて、前記埋込部は、複数の前記埋込情報を、当該複数の埋込情報と対応する複数の前記小データの前記元データにおける並び順で前記原音信号に埋め込み、前記データ再構築部は、複数の前記小データを取得した順番に結合することで前記元データを再構築してもよい。 (2) In the acoustic communication system, the embedded unit embeds a plurality of the embedded information in the original sound signal in the order of the original data of the plurality of small data corresponding to the plurality of embedded information. , The data reconstructing unit may reconstruct the original data by combining a plurality of the small data in the order in which they were acquired.
この構成によれば、音響受信装置は、データ再構築部が複数の小データを取得した順番に結合すれば元データを再構築することができる。例えば、小データに順番を指定する順番情報を付与する構成に比べ、元データを少ない分割数で短時間に送信することができる。 According to this configuration, the acoustic receiving device can reconstruct the original data if the data reconstructing unit combines the plurality of small data in the order in which they are acquired. For example, the original data can be transmitted in a short time with a small number of divisions, as compared with a configuration in which order information for specifying an order is given to small data.
(3)上記音響通信システムにおいて、前記音響送信装置は、前記小データに前記元データに再構築するための順番を指定する順番情報を付与する順番情報付与部を更に備え、前記データ再構築部は、前記複数の小データを前記順番情報の順番に結合することで前記元データを再構築してもよい。 (3) In the acoustic communication system, the acoustic transmission device further includes an order information assigning unit for assigning order information for designating an order for reconstructing the original data to the small data, and the data reconstructing unit. May reconstruct the original data by combining the plurality of small data in the order of the order information.
この構成によれば、音響信号のノイズや音切れ、小さな音圧等が原因で、音響受信装置が小データを受信する順番が、元データの並び順と異なっていても、データ再構築部が複数の小データを順番情報の順番に結合することにより、元データを正しく再構築できる。 According to this configuration, even if the order in which the acoustic receiver receives small data is different from the order in which the original data is arranged due to noise of the acoustic signal, sound interruption, small sound pressure, etc., the data reconstruction unit can perform the data reconstruction unit. By combining multiple small data in the order of the order information, the original data can be reconstructed correctly.
(4)上記音響通信システムにおいて、前記音響受信装置は、複数の前記小データが全て揃うまでに、前記順番情報が同じであり且つ値が異なる複数の前記小データを取得した場合、当該複数の小データを保存し、前記データ再構築部は、当該複数の小データのうち一つを用いて再構築した前記元データに誤りが検出された場合、保存された他の一つの前記小データを用いて前記元データを再構築してもよい。 (4) In the acoustic communication system, when the acoustic receiving device acquires a plurality of the small data having the same order information and different values by the time when all the plurality of the small data are collected, the plurality of the small data are obtained. The small data is saved, and when an error is detected in the original data reconstructed using one of the plurality of small data, the data reconstruction unit saves the other small data saved. The original data may be reconstructed using the data.
この構成によれば、元データに誤りがあった場合でも、正しい小データの取得を待つことなく速やかに正しい元データを再構築できる頻度が高まる。また、誤りを検出した後に必要とする正しい小データを送られてこなくても、正しい元データを再構築できる頻度が高まる。 According to this configuration, even if there is an error in the original data, the frequency with which the correct original data can be quickly reconstructed without waiting for the acquisition of the correct small data increases. In addition, the frequency with which the correct original data can be reconstructed increases even if the necessary correct small data is not sent after the error is detected.
(5)上記音響通信システムにおいて、前記音響送信装置は、複数の前記小データのうち少なくとも1つに誤り検出符号を付与する誤り検出符号付与部を備え、前記音響受信装置は、複数の前記小データの値を用いて所定の演算を行って得た演算値と前記誤り検出符号の値とを比較することで前記元データの誤りを検出する誤り符号検出部を備えてもよい。 (5) In the acoustic communication system, the acoustic transmission device includes an error detection code assigning unit that assigns an error detection code to at least one of the plurality of small data, and the sound receiving device includes a plurality of the small data. An error code detection unit that detects an error in the original data may be provided by comparing the calculated value obtained by performing a predetermined operation using the data value with the value of the error detection code.
この構成によれば、再構築された元データの誤りをチェックできる。よって、正しく再構築された元データを取得できる頻度が高まる。
(6)上記音響通信システムにおいて、前記音響送信装置は、前記小データを拡散符号に符号化するエンコード部を備え、前記埋込部は、前記埋込情報を前記原音信号に埋め込み、前記データ取得部は、前記音響信号から抽出した前記埋込情報を前記小データに復号するデコード部を備えてもよい。
With this configuration, it is possible to check for errors in the reconstructed original data. Therefore, the frequency with which the correctly reconstructed original data can be acquired increases.
(6) In the acoustic communication system, the acoustic transmission device includes an encoding unit that encodes the small data into a diffusion code, and the embedded unit embeds the embedded information in the original sound signal to acquire the data. The unit may include a decoding unit that decodes the embedded information extracted from the acoustic signal into the small data.
この構成によれば、原音信号に埋込情報が拡散方式で埋め込まれていることから、原音の聴感に影響を与えることを極力抑制できる。
(7)上記音響通信システムにおける前記音響送信装置であって、入力した元データを複数の小データに分割するデータ分割部と、入力した原音信号に前記複数の小データを1つずつ順番に埋込情報として埋め込む埋込部と、埋込情報が前記原音信号に埋め込まれた音響信号を放音する放音部とを備える。
According to this configuration, since the embedded information is embedded in the original sound signal by the diffusion method, it is possible to suppress the influence on the audibility of the original sound as much as possible.
(7) In the acoustic transmission device in the acoustic communication system, the data dividing unit that divides the input original data into a plurality of small data and the plurality of small data are sequentially embedded in the input original sound signal one by one. It includes an embedded unit to be embedded as embedded information, and a sound emitting unit to emit an acoustic signal in which the embedded information is embedded in the original sound signal.
この構成によれば、前記音響通信システムを構成する音響送信装置と同様の作用効果が得られる。
(8)上記音響通信システムにおける前記音響受信装置であって、前記音響信号を収音する収音部と、前記収音部が収音した音響信号から複数の前記埋込情報を抽出し当該複数の埋込情報から複数の前記小データを取得するデータ取得部と、複数の前記小データを結合して前記元データを再構築するデータ再構築部とを備える。
According to this configuration, the same operation and effect as those of the acoustic transmission device constituting the acoustic communication system can be obtained.
(8) In the acoustic receiving device in the acoustic communication system, a plurality of the embedded information is extracted from a sound collecting unit that collects the acoustic signal and an acoustic signal collected by the sound collecting unit. It is provided with a data acquisition unit that acquires a plurality of the small data from the embedded information of the above, and a data reconstruction unit that reconstructs the original data by combining the plurality of the small data.
この構成によれば、前記音響通信システムを構成する音響受信装置と同様の作用効果が得られる。
(9)前記音響送信装置が備えるコンピュータに実行させるプログラムであって、プログラムは、コンピュータを、入力した元データを複数の小データに分割するデータ分割部、入力した原音信号に複数の前記小データを1つずつ順番に埋込情報として埋め込むことにより、前記埋込情報が前記原音信号に埋め込まれた音響信号を前記放音部に放音させる埋込部として機能させる。
According to this configuration, the same operation and effect as those of the acoustic receiving device constituting the acoustic communication system can be obtained.
(9) A program to be executed by a computer included in the sound transmission device, the program is a data dividing unit that divides the input original data into a plurality of small data, and a plurality of the small data in the input original sound signal. By embedding the embedded information one by one as embedded information, the embedded information functions as an embedded unit that causes the sound emitting unit to emit an acoustic signal embedded in the original sound signal.
このプログラムによれば、コンピュータにプログラムを実行させることにより、音響送信装置と同様の作用効果が得られる。
(10)前記音響受信装置が備えるコンピュータに実行させるプログラムであって、プログラムは、コンピュータを、前記収音部が収音した音響信号から複数の前記埋込情報を抽出し当該複数の埋込情報から複数の前記小データを取得するデータ取得部、複数の前記小データを結合して前記元データを再構築するデータ再構築部として機能させる。
According to this program, by causing a computer to execute the program, the same operation and effect as that of the sound transmission device can be obtained.
(10) A program to be executed by a computer included in the sound receiving device, wherein the computer extracts a plurality of the embedded information from the acoustic signal collected by the sound collecting unit and the plurality of embedded information. It functions as a data acquisition unit that acquires a plurality of the small data from the above, and a data reconstruction unit that reconstructs the original data by combining the plurality of the small data.
このプログラムによれば、コンピュータにプログラムを実行させることにより、音響受信装置と同様の作用効果が得られる。
(11)上記課題を解決する音響信号送信方法は、埋込情報が埋め込まれた音響信号を放音する放音部を有する音響送信装置と、前記音響信号を収音する収音部を有する音響受信装置とを備えた音響通信システムにおける音響信号送信方法であって、前記音響送信装置が、入力した元データを複数の小データに分割することと、前記音響送信装置が、入力した原音信号に前記複数の小データを1つずつ順番に埋込情報として埋め込むことにより、前記埋込情報が前記原音信号に埋め込まれた音響信号を前記放音部に放音させることと、前記音響受信装置が、前記収音部が収音した前記音響信号から複数の前記埋込情報を抽出し当該複数の埋込情報から複数の前記小データを取得することと、複数の前記小データを結合して前記元データを再構築することとを備える。この音響信号送信方法によれば、音響通信システムと同様の作用効果が得られる。
According to this program, by causing a computer to execute the program, the same effect as that of the sound receiving device can be obtained.
(11) An acoustic signal transmission method for solving the above problems is an acoustic transmission device having a sound emitting unit that emits an acoustic signal in which embedded information is embedded, and an acoustic sound having a sound collecting unit that collects the acoustic signal. A method for transmitting an acoustic signal in an acoustic communication system including a receiving device, wherein the acoustic transmitting device divides the input original data into a plurality of small data, and the acoustic transmitting device divides the input original sound signal into a plurality of small data. By embedding the plurality of small data one by one as embedded information, the embedded information causes the sound emitting unit to emit an acoustic signal embedded in the original sound signal, and the acoustic receiving device. , The sound collecting unit extracts a plurality of the embedded information from the acoustic signal collected, acquires the plurality of the small data from the plurality of embedded information, and combines the plurality of the small data. Prepare to reconstruct the original data. According to this acoustic signal transmission method, the same effect as that of the acoustic communication system can be obtained.
本発明によれば、音電子透かし技術により、音響信号に埋め込まれる埋込情報1つ当たりの単位情報量よりも多い情報量をもつデータを送信することができる。 According to the present invention, the sound digital watermarking technique can transmit data having an amount of information larger than the amount of unit information per embedded information embedded in an acoustic signal.
以下、本実施形態の音響通信システム10について図1〜図5を参照して説明する。
図1に示されるように、音響通信システム10は、1つまたは複数の放音部の一例としてのスピーカ12を有する音響送信装置20と、スピーカ12から放音された音響信号ASを受信する情報端末15に内蔵された音響受信装置30とを備える。音響信号ASには、埋込情報SC(図2参照)が埋め込まれている。利用者は可搬型の情報端末15を携帯して移動する。情報端末15に内蔵された音響受信装置30が、音響信号ASに埋め込まれた埋込情報SCを受信する。例えば、利用者は、情報端末15の音響受信装置30によって、駅や商店街、公共施設などの放送主体のスピーカ12から放送される音響信号ASを受信する。情報端末15は、例えば、携帯電話、スマートフォン、ノートパソコン等である。音響受信装置30は、音響信号ASに埋め込まれた埋込情報SCに基づいて、放送主体が提供する提供情報を取得する。このようにして、音響受信装置30を利用する利用者は、放送主体が提供する提供情報を受け取ることができる。
Hereinafter, the
As shown in FIG. 1, the
放送主体は、例えば、音響信号ASを放送する者もしくは事業者であり、または、音響信号ASの放送を依頼する者もしくは事業者である。放送主体は、音響信号ASを自ら形成する者または事業者であってもよい。放送主体は、音響信号ASを自ら形成する者または事業者でなくてもよい。例えば、放送主体は、店舗を運営する事業者、鉄道等の公共交通機関を運営する事業者、学校等を含む学習施設の事業者または団体、美術館や展示会を運営する事業者、プール等のレジャー施設を運営する事業者、宿泊施設を運営する事業者、災害警報を放送する自治体等である。 The broadcasting subject is, for example, a person or a business operator who broadcasts the acoustic signal AS, or a person or a business operator who requests the broadcasting of the acoustic signal AS. The broadcasting subject may be a person or a business operator who forms the acoustic signal AS by himself / herself. The broadcaster does not have to be a person or a business operator who forms the acoustic signal AS by himself / herself. For example, broadcasters are businesses that operate stores, businesses that operate public transportation such as railways, businesses or groups of learning facilities including schools, businesses that operate museums and exhibitions, pools, etc. Businesses that operate leisure facilities, businesses that operate accommodation facilities, local governments that broadcast disaster warnings, etc.
提供情報は、放送主体が利用者に提供する情報である。提供情報の保存場所は限定されない。一例では、提供情報は、インターネットIN上のサーバに記憶される。他の例では、提供情報は、音響受信装置30に記憶される。提供情報の例を次に挙げる。放送主体が店舗を運営する事業者の場合、提供情報は、店舗内の商品の詳細内容である。放送主体が自治体である場合、提供情報は、災害時に避難する場所を示す地図である。放送主体が展示を運営する事業者である場合、提供情報は、展示品の詳細を示す情報である。提供情報は、音響信号ASとして放送されたアナウンスを他言語に翻訳したアナウンスであってもよい。放送主体が映画館である場合、提供情報は、映画の台詞の字幕文であってもよい。提供情報は、詳細な情報が保存されている場所を示すリンク情報(例えば、URL:Uniform Resource Locator)であってもよい。本実施形態では、提供情報は、インターネットIN上のURLとして提供される。提供情報は、情報端末15の表示部に表示されてもよいし、情報端末15のイヤホンジャックに接続されたヘッドホンまたはイヤホンから放音されたり、あるいは情報端末15のスピーカから放音されたりしてもよい。
The provided information is information provided by the broadcaster to the user. The storage location of the provided information is not limited. In one example, the provided information is stored in a server on the Internet IN. In another example, the provided information is stored in the
音響信号ASは、可聴域の周波数を含む音波である。音響信号ASには、埋込情報SCが音電子透かしによって埋め込められる。音響信号ASは、放送装置から放送される。音響信号ASの例として、アナウンス、警報、一般用または視力障害者用の音サイン、BGM(バックグラウンドミュージック)、美術館や展示会において出力される説明の音声、番組の放送が挙げられる。音電子透かしで埋め込まれる1つの埋込情報SCのデータ長は、例えば、8ビット程度である。本実施形態では、1つの埋込情報SCのデータ長よりも十分に長いデータ長を有する元データDSを、音響送信装置20のスピーカ12から放音される音響信号ASに音電子透かしにより埋め込まれる複数の埋込情報SCによって音響受信装置30へ伝送する。なお、1つの埋込情報SCのデータ長を、埋込情報SCの単位情報量ともいう。
The acoustic signal AS is a sound wave including frequencies in the audible range. The embedded information SC is embedded in the acoustic signal AS by a digital watermark. The acoustic signal AS is broadcast from the broadcasting device. Examples of acoustic signals AS include announcements, alarms, general or visually impaired sound signs, BGM (background music), explanatory audio output at museums and exhibitions, and program broadcasts. The data length of one embedded information SC embedded by a digital watermark is, for example, about 8 bits. In the present embodiment, the original data DS having a data length sufficiently longer than the data length of one embedded information SC is embedded in the acoustic signal AS emitted from the
本実施形態における元データDSは、例えば、提供情報そのものであってもよいし、提供情報に対応付けられる識別情報であってもよい。元データDSが、放送主体が提供する提供情報とリンクづける識別情報である場合、非常に多くの提供情報と関連付けることができる。元データDSとしての識別情報と提供情報とは一対一で対応付けられる。また、本実施形態では、元データDSのデータ長が長いことから、元データDSを提供情報そのものとして音電子透かしにより送信することができる。これにより、音響通信システム10は、識別情報の用途に限定されることなくその用途は広がる。
The original data DS in the present embodiment may be, for example, the provided information itself or the identification information associated with the provided information. When the original data DS is the identification information linked to the provided information provided by the broadcaster, it can be associated with a large amount of provided information. The identification information as the original data DS and the provided information are associated one-to-one. Further, in the present embodiment, since the data length of the original data DS is long, the original data DS can be transmitted as the provided information itself by a digital watermark. As a result, the
図2に示すように、音響送信装置20は、装置本体20Aと、装置本体20Aに接続されたスピーカ12とを備える。音響送信装置20は、原音信号OS(図3参照)に埋込情報SCを埋め込むことによりデジタル信号である音響信号Sasを生成するとともに、スピーカ12から音響信号Sasに基づく音響信号ASを放音する。音響信号ASは、音声または音楽よりなる原音信号OSと、原音信号OS中の原音に対して所定の時間間隔で埋込情報SCとして埋め込まれた複数の埋込情報SC1,SC2,…,SCnにより構成される。これらの埋込情報SCk(但しkはk=1,2,…,n)は、それぞれが独立したデータではなく、データ長の長い元データDSを複数に分割した小データをそれぞれ埋め込んだものである。本実施形態では、音響受信装置30によって、複数の埋込情報SCkを変換して取り出した複数の小データD1,D2,…,Dnが正しい順に結合されて1つの元データDSが再構築される。
As shown in FIG. 2, the
音響受信装置30は、収音部の一例としてのマイクロホン31を備える。音響受信装置30は、マイクロホン31によって収音した音響信号ASから、埋込情報SCとして埋め込まれた複数の小データDkを取り出す。音響受信装置30は、取り出した複数の小データDkを、所定長さのデータ長を有する1つの元データDSとして再構築する。そして、音響受信装置30は、元データDSに基づいて所定の動作を行う。この所定の動作は、例えば、8バイト程度の情報量の少ない埋込情報SCによっては得られない動作である。例えば、埋込情報SCを識別情報とし、音響受信装置30が受信した識別情報と関連付けられた提供情報を提供することを所定動作とする構成に比べ、所定動作の自由度が高まる。また、音響受信装置30は、識別情報と提供情報とを関連付ける参照データがなくても、所定動作を行うことが可能になる。
The
なお、元データDSを分割して音響信号ASに埋込情報SCとして埋め込んで伝送する場合、音切れ、過小音やノイズ等が原因で、複数の小データのうちの少なくとも1つが脱落し、他の小データDkを全て受信した最後に、途中で脱落して受信に失敗した小データDkを受信する場合がある。この場合、小データDkが受信された順番が、元データDSを再構築するときの正しい並び順と異なることになる。本実施形態の音響通信システム10は、これらの課題を解決するための構成要素を内蔵する。
When the original data DS is divided and embedded in the acoustic signal AS as embedded information SC and transmitted, at least one of the plurality of small data is dropped due to sound interruption, undertones, noise, etc. At the end of receiving all the small data Dk of, there is a case where the small data Dk that fails to be received due to dropping in the middle is received. In this case, the order in which the small data Dk is received is different from the correct order in which the original data DS is reconstructed. The
図3を参照して、音響送信装置20と音響受信装置30の構成について説明する。なお、本実施形態では、空間を伝送される音波による音信号と電気信号とを区別するため、音波を音響信号AS、電気信号を音響信号Sasと表記する。また、原音信号OSは、電気信号である。また、埋込情報SC1,SC2,…,SCnは、音響信号ASに埋め込まれたものは音波であり、音響信号Sasに埋め込まれたものは電気信号である。
The configuration of the
音響送信装置20は、原音信号OSに元データDSを分割した複数の小データD1,D2,…,Dnを音電子透かし技術で埋め込んだ音響信号ASをスピーカ12から放音する。複数の小データD1,D2,…,Dnは、音響信号ASに、埋込情報SCとして埋め込まれる。音響送信装置20は、音響信号ASを音波として出力するスピーカ12を備えた放送装置に内蔵されてもよい。一方、音響受信装置30は、スマートフォン等の携帯型の情報端末15に内蔵されている。音響受信装置30は、マイクロホン31により収音した音響信号Sasから埋込情報SCを抽出して取り出し、複数の埋込情報SCから変換した複数の小データDkを内部で再構築した元データDSを出力する。この音響受信装置30は、情報端末15に内蔵される装置として構成されるが、情報端末15そのものとして構成されてもよい。
The
以下、図3を参照して、音響送信装置20と音響受信装置30との詳細な構成を説明する。まず、音響送信装置20について説明する。
音響送信装置20は、原音信号OSを入力する第1入力部21と、元データDSを入力する第2入力部22とを備える。この音響送信装置20は、音響送信装置20を統括的に制御する第1制御部23を備える。また、音響送信装置20は、元データDSを複数の小データD1,D2,…,Dnに分割するデータ分割部24と、複数の小データD1,D2,…,Dnのうちの1つ又は追加の小データに所定の情報を付与する情報付与部25とを備える。情報付与部25は、順番情報付与部25Aと、誤り検出符号付与部25Bとを備える。さらに、音響送信装置20は、拡散符号発生器26と、エンコード部27と、原音信号OSに埋込情報SCを畳み込む機能を有する埋込部28とを備える。
Hereinafter, a detailed configuration of the
The
順番情報付与部25Aは、複数の小データD1,D2,…,Dnのそれぞれに順番情報NDを付与する。ここで、順番情報NDは、複数の小データD1,D2,…,Dnを正しく1つの元データDSに再構築するために必要な順番を示す情報である。順番情報NDには、元データDSの分割数Nに応じたビット数が割り当てられる。例えば2分割の場合は1ビット、3分割または4分割の場合は2ビット、5分割〜8分割の場合は3ビットが割り当てられる。なお、分割数Nが多くなるほど順番情報NDに割り当てるビット数が多くなって小データDkに割り当てるビット数がその分減ってしまうので、順番情報NDに割り当てるビット数は、1つの埋込情報SCの総データ長の1/2未満が好ましい。但し、総データ長の1/2以上のビット数を順番情報NDに割り当ててもよい。
The order
誤り検出符号付与部25Bは、複数の小データD1,D2,…,Dnが全て揃っているか、複数の小データD1,D2,…,Dnの値が正しく受信できたか否かを、送信先である音響受信装置30で判定するときに用いられる誤り検出符号を付与する。誤り検出符号付与部25Bは、複数の小データD1,D2,…,Dnのうち1つの小データに付与される。その1つの小データは、例えば、送信順で最後の小データDnである。誤り検出符号としては、例えば、チェックサムが用いられる。なお、本実施形態の音響送信装置20は、音響信号ASの音切れ、過小音、ノイズ等が原因で、音響受信装置30側で小データの受信漏れがあっても、全ての小データD1,D2,…,Dnをより確実に受信されるように、音電子透かしによって埋め込まれた同じ埋込情報SCを複数回ずつ繰り返して送信する。また、複数の埋込情報SC1,SC2,…,SCnを順番に送りこれを複数回繰り返す音響送信方法であってもよい。
The error detection
また、拡散符号発生器26は、拡散符号を発生させる。拡散符号は、どのような符号であってもよい。例えば、拡散符号として、PN系列が用いられる。PN系列とは、Pseudo-Noise Sequence:疑似雑音系列と呼ばれる系列である。
Further, the
エンコード部27は、順番情報NDが付与された小データDkよりなる単位データIDk(但しk=1,2,…,n)を、拡散符号を用いて符号化(エンコード)する。単位データIDkが符号化された埋込情報SCは、例えば8ビットの情報である。
The
埋込部28は、埋込情報SCを原音信号OSに畳み込むことで、埋込情報SCを音響信号ASに埋め込む。原音信号OSは、例えば、アナウンス等の音声信号やBGM等の音楽信号である。本例の原音信号OSは、埋込情報SCを埋め込む伝送媒体(搬送波)として機能する。また、本例の原音信号OSは可聴域の周波数を有する。なお、原音信号OSは非可聴域の周波数を有してもよい。
The embedding
埋込部28が、埋込情報SCを原音信号OSに埋め込む方式、つまり埋め込んだ埋込情報SCを原音信号OSに畳み込んで伝播させる方式は、エコー拡散方式またはスペクトラム拡散方式である。埋込方式は、他の方式であってもよい。なお、PN系列の拡散符号が秘密鍵として機能する拡散方式を採用することが、埋込情報SCの秘匿性を高める点で好ましい。
The method in which the embedded
音響送信装置20は、CPUおよびメモリ等が実装された電子基板を備える。メモリには、音響信号生成処理用のプログラムが記憶されている。CPUがメモリから読み出したプログラムを実行することで、音響送信装置20内でソフトウェアよりなる各部23〜28が構成される。つまり、音響送信装置20内のメモリに記憶されたプログラムは、コンピュータを、各部23〜28として機能させる。詳しくは、音響送信装置20内のメモリに記憶されたプログラムは、コンピュータを、データ分割部24、順番情報付与部25A、拡散符号発生器26およびエンコード部27として機能させる。なお、各部23〜28は、ソフトウェアとハードウェアとにより構成されてもよいし、ハードウェアにより構成されてもよい。
The
なお、コンピュータがデータ分割部24として機能し、元データDSを複数の小データD1,D2,…,Dnに分割する処理が、データ分割ステップの一例に相当する。また、コンピュータが埋込部28として機能し、入力した原音信号OSに複数の小データD1,D2,…,Dnを1つずつ順番に埋込情報SCとして埋め込むことにより、埋込情報が原音信号OSに埋め込まれた音響信号ASをスピーカ12に放音させる処理が、埋込ステップの一例に相当する。
The process in which the computer functions as the
次に、図3を参照して、音響受信装置30について説明する。
音響受信装置30は、音響信号ASを収音する収音部の一例として機能するマイクロホン31と、マイクロホン31が受信した音響信号ASを電気信号である音響信号Sasに変換する不図示の受信回路とを備える。また、音響受信装置30は、音響受信装置30を統括的に制御する第2制御部32を備える。
Next, the
The
音響受信装置30は、受信回路から入力した音響信号Sasから埋込情報SCを抽出する抽出部33を備える。音響受信装置30は、埋込情報SCを復号するデコード部34を備える。さらに、音響受信装置30は、データ再構築部35と、誤り符号検出部36とを備える。また、音響受信装置30は、抽出部33により抽出された埋込情報SCがデコードされた小データD1,D2,…,Dnが、データ再構築部35により再構築された元データDSが、誤り符号検出部36により誤りが検出されない正常なデータである場合、この正常な元データDSを出力する出力部38を有する。なお、本実施形態では、抽出部33およびデコード部34により、データ取得部の一例が構成される。
The
抽出部33は、音響通信システム10が埋込情報SCの埋込方法として採用する拡散法に応じた方法で、音響信号Sasから埋込情報SCを抽出する。埋込方法がエコー拡散法である場合、抽出部33は、原音信号OSに含まれる原音のエコーとして時間軸に拡散された埋込情報SCを、音響信号Sasから抽出する。詳しくは、抽出部33は、音響信号Sasに対してケプストラム変換を行うことで、埋込情報SCを取り出す。また、埋込方法がスペクトラム拡散法である場合、抽出部33は、原音信号OSにスペクトラム拡散された埋込情報SCを復調することで、音響信号Sasから埋込情報SCを抽出する。また、埋込方法が他の方法である場合、抽出部33は、他の方法に応じた抽出法によって音響信号Sasから埋込情報SCを抽出する。
The
デコード部34は、埋込情報SCを単位データIDkに復号する。デコード部34は、音響送信装置20のエンコード部27で採用する拡散に対して逆拡散を行うことで、埋込情報SCを単位データIDkに復号する。詳しくは、デコード部34は、埋込情報SCに対して、埋込部28が拡散させたPN系列と同じPN系列との相互相関をとることで、埋込情報SCを符号化前の単位データIDkに復号する。デコード部34は、復号した単位データIDkをデータ再構築部35へ送る。
The
データ再構築部35は、単位データIDkを、小データDkと順番情報NDとに分離する。データ再構築部35は、例えば、順番情報が先頭(「スタート」)を示す値から最終(「エンド」)を示す値までの順番情報が付された複数の小データを受信し終わると、N個の小データD1,D2,…,Dnを、順番情報NDで示された順番の並び順に結合させる。これにより、データ再構築部35は、複数の小データD1,D2,…,Dnを1つの元データDSに再構築する。
The
データ再構築部35は、順番情報NDの順番が途中で抜けている場合、最終(「エンド」)を示す順番情報NDを受信した後も、その抜けた順番を示す順番情報NDが付与された小データDkを取得するまで、単位データIDkの受け付けを継続する。そして、データ再構築部35は、抜けた順番を示す順番情報NDが付与された小データDkを取得し、複数の小データD1,D2,…,Dnが全て揃うと、これらN個の小データD1,D2,…,Dnを順番情報NDで示される順番通りに結合して元データDSを生成し、その生成した元データDSを次の誤り符号検出部36へ送る。
When the order of the order information ND is omitted in the middle, the
誤り符号検出部36は、最終の小データDnに付与された誤り検出符号EDに基づいて、再構築した元データDSの値について誤りの有無を検出する。誤り符号検出部36は、元データDSの値に誤りを検出すると、誤りありの旨を第2制御部32およびデータ再構築部35に通知する。一方、誤り符号検出部36は、元データDSの値に誤りがないことを確認すると、誤りなしの旨を第2制御部32およびデータ再構築部35に通知するとともに、その誤りがないことを確認した元データDSを出力部38から出力する。
The error
第2制御部32は、誤り符号検出部36から誤りありの旨の通知を受け付けた場合、抽出部33に埋込情報SCを抽出する抽出処理を継続させる。データ再構築部35は、誤りありの旨の通知を受け付けた場合、新たに受信した小データDkをその順番情報で示される順番の小データDkに置き換え、置き換える度に更新した元データDSを誤り符号検出部36に送り、誤り符号検出部36が更新した元データDSの値について誤りの有無を検出する。少なくともN個の小データが置き換えられるまでには、元データDSは正しく更新される。
When the
音響受信装置30は、CPUおよびメモリ等が実装された電子基板を備える。メモリには、音響信号受信処理用のプログラムが記憶されている。CPUがメモリから読み出したプログラムを実行することで、音響受信装置30内でソフトウェアよりなる各部32〜36が構成される。つまり、音響受信装置30内のメモリに記憶されたプログラムは、コンピュータを、各部32〜36として機能させる。詳しくは、音響受信装置30内のメモリに記憶されたプログラムは、コンピュータを、第2制御部32、抽出部33、デコード部34、データ再構築部35および誤り符号検出部36として機能させる。なお、各部32〜36は、ソフトウェアとハードウェアとにより構成されてもよいし、ハードウェアにより構成されてもよい。
The
電子透かしの埋込方式がエコー拡散方式である場合、埋込部28が原信号と埋込情報SCとを畳み込むことにより行われる。また、検出時は、抽出部33が、原信号に埋め込まれた埋込情報SCの信号に対してケプストラム変換を行う。一方、スペクトラム拡散法を採用する場合、埋込部28は、変調前の搬送波に対して数10倍の占有帯域にPN系列を用いて拡散させる。検出時は、抽出部33が逆拡散を行って埋込情報SCを取り出す。
When the method of embedding the digital watermark is the echo diffusion method, the embedding
なお、コンピュータが、抽出部33およびデコード部34を含むデータ取得部として機能し、音響信号Sasから複数の小データD1,D2,…,Dnを取得する処理が、データ取得ステップの一例に相当する。また、コンピュータが、複数の小データD1,D2,…,Dnを結合して元データDSを再構築する処理が、データ再構築ステップの一例に相当する。
The process in which the computer functions as a data acquisition unit including the
次に、音響通信システム10の作用について説明する。
利用者は、元データDSを音響送信装置20に入力し、不図示の操作部を操作して送信指示操作を行う。音響送信装置20は、送信指示操作により送信指示信号を入力すると、音響信号送信処理を実行する。原音信号OSは、図4(a)に示すように、埋込情報SCが埋め込まれる1単位の情報量である、例えば、8ビットよりも十分長い所定のデータ長を有する。また、利用者は、操作部を操作して原音信号OSを第1入力部21から入力する。原音信号OSは、アナウンス音等の音声信号またはBGM等の音楽信号である。まず、音響送信装置20において、データ分割部が、元データDSを図4(b)に示される複数の小データD1,D2,…,Dnに分割する。小データD1,D2,…,Dnのそれぞれは、同じデータ長であり、例えば6ビットである。なお、6ビット以外のデータ長を有する小データが混在していてもよい。例えば、最終の小データDnは、誤り検出符号EDが付与されるので、順番情報NDの他にさらに誤り検出符号EDのために2ビット必要である。そのため、最終の小データDnのデータ長を4ビットとしてもよい。
Next, the operation of the
The user inputs the original data DS into the
次に、順番情報付与部25Aは、図4(c)に示されるように、N個の小データD1,D2,…,Dnのそれぞれに例えばヘッダーとして順番情報NDを付与する。順番情報付与部25Aは、N個の小データD1,D2,…,Dnのそれぞれに、元データDSの先頭(「スタート」)から末端(「エンド」)までの並び順に先頭から順番に順番情報ND1,ND2,…,NDnを付与する。さらに、誤り検出符号付与部25Bは、図4(c)に示されるように、最終の小データDnに誤り検出符号EDを付与する。こうしてN個の単位データIDk(k=1,2,…,n)が生成されると、次にエンコード部27が、N個の単位データID1,ID2,…,IDnを、例えばPN系列を用いて埋込情報SC1,SC2,…,SCnに符号化する。
Next, as shown in FIG. 4C, the order
そして、埋込部28は、原音信号と埋込情報SCを畳み込むことにより、埋込情報SCが埋め込まれた音響信号Sasを生成する。不図示の送信回路は、音響信号Sasに基づいてスピーカ12から音響信号ASを放音する。
Then, the embedded
この音響信号ASは、音響受信装置30のマイクロホン31に収音される。音響受信装置30は、マイクロホン31が収音した音響信号ASを受信回路により音響信号Sasに変換する。この音響信号Sasを入力した抽出部33は、音響信号Sasから埋込情報SCを抽出する。次にデコード部34が、埋込情報SCkを単位データIDkに復号する。こうして、データ再構築部35には、複数の単位データID1,ID2,…,IDnが順次入力される。データ再構築部35は、単位データIDkを小データDkと順番情報NDとに分離する。そして、先頭と最終の順番情報NDが付与された単位データID1,IDnを含む複数の単位データID1,ID2,…,IDnを入力すると、N個の小データD1,D2,…,Dnを順番情報NDで示された順番に結合することにより、1つの元データDSに再構築する。
This acoustic signal AS is picked up by the
このとき、最終の単位データIDkを入力したにも関わらず、先頭から最終の1つ前までの単位データID1,ID2,…,IDnに含まれる順番情報NDの中に、抜けた番号がある場合は、その情報を第2制御部32に通知する。図5(a)に示す例では、先頭の順番情報ND1から最終の順番情報NDnまでの(N−1)個の単位データID1,ID3,…,IDnにおいて、2番目にあるべき単位データID2が抜けている。この単位データID2の抜けは、(N−1)個の順番情報ND1,ND3,…,NDnの値に連続性がなく抜けた番号があることから検出される。
At this time, even though the final unit data IDk is input, there is a missing number in the order information ND included in the unit data ID1, ID2, ..., IDn from the beginning to the last one. Notifies the information to the
第2制御部32は、抜けた番号の通知を受け付けると、抽出部33に抽出処理を継続させる。データ再構築部35は、その後、入力する単位データIDkを分解して得られる順番情報NDをチェックし、抜けた番号を示す順番情報NDkが得られると、その順番情報NDkが付与されていた小データDkを含むN個の小データD1,D2,…,Dnが全て揃う(図5(a))。データ再構築部35は、N個の小データD1,D2,…,Dnを、図5(b)に示すように、順番情報ND1,ND2,…,NDnに示された正しい順番に並べ替える。さらにデータ再構築部35は、N個の小データD1,D2,…,Dnを、順番情報ND1,ND2,…,NDnに示された正しい並び順で結合することにより、図5(c)に示す1つの元データDSを再構築する。
When the
また、データ再構築部35は、最終を示す順番情報NDnを得る前に、同じ番号を重複して取得する場合がある。この場合、データ再構築部35は、2つの小データDk,Dkの値を比較し、同じ値であれば一方を再構築用のバッファーに残し、他方を破棄する。一方、2つの小データDk,Dkの値が異なれば、一方の小データDkを再構築用のバッファーに残し、他方の小データDkを仮置き用のバッファーに保存する。データ再構築部35は、このような処理を、先頭から最終の単位データID1,ID2,…,IDnが全て揃うまで繰り返し行う。
Further, the
また、データ再構築部35は、順番情報NDkに同じ番号が付与された2つの小データDk,Dkの値が異なる場合、それぞれの小データDk,Dkが拡散された原音の振幅を取得する。データ再構築部35は、2つの小データDk,Dkに対応する2つの原音の振幅を比較し、振幅の大きい一方の小データDkを再構築用の第1バッファーに残す処理を行ってもよい。あるいは、データ再構築部35は、2つの小データDk,Dkに埋め込まれていた埋込情報SCk,SCkの埋込強度αを取得し、埋込強度αの大きい一方に対応する小データDkを再構築用の第1バッファーに残す処理を行ってもよい。原音の強度が大きいほど埋込強度αが大きくなるので、埋込強度αが大きい方が受信精度が高いと言える。なお、これらのデータ選択処理は、採用する埋込方式が音響信号Sasから原音の抽出や埋込強度αの取得が可能な場合に採用される。
Further, when the values of the two small data Dk and Dk to which the same number is assigned to the order information NDk are different, the
データ再構築部35は、図5(c)に示される元データDSを再構築すると、この元データDSを、最終の小データDnに付与されていた誤り検出符号EDと共に、次の誤り符号検出部36に送る。誤り符号検出部36は、誤り検出符号EDに基づいて元データDSの値をチェックする。元データDSの値を基に誤り符号検出方式に応じた所定の演算を行って演算結果の値を取得する。誤り符号検出部36は、誤り検出符号EDと演算結果の値とを比較することで、両者の値が一致すれば元データDSの値が正しいと判定し、両者の値が異なれば元データDSの値に誤りがあると判定する。誤り符号検出部36は、元データDSの値に誤りがある場合、その誤りの旨を、第2制御部32およびデータ再構築部35に通知する。この通知を受け付けた第2制御部32は、抽出部33に抽出処理を継続させる。
When the
一方、データ再構築部35は、仮置き用の第2バッファーに単位データIDkが保存されているか否かを判定する。データ再構築部35は、仮置き用の第2バッファーに保存されていた単位データIDkを読み出し、その順番情報NDkと同じ値の順番情報NDkが付与されていた小データDkを、この新たな小データDkと交換することで、元データDSを更新する。そして、この更新された元データDSを誤り符号検出部36に送る。
On the other hand, the
誤り符号検出部36は、更新された元データDSについて誤り検出符号EDを基にチェックし、元データDSの値が正しければ、その元データDSを出力部38から出力する。一方、誤り符号検出部36が、更新された元データDSの値も誤りであると判定すると、その誤りの旨の通知を受け付けたデータ再構築部35は、仮置き用の第2バッファーに他の単位データIDkがあるうちは、この他の単位データIDkから取り出した小データDkと同じ値の順番情報NDkが付与されていた小データDkを、この新たな小データDkと交換して元データDSを更新する。この更新した元データDSによっても、誤り符号検出部36が、元データDSの値に誤りがあると判定すると、データ再構築部35は、新たに入力した単位データIDkから取り出した小データDkを、その小データDkに付与されていた順番情報NDkと同じ順番情報NDkが付与された小データDkと交換することで、元データDSを更新する。データ再構築部35は、この元データDSの更新処理を、誤り符号検出部36が元データDSの値に誤りなしと判定するまで繰り返す。こうして誤り符号検出部36が元データDSに誤りがないと判定すると、正しく再構築された元データDSが出力部38から出力される。
The error
元データDSは、出力部38から、例えば、情報端末15内の処理部に送られる。情報端末15にイストールされたプログラムを実行するコンピュータが処理部として機能する。処理部は、元データDSに基づく文字または画像を表示部に表示させたり、元データDSに基づく音声をイヤホンまたはスピーカから放音させたりする。従来、音電子透かし技術で埋め込まれる埋込情報SCの単位情報量が8ビット程度と少ないので、識別情報を埋め込み、伝送先の情報端末15で識別情報と関連付けられたURL等の提供情報を表示部に表示させたり、提供情報をイヤホンまたはスピーカから放音したりする使われ方がされてきた。これに対して本実施形態によれば、埋込情報SCの単位情報量よりも十分に多いデータ長を有する元データDSを音電子透かし技術を使って伝送できるので、上記の識別情報の利用に限定されず、その用途が大幅に広がる。なお、元データDSを識別情報として利用する場合、識別情報を非常に多数の提供情報に関連付けることができ、これによっても、音電子透かし技術の用途が広がる。なお、原音信号OSに基づくアナウンス音声またはBGM等は、利用者の設定により情報端末15のスピーカまたはイヤホン(いずれも図示略)から出力されてもよいし、情報端末15内で破棄されてもよい。
The original data DS is sent from the
以上詳述述したように、本実施形態によれば、以下に示す効果が得られる。
(1)音響通信システム10は、スピーカ12を有する音響送信装置20と、マイクロホン31を有する音響受信装置30とを備える。音響送信装置20は、入力した元データDSを複数の小データD1,D2,…,Dnに分割するデータ分割部24と、入力した原音信号OSに複数の小データD1,D2,…,Dnを1つずつ順番に埋込情報SCとして埋め込むことにより、埋込情報SCが原音信号OSに埋め込まれた音響信号ASをスピーカ12に放音させる埋込部28とを備える。音響受信装置30は、マイクロホン31が収音した音響信号ASから複数の埋込情報SCを抽出して複数の埋込情報SCから複数の小データD1,D2,…,Dnを取得するデータ取得部と、複数の小データD1,D2,…,Dnを結合して元データDSを再構築するデータ再構築部35とを備える。データ取得部は、抽出部33とデコード部34により構成される。よって、音電子透かし技術を使って、原音信号OSに埋め込まれる埋込情報SC1つ当たりの単位情報量よりも多い情報量をもつ元データDSを送信することができる。この結果、例えば、音電子透かし技術の用途が広がる。
As described in detail above, according to the present embodiment, the following effects can be obtained.
(1) The
(2)埋込部28は、複数の埋込情報SCを、複数の埋込情報SCと対応する複数の小データD1,D2,…,Dnの元データDSにおける並び順で原音信号OSに埋め込む。データ再構築部35は、複数の小データD1,D2,…,Dnを取得した順番に結合することで元データDSを再構築する。よって、音響受信装置30は、データ再構築部35が複数の小データD1,D2,…,Dnを取得した順番に結合すれば元データDSを再構築することができる。例えば、小データD1,D2,…,Dnに順番を指定する順番情報を付与する構成に比べ、元データDSを少ない分割数で短時間に送信することができる。
(2) The embedding
(3)音響送信装置20は、小データD1,D2,…,Dnに元データDSに再構築するための順番を指定する順番情報NDを付与する順番情報付与部25Aを備える。データ再構築部35は、複数の小データD1,D2,…,Dnを順番情報ND1,ND2,…,NDnの順番に結合することで元データDSを再構築する。よって、音響信号ASのノイズや音切れ、小さな音圧等が原因で、音響受信装置30が小データDkを受信する順番が、元データDSの並び順と異なっていても、データ再構築部35が複数の小データD1,D2,…,Dnを順番情報ND1,ND2,…,NDnの順番に結合することにより、元データDSを正しく再構築できる。
(3) The
(4)音響受信装置30は、複数の小データD1,D2,…,Dnが全て揃うまでに、順番情報NDkが同じであり且つ値が異なる複数の小データDkを取得した場合、複数の小データDkを保存する。データ再構築部35は、複数の小データDkのうち一つを用いて再構築した元データDSに誤りが検出された場合、保存された他の一つの小データDkを用いて元データDSを再構築する。よって、再構築された元データDSに誤りがあった場合でも、正しい小データDkの取得を待つことなく速やかに正しい元データDSを再構築できる頻度が高まる。また、誤りを検出した後に必要とする正しい小データDkが送られてこなくても、正しい元データDSを再構築できる頻度が高まる。
(4) When the
(5)音響送信装置20は、複数の小データD1,D2,…,Dnのうち少なくとも1つに誤り検出符号EDを付与する誤り検出符号付与部25Bを備える。音響受信装置30は、複数の小データD1,D2,…,Dnの値を用いて所定の演算を行って得た演算値と誤り検出符号EDの値とを比較することで元データDSの誤りを検出する誤り符号検出部36を備える。よって、再構築された元データDSの誤りをチェックできる。よって、正しく再構築された元データDSを取得できる頻度が高まる。
(5) The
(6)音響送信装置20は、小データD1,D2,…,Dnを埋込情報SC1,SC2,…,SCnに符号化するエンコード部27を備える。埋込部28は、埋込情報SCを原音信号OSに埋め込む。音響受信装置30は、音響信号Sasから抽出した埋込情報SC1,SC2,…,SCnを小データD1,D2,…,Dnに復号するデコード部34を備える。よって、原音信号OSに拡散方式で埋込情報SCが埋め込まれていることから、原音の聴感に影響を与えることを極力抑制できる。
(6) The
(7)音響送信装置20は、データ分割部24、埋込部28およびスピーカ12を備えるので、元データDSを分割した複数の小データD1,D2,…,Dnを原音信号OSに埋込情報SCとして埋め込んだ音響信号ASをスピーカ12から放音することができる。よって、音響送信装置20が音響通信システム10の一部として使用されることで、上記(1)の効果が得られる。
(7) Since the
(8)音響受信装置30は、マイクロホン31、データ取得部およびデータ再構築部35を備えるので、マイクロホン31で音響信号ASを収音して得た音響信号Sasから抽出した埋込情報SC1,SC2,…,SCnから複数の小データD1,D2,…,Dnを取得し、これらを1つに結合することで、元データDSを再構築できる。よって、音響受信装置30が音響通信システム10の一部として使用されることで、上記(1)の効果が得られる。
(8) Since the
(9)音響送信装置20が備えるプログラムは、コンピュータを、データ分割部24、埋込部28として機能させる。よって、コンピュータにプログラムを実行させることにより、上記(7)で述べた音響送信装置20と同様の効果が得られる。
(9) The program included in the
(10)音響受信装置30が備えるプログラムは、コンピュータを、データ取得部、データ再構築部35として機能させる。よって、コンピュータにプログラムを実行させることにより、上記(8)で述べた音響受信装置30と同様の効果が得られる。
(10) The program included in the
(11)スピーカ12を有する音響送信装置20と、マイクロホン31を有する音響受信装置30とを備えた音響通信システム10における音響信号送信方法は、データ分割ステップと、埋込ステップと、データ取得ステップと、データ再構築ステップとを備える。この音響信号送信方法によれば、音響通信システム10と同様の作用効果が得られる。
(11) The acoustic signal transmission method in the
実施形態は、上記に限定されず、以下の態様に変更してもよい。
・元データDSを分割した複数の小データD1,D2,…,Dnに順番情報NDを付与しなくてもよい。例えば、データ分割部24は、図6(a)に示される元データDSを、図6(b)に示されるように、複数の小データD1,D2,…,Dnに分割し、各小データDkに順番情報NDk(図4(c))を付与せず、例えば、最後の小データDnに誤り検出符号EDを付与する。埋込部28は、原音信号OSに小データD1,D2,…,Dnの並び順に埋込情報SC1,SC2,…,SCnを埋め込むことで、スピーカ12に音響信号ASを放音させる。抽出部33は、マイクロホン31が収音した音響信号ASの電気信号である音響信号Sasから、小データD1,D2,…,Dnの並び順で埋込情報SC1,SC2,…,SCnを抽出する。データ再構築部35は、埋込情報SC1,SC2,…,SCnがデコードされた後の複数の小データD1,D2,…,Dnをその受信順に結合することで、図6(c)に示される元データDSを再構築する。音響信号ASの音切れやノイズ等がない限り、正しく元データDSを再構築できる。
The embodiment is not limited to the above, and may be changed to the following aspects.
-It is not necessary to add order information ND to a plurality of small data D1, D2, ..., Dn obtained by dividing the original data DS. For example, the
・埋込情報SCの単位情報量は、8ビットに限定されず、7ビット以下の所定ビット数または9ビット以上の所定ビット数としてもよい。例えば、音響条件の良好な環境下で使用される場合、単位情報量を16ビットまたは32ビットとしてもよい。また、小データDkの単位情報量として8ビットまたは16ビットを確保できる単位情報量を設定でもよい。例えば、順番情報NDkを3ビットとし、小データDkと合わせた単位データIDkの単位情報量を11ビットまたは19ビットとしてもよい。 The unit information amount of the embedded information SC is not limited to 8 bits, and may be a predetermined number of bits of 7 bits or less or a predetermined number of bits of 9 bits or more. For example, when used in an environment with good acoustic conditions, the unit information amount may be 16 bits or 32 bits. Further, the unit information amount that can secure 8 bits or 16 bits as the unit information amount of the small data Dk may be set. For example, the order information NDk may be 3 bits, and the unit information amount of the unit data IDk combined with the small data Dk may be 11 bits or 19 bits.
・音電子透かし技術によるマスキングは、順向性マスキングに限らず、逆向性マスキングでもよい。
・音電子透かし方式は、エコー拡散法やスペクトラム拡散法などの拡散法に限定されない。例えば、エコー法、周期的位相変調法、位相多重化法、振幅変調法などでもよい。また、スペクトラム拡散法は、直接拡散方式でもよいし、周波数ホッピング方式でもよい。
-Masking by sound digital watermarking technology is not limited to forward masking, but may be reverse masking.
-The sound digital watermarking method is not limited to the diffusion method such as the echo diffusion method and the spread spectrum method. For example, an echo method, a periodic phase modulation method, a phase multiplexing method, an amplitude modulation method, or the like may be used. Further, the spread spectrum method may be a direct diffusion method or a frequency hopping method.
・埋込情報SC1,SC2,…,SCnを埋込む順番は、同じ埋込情報SCk(つまり同じ小データDk)を複数回ずつ繰り返す構成に限らず、全ての埋込情報SC1,SC2,…,SCn(つまり小データD1,D2,…,Dn)を1回ずつ順番に送信し、これを複数回繰り返してもよい。この構成によれば、小データを複数回(例えば5回)ずつ送信する構成に比べ、特に音切れやノイズがなければ、音響受信装置30が全ての小データD1,D2,…,Dnを早期に受信できる頻度が高まる。
-The order of embedding the embedded information SC1, SC2, ..., SCn is not limited to the configuration in which the same embedded information SCk (that is, the same small data Dk) is repeated a plurality of times, and all the embedded information SC1, SC2, ..., SCn (that is, small data D1, D2, ..., Dn) may be transmitted once in order, and this may be repeated a plurality of times. According to this configuration, as compared with the configuration in which small data is transmitted a plurality of times (for example, 5 times), the
・埋込部28が複数の小データD1,D2,…,Dnを原音信号OSに埋込情報SC1,SC2,…,SCnとして埋め込む順番は、元データの先頭からの順番である並び順に限定されず、例えば、元データの末尾(エンド)からの並び順でもよい。
The order in which the embedding
・放音部は、スピーカ12に限らず、イヤホンでもよい。
・誤り検出符号は、チェックサム等に限定されない。巡回冗長検査(CRC)、ハミング符号、パリティチェック、Adler−32、Luhnアルゴリズム、チェックディジット、Dammアルゴリズム、ヴァーヘフアルゴリズム等でもよい。
-The sound emitting unit is not limited to the
-The error detection code is not limited to the checksum and the like. Cyclic redundancy check (CRC), Hamming code, parity check, Adler-32, Luhn algorithm, check digit, Damm algorithm, Verhoeff algorithm and the like may be used.
・拡散符号は、PN系列(疑似雑音系列)に限定されず、2種類のPN系列を加算して得られるGold系列または最長系列(M系列)でもよい。 The diffusion code is not limited to the PN sequence (pseudo-noise sequence), and may be a Gold sequence or the longest sequence (M sequence) obtained by adding two types of PN sequences.
10…音響通信システム
12…放音部の一例としてのスピーカ
20…音響送信装置
21…第1入力部
22…第2入力部
23…第1制御部
24…データ分割部
25…情報付与部
25A…順番情報付与部
25B…誤り検出符号付与部
26…拡散符号発生器
27…エンコード部
28…埋込部
30…音響受信装置
31…収音部の一例としてのマイクロホン
32…第2制御部
33…データ取得部の一例を構成する抽出部
34…データ取得部の一例を構成するデコード部
35…データ再構築部
36…誤り符号検出部
38…出力部
AS…音響信号
Sas…音響信号
OS…原音信号
SC,SC1〜SCn…埋込情報
IN…インターネット
DS…元データ
D1,D2,…,Dn,Dk…小データ
ND,ND1,ND2,…,NDn…順番情報
ED…誤り検出符号
ID1,ID2,…,IDn…単位データ
10 ...
Claims (11)
前記音響送信装置は、
入力した元データを複数の小データに分割するデータ分割部と、
入力した原音信号に複数の前記小データを1つずつ順番に埋込情報として埋め込むことにより、当該埋込情報が埋め込まれた音響信号を前記放音部に放音させる埋込部とを備え、
前記音響受信装置は、
前記収音部が収音した前記音響信号から複数の埋込情報を抽出して当該複数の埋込情報から複数の前記小データを取得するデータ取得部と、
複数の前記小データを結合して前記元データを再構築するデータ再構築部と
を備える音響通信システム。 An acoustic communication system including an acoustic transmission device having a sound emitting unit that emits an acoustic signal in which embedded information is embedded, and an acoustic receiving device having a sound collecting unit that collects the acoustic signal.
The sound transmitter is
A data division unit that divides the input original data into multiple small data,
By embedding a plurality of the small data one by one as embedded information in the input original sound signal, the embedded portion is provided so that the acoustic signal in which the embedded information is embedded is emitted to the sound emitting unit.
The sound receiving device is
A data acquisition unit that extracts a plurality of embedded information from the acoustic signal collected by the sound collecting unit and acquires a plurality of the small data from the plurality of embedded information.
An acoustic communication system including a data reconstructing unit that reconstructs the original data by combining a plurality of the small data.
前記データ再構築部は、複数の前記小データを取得した順番に結合することで前記元データを再構築する請求項1に記載の音響通信システム。 The embedding unit embeds the plurality of embedded information in the original sound signal in the order in which the plurality of small data corresponding to the plurality of embedded information are arranged in the original data.
The acoustic communication system according to claim 1, wherein the data reconstructing unit reconstructs the original data by combining a plurality of the small data in the order in which they are acquired.
前記データ再構築部は、前記複数の小データを前記順番情報の順番に結合することで前記元データを再構築する請求項1に記載の音響通信システム。 The acoustic transmission device further includes an order information assigning unit that assigns order information to the small data to specify an order for reconstructing the original data.
The acoustic communication system according to claim 1, wherein the data reconstruction unit reconstructs the original data by combining the plurality of small data in the order of the order information.
前記データ再構築部は、当該複数の小データのうち一つを用いて再構築した前記元データに誤りが検出された場合、保存された他の一つの前記小データを用いて前記元データを再構築する請求項1〜請求項3のいずれか一項に記載の音響通信システム。 When the sound receiving device acquires a plurality of the small data having the same order information and different values by the time all the plurality of small data are prepared, the sound receiving device stores the plurality of small data.
When an error is detected in the original data reconstructed using one of the plurality of small data, the data reconstructing unit uses the other stored small data to generate the original data. The acoustic communication system according to any one of claims 1 to 3, which is to be reconstructed.
前記音響受信装置は、複数の前記小データの値を用いて所定の演算を行って得た演算値と前記誤り検出符号の値とを比較することで前記元データの誤りを検出する誤り符号検出部を備える請求項1〜請求項4のいずれか一項に記載の音響通信システム。 The acoustic transmission device includes an error detection code assigning unit that assigns an error detection code to at least one of the plurality of small data.
The sound receiving device detects an error in the original data by comparing the calculated value obtained by performing a predetermined operation with the values of the plurality of small data with the value of the error detection code. The acoustic communication system according to any one of claims 1 to 4, further comprising a unit.
前記埋込部は、前記埋込情報を前記原音信号に埋め込み、
前記データ取得部は、前記音響信号から抽出した前記埋込情報を前記小データに復号するデコード部を備える請求項1〜請求項5のいずれか一項に記載の音響通信システム。 The acoustic transmission device includes an encoding unit that encodes the small data into embedded information.
The embedded portion embeds the embedded information in the original sound signal.
The acoustic communication system according to any one of claims 1 to 5, wherein the data acquisition unit includes a decoding unit that decodes the embedded information extracted from the acoustic signal into the small data.
入力した元データを複数の小データに分割するデータ分割部と、
入力した原音信号に前記複数の小データを1つずつ順番に埋込情報として埋め込む埋込部と、
前記埋込情報が前記原音信号に埋め込まれた音響信号を放音する放音部と
を備える音響送信装置。 The acoustic transmission device in the acoustic communication system according to any one of claims 1 to 6.
A data division unit that divides the input original data into multiple small data,
An embedding unit that embeds the plurality of small data one by one as embedding information in the input original sound signal.
An acoustic transmission device including a sound emitting unit that emits an acoustic signal in which the embedded information is embedded in the original sound signal.
前記音響信号を収音する収音部と、
前記収音部が収音した音響信号から複数の前記埋込情報を抽出し当該複数の埋込情報から複数の前記小データを取得するデータ取得部と、
複数の前記小データを結合して前記元データを再構築するデータ再構築部と
を備える音響受信装置。 The acoustic receiving device in the acoustic communication system according to any one of claims 1 to 6.
A sound collecting unit that collects the acoustic signal and
A data acquisition unit that extracts a plurality of the embedded information from the acoustic signal collected by the sound collecting unit and acquires a plurality of the small data from the plurality of embedded information.
An acoustic receiving device including a data reconstructing unit for reconstructing the original data by combining a plurality of the small data.
コンピュータを、
入力した元データを複数の小データに分割するデータ分割部、
入力した原音信号に複数の前記小データを1つずつ順番に埋込情報として埋め込むことにより、前記埋込情報が前記原音信号に埋め込まれた音響信号を前記放音部に放音させる埋込部
として機能させるためのプログラム。 A program to be executed by a computer included in the acoustic transmission device in the acoustic communication system according to any one of claims 1 to 6.
Computer,
Data division part that divides the input original data into multiple small data,
By embedding a plurality of the small data one by one in the input original sound signal as embedded information in order, the embedded unit that causes the sound emitting unit to emit an acoustic signal in which the embedded information is embedded in the original sound signal. A program to function as.
コンピュータを、
前記収音部が収音した音響信号から複数の前記埋込情報を抽出し当該複数の埋込情報から複数の前記小データを取得するデータ取得部、
複数の前記小データを結合して前記元データを再構築するデータ再構築部
として機能させるためのプログラム。 A program to be executed by a computer included in the acoustic receiving device in the acoustic communication system according to any one of claims 1 to 6.
Computer,
A data acquisition unit that extracts a plurality of the embedded information from the acoustic signal collected by the sound collecting unit and acquires a plurality of the small data from the plurality of embedded information.
A program for combining a plurality of the small data to function as a data reconstruction unit for reconstructing the original data.
前記音響送信装置が、入力した元データを複数の小データに分割するデータ分割ステップと、
前記音響送信装置が、入力した原音信号に前記複数の小データを1つずつ順番に埋込情報として埋め込むことにより、埋込情報が前記原音信号に埋め込まれた音響信号を前記放音部に放音させる埋込ステップと、
前記音響受信装置が、前記収音部が収音した前記音響信号から複数の前記埋込情報を抽出し当該複数の埋込情報から複数の前記小データを取得するデータ取得ステップと、
複数の前記小データを結合して前記元データを再構築するデータ再構築ステップと
を備える音響信号送信方法。 A method for transmitting an acoustic signal in an acoustic communication system including an acoustic transmission device having a sound emitting unit that emits an acoustic signal in which embedded information is embedded and an acoustic receiving device having a sound collecting unit that collects the acoustic signal. And,
A data division step in which the sound transmission device divides the input original data into a plurality of small data, and
The acoustic transmission device embeds the plurality of small data one by one as embedded information in the input original sound signal, so that the acoustic signal in which the embedded information is embedded in the original sound signal is emitted to the sound emitting unit. The embedded step to make a sound,
A data acquisition step in which the acoustic receiving device extracts a plurality of the embedded information from the acoustic signal collected by the sound collecting unit and acquires a plurality of the small data from the plurality of embedded information.
An acoustic signal transmission method comprising a data reconstruction step of combining a plurality of the small data and reconstructing the original data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104835A JP7385531B2 (en) | 2020-06-17 | 2020-06-17 | Acoustic communication system, acoustic transmitting device, acoustic receiving device, program and acoustic signal transmitting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104835A JP7385531B2 (en) | 2020-06-17 | 2020-06-17 | Acoustic communication system, acoustic transmitting device, acoustic receiving device, program and acoustic signal transmitting method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021196562A true JP2021196562A (en) | 2021-12-27 |
JP2021196562A5 JP2021196562A5 (en) | 2022-08-03 |
JP7385531B2 JP7385531B2 (en) | 2023-11-22 |
Family
ID=79195521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020104835A Active JP7385531B2 (en) | 2020-06-17 | 2020-06-17 | Acoustic communication system, acoustic transmitting device, acoustic receiving device, program and acoustic signal transmitting method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7385531B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200055A (en) * | 1996-01-12 | 1997-07-31 | Nippon Steel Corp | Audio data decoder |
JP2004341066A (en) * | 2003-05-13 | 2004-12-02 | Mitsubishi Electric Corp | Embedding device and detecting device for electronic watermark |
WO2006025337A1 (en) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Stereo signal generating apparatus and stereo signal generating method |
JP2007515672A (en) * | 2003-12-04 | 2007-06-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Audio signal encoding |
JP2008505368A (en) * | 2004-07-09 | 2008-02-21 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for generating a multi-channel output signal |
JP2016075890A (en) * | 2014-07-29 | 2016-05-12 | ヤマハ株式会社 | Terminal equipment, information providing system, information providing method, and program |
-
2020
- 2020-06-17 JP JP2020104835A patent/JP7385531B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09200055A (en) * | 1996-01-12 | 1997-07-31 | Nippon Steel Corp | Audio data decoder |
JP2004341066A (en) * | 2003-05-13 | 2004-12-02 | Mitsubishi Electric Corp | Embedding device and detecting device for electronic watermark |
JP2007515672A (en) * | 2003-12-04 | 2007-06-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Audio signal encoding |
JP2008505368A (en) * | 2004-07-09 | 2008-02-21 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Apparatus and method for generating a multi-channel output signal |
WO2006025337A1 (en) * | 2004-08-31 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Stereo signal generating apparatus and stereo signal generating method |
JP2016075890A (en) * | 2014-07-29 | 2016-05-12 | ヤマハ株式会社 | Terminal equipment, information providing system, information providing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP7385531B2 (en) | 2023-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11562752B2 (en) | Methods and apparatus to perform audio watermarking and watermark detection and extraction | |
CN101228808B (en) | Information providing system | |
CN102812651B (en) | Sending device | |
CN103299366B (en) | Devices for encoding and detecting a watermarked signal | |
KR101270001B1 (en) | Apparatus and methods of enhancing radio programming | |
US9344802B2 (en) | Information providing system | |
JP2000172282A (en) | Method and system for burying additional information in audio data | |
JP2020536423A (en) | High bandwidth sonic tone generation | |
US10425184B2 (en) | Device and method for sound wave communication | |
JP6504412B2 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
Balgurgi et al. | Intelligent processing: An approach of audio steganography | |
JP2007013925A (en) | Information providing system | |
Kojima et al. | A disaster prevention broadcasting based on data hiding scheme using complete complementary codes | |
JP2019524037A (en) | Encoding method using random acoustic signal and related transmission method | |
JP7385531B2 (en) | Acoustic communication system, acoustic transmitting device, acoustic receiving device, program and acoustic signal transmitting method | |
JP2020174224A (en) | Acoustic signal formation device, acoustic reception apparatus and acoustic system | |
KR20080066537A (en) | Encoding/decoding an audio signal with a side information | |
KR102025524B1 (en) | Communication platform based on sound | |
JP7385532B2 (en) | Acoustic communication system, acoustic transmitting device, program and acoustic signal transmitting method | |
JP7385533B2 (en) | Acoustic receiving device, program, and acoustic signal receiving method in the acoustic receiving device | |
JP6291119B1 (en) | Delivery data creation device, advertisement data creation device, and data creation system | |
RU2492579C2 (en) | Device for embedding digital information into audio signal | |
CN112367125A (en) | Information transmission method, information transmission device, communication equipment and computer readable storage medium | |
JP2021197697A (en) | Acoustic communication system, acoustic transmission apparatus, acoustic reception apparatus, program, and method for setting embedding strength of acoustic digital watermarking | |
JP2019041366A (en) | Distribution data generation device, advertisement data generation device and data generation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7385531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |