JP5692255B2 - Content reproduction apparatus and content processing method - Google Patents
Content reproduction apparatus and content processing method Download PDFInfo
- Publication number
- JP5692255B2 JP5692255B2 JP2013034471A JP2013034471A JP5692255B2 JP 5692255 B2 JP5692255 B2 JP 5692255B2 JP 2013034471 A JP2013034471 A JP 2013034471A JP 2013034471 A JP2013034471 A JP 2013034471A JP 5692255 B2 JP5692255 B2 JP 5692255B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- bit rate
- video
- degree
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
この発明は、圧縮されたオーディオ信号の品質に応じて音声を聴きやすい音に処理するコンテンツ再生装置およびコンテンツ処理方法に関する。 The present invention relates to a content reproduction apparatus and a content processing method for processing sound into sound that is easy to hear according to the quality of a compressed audio signal.
近年のテレビ受像機は、テレビ放送を受信・再生するチューナを備えているのみならず、HDMI、アナログ(NTSC)など多数の入力端子を備えている(たとえば特許文献1参照)。また、メモリカードスロットを備えているものもある。入力端子には、たとえば、ゲーム装置、インターネットに接続されたパソコン、ホームビデオなどが接続される。 Recent television receivers include not only a tuner for receiving and playing back a television broadcast, but also a large number of input terminals such as HDMI and analog (NTSC) (see, for example, Patent Document 1). Some have a memory card slot. For example, a game device, a personal computer connected to the Internet, a home video, or the like is connected to the input terminal.
チューナで受信されるテレビ放送の動画(映像および音声)は、テレビ受像機で良好に再生できるように最適化されているため、そのまま復調出力すれば最適化された音質で映像および音声が再生される。しかしながら、各種入力端子に接続されるパソコン、ホームビデオ等から入力される動画の多くは、いわゆる素人が撮影したもの、または、インターネット等で配信するために高い圧縮率で圧縮されたものである。素人が撮影した動画は、撮影後の調整も殆どされていないものが多いため音量設定が大きすぎたり小さすぎたりまちまちであり、そのまま再生したのでは、音声が極端に大きかったり、小さかったりすることが多い。また、高い圧縮率で圧縮された動画は、圧縮率をあげるために音声の高音域が除去されているものが多い。したがって、テレビ受像機でこのような動画を再生する場合には、動画の品質に応じて音声を処理して聞きやすく加工することが望まれる。 The TV broadcast video (video and audio) received by the tuner is optimized so that it can be played back satisfactorily on the TV receiver. Therefore, if the demodulated output is output as it is, the video and audio are played back with the optimized sound quality. The However, most of the moving images input from personal computers connected to various input terminals, home videos, etc. are taken by so-called amateurs or compressed at a high compression rate for distribution over the Internet or the like. Many videos taken by amateurs have little adjustment after shooting, so the volume setting is too large or too small, and if you play it as it is, the sound will be extremely loud or small There are many. In addition, many moving images compressed at a high compression rate have a high sound range removed from the sound in order to increase the compression rate. Therefore, when reproducing such a moving image on a television receiver, it is desirable to process the sound according to the quality of the moving image so as to make it easy to hear.
記録された動画ファイルには、撮影に用いられたカメラの機種情報、映像の圧縮アルゴリズム、解像度、色ビット数、フレームレート、音声の圧縮アルゴリズム、サンプルレート、サンプルビット数、ビットレートなどの属性情報が書き込まれている。しかし、HDMIやアナログなどの入力端子から入力される動画は、外部の機器でデコード・再生されたストリーミング信号であるため、これらの情報が失われていることがある。したがってテレビ受像機は、この動画の音声をどのように処理すれば聴きやすくすることができるかを判断することができなかった。 The recorded video file contains attribute information such as model information of the camera used for shooting, video compression algorithm, resolution, color bit number, frame rate, audio compression algorithm, sample rate, sample bit number, bit rate, etc. Has been written. However, since a moving image input from an input terminal such as HDMI or analog is a streaming signal decoded and reproduced by an external device, such information may be lost. Therefore, the television receiver cannot determine how to process the sound of the moving image to make it easier to listen.
また、AVアンプにも、HDMIやアナログなどのビデオ入力端子を備えテレビに映像を供給するとともに、スピーカから音声を放音する機能を備えた装置があるが、このようなAVアンプにおいても状況は同様であった。 In addition, AV amplifiers include devices that have a video input terminal such as HDMI or analog and supply video to a television, and a function of emitting sound from a speaker. It was the same.
この発明は、コンテンツの種類に応じて音声を聴きやすく処理することができるコンテンツ再生装置およびコンテンツ処理方法を提供することを目的とする。 An object of the present invention is to provide a content reproduction apparatus and a content processing method capable of easily processing sound according to the type of content.
この発明のコンテンツ再生装置は、所定のビットレートの音声を入力して再生し、音声のビットレートを検出するビットレート検出部と、検出されたビットレートに応じた程度で、音声のダイナミックレンジの圧縮および高音域成分の補完を行う音声処理部と、を備えている。音声処理部は、音声のビットレートが高いほどダイナミックレンジの圧縮の程度を小さく、高音域成分の補完の程度を大きくし、音声のビットレートが低いほどダイナミックレンジの圧縮の程度を大きく、高音域成分の補完の程度を小さくする。 The content reproduction apparatus of the present invention inputs and reproduces audio of a predetermined bit rate, detects a bit rate of the audio, and a dynamic range of the audio to the extent corresponding to the detected bit rate. An audio processing unit that performs compression and complementation of high-frequency components. The higher the audio bit rate, the smaller the degree of compression of the dynamic range and the greater the degree of high-frequency component complementation, and the lower the audio bit rate, the greater the degree of compression of the dynamic range. Reduce the degree of ingredient complementation.
上記発明において、検出されたビットレートが、音声に損失を与えない大きさであった場合、音声処理部が、この音声に対してダイナミックレンジの圧縮および高音域成分の補完を行わないようにしてもよい。 In the above invention, when the detected bit rate is a size that does not cause loss to the sound, the sound processing unit is configured not to compress the dynamic range and complement the high frequency component for the sound. Also good.
この発明のコンテンツ処理方法は、所定のビットレートの音声を入力して再生するステップと、音声のビットレートを検出するビットレート検出ステップと、検出されたビットレートに応じた程度で、音声のダイナミックレンジの圧縮および高音域成分の補完を行う音声処理ステップと、を有する。音声処理ステップは、音声のビットレートが高いほどダイナミックレンジの圧縮の程度を小さく、高音域成分の補完の程度を大きくし、音声のビットレートが低いほどダイナミックレンジの圧縮の程度を大きく、高音域成分の補完の程度を小さくする。 The content processing method according to the present invention includes a step of inputting and playing back audio of a predetermined bit rate, a bit rate detecting step of detecting the bit rate of the audio, and dynamic of the audio to the extent corresponding to the detected bit rate. An audio processing step for compressing the range and complementing the high frequency range component. Audio processing steps, reduce the degree of compression of the dynamic range higher bit rate of the audio, to increase the degree of complementary high frequency components, a large degree of compression of the dynamic range lower the bit rate of the audio, treble Reduce the degree of ingredient complementation.
上記発明において、検出されたビットレートが、音声に損失を与えない大きさであった場合、音声処理ステップを行わないようにしてもよい。 In the above invention, when the detected bit rate has a magnitude that does not cause loss of sound, the sound processing step may not be performed.
この発明によれば、音声のビットレートにより、音声の周波数特性を推定することができ、確実な音声の処理を行うことが可能になる。 According to the present invention, it is possible to estimate the frequency characteristics of the voice based on the bit rate of the voice, and to perform reliable voice processing.
図1は、この発明の実施形態であるテレビ受像機のブロック図である。テレビ受像機1は、主としてテレビ放送およびこれに類似した形式の動画を入力してこれを再生する装置である。この実施形態において、映像およびこれに同期した音声を含むコンテンツを動画と呼ぶ。放送局から送られてくる放送信号を受信するためのチューナとして、地デジ(地上波デジタル放送)チューナ21、BS(放送衛星放送)チューナ22、CS(通信衛星放送)チューナ23を備えている。また、外部から動画を入力するための入力端子としてHDMI入力部24、アナログ入力部25を備えている。アナログ入力部25は、コンポジット端子またはS端子+ステレオ端子などを有し、これらの端子から入力された信号をデジタル化するA/Dコンバータを内蔵している。また、圧縮された動画をデコードするためデコーダ(CODEC)26も設けられている。デコーダ26には、たとえばネットワークケーブルやメモリカードスロット、USBコネクタなどが接続される。デコーダ26は、ネットワークケーブルを介してインターネットからストリーミング配信される動画ファイルをデコードする。また、デコーダ26は、メモリカードスロットにセットされているメモリカードなどの記録媒体から動画ファイルを読み出してデコードして再生する。
FIG. 1 is a block diagram of a television receiver according to an embodiment of the present invention. The television receiver 1 is a device that mainly receives a television broadcast and a moving image of a similar format and reproduces the same. In this embodiment, content including video and audio synchronized therewith is called a moving image. As tuners for receiving broadcast signals sent from broadcast stations, a terrestrial digital (terrestrial digital broadcast)
これら動画再生部(地デジチューナ21、BSチューナ22、CSチューナ23、HDMI入力部24、アナログ入力部25およびデコーダ26)はセレクタ20の入力側に接続されている。また、セレクタ20の出力側には映像処理部11および音声処理部12が接続されている。セレクタ20は、マイクロコンピュータ(マイコン)で構成されるコントローラ10によって切り換えられる。すなわち、動画再生部から入力された動画のうち、セレクタ20によって選択された動画の映像が映像処理部11に入力され、選択された動画の音声が音声処理部12に入力される。
These moving picture reproduction units (terrestrial
映像処理部11には表示処理部13が接続され、表示処理部13にはディスプレイ15が接続されている。また、音声処理部12には放音処理部14が接続され、放音処理部14にはスピーカ16が接続されている。
A
映像処理部11は、地デジチューナ21、BSチューナ22、CSチューナ23から入力されたテレビ放送の映像は、ディスプレイ15に良好な画質で表示できるように最適化されているため、そのまま表示処理部13に出力する。また、音声処理部12は、地デジチューナ21、BSチューナ22、CSチューナ23から入力されたテレビ放送の音声は、スピーカ16から良好な音質で放音できるように最適化されているため、そのまま放音処理部14に出力する。
The
映像処理部11は、HDMI入力部24、アナログ入力部25またはデコーダ26から入力された動画の映像は、ディスプレイ15に表示したときユーザが見やすくなるように、その動画の画質に合わせて映像を処理する。映像処理は、たとえば、解像度や映像のシャープさを調整するなどの処理である。処理された映像は表示処理部13に入力される。表示処理部13は映像信号をマトリクス状に展開してフレームデータとし、ディスプレイ15に表示する処理を行う。
The
映像処理部11において、映像の画質は、映像処理部11に内蔵されている映像分析部11Aが分析する。映像分析部11Aは、セレクタ20を介してHDMI入力部24またはアナログ入力部25から入力される映像の解像度や圧縮歪の程度等を分析する。この分析結果は、映像処理部11における映像処理に利用されるほか、コントローラ10に送られる。
In the
コントローラ10は、映像処理部11の映像解析部11Aから取得した映像の分析結果に基づいて音質を推定し、推定された音質に応じた音声処理の内容を決定する。コントローラ10は、この決定された処理内容を音声処理部12に対して設定する。音声処理部12は、設定された内容の音声処理を行う。音声処理は、たとえば、テレビ放送よりも劣る音質の音声信号に対してダイナミックレンジを圧縮または拡張する処理、高音域成分を強調または補完する成分付加処理などである。処理された音声は放音処理部14に入力される。放音処理部14は音声をアナログ信号に変換して増幅しスピーカ16から放音する。
The
また、デコーダ26が、ネットワーク経由で送られてくるストリーミング動画をデコードする場合、および、記録媒体の動画ファイルをデコードして再生する場合、デコーダ26は、その動画の属性を取得する。動画の属性とは、映像の圧縮アルゴリズム、解像度、色ビット数、フレームレート、および、音声の圧縮アルゴリズム、サンプルレート、サンプルビット数、ビットレートなどである。
Further, when the
コントローラ10は、セレクタ20でデコーダ26を選択したとき、デコーダ26から動画の属性を取得する。コントローラ10は、この映像の属性を映像処理部11に送るとともに、音声の属性に基づき、テレビ放送よりも劣る音質に対応して、これを補償するための音声処理部12の処理内容を決定して、これを音声処理部12に設定する。
The
図2は、映像処理部11およびコントローラ10の動作を示すフローチャートである。図2(A)は、映像処理部11の映像解析部11Aの映像解析動作を示すフローチャートである。映像を入力して(S1)、その解像度を解析する(S2)。そして、ディスプレイ15にフルスクリーンで表示するための解像度変換の係数を設定する(S3)。また、映像にどの程度の圧縮歪が含まれているかを解析する(S4)。圧縮歪の有無およびその程度は、以下のような手法で求めることが可能である。ここでは圧縮歪の一例であるブロックノイズの程度を求める手法を示す。映像の任意の垂直ドット列、水平ドット列の明度変化を求め、一定間隔(例えば16ドット)ごとに不連続点があればブロックノイズがあり、その不連続点の差が大きいほどブロックノイズの程度が大きいと判定することができる。検出されたブロックノイズの程度の大きさに応じて、ブロックのエッジを目立たなくするよう映像をソフトにする等の処理を設定する(S5)。同様に圧縮歪とその処理の他の例としてモスキートノイズの程度を検出し、除去することなども挙げられる。
FIG. 2 is a flowchart showing operations of the
そして実フレームレートを解析する(S6)。HDMI入力部24から入力された動画の場合、フレームレートは例えば60fps、120fpsなどに調整されている。しかし、元々の動画がより低いフレームレートであったものをHDMI信号化するときにそのフレームレートに変換された可能性がある。そこで、複数のフレーム内画像の動きをチェックし、動きが段階的であればHDMI信号化するときにフレームレートを上げたと考えられる。すなわち、60fpsの映像であっても実際には3フレームごとにしか画像に動きがない場合は元々は20fpsの映像であったと推定することができる。このようにして実フレームレートを推定する。映像は既にHDMI用に変換されているため、この解析結果は映像処理には用いない。
Then, the actual frame rate is analyzed (S6). In the case of a moving image input from the
そして、解析された解像度、圧縮歪強度、実フレームレートをコントローラ10に送信する(S7)。こののち、映像処理部11は、S3、S5の設定内容に応じて映像処理を実行する。
Then, the analyzed resolution, compression distortion strength, and actual frame rate are transmitted to the controller 10 (S7). After that, the
図2(B)は、コントローラによる音声処理設定動作を示すフローチャートである。映像処理部11から解像度、圧縮歪強度、実フレームレートを取得すると(S11)、これに基づいてダイナミックレンジの変換の程度を決定する(S12)とともに、音声の周波数成分の拡張の程度を決定する(S13)。 FIG. 2B is a flowchart showing an audio processing setting operation by the controller. When the resolution, compression distortion strength, and actual frame rate are acquired from the video processing unit 11 (S11), the degree of conversion of the dynamic range is determined based on the resolution (S12), and the degree of expansion of the audio frequency component is determined. (S13).
ダイナミックレンジの変換には複数の手法が考えられる。すなわち、「ビットレートの低い貧弱な動画ほどダイナミックレンジが圧縮されているため、これを拡張する」という手法、「放送専用機器ではない、コンシューマー用のビデオカメラを使いて、プロフェッショナルの技術をもたない、いわゆる素人が撮影した動画は音声信号レベルがまちまちであるため、ダイナミックレンジを圧縮して小さな音をききとりやすくしたり、過大になっている音をリミッターで制限したりして、テレビで再生可能な音量に最適化する」という手法などである。S12では、これらのいずれかまたは各手法を複合してダイナミックレンジの変換を行う。また、周波数成分の拡張については、ビットレートの低い動画ほど圧縮率を上げるため高音域と低音域がカットされている場合が多いので、S13では、解像度、実フレームレート、圧縮歪強度から推定されるビットレートに合わせて高音域と低音域の補強を行う。 There are several methods for dynamic range conversion. In other words, “The poorer video with a lower bit rate is compressed because the dynamic range is compressed, so this is expanded,” “Professional technology is used by using a consumer video camera that is not a dedicated broadcast device. Since there are no so-called amateur videos, the audio signal level varies, so the dynamic range is compressed to make it easier to remove small sounds, or excessive sounds are limited with a limiter and played on a TV. For example, a method of “optimizing for possible volume”. In S12, dynamic range conversion is performed by combining any one or each of these methods. In addition, the frequency component expansion is estimated from the resolution, the actual frame rate, and the compression distortion strength in S13 because the high frequency range and the low frequency range are often cut in order to increase the compression rate as the moving image has a lower bit rate. Reinforce the high and low frequencies according to the bit rate.
決定された処理内容を実行するよう音声処理部12に対して設定を行い(S14)、音声処理設定動作を終了する。以上の動作により、映像処理部11が映像の処理内容を決定するために行う映像解析の結果を取得して音声処理部12の音声処理の内容が設定される。
The
なお、映像の解析において、カメラワーク、すなわち、パンニングやズーミングの巧拙に基づいて、プロフェッショナルによる撮影であるか素人による撮影であるかを推定し、この推定結果に基づいてダイナミックレンジ圧縮をするか否かを決定してもよい。 In video analysis, based on the camera work, that is, the skill of panning and zooming, it is estimated whether the image is taken by a professional or an amateur and whether or not dynamic range compression is performed based on the estimation result You may decide.
パンニング・ズーミングの巧拙は、以下のような手法で推定可能である。たとえば、「パンニング・ズーミングを過剰に使用している」、「パンニング・ズーミングの速度が速すぎたり、不均一な速度である」、「パンニングが行ったり来たりしている、また、ぶれている(波打っている)」などプロフェッショナルなカメラマンによる撮影なら起こらないような映像の変化を検出し、これらが検出された場合には、ホームビデオカメラによる撮影であると判定する。接続機器がビデオカメラの場合、入力される解像度の情報に基づいて音声処理の内容を決定すればよいが、ビデオカメラの場合、音声のダイナミックレンジが広すぎる場合が多いため、ダイナミックレンジ圧縮処理(DRC)は強いめに設定する。 The skill of panning / zooming can be estimated by the following method. For example, “too much panning / zooming”, “panning / zooming is too fast or uneven”, “panning is coming back and forth, and it ’s blurry Changes in video that would not occur if shooting by a professional photographer, such as “waving”, are detected, and if these are detected, it is determined that shooting is by a home video camera. If the connected device is a video camera, the audio processing content may be determined based on the input resolution information. However, in the case of a video camera, the dynamic range of the audio is often too wide. DRC) is set to a stronger value.
ここで、映像解析部11Aから取得した映像の解像度に応じた周波数成分拡張処理(S13)およびダイナミックレンジ変換処理(S12)の内容の決定手法の一例について説明する。圧縮された動画データやアナログの動画の場合、映像の解像度と音声の音質(ビットレート)は、ほぼ相関していると考えられる。そこで、映像の解像度に応じて、以下のように音声処理の内容を決定する。
Here, an example of a method for determining the contents of the frequency component expansion process (S13) and the dynamic range conversion process (S12) according to the resolution of the video acquired from the
映像の解像度が240p(垂直走査線数240本)の場合、図3(A)に示すように、音声周波数特性が6kHz付近までしか伸びておらず、強調可能な高音帯域がほとんど検出されない。このため、低域側だけ拡張が望ましい。元成分のあら(量子化ノイズなど)が目立たないように抑え目に付加する。帯域が狭く音圧バランスも崩れているのでダイナミックレンジ圧縮処理(DRC)を強いめにかける。すなわち、
高域側成分付加 なし
低域側成分付加 −6dB
DRC 強
とする。
When the video resolution is 240p (the number of vertical scanning lines is 240), as shown in FIG. 3A, the audio frequency characteristic extends only to around 6 kHz, and the high-frequency band that can be emphasized is hardly detected. For this reason, expansion is desirable only on the low frequency side. The original components (quantization noise, etc.) are suppressed and added to the eyes so that they do not stand out. Since the band is narrow and the sound pressure balance is broken, the dynamic range compression processing (DRC) is strongly applied. That is,
High frequency component added None Low frequency component added -6dB
DRC strong.
映像の解像度が360pの場合、図3(B)に示すように、音声周波数特性が、高音域の10kHz付近まで伸びている。このため、数kHz以上の成分を高域拡張成分として拡張して付加することが望ましい。元成分のあら(量子化ノイズなど)が目立たないように抑え目に付加する。帯域が狭く音圧バランスも崩れているのでDRCを強いめにかける。すなわち、
高域側成分付加 −6dB
低域側成分付加 −6dB
DRC 強
とする。
When the video resolution is 360p, as shown in FIG. 3B, the audio frequency characteristic extends to around 10 kHz in the high sound range. For this reason, it is desirable to add a component of several kHz or more as a high-frequency extension component. The original components (quantization noise, etc.) are suppressed and added to the eyes so that they do not stand out. Since the band is narrow and the sound pressure balance is broken, the DRC is put stronger. That is,
High frequency component added -6dB
Low side component added -6dB
DRC strong.
映像の解像度が480pの場合、図3(C)に示すように、音声周波数特性が、高音域の16kHz付近まで伸びている。このため、数kHz以上の成分を高域拡張成分として拡張して付加することが望ましい。効果が分かりやすいように(元成分に埋もれないように)強いめに付加する。帯域がやや狭いためDRCを中程度にかける。すなわち、
高域側成分付加 −3dB
低域側成分付加 −3dB
DRC 中
とする。
When the video resolution is 480p, as shown in FIG. 3C, the audio frequency characteristic extends to around 16 kHz in the high sound range. For this reason, it is desirable to add a component of several kHz or more as a high-frequency extension component. To make the effect easy to understand (so as not to be buried in the original component), add a strong one. Since the band is slightly narrow, DRC is applied to a medium level. That is,
High side component added -3dB
Low side component added -3dB
During DRC.
映像の解像度が720pの場合、図3(D)に示すように、音声周波数特性は、やはり、高音域の16kHz付近までの伸びである。解像度が上がっても、インターネットコンテンツの場合、音声データの帯域は制限されている場合が多い。このため、解像度が480pの場合と同様に、数kHz以上の成分を高域拡張成分として拡張して付加することが望ましい。効果が分かりやすいように(元成分に埋もれないように)強いめに付加する。帯域がやや狭いためDRCを中程度にかける。すなわち、
高域側成分付加 −3dB
低域側成分付加 −3dB
DRC 中
とする。
When the video resolution is 720p, as shown in FIG. 3D, the audio frequency characteristic is also an extension up to around 16 kHz in the high sound range. Even when the resolution is increased, in the case of Internet content, the bandwidth of audio data is often limited. For this reason, as in the case of the resolution of 480p, it is desirable to extend and add a component of several kHz or more as a high-frequency extension component. To make the effect easy to understand (so as not to be buried in the original component), add a strong one. Since the band is slightly narrow, DRC is applied to a medium level. That is,
High side component added -3dB
Low side component added -3dB
During DRC.
また、ストリーミング配信される動画や記録媒体に格納された動画ファイルには、属性情報(プロパティ)が書き込まれているため、デコーダ26はこの属性情報に基づいてデコード処理の内容を決定してデコードを行う。同時に、この属性情報はコントローラ10に送られ、映像処理部11および音声処理部12の処理内容の決定に利用される。
In addition, attribute information (property) is written in a moving image to be distributed by streaming or a moving image file stored in a recording medium. Therefore, the
図4はデコーダ26の動作を示すフローチャートである。この動作はネットワークを介してストリーミング動画が入力されたときの動作を示している。ストリーミング動画が入力されると(S20)、この動作の映像および音声を解析する(S21,S22)。この解析は動画の属性情報を読み出すことによって行われる。映像解析においては、圧縮アルゴリズム、解像度、色ビット数、フレームレート等の属性が読み出される。音声解析においては、圧縮アルゴリズム、サンプルレート、ビットレート、サンプルビット数などの属性が読み出される。これらの解析結果である属性情報をコントローラ10に送信する。コントローラ10は、映像の解析結果を映像処理部11に転送し、音声の解析結果に基づいて音声処理の内容を決定して音声処理部12を設定する。デコーダ26は、取得した属性情報に基づいて動画のデコードを開始する(S24)。
FIG. 4 is a flowchart showing the operation of the
この場合において、映像処理部11は、コントローラ10から転送された属性情報に加えてさらに映像解析部11Aによる解析結果を用いて映像の処理内容を決定してもよい。また、コントローラ10は、デコーダ26から取得した属性情報に加えてさらに映像処理部11から取得した映像の解析結果を用いて音声の処理内容を決定してもよい。
In this case, the
なお、コントローラ10がデコーダ26から動画の属性情報を取得できない場合、すなわちデコーダ26が属性情報を外部出力する構造になっていない場合には、デコーダ26で動画をデコードして再生する場合も、映像処理部11がその映像を解析して映像および音声の処理内容を決定すればよい。
If the
ここで、デコーダ26によって取得された属性情報により音声のビットレートが判った場合には、以下のような処理すればよい。
If the audio bit rate is found from the attribute information acquired by the
音声のビットレートが32kbpsであった場合、図5(A)に示すように、音声周波数特性が6kHz付近までしか伸びておらず、強調可能な高音帯域がほとんど検出されない。このため、低域側だけ拡張が望ましい。元成分のあら(量子化ノイズなど)が目立たないように抑え目に付加する。帯域が狭く音圧バランスも崩れているのでダイナミックレンジ圧縮処理(DRC)を強いめにかける。すなわち、
高域側成分付加 なし
低域側成分付加 −6dB
DRC 強
とする。
When the audio bit rate is 32 kbps, as shown in FIG. 5 (A), the audio frequency characteristic extends only to around 6 kHz, and an emphasizable treble band is hardly detected. For this reason, expansion is desirable only on the low frequency side. The original components (quantization noise, etc.) are suppressed and added to the eyes so that they do not stand out. Since the band is narrow and the sound pressure balance is broken, the dynamic range compression processing (DRC) is strongly applied. That is,
High frequency component added None Low frequency component added -6dB
DRC strong.
音声のビットレートが64kbpsであった場合、図5(B)に示すように、音声周波数特性が、高音域の10kHz付近まで伸びている。このため、数kHz以上の成分を高域拡張成分として拡張して付加することが望ましい。元成分のあら(量子化ノイズなど)が目立たないように抑え目に付加する。帯域が狭く音圧バランスも崩れているのでDRCを強いめにかける。すなわち、
高域側成分付加 −6dB
低域側成分付加 −6dB
DRC 強
とする。
When the audio bit rate is 64 kbps, as shown in FIG. 5B, the audio frequency characteristic extends to around 10 kHz in the high sound range. For this reason, it is desirable to add a component of several kHz or more as a high-frequency extension component. The original components (quantization noise, etc.) are suppressed and added to the eyes so that they do not stand out. Since the band is narrow and the sound pressure balance is broken, the DRC is put stronger. That is,
High frequency component added -6dB
Low side component added -6dB
DRC strong.
音声のビットレートが128kbpsであった場合、図5(C)に示すように、音声周波数特性が、高音域の16kHz付近まで伸びている。このため、数kHz以上の成分を高域拡張成分として拡張して付加することが望ましい。効果が分かりやすいように(元成分に埋もれないように)強いめに付加する。帯域がやや狭いためDRCを中程度にかける。すなわち、
高域側成分付加 −3dB
低域側成分付加 −3dB
DRC 中
とする。
When the audio bit rate is 128 kbps, as shown in FIG. 5C, the audio frequency characteristic extends to around 16 kHz in the high sound range. For this reason, it is desirable to add a component of several kHz or more as a high-frequency extension component. To make the effect easy to understand (so as not to be buried in the original component), add a strong one. Since the band is slightly narrow, DRC is applied to a medium level. That is,
High side component added -3dB
Low side component added -3dB
During DRC.
音声のビットレートが256kbpsであった場合、図5(D)に示すように、音声周波数特性が、高音域の18kHz付近まで伸びている。このため、数kHz以上の成分を高域拡張成分として拡張して付加することが望ましい。効果が分かりやすいように(元成分に埋もれないように)強いめに付加する。帯域が広いためDRCを弱くかける。すなわち、
高域側成分付加 0dB
低域側成分付加 0dB
DRC 弱
とする。
When the audio bit rate is 256 kbps, as shown in FIG. 5D, the audio frequency characteristic extends to around 18 kHz in the high sound range. For this reason, it is desirable to add a component of several kHz or more as a high-frequency extension component. To make the effect easy to understand (so as not to be buried in the original component), add a strong one. Since the bandwidth is wide, the DRC is weakened. That is,
High frequency component added 0dB
Low band side component addition 0dB
DRC is weak.
音声のビットレートが損失なし(たとえば1500kbps)であった場合、図5(E)に示すように、音声周波数特性がナイキスト周波数(たとえば22kHz)付近まで伸びている。このように、周波数的な損失がないため高域の拡張処理は不要である。また、音圧バランスの崩れもないため、DRCは不要である。
高域側成分付加 なし
低域側成分付加 なし
DRC なし
とする。
When the bit rate of sound is no loss (for example, 1500 kbps), as shown in FIG. 5 (E), the sound frequency characteristic extends to the vicinity of the Nyquist frequency (for example, 22 kHz). Thus, since there is no frequency loss, high-frequency extension processing is unnecessary. Also, since there is no disruption of the sound pressure balance, DRC is unnecessary.
High-frequency component added None Low-frequency component added None DRC None.
また、デコーダ26から得られた属性情報に基づき、以下のような推定も可能である。特殊な解像度(アスペクト比が16:9や4:3でないなど)の映像や15fpsなどの特殊なフレームレートの映像を持つ動画は、撮影機器で撮影された映像そのものではなく、パーソナルコンピュータなどで加工されたものである可能性が高いので音声のビットレートは低いとみなしてよい。
The following estimation is also possible based on the attribute information obtained from the
なお、属性情報の音声ビットレートが高くても、圧縮されたのち伸長されたものである可能性があるため、ビットレートにかかわらず周波数特性から音質を判定し、これに基づいて最適な音声処理の内容を決定してもよい。 Note that even if the audio bit rate of the attribute information is high, it may be compressed and expanded, so the sound quality is determined from the frequency characteristics regardless of the bit rate, and optimal audio processing is performed based on this The contents of may be determined.
以上、実施形態としてテレビ受像機1について説明したが、本発明が適用される機器はテレビ受像機に限定されない。たとえば、動画処理機能を備えたAVアンプなどに適用可能である。 As described above, the television receiver 1 has been described as an embodiment, but the device to which the present invention is applied is not limited to the television receiver. For example, the present invention can be applied to an AV amplifier having a moving image processing function.
図6に本発明の他の実施形態であるAVアンプ2のブロック図を示す。同図において、図1に示したテレビ受像機1と同一構成の部分は同一番号を付して説明を省略する。AVアンプ2は、オーディオソースを入力する端子も備えているが、この図では動画すなわちAVソースを入力する端子のみを記載している。セレクタ20には、HDMI入力部24、アナログ入力部25に加えて、USB再生部27およびLAN通信部28を備えている。
FIG. 6 shows a block diagram of an
また、映像処理部11にはHDMI出力部17が接続されている。HDMI出力部17には、外部のテレビ受像機3が接続される。映像処理部11が出力した映像はHDMI出力部17を介してテレビ受像機3に送られ、テレビ受像機3の画面で表示される。また、放音処理部(アンプ)14にはスピーカ端子18が接続されている。スピーカ端子18には、外部のスピーカ4が接続される。放音処理部14が出力した音声はスピーカ端子18を介してスピーカ4に送られ、スピーカ4から放音される。
Further, an
USB再生部27はUSBインタフェースを備え、動画ファイルが格納された記録媒体が接続される。USB再生部27はこの記録媒体に格納されている動画ファイルを読み出してデコードして再生する。すなわち、USB再生部27はデコーダを備えている。USB再生部27は、デコーダによって読み出された動画ファイルの属性情報をコントローラ10に転送する。また、LAN通信部28はネットワークを介してストリーミング配信される動画を受信し、これをデコードして非圧縮の映像と音声を再生する。すなわち、LAN通信部28はデコーダを備えている。LAN通信部28は、デコーダによって読み出された動画ファイルの属性情報をコントローラ10に転送する。なお、USB再生部27、LAN通信部28は、図1に示したようにデコーダ(CODEC)を共用してもよい。
The
1 テレビ受像機
10 コントローラ
11 映像処理部
11A 映像解析部
12 音声処理部
26 デコーダ
2 AVアンプ
DESCRIPTION OF SYMBOLS 1
Claims (4)
前記音声のビットレートを検出するビットレート検出部と、
前記検出されたビットレートに応じた程度で、前記音声のダイナミックレンジの圧縮および高音域成分の補完を行う音声処理部と、
を備え、
前記音声処理部は、前記音声のビットレートが高いほど、前記ダイナミックレンジの圧縮の程度を小さく、前記高音域成分の補完の程度を大きくし、前記音声のビットレートが低いほど、前記ダイナミックレンジの圧縮の程度を大きく、前記高音域成分の補完の程度を小さくするコンテンツ再生装置。 A content playback apparatus that inputs and plays back audio of a predetermined bit rate,
A bit rate detector for detecting the bit rate of the audio;
An audio processing unit that compresses the dynamic range of the audio and complements high-frequency components, to the extent corresponding to the detected bit rate;
With
The voice processing unit increases the degree of compression of the dynamic range and increases the degree of complementation of the high frequency range component as the bit rate of the voice increases, and decreases the dynamic range as the bit rate of the voice decreases. A content playback apparatus that increases the degree of compression and reduces the degree of complementation of the high-frequency component.
前記音声のビットレートを検出するビットレート検出ステップと、
前記検出されたビットレートに応じた程度で、前記音声のダイナミックレンジの圧縮および高音域成分の補完を行う音声処理ステップと、
を有し、
前記音声処理ステップは、前記音声のビットレートが高いほど、前記ダイナミックレンジの圧縮の程度を小さく、前記高音域成分の補完の程度を大きくし、前記音声のビットレートが低いほど、前記ダイナミックレンジの圧縮の程度を大きく、前記高音域成分の補完の程度を小さくするコンテンツ処理方法。 Inputting and playing audio of a predetermined bit rate; and
A bit rate detecting step for detecting the bit rate of the voice;
Extent in accordance with the detected bit rate, the audio processing step of performing a complementary compression and treble components of the dynamic range of the audio,
Have
In the sound processing step, the higher the bit rate of the sound, the smaller the degree of compression of the dynamic range, and the greater the degree of complementation of the high-frequency component, and the lower the bit rate of the sound, A content processing method in which a degree of compression is increased and a degree of complementation of the high-frequency component is reduced.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013034471A JP5692255B2 (en) | 2010-12-03 | 2013-02-25 | Content reproduction apparatus and content processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010270269 | 2010-12-03 | ||
JP2010270269 | 2010-12-03 | ||
JP2013034471A JP5692255B2 (en) | 2010-12-03 | 2013-02-25 | Content reproduction apparatus and content processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011190145A Division JP5304860B2 (en) | 2010-12-03 | 2011-08-31 | Content reproduction apparatus and content processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013174882A JP2013174882A (en) | 2013-09-05 |
JP5692255B2 true JP5692255B2 (en) | 2015-04-01 |
Family
ID=49267778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013034471A Expired - Fee Related JP5692255B2 (en) | 2010-12-03 | 2013-02-25 | Content reproduction apparatus and content processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5692255B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017156671A (en) * | 2016-03-04 | 2017-09-07 | ヤマハ株式会社 | system |
WO2017164156A1 (en) | 2016-03-22 | 2017-09-28 | ヤマハ株式会社 | Signal processing device, acoustic signal transfer method, and signal processing system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000214885A (en) * | 1999-01-21 | 2000-08-04 | Matsushita Electric Ind Co Ltd | Compression device and compression method of amount of sound signal data |
JP2004015708A (en) * | 2002-06-11 | 2004-01-15 | Sharp Corp | Dynamic range control device for image signal |
JP2005227544A (en) * | 2004-02-13 | 2005-08-25 | Matsushita Electric Ind Co Ltd | Voice signal recording method and voice signal recording device |
JP2010085877A (en) * | 2008-10-02 | 2010-04-15 | Clarion Co Ltd | Acoustic compensation apparatus |
JP5629429B2 (en) * | 2008-11-21 | 2014-11-19 | パナソニック株式会社 | Audio playback apparatus and audio playback method |
JP2010187363A (en) * | 2009-01-16 | 2010-08-26 | Sanyo Electric Co Ltd | Acoustic signal processing apparatus and reproducing device |
-
2013
- 2013-02-25 JP JP2013034471A patent/JP5692255B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013174882A (en) | 2013-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10051233B2 (en) | Conversion method and conversion apparatus | |
US7975285B2 (en) | Broadcast receiver and output control method thereof | |
JP7117626B2 (en) | Video display device and video display method | |
US20070217505A1 (en) | Adaptive Decoding Of Video Data | |
JP5304860B2 (en) | Content reproduction apparatus and content processing method | |
US20080266460A1 (en) | Information processing apparatus, information processing method, program, and recording medium | |
JP2006197321A (en) | Method and device for processing image, and program | |
JP2010054940A (en) | Video display apparatus, video reproducing apparatus, video display method, and video reproducing method | |
JP2020522193A (en) | Temporal placement of rebuffering events | |
US9451328B1 (en) | Methods and systems for variable speed playback with bi-directionality | |
JP5692255B2 (en) | Content reproduction apparatus and content processing method | |
JP4786888B2 (en) | Video stream processing device | |
US9905245B2 (en) | Electronic device and control method | |
JP4735696B2 (en) | Image processing apparatus, image processing method, and program | |
JP2008543149A (en) | Audio video processing system equipment | |
JP2015012374A (en) | Image reproduction apparatus, image reproduction apparatus control method, and control program | |
JP5122696B1 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, DISPLAY DEVICE, TELEVISION RECEIVER, PROGRAM, AND RECORDING MEDIUM | |
JP5010671B2 (en) | VIDEO DISPLAY DEVICE, VIDEO REPRODUCTION DEVICE, VIDEO DISPLAY METHOD, AND VIDEO REPRODUCTION METHOD | |
JP5213630B2 (en) | Video signal playback device | |
US20230388606A1 (en) | Display device, display control method, and non-transitory recording medium | |
KR101392070B1 (en) | Apparatus for Providing Multimedia Data and Operating Method Thereof, Digital Multimedia System using the same and Operating Method Thereof | |
KR100731385B1 (en) | Image display apparatus and method for controlling contrast/brightness | |
JP2009171277A (en) | Apparatus and method for recoding information data stream | |
JP4716833B2 (en) | Video playback device | |
JP2023173914A (en) | Display device, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5692255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |