JP4225307B2 - Television receiver - Google Patents
Television receiver Download PDFInfo
- Publication number
- JP4225307B2 JP4225307B2 JP2005265456A JP2005265456A JP4225307B2 JP 4225307 B2 JP4225307 B2 JP 4225307B2 JP 2005265456 A JP2005265456 A JP 2005265456A JP 2005265456 A JP2005265456 A JP 2005265456A JP 4225307 B2 JP4225307 B2 JP 4225307B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- unit
- data
- television receiver
- television
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuits Of Receivers In General (AREA)
Description
本発明はテレビジョン受信装置に関し、より特定的には、視聴者に応じた表示あるいは音声出力を行なうテレビジョン受信装置に関する。 The present invention relates to a television receiver, and more particularly to a television receiver that performs display or audio output according to a viewer.
テレビジョン受信装置（以下、単に「テレビ」という。）の視聴者は、テレビのリモコン端末を操作することにより、画面の表示を切り替え、あるいは音量を調整する。このようなテレビに対して、視聴者の認識機能を有し、認識された視聴者に応じた動作を行なうテレビが提案されている。 A viewer of a television receiving device (hereinafter simply referred to as “TV”) switches the screen display or adjusts the volume by operating a remote control terminal of the television. For such a television, a television having a viewer recognition function and performing an operation according to the recognized viewer has been proposed.
たとえば、特開平８−９２８２号公報（特許文献１）は、過去の受信頻度に限定されず、視聴者の嗜好に応じた番組を選択して提示することができるテレビジョン選局装置を開示する。このテレビジョン選局装置は、リモコン装置に設けられた個人認識センサおよび個人認識論理部によって、リモコンを操作する視聴者を個人認識する。復調分離部は、チューナで受信された放送から、番組と番組内容を説明する番組情報とを分離する。番組評価部は、番組毎に番組情報からキーワードを抽出し、このキーワード毎の適合度を視聴者毎に記憶されたフィルタリングパラメータ記憶・更新部から読み出し、適合度の合計である評価値を番組毎に計算する。番組提示部は、各チャンネルの画像をテクスチャ化し、評価値の高い番組を手前に３次元空間内にテクスチャを貼り付けてＣＲＴ（Cathode Ray Tube）に表示する。その結果、過去の受信頻度に限定されず、視聴者の嗜好に応じた番組が、選択して提示される。 For example, Japanese Patent Laid-Open No. 8-9282 (Patent Document 1) discloses a television channel selection device that can select and present a program according to the viewer's preference without being limited to the past reception frequency. . This television channel selection device recognizes a viewer who operates the remote control by a personal recognition sensor and a personal recognition logic unit provided in the remote control device. The demodulating / separating unit separates the program and the program information explaining the program contents from the broadcast received by the tuner. The program evaluation unit extracts a keyword from the program information for each program, reads out the suitability for each keyword from the filtering parameter storage / update unit stored for each viewer, and calculates an evaluation value that is the sum of the suitability for each program. To calculate. The program presentation unit textures the image of each channel, pastes the texture in the three-dimensional space in front of a program with a high evaluation value, and displays it on a CRT (Cathode Ray Tube). As a result, the program according to the viewer's preference is selected and presented without being limited to the past reception frequency.
また、特開２００１−１６５１４号公報（特許文献２）は、視聴者に応じた動作を行なうことができる認識機能付表示装置を開示する。この表示装置は、視聴者の眼の虹彩パターンを撮影する虹彩認識カメラと、虹彩認識カメラで撮影された虹彩パターンに基づいて視聴者を特定する視聴者特定手段とを備える。視聴者が幼児や未成年者の場合には、教育上悪影響を与える画面が表示されるときに、チャンネルが切り替えられ、警告が発せられ、あるいは、電源が遮断される。 Japanese Patent Laying-Open No. 2001-16514 (Patent Document 2) discloses a display device with a recognition function that can perform an operation according to a viewer. The display device includes an iris recognition camera that captures an iris pattern of the viewer's eyes, and a viewer identification unit that identifies the viewer based on the iris pattern captured by the iris recognition camera. When the viewer is an infant or a minor, the channel is switched, a warning is issued, or the power is shut off when a screen that adversely affects education is displayed.
また、特開２００２−１１２２１８号公報（特許文献３）は、個々の視聴者にとって最適な条件で視聴することが可能な、あるいは、電力の浪費を抑制可能な表示装置を開示する。この表示装置は、利用状態を識別する利用状態識別手段からの識別情報と、当該識別情報に対応した制御情報を記憶するデータ記憶手段と、識別情報に基づいて画像を制御する画面制御手段と音声を制御する音声制御手段とに信号を出力する情報処理手段とを備える。 Japanese Patent Laying-Open No. 2002-112218 (Patent Document 3) discloses a display device that can be viewed under optimum conditions for individual viewers or can suppress waste of power. The display device includes identification information from a utilization state identification unit that identifies a utilization state, data storage unit that stores control information corresponding to the identification information, a screen control unit that controls an image based on the identification information, and audio And an information processing means for outputting a signal to the sound control means for controlling the sound.
さらに、特開平１０−２４３３０９号公報（特許文献４）は、番組視聴中などでも視聴者が視聴制限の操作や設定に煩わされることがない放送受信装置を開示する。この放送受信装置は、放送された番組を受信する受信部と、受信部により受信された番組を出力する出力部を用いて番組を視聴する視聴者を撮像するための視聴者撮像部と、視聴者撮像部の撮像画像から視聴者を認識する視聴者認識部と、視聴者認識部により認識された視聴者に、出力部により出力される番組の視聴が許可されているか否かを判別する視聴許可判別部と、視聴許可判別部の判別結果に従って出力部の出力内容を制御する出力内容制御部とを備える。 Furthermore, Japanese Patent Laid-Open No. 10-243309 (Patent Document 4) discloses a broadcast receiving apparatus in which the viewer is not bothered by the operation and setting of viewing restriction even during program viewing. The broadcast receiving apparatus includes: a receiving unit that receives a broadcasted program; a viewer imaging unit that images a viewer who views the program using an output unit that outputs the program received by the receiving unit; A viewer recognition unit that recognizes the viewer from the captured image of the viewer imaging unit, and a viewing that determines whether or not the viewer recognized by the viewer recognition unit is permitted to view the program output by the output unit An permission determining unit and an output content control unit that controls the output content of the output unit according to the determination result of the viewing permission determining unit.
このように、上記の各技術によれば、視聴者による操作を必要とすることなく、視聴者に応じてテレビの動作を制御することが可能になる。
しかしながら、特開平８−９２８２号公報に開示された技術によれば、番組と番組情報とを含む放送信号に対して適用可能である。そのため、番組情報を含まない放送信号に対しては、視聴者の嗜好に応じた番組を選択して提示できない可能性がある。 However, the technique disclosed in Japanese Patent Laid-Open No. 8-9282 can be applied to a broadcast signal including a program and program information. Therefore, for broadcast signals that do not include program information, there is a possibility that a program according to the viewer's preference cannot be selected and presented.
また、特開２００１−１６５１４号公報に開示された技術によれば、表示装置と視聴者の虹彩との距離によっては虹彩パターンが認識されない可能性がある。また、視聴者が眼鏡を着用している場合、レンズのために虹彩パターンが認識されない可能性もある。 Further, according to the technique disclosed in Japanese Patent Laid-Open No. 2001-16514, the iris pattern may not be recognized depending on the distance between the display device and the viewer's iris. Also, if the viewer is wearing glasses, the iris pattern may not be recognized due to the lens.
また、特開２００２−１１２２１８号公報に開示された技術によれば、同一の視聴者は、日によって異なった場所で視聴しても、同一の条件で視聴することになり、最適な視聴が実現されない可能性もある。 Further, according to the technology disclosed in Japanese Patent Laid-Open No. 2002-112218, even if the same viewer views at different places depending on the day, the viewer can view under the same conditions, thereby realizing optimal viewing. It may not be possible.
また、特開平１０−２４３３０９号公報に開示された技術によれば、視聴者の位置に応じた動作の制御が行なわれないという問題がある。 In addition, according to the technique disclosed in Japanese Patent Laid-Open No. 10-243309, there is a problem that the operation is not controlled according to the position of the viewer.
さらに、上述の各技術によれば、一人の視聴者を認識して、認識結果に応じた制御は可能であっても、複数の視聴者が視聴している場合には、当該制御が実現されないという問題もある。 Furthermore, according to each of the above-described techniques, even if one viewer is recognized and control according to the recognition result is possible, the control is not realized when a plurality of viewers are viewing. There is also a problem.
本発明は、上述の問題点を解決するためになされたものであって、その第１の目的は、視聴者が視聴する位置に応じて動作を調整できるテレビジョン受信装置を提供することである。 The present invention has been made to solve the above-described problems, and a first object of the present invention is to provide a television receiver capable of adjusting the operation according to the position where the viewer views. .
第２の目的は、視聴者の位置が日によって異なっても、動作を調整できるテレビジョン受信装置を提供することである。 The second object is to provide a television receiver capable of adjusting the operation even when the position of the viewer varies from day to day.
第３の目的は、複数の視聴者が視聴していても、動作を調整できるテレビジョン受信装置を提供することである。 A third object is to provide a television receiver capable of adjusting the operation even when a plurality of viewers are viewing.
上記の課題を解決するために、この発明のある局面に従うテレビジョン受信装置は、被写体を撮影して画像データを生成する撮像部と、入力される信号に応じて音声を出力する音声出力部と、テレビジョン受信装置に対して予め定められた標準の視聴位置における視聴者を撮影することにより生成された画像データから算出された特徴量と、視聴者の位置に応じて音声の出力を制御する制御データとを格納する記憶部とを備える。特徴量は、視聴者の顔の特徴点間の画素数を含む。テレビジョン受信装置は、テレビジョン受信装置の視聴に応答して、撮像手段に視聴者を撮影させる撮影制御手段と、視聴に応答して撮影された被写体の画像データから、視聴者の顔の画像が含まれる画像領域を抽出する検出手段と、画像領域に対応するデータに基づいて、視聴に応答して撮影された視聴者の顔の特徴点間の画素数を算出する算出手段と、記憶部に格納されている画素数と算出手段により算出された画素数とに基づいて、視聴者がテレビジョン受信装置に登録されている視聴者であるか否かを確認する確認手段と、視聴者がテレビジョン受信装置に登録されていることが確認された場合に、記憶部に格納されている画素数と算出手段により算出された画素数との比に基づいて、標準の視聴位置と視聴時の位置との位置関係を表わす情報を算出する位置情報算出手段とを備える。位置関係は、テレビジョン受信装置と視聴者との遠近関係を含む。テレビジョン受信装置は、遠近関係と制御データとに基づいて、視聴時に、音声の音量を制御する音量制御手段とを備える。 In order to solve the above problems, a television receiver according to an aspect of the present invention includes an imaging unit that shoots a subject and generates image data, and an audio output unit that outputs audio in accordance with an input signal. The audio output is controlled in accordance with the feature amount calculated from the image data generated by photographing the viewer at the standard viewing position predetermined for the television receiver and the position of the viewer. And a storage unit for storing control data. The feature amount includes the number of pixels between feature points of the viewer's face. The television receiver is configured to capture an image of the viewer's face from a photographing control unit that causes the imaging unit to photograph the viewer in response to viewing of the television receiver, and image data of a subject photographed in response to viewing. Detecting means for extracting an image area including the image area, calculating means for calculating the number of pixels between feature points of the face of the viewer photographed in response to viewing based on data corresponding to the image area, and a storage unit Confirmation means for confirming whether or not the viewer is a viewer registered in the television receiving device based on the number of pixels stored in the display and the number of pixels calculated by the calculation means; When it is confirmed that it is registered in the television receiver, the standard viewing position and the viewing time are determined based on the ratio between the number of pixels stored in the storage unit and the number of pixels calculated by the calculation unit. The positional relationship with the position And a position information calculation means for calculating Wath information. The positional relationship includes a perspective relationship between the television receiver and the viewer. The television receiver includes volume control means for controlling the volume of audio during viewing based on perspective relation and control data.
この発明の他の局面に従うテレビジョン受信装置は、視聴者の撮影により生成された画像データを取得する取得手段と、取得された画像データに基づいて、視聴者の顔の特徴量を算出する算出手段と、テレビジョン受信装置に対して予め定められた標準の視聴位置における視聴者を撮影することにより生成された画像データから算出された特徴量と、視聴者の位置に応じてテレビジョン受信装置の動作を制御する制御データとを格納する記憶部と、記憶部に格納されている特徴量と算出手段により算出された特徴量とに基づいて、視聴者がテレビジョン受信装置に登録されている視聴者であるか否かを確認する確認手段と、視聴者がテレビジョン受信装置に登録されていることが確認された場合に、記憶部に格納されている特徴量と算出手段により算出された特徴量とに基づいて標準の視聴位置と視聴時の位置との位置関係を表わす情報を算出する位置情報算出手段と、位置関係と制御データとに基づいて、テレビジョン受信装置の動作を制御する制御手段とを備える。特徴量は、前記視聴者の顔の特徴点間の画素数を含む。 According to another aspect of the present invention, a television receiver includes an acquisition unit that acquires image data generated by photographing of a viewer, and a calculation that calculates a feature amount of the viewer's face based on the acquired image data. Means, a feature amount calculated from image data generated by photographing a viewer at a standard viewing position predetermined with respect to the television receiver, and a television receiver according to the position of the viewer The viewer is registered in the television receiver based on the storage unit that stores the control data for controlling the operation of the camera, the feature amount stored in the storage unit, and the feature amount calculated by the calculation unit. Confirmation means for confirming whether or not the viewer is a viewer, and when it is confirmed that the viewer is registered in the television receiver, the feature amount and calculation means stored in the storage unit Position information calculating means for calculating information representing the positional relationship between the standard viewing position and the viewing position based on the calculated feature amount, and the television receiver based on the positional relationship and control data. Control means for controlling the operation. The feature amount includes the number of pixels between feature points of the viewer's face.
好ましくは、取得手段は、テレビジョン受信装置に接続されている撮像装置から出力されるデータの入力を受け付ける外部入力部を含む。撮像装置は、被写体を撮影して被写体の画像データを出力する。 Preferably, the acquisition unit includes an external input unit that receives an input of data output from an imaging device connected to the television receiver. The imaging device photographs a subject and outputs image data of the subject.
好ましくは、取得手段は、被写体を撮影して画像データを生成する撮像部を含む。
好ましくは、テレビジョン受信装置は、テレビジョン受信装置の視聴に応答して、撮像部に視聴者を撮影させる撮影制御手段をさらに備える。算出手段は、視聴に応答して撮影された被写体の画像データから、視聴者の顔の画像が含まれる画像領域を抽出する検出手段と、画像領域に対応するデータに基づいて、視聴に応答して撮影された視聴者の顔の特徴量を算出する特徴量算出手段とを含む。
Preferably, the acquisition unit includes an imaging unit that captures a subject and generates image data.
Preferably, the television receiving device further includes photographing control means for causing the imaging unit to photograph the viewer in response to viewing of the television receiving device. The calculation means responds to viewing based on detection means for extracting an image area including an image of the viewer's face from image data of a subject photographed in response to viewing, and data corresponding to the image area. Characteristic amount calculating means for calculating the characteristic amount of the face of the viewer photographed in this way.
好ましくは、位置情報算出手段は、撮影された視聴者とテレビジョン受信装置との遠近関係を表わす情報を算出する。 Preferably, the position information calculation means calculates information representing a perspective relationship between the photographed viewer and the television receiver.
好ましくは、テレビジョン受信装置は、入力される信号に基づいて音声を出力する音声出力部をさらに備える。制御データは、遠近関係に基づいて、出力される音声の音量を制御する音量制御データを含む。制御手段は、音量制御データと遠近関係とに基づいて、音声出力部から出力される音声の音量を制御する音量制御手段を含む。 Preferably, the television receiver further includes an audio output unit that outputs audio based on an input signal. The control data includes volume control data for controlling the volume of the output voice based on the perspective relationship. The control means includes volume control means for controlling the volume of the sound output from the sound output unit based on the volume control data and the perspective relationship.
好ましくは、記憶部は、視聴者の属性を表わす属性データをさらに格納している。属性データと音量制御データとは関連付けられている。音量制御手段は、視聴者の属性に応じて音量を制御する。 Preferably, the storage unit further stores attribute data representing an attribute of the viewer. The attribute data and the volume control data are associated with each other. The volume control means controls the volume according to the viewer's attribute.
好ましくは、テレビジョン受信装置は、入力される信号に基づいて映像を表示する表示部と、表示部に文字を表示するための文字データを生成する生成手段とをさらに備える。制御データは、遠近関係に基づいて、文字の表示態様を規定する表示制御データを含む。制御手段は、表示制御データに基づいて、遠近関係に応じた表示態様で文字を表示する文字データを生成手段に生成させる。 Preferably, the television receiver further includes a display unit that displays an image based on an input signal, and a generation unit that generates character data for displaying characters on the display unit. The control data includes display control data that defines the display mode of characters based on the perspective relationship. The control unit causes the generation unit to generate character data for displaying the character in a display mode corresponding to the perspective relationship based on the display control data.
好ましくは、記憶部は、視聴者の属性を表わす属性データをさらに格納している。属性データと表示制御データとは関連付けられている。生成手段は、視聴者の属性に応じて文字データを生成する。 Preferably, the storage unit further stores attribute data representing an attribute of the viewer. The attribute data and the display control data are associated with each other. The generation means generates character data according to the viewer's attributes.
好ましくは、属性データは、視聴者の年齢を表わすためのデータを含む。
好ましくは、テレビジョン受信装置は、入力される信号に基づいて音声を出力する複数の音声出力部をさらに備える。制御データは、視聴者の位置に応じて、各音声出力部から出力される音声の音量を制御する音量制御データを含む。位置情報算出手段は、標準の視聴位置からの視聴者の左右方向における位置関係を表わす情報を算出する。制御手段は、左右方向における位置関係と音量を制御するデータとに基づいて、各音声出力部により出力される音声の音量を制御する。
Preferably, the attribute data includes data for representing the age of the viewer.
Preferably, the television receiver further includes a plurality of audio output units that output audio based on the input signal. The control data includes volume control data for controlling the volume of audio output from each audio output unit according to the position of the viewer. The position information calculation means calculates information representing the positional relationship in the left-right direction of the viewer from the standard viewing position. The control means controls the volume of the sound output by each sound output unit based on the positional relationship in the left-right direction and the data for controlling the sound volume.
好ましくは、位置情報算出手段は、視聴者がテレビジョン受信装置に登録されていることが確認された場合に、位置関係を表わす情報を算出する。 Preferably, the position information calculation means calculates information representing the positional relationship when it is confirmed that the viewer is registered in the television receiver.
本発明に係るテレビジョン受信装置によれば、視聴者が視聴する位置に応じて動作が調整される。また、視聴者の位置が日によって異なっても、同一の視聴者のために、動作が制御される。 According to the television receiving apparatus of the present invention, the operation is adjusted according to the position where the viewer views. Even if the viewer's position varies from day to day, the operation is controlled for the same viewer.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
＜第１の実施の形態＞
図１および図２を参照して、本発明の実施の形態に係るテレビ１００について説明する。図１は、テレビ１００を正面から表わす図である。図２は、テレビ１００のハードウェア構成を表わすブロック図である。
<First Embodiment>
A
図１に示されるように、テレビ１００は、ディスプレイ１３０とカメラ１５０と、スピーカ１４０ａ，１４０ｂとを備える。スピーカ１４０ａ，１４０ｂは、たとえばステレオ音声の出力が可能なスピーカである。
As shown in FIG. 1, the
図２に示されるように、テレビ１００は、アンテナ１０２と、外部入力部１０４と、受光部１０６と、操作部１０８と、ＣＰＵ（Central Processing Unit）１１０と、チューナ１１４と、切換回路１１６とを備える。ＣＰＵ１１０は、メモリ１１２を含む。
As shown in FIG. 2, the
アンテナ１０２により受信された放送信号は、チューナ１１４に伝送される。チューナ１１４は、ＣＰＵ１１０からの制御信号に基づいて選局が指示されたチャンネルを選択する。
A broadcast signal received by the
外部入力部１０４は、外部から映像音声信号の入力を受け付ける。映像音声信号は、外部入力部１０４から切換回路１１６に伝送される。外部入力部１０４は、映像信号と音声信号とを別々に入力を受け付けるものであってもよいし、各々の信号を伝送するケーブルを１つにまとめたものであってもよい。
The
切換回路１１６は、ＣＰＵ１１０からの切換指令に基づいてチューナ１１４から出力される信号と外部入力部１０４から出力される信号とのいずれかを選択的に出力する。
テレビ１００はさらに、カメラ１５０と、メモリ１５２と、解析装置１６０とを備える。カメラ１５０は、たとえばＣＣＤ（Charge Coupled Device）固体撮像素子を含む。メモリ１５２は、たとえばフラッシュメモリである。カメラ１５０は、ＣＰＵ１１０から出力される撮影指令に基づいて被写体を撮影し、その被写体の画像データをメモリ１５２に対して伝送する。メモリ１５２は、ＣＰＵ１１０から出力される書込指令に基づいてその指令によって特定された領域に画像データを格納する。解析装置１６０は、ＣＰＵ１１０からの指令に基づいてカメラ１５０の撮影により取得された画像データを解析する。解析処理については後述する。
The
図２を再び参照して、テレビ１００は、信号処理回路１２０と、ドライバ１２８と、ディスプレイ１３０と、アンプ１３６ａ，１３６ｂと、スピーカ１４０ａ，１４０ｂとを備える。信号処理回路１２０は、分離回路１２２と、ＯＳＤ（On Screen Display）回路１２４とを含む。
Referring to FIG. 2 again, the
切換回路１１６から出力された信号は、分離回路１２２に入力される。分離回路１２２は、ＣＰＵ１１０からの指令に基づいて、映像信号と音声信号とを分離するための処理を実行する。分離回路１２２から出力される映像信号は、ＯＳＤ回路１２４に入力される。分離回路１２２から出力される音声信号は、アンプ１３６ａ，１３６ｂにそれぞれ伝送される。
The signal output from the switching
ＯＳＤ回路１２４は、ＣＰＵ１１０からの指令に基づいてディスプレイ１３０に画像を表示するための信号を生成する。画像は、文字情報を含む。文字情報には、チューナ１１４により選局されているチャンネルを表わす数字、音量レベルを表わす表示、テレビ１００の動作を表わす表示を含む。動作を表わす表示は、音量のアップまたはダウン、コントラストの変更等を含む。より具体的には、ＯＳＤ回路１２４は、分離回路１２２から出力される映像信号とメモリ１１２に格納されているデータに基づいて生成される画像信号とを合成し、当該合成により生成された信号をドライバ１２８に対して出力する。
The
ドライバ１２８は、ＯＳＤ回路１２４から出力される信号に基づいてディスプレイ１３０における映像の表示処理を実行する。アンプ１３６ａ，１３６ｂは、分離回路１２２から出力される各々の音声信号を増幅してスピーカ１４０ａ，１４０ｂにそれぞれ伝送する。スピーカ１４０ａ，１４０ｂは、その信号に基づいて音声を出力する。
The
図３を参照して、解析装置１６０について説明する。図３は、解析装置１６０によって実現される機能の構成を表わすブロック図である。解析装置１６０は、入力部３１０と、顔画像領域抽出部３２０と、特徴量算出部３３０と、データ書込指令部３４０と、個人認証部３５０と、認証結果生成部３６０と、出力部３７０とを備える。
The
入力部３１０は、信号線（図示しない）を介してＣＰＵ１１０からの指令の入力を受け付ける。また、入力部３１０は、メモリ１５２に格納されているデータの入力を受け付ける。顔画像領域抽出部３２０は、メモリ１５２から読み出された画像データに基づいて、被写体の顔に相当する画像領域を抽出する。この抽出処理については後述する。特徴量算出部３３０は、顔画像領域抽出部３２０により抽出された顔の画像データに基づいてその画像の特徴量を算出する。
The
ここで、特徴量とは、抽出された領域を特定するためのデータによって算出されるその領域の属性をいう。特徴量には、たとえば、画像を構成する画素の数、画像の濃淡部の濃淡の程度、複数の濃淡部が存在する場合における各濃淡部の距離などが含まれる。画素の数が特徴量として使用される場合、視聴者の顔の各部のサイズを規定するデータが、画素の数として表現される。たとえば、目の間隔（両目の目元の距離）、目元と口元との距離、眉毛の長さ、等が特徴量として使用される。 Here, the feature amount refers to an attribute of the region calculated by data for specifying the extracted region. The feature amount includes, for example, the number of pixels constituting the image, the degree of shading of the shading portion of the image, the distance between the shading portions when a plurality of shading portions exist, and the like. When the number of pixels is used as the feature amount, data defining the size of each part of the viewer's face is expressed as the number of pixels. For example, the distance between the eyes (the distance between the eyes of both eyes), the distance between the eyes and the mouth, the length of the eyebrows, and the like are used as the feature amount.
データ書込指令部３４０は、特徴量算出部３３０によって算出された特徴量をメモリ１５２に格納するための指令を生成する。この指令は、出力部３７０を介して出力される。個人認証部３５０は、特徴量算出部３３０によって算出された特徴量と、メモリ１５２に予め格納されている視聴者の特徴量とに基づいて被写体の認証処理を行なう。認証処理は、たとえば算出された特徴量と予め記憶されている特徴量とが一致するか否かを判断することにより行なわれる。たとえば、各特徴量の差異が予め定められた範囲よりも小さい場合には、撮影された被写体は、予め登録されている被写体と同一であると判断される。そうでない場合には、登録されていない被写体が撮影されたと判断されることになる。
The data write
認証結果生成部３６０は、個人認証部３５０によって認証された結果を表わすデータを生成する。このデータは、出力部３７０を介してＣＰＵ１１０に対して伝送される。
The authentication
次に、図４を参照して、本発明に係るテレビ１００を実現するＣＰＵ１１０について説明する。図４は、ＣＰＵ１１０によって実現される機能の構成を表わすブロック図である。ＣＰＵ１１０は、入力部４１０と、相対位置関係特定部４２０と、音量比較部４３０と、音量調整指令部４４０と、スピーカ出力指令部４５０と、個人情報取得部４６０と、ＯＳＤ文字調整指令部４７０と、文章表現調整部４８０と、出力部４９０とを備える。相対位置関係特定部４２０は、特徴量比較部４２２を含む。
Next, the
入力部４１０は、ＣＰＵ１１０の外部から信号の入力を受け付ける。ここで外部とは、受光部１０６、操作部１０８を含む。ＣＰＵ１１０は、さらに解析装置１６０からのデータの入力を受け付ける。このデータも、入力部４１０を介して内部に伝送される。
The
相対位置関係特定部４２０は、メモリ１５２に格納されているデータに基づいて、カメラ１５０によって撮影された被写体の位置関係を特定するための処理を実行する。具体的には、相対位置関係特定部４２０は、被写体がテレビ１００からどの程度離れているか（以下適宜「前後方向」という）あるいは、テレビ１００の正面に対してどの程度左右にずれているか（以下適宜「左右方向」という）を表わす情報を算出する。ずれを表わす情報は、たとえば、画素数を単位として表現される。
The relative positional
特徴量比較部４２２は、予め記憶されている特徴量と新たに算出された特徴量とを比較する。予め記憶されている特徴量は、テレビ１００に対する標準的な視聴位置において視聴者を撮影することにより取得された画像データから算出されたものである。
The feature
音量比較部４３０は、特徴量比較部４２２の結果に基づいてスピーカ１４０ａ，１４０ｂから出力される音量を予めメモリ１１２に格納されている音量と比較する。音量調整指令部４４０は、音量比較部４３０による比較の結果に基づいてスピーカ１４０ａ，１４０ｂから出力される音量を調整するための指令を生成する。スピーカ出力指令部４５０は、音量調整指令部４４０によって生成された指令に基づいてアンプ１３６ａ，１３６ｂに対して音声信号のレベルを変更するように指令する。この指令は、出力部４９０を介してアンプ１３６ａ，１３６ｂに伝送される。
The
個人情報取得部４６０は、メモリ１１２に格納されているデータから、解析装置１６０によって認証された個人（すなわち被写体）に対応するデータを読み出す。読み出されたデータは、音量調整指令部４４０に伝送される。音量調整指令部４４０は、他の局面においては、特定された個人に応じた音量調整の指令を生成する。
The personal
ＯＳＤ文字調整指令部４７０は、個人情報取得部４６０によって取得されたデータに基づいて、ディスプレイ１３０に表示される文字の表示態様を調整する指令を生成する。指令は、出力部４９０を介してＯＳＤ回路１２４に伝送される。ここで表示態様には、文字のサイズ、大きさ、文字色、書体、文書のスタイル等が含まれる。当該スタイルは、たとえばコマンドの平仮名表示、カタカナ表示等を含む。
The OSD character
文章表現調整部４８０は、個人情報取得部４６０によって取得されたデータに基づいてディスプレイ１３０に表示されるメッセージを調整する指令を生成する。メッセージには、音量、画面のコントラストその他テレビ１００の機能を実行するためのメッセージなどが含まれる。ディスプレイ１３０における表示態様は後述する。
The sentence
図５〜図８を参照して、テレビ１００のデータ構造について説明する。図５は、メモリ１５２におけるデータの格納の一態様を概念的に表わす図である。メモリ１５２は、データを格納するための領域５１０〜５４０を含む。
The data structure of the
図５に示されるように、視聴者を特定するためのデータ（視聴者ＩＤ（Identification））は、領域５１０に格納されている。予めカメラ１５０によって撮影された標準位置における顔画像ファイルは、領域５２０に格納されている。ここで標準位置とは、テレビ１００から正面方向に予め定められた距離だけ離れた位置をいう。この位置に被写体が位置し、カメラ１５０がその被写体を撮影することにより、認証処理に使用されるデータが取得される。このデータは、判断の基準となるデータとして使用される。視聴者の年齢は、領域５３０に格納されている。
As shown in FIG. 5, data for identifying the viewer (viewer ID (Identification)) is stored in
視聴者の顔の第１の特徴量としての目の間隔は、領域５４０に格納されている。領域５４０における目の間隔は、説明を簡単にするために、長さ（ｍｍ）として表わされているが、データ処理上は、画素数として取り扱われてもよい。
The distance between eyes as the first feature amount of the viewer's face is stored in
同様に、第２の特徴量としての目と口との間隔は、領域５５０に格納されている。なお、視聴者の顔の特徴量は、上述のものに限られない。顔の特徴量は、目、口、耳、鼻その他の顔の認識技術の分野において、顔の特徴点間の距離その他の位置関係を表わすものであればよい。
Similarly, the distance between the eyes and the mouth as the second feature amount is stored in the
領域５１０から５４０に格納されているデータは、それぞれ相互に関連付けられている。したがって視聴者ＩＤを参照することにより、その視聴者の顔画像データ、年齢、その他の属性などが一意に特定されることになる。
The data stored in
なお、メモリ１５２に格納されているデータは、視聴者の初期登録時に格納されるが、その後の更新動作によって書き替え可能であってもよい。
The data stored in the
図６は、ＣＰＵ１１０の内部のメモリ１１２におけるデータの格納の一態様を表わす図である。メモリ１１２は、テーブル６００，６１０，６２０，６４０を含む。テーブル６００は、データを格納する領域６０２，６０４を含む。テーブル６１０は、領域６１２，６１４を含む。テーブル６２０は、領域６２２，６２４，６２６を含む。テーブル６３０は、領域６３２，６３４，６３６を含む。
FIG. 6 is a diagram showing one mode of data storage in
テーブル６００に格納されているデータを特定するためのデータは、領域６０２に格納されている。スピーカ１４０ａ，１４０ｂから出力される基準音量を決定するためのデータは、領域６０４に格納されている。基準音量は、たとえばテレビ１００の製造時に予め設定される。基準音量は、音量を調整する判断の基準として使用される。
Data for specifying data stored in the table 600 is stored in the
テーブル６１０において、視聴者の年齢を特定するためのデータは、領域６１２に格納されている。各年齢層に応じて設定された基準音量レベルは、領域６１４に格納されている。図６に示される例では、スピーカ１４０ａ，１４０ｂから出力される音量のレベルは、最大レベルが「レベル２０」である。標準の基準音量レベルは、レベル１０である（領域６０４）。また、たとえば年齢が「２０以下」の視聴者に対しては、基準音量レベルとして「レベル９」が設定されている。したがって、テレビ１００の視聴者の年齢が「２０以下」であると判断された場合には、レベル１０で出力されていた音声は、レベル９まで引き下げられることになる。
In the table 610, data for specifying the age of the viewer is stored in an
逆に、たとえば年齢が「８１以上」の視聴者に対しては、基準音量レベルは、「レベル１３」である。したがって、視聴者の年齢が「８１以上」であると判断された場合に、出力されている音量のレベルが「レベル１３」よりも小さい場合には、テレビ１００は、音量レベルを「レベル１３」まで高くし、スピーカ１４０ａ，１４０ｂからそれぞれ音声を出力する。その結果、標準レベルの音声を聞き取りにくい年齢層に属する視聴者も、テレビ１００からの音声を聴き取りやすくなる。
On the other hand, for example, for a viewer whose age is “81 or higher”, the reference volume level is “
テーブル６２０を参照して、認識された視聴者の位置（相対位置）を特定するデータは、領域６２２に格納されている。左スピーカからの音量レベルを規定するためのデータは、領域６２４に格納されている。右スピーカからの音量レベルを規定するためのデータは、領域６２６に格納されている。
Data that identifies the position (relative position) of the recognized viewer with reference to table 620 is stored in
たとえば、視聴者の位置が標準位置よりも「右より」であると認識された場合には、左スピーカからの音量レベルは「レベル１０」から「レベル１１」に変更される。逆に、右スピーカからの音量レベルは、「レベル１０」から「レベル９」に変更される。ＣＰＵ１１０は、変更後のデータに基づいて制御信号を生成し、アンプ１３６ａ，１３６ｂに対して送出する。
For example, when it is recognized that the viewer's position is “from the right” rather than the standard position, the volume level from the left speaker is changed from “
その結果、視聴者から遠くなったスピーカからの音声は、大きくなる。視聴者は、このスピーカからの音声も正確に聴き取ることができる。一方、視聴者に近いスピーカからの音声は、小さくなる。視聴者は、このスピーカからの音声を大きすぎると感じなくなる。これにより、視聴者は、テレビからの音声を快適に聴くことができる。 As a result, the sound from the speaker far from the viewer becomes louder. The viewer can also accurately hear the sound from the speaker. On the other hand, the sound from the speaker close to the viewer is reduced. The viewer will not feel the sound from this speaker too loud. Thereby, the viewer can listen to the sound from the television comfortably.
図６を再び参照して、テーブル６３０に示されるように、認識された視聴者の位置（相対位置）を特定するデータは、領域６３２に格納されている。左スピーカからの音量レベルを規定するためのデータは、領域６３４に格納されている。右スピーカからの音量レベルを規定するためのデータは、領域６３６に格納されている。
Referring to FIG. 6 again, as shown in table 630, data for specifying the position (relative position) of the recognized viewer is stored in
たとえば、視聴者の位置が標準位置よりも「前方」であると認識された場合には、左スピーカからの音量レベルは「レベル１０」から「レベル８」に変更される。逆に、右スピーカからの音量レベルは、「レベル１０」から「レベル１２」に変更される。ＣＰＵ１１０は、変更後のデータに基づいて制御信号を生成し、アンプ１３６ａ，１３６ｂに対して送出する。
For example, when it is recognized that the position of the viewer is “front” than the standard position, the volume level from the left speaker is changed from “
その結果、視聴者がテレビ１００に対して標準位置よりも近くにいる場合には、スピーカ１３６ａ，１３６ｂからの音声は、通常の音量レベルよりも小さく出力される。一方、視聴者が標準位置よりも離れて存在する場合には、スピーカ１３６ａ，１３６ｂからの音声は、通常の音量レベルよりも大きく出力される。これにより、視聴者は、テレビからの音声を快適に聴くことができる。
As a result, when the viewer is closer to the
なお、年齢層別に設定される基準音量レベルは、図６に示される区分に限られない。また、基準音量レベルを設定するための年齢差は、領域６１２に示される区分に限られない。さらに細かいものであってもよいし、逆に間隔が粗いものであってもよい。
The reference volume level set for each age group is not limited to the category shown in FIG. Further, the age difference for setting the reference volume level is not limited to the category shown in
また、音量レベルの変更は、標準の視聴位置に対して前方、後方のいずれかのみに対応するものに限られない。たとえば、音量レベルは、標準の視聴位置から離れた距離に応じて連続的に変更されてもよいし、段階的に変更されてもよい。 Further, the change of the sound volume level is not limited to the one corresponding only to either the front or the rear of the standard viewing position. For example, the volume level may be changed continuously according to the distance away from the standard viewing position, or may be changed in stages.
さらに、音量レベルの調整は、前後方向と左右方向とを組み合わせた位置関係に基づくものであってもよい。たとえば視聴者の位置が標準位置に対して、「左前方」、「左後方」、「右前方」、「右後方」等の位置であってもよい。この場合、テーブル６２０および６３０に格納されているデータをくみあわせて調整量が決定される。たとえば、左右方向の調整量（テーブル６２０）と前後方向の調整量（テーブル６３０）の各々に対して、重み係数を加えた算術和により導出される調整量が、音量レベルの調整量として使用されてもよい。 Furthermore, the adjustment of the volume level may be based on a positional relationship that combines the front-rear direction and the left-right direction. For example, the position of the viewer may be a position such as “front left”, “back left”, “front right”, “back right”, etc. with respect to the standard position. In this case, the adjustment amount is determined by combining the data stored in the tables 620 and 630. For example, an adjustment amount derived by an arithmetic sum obtained by adding a weight coefficient to each of the adjustment amount in the left-right direction (table 620) and the adjustment amount in the front-rear direction (table 630) is used as the adjustment amount of the volume level. May be.
このようにすると、音量がスムーズに調整されるため、たとえば、視聴者が番組の視聴中に位置を変更した場合であっても、当該視聴者は、違和感を感じることなく視聴を続けることができる。 In this way, since the volume is adjusted smoothly, for example, even when the viewer changes the position while watching the program, the viewer can continue watching without feeling uncomfortable. .
図７は、メモリ１１２におけるデータの格納の一態様を表わす図である。このデータは、ディスプレイ１３０に表示される文字の表示態様を調整するために使用される。メモリ１１２は、テーブル７００，７１０を含む。テーブル７００は、領域７０２，７０４，７０６を含む。テーブル７１０は、領域７１２，７１４，７１６を含む。
FIG. 7 is a diagram illustrating an aspect of data storage in
テーブル７００に格納されているデータの種類を特定するための情報は、領域７０２に格納されている。表示される文字のサイズを規定するデータは、領域７０４に格納されている。表示される文字の書体を規定するデータは、領域７０６に格納されている。テーブル７００は、標準の表示態様として予め設定されたデータを含む。
Information for specifying the type of data stored in the table 700 is stored in the
テーブル７１０において、視聴者の年齢層を規定するデータは、領域７１２に格納されている。ディスプレイ１３０に表示される文字のサイズを規定するデータは、領域７１４に格納されている。その文字の書体を規定するデータは、領域７１６に格納されている。領域７１２，７１４，７１６に格納されているデータは、それぞれ関連付けられている。したがって、年齢層が特定されることにより、ディスプレイ１３０に表示される文字のサイズおよび書体が特定されることになる。たとえばテレビ１００の視聴者が「２０以下」であると判断された場合、表示される文字のサイズは、「１５ポイント」であり、書体は「丸文字 標準」となる。
In the table 710, data defining the viewer's age group is stored in the
図８は、メモリ１１２におけるテーブル８００の格納の一態様を表わす図である。テーブル８００は、データを格納する領域８１０，８２０，８３０，８４０を含む。テーブル８００に格納されているデータは、ディスプレイ１３０に表示される文章の表現を調整するために使用される。当該文章は、テレビ１００の内部で作成されたデータに基づいて表示されるテキスト映像として表示される（以下、適宜「ＯＳＤ表示」という）。
FIG. 8 is a diagram illustrating one mode of storage of table 800 in
ディスプレイ１３０にＯＳＤ表示される文字は、領域８１０に格納されている。視聴者の年齢が「１２歳以下」である場合に表示される文字は、領域８２０に格納されている。視聴者の年齢が「１３歳〜６０歳」である場合に表示される文字は、領域８３０に格納されている。視聴者の年齢が「６０歳以上」である場合に表示される文字は、領域８４０に格納されている。領域８１０〜８４０に格納されているデータはそれぞれ相互に関連付けられている。
Characters that are OSD-displayed on
この場合、領域８１０のデータ項目と視聴者の年齢層とが特定されることにより、年齢層に応じて表示される文字が決定される。たとえば、テレビ１００の視聴者の年齢が「１２歳以下」である場合に、ディスプレイ１３０に表示される文字が「ミュート」である場合、実際にはディスプレイ１３０は、「ミュート」の代わりに「しずかにする」というメッセージを表示する。このようにすると、通常表示されるメッセージの理解が視聴者にとって難解であっても、視聴者は、代わりに表示されるメッセージを見ることにより、テレビ１００の動作の内容を容易に理解することができる。
In this case, by specifying the data item in the region 810 and the viewer's age group, the characters to be displayed are determined according to the age group. For example, when the age of the viewer of the
図９および図１０を参照して、本実施の形態に係るテレビ１００の制御構造について説明する。図９は、視聴者を最初に認証するためにＣＰＵ１１０と解析装置１６０とが実行する処理の手順を表わすフローチャートである。
With reference to FIG. 9 and FIG. 10, a control structure of
ステップＳ９１０にて、ＣＰＵ１１０は、受光部１０６を介して入力されるリモコン端末（図示しない）による指示に基づいて、テレビ１００の動作モードをカメラ１５０による撮影モードに切り換えるための指示を検知する。ステップＳ９２０にて、ＣＰＵ１１０は、受光部１０６によって受信されるリモコン端末からの撮影指示信号に基づいて、カメラ１５０の撮影ボタン（図示しない）の押下の指令を検知する。ＣＰＵ１１０は、カメラ１５０に対して予め設定された撮影モードにて被写体を撮影するように指令を出力する。撮影モードには、絞り、シャッタスピード等が含まれる。カメラ１５０は、その指令に応答して撮影処理を実行する。その撮影処理の後、カメラ１５０は、画像データをメモリ１５２に対して送出する。
In step S <b> 910,
ステップＳ９３０にて、ＣＰＵ１１０は、カメラ１５０からメモリ１５２に伝送されたデータを、メモリ１５２において予め確保した領域に格納する。ステップＳ９４０にて、ＣＰＵ１１０は、解析装置１６０に対して、メモリ１５２に格納されたデータを用いて解析するように指示する。
In step S930,
ステップＳ９５０にて、解析装置１６０は、その指示に基づいてメモリ１５２から画像データを読み出し、ＲＡＭ（Random Access Memory）（図示しない）のワーク領域に格納する。ステップＳ９６０にて、解析装置１６０は、そのデータから顔に相当する画像領域を抽出する。この抽出処理は、たとえば公知の画像処理を用いて実現される。
In step S950,
ステップＳ９７０にて、解析装置１６０は、その画像領域に対して特徴量を算出するための処理を実行する。算出される特徴量は、ＣＰＵ１１０によって予め指定されたものである。ステップＳ９８０にて、解析装置１６０は、算出した特徴量をメモリ１５２において予め確保された領域に格納する。その結果、テレビ１００に対して標準位置に位置する視聴者の認証処理が完了し、その視聴者を特定するためのデータは、メモリ１５２に格納されることになる。
In step S970,
図１０は、テレビ１００の動作を制御するためにＣＰＵ１１０が実行する処理の手順を表わすフローチャートである。なお、図９に示される処理と同一の処理には同一のステップ番号を付してある。処理の内容も同じである。したがって、ここではそれらについての説明は繰り返さない。
FIG. 10 is a flowchart showing a procedure of processing executed by
ステップＳ１０１０にて、ＣＰＵ１１０は、メモリ１５２に既に保存されている特徴量と、新たに算出された特徴量とを比較する。ステップＳ１０２０にて、ＣＰＵ１１０は、各特徴量の比の値に基づく比例関係によって視聴者の位置を推定する。
In step S1010,
ステップＳ１０３０にて、ＣＰＵ１１０は、これらの特徴量が一致するか否かを判断する。特徴量が一致する場合には（ステップＳ１０３０にてＹＥＳ）、処理をステップＳ１０４０に移される。そうでない場合には（ステップＳ１０３０にてＮＯ）、処理はステップＳ１０５０に移される。
In step S1030,
ステップＳ１０４０にて、ＣＰＵ１１０は、メモリ１５２に予め登録されている視聴者の属性に応じた音量調整の指示をアンプ１３６ａ，１３６ｂに対して送出する。ステップＳ１０５０にて、ＣＰＵ１１０は、初期値として予め設定されている音量調整指示をアンプ１３６ａ，１３６ｂにそれぞれ送出する。アンプ１３６ａ，１３６ｂは、音声信号のレベルを当該指示によって規定されるレベルに調整して、調整後の音声信号をスピーカ１４０ａ，１４０ｂにそれぞれ伝送する。その結果、スピーカ１４０ａ，１４０ｂは、視聴者に応じた音量レベルの音声を出力する。
In step S1040,
図１１および図１２を参照して、テレビ１００の表示態様について説明する。図１１は、音量レベルが調整される場合にディスプレイ１３０に表示される画面を表わす図である。
A display mode of the
画面（Ａ）は、基準の音量レベル（レベル１０）が設定されている場合に、レベル表示の指示に応答して表示される画面である。その後、テレビ１００の視聴者の年齢が「２０以下」であることが認識されると、画面（Ｂ）に示されるように、音量レベルは、「レベル９」まで引下げられる。
Screen (A) is a screen that is displayed in response to a level display instruction when a reference volume level (level 10) is set. Thereafter, when it is recognized that the age of the viewer of the
あるいは、視聴者の位置が予め定められた標準の視聴位置に対して近いと判断されると、音量レベルは、現在の位置に応じて引き下げられる。この場合、メモリ１１２のテーブル６３０に格納されているデータに基づいて、音量レベルは、「レベル８」間で引き下げられる。
Alternatively, if it is determined that the viewer's position is close to a predetermined standard viewing position, the volume level is lowered according to the current position. In this case, the volume level is lowered between “level 8” based on the data stored in the table 630 of the
一方、視聴者の年齢が「６１から８０」であると判断されると、音量レベルは、「レベル１２」まで引上げられる（画面（Ｃ））。
On the other hand, when it is determined that the age of the viewer is “61 to 80”, the volume level is raised to “
このように、ディスプレイ１３０がそのときに出力されている音声の音量レベルを表示するため、視聴者は、どの程度の音量レベルが設定されているか容易に認識することができる。なお、図１１に示される画面の推移は、あくまで例示であり、推移の順序は、図１１に示されるものに限られない。
Thus, since the
図１２は、文章表現が調整される場合にディスプレイ１３０に表示される画面を表わす図である。
FIG. 12 is a diagram showing a screen displayed on
画面（Ａ）は、視聴者が認識されていない場合、あるいはテレビ１００が初期値に基づいて表示を行なっている場合に示される画面を表わす。すなわちディスプレイ１３０は、音量を大きくするためのメッセージとして「ボリュームアップ」を表示する。その後、視聴者の年齢が１２歳以下であると認識された場合、ディスプレイ１３０は、文字の表示を変更し、「おと おおきくする」に切り換える。これにより、若年層の視聴者も、テレビ１００の動作の内容を容易に理解することができる。一方、視聴者の年齢が「６１以上」であると認識されると、ディスプレイ１３０は、「ボリュームアップ」の表示に代えて「音量 大きくする」と表示する。これにより、たとえばカタカナ用語に不慣れな視聴者であっても、テレビ１００の動作を容易に制御することができる。
Screen (A) represents a screen displayed when the viewer is not recognized or when
以上のようにして、本発明の第１の実施の形態に係るテレビ１００は、標準の視聴位置として予め定められた位置において撮影された視聴者の顔画像の特徴量を格納している。テレビ１００は、視聴者を再度撮影し、視聴者を認識し、顔画像のデータに基づいて算出される特徴量を比較することにより、視聴者の位置を確認する。特徴量の比較の結果、テレビ１００が認識した顔画像が、既に登録されている顔画像に一致することが確認されると、テレビ１００は、その視聴者の位置に応じた動作、たとえば音声の出力、文字サイズの変更等の調整を行なう。これにより、視聴者にとって最適な音量レベルによる音声の出力、視認しやすい文字の表示、理解が容易なＯＳＤ表示等が実現される。
As described above, the
＜第２の実施の形態＞
以下、本発明の第２の実施の形態について説明する。本実施の形態に係るテレビ１３００は、画像の解析機能を有さない点で、当該機能を有するテレビ１００と異なる。すなわちテレビ１３００は、外部の解析装置によって解析された結果の入力を受けて、入力された結果に基づいて音量の制御その他の機能を実行することができる。この場合、通常の構成を有するテレビジョン受信装置が、テレビ１３００として使用可能である。
<Second Embodiment>
Hereinafter, a second embodiment of the present invention will be described.
図１３を参照して、本発明の第２の実施の形態に係るテレビ１３００のハードウェア構成について説明する。テレビ１３００は、図２に示される構成に対して、カメラとメモリと解析装置１６０とを有さない。テレビ１３００は、ＣＰＵ１１０に接続されたインターフェイス１３１０をさらに備える。インターフェイス１３１０には、カメラユニット１４００が接続ケーブル（図示しない）を介して電気的に接続される。インターフェイス１３１０は、カメラユニット１４００から出力される信号の入力を受け付けて、ＣＰＵ１１０に伝送する。
With reference to FIG. 13, a hardware configuration of
図１４を参照して、解析機能を有するカメラユニット１４００について説明する。図１４は、カメラユニット１４００のハードウェア構成を表わすブロック図である。
A
カメラユニット１４００は、入力部１４２０と、ＣＰＵ１４１０と、レンズ１４３０と、ＣＣＤ素子１４４０と、信号処理回路１４５０と、メモリ１４６０と、解析装置１４７０と、インターフェイス１４８０とを含む。
The
入力部１４２０は、外部からの信号の入力を受け付ける。外部から入力される信号には、テレビ１３００から入力される制御信号、あるいは、カメラユニット１４００がリモコン機能を有する場合には、対応するリモコン端末からの信号等が含まれる。その信号は、ＣＰＵ１４１０に伝送される。ＣＰＵ１４１０は、入力される信号に基づいてカメラユニット１４００のハードウェアの動作を制御する。
The
レンズ１４３０は、カメラユニット１４００に対して予め定められた位置に配置されている。レンズ１４３０によって集められた光信号は、ＣＣＤ素子１４４０に伝送される。ＣＣＤ素子１４４０は、ＣＰＵ１４１０からの指示に基づいて駆動し、光信号を電気信号に変換し、生成された電気信号を信号処理回路１４５０に送出する。
The
信号処理回路１４５０は、ＣＰＵ１４１０から出力される指示に基づいて、ＣＣＤ素子１４４０から出力された電荷に対して予め定められた信号処理を行なう。信号処理回路１４５０から出力されたデータは、メモリ１４６０において予め確保された領域に格納される。
The
解析装置１４７０は、ＣＰＵ１４１０からの指令に基づいてメモリ１４６０に格納されているデータを読み出し、そのデータを用いて解析処理を実行する。具体的には、解析装置１４７０は、図２に示される解析装置１６０によって実現される機能と同様の機能を実現する。
The
インターフェイス１４８０は、解析装置１４７０から出力される信号の入力を受け付ける。インターフェイス１４８０は、その信号をカメラユニット１４００の外部に出力する。これにより、解析結果が、テレビ１３００に伝送される。
The
以上のようにして、本発明の第２の実施の形態によれば、テレビ１３００は、カメラユニット１４００からの信号に基づいて、視聴者の現在の位置情報を取得する。テレビ１３００は、その情報に基づいて、視聴者が標準の視聴位置に対してどのような位置に存在しているかを認識する。テレビ１３００は、その認識結果に基づいて、現在の視聴者の位置に応じて音量レベルの調節、表示される文字サイズの調節などを行なう。これにより、視聴者の位置に応じた制御が実現される。
As described above, according to the second embodiment of the present invention, the
このようにすると、テレビ１３００は、従来の構成を有する装置により実現されるため、カメラユニット１４００を接続するだけで、既存のテレビジョン受信装置を本発明に係るテレビジョン受信装置として機能させることができる。
Thus, since the
ここで、図１５を参照して、前述の各実施の形態における顔画像データの抽出処理について説明する。図１５は、メモリ１５２に格納された顔画像を概念的に表わす図である。
Here, the face image data extraction process in each of the above-described embodiments will be described with reference to FIG. FIG. 15 is a diagram conceptually showing the face image stored in the
被写体がテレビ１００のディスプレイ１３０の正面に位置した状態で撮影処理が正常に実行されると、撮影処理によって生成されたデータは、メモリ１５２に格納される。被写体の顔は、肌色の部分とそうでない部分とを含む。たとえば頭髪、眉あるいは瞳は、多くの場合、黒色である。このような被写体の画像に対してたとえば画像データの２値化処理あるいは濃淡処理を行なうと、濃淡の程度が異なる画像が生成される。
When the photographing process is normally executed with the subject positioned in front of the
図１５に示されるように、眉１５０２ａ，１５０２ｂと、瞳１５０４ａ，１５０４ｂと、口１５０８とがそれぞれ抽出される。メモリ１５２の領域が予め特定されている場合、たとえば目の間隔１５１２と、目の長さ１５１０，１５１４と、口元の幅１５１６と、目尻と口の中心部との距離１５１８とがそれぞれ算出される。距離は、たとえば画素の数により表わされる。たとえば、間隔１５１２の値と間隔１５１８の値とは、それぞれ左右方向の情報、上下方向の情報としてメモリ１５２に格納される。これにより、カメラ１５０の撮影により生成された画像に対応する被写体がどの位置にいるかを容易に特定することができる。
As shown in FIG. 15,
図１６を参照して、本発明に係るテレビが使用される場合における「標準位置」について説明する。図１６は、テレビ１００が設置された部屋１０を上部から表わした図である。部屋１０において、視聴者１１は、テレビ１００を視聴している。
With reference to FIG. 16, the “standard position” when the television according to the present invention is used will be described. FIG. 16 is a diagram showing the
視聴者１１は、テレビ１００に対して「標準位置」に位置している。ここで、標準位置とは、テレビ１００に対して予め定められた位置である。この位置は、たとえば、テレビ１００からの距離と、テレビの中心を通る軸からの距離とによって特定される。
The
図１６に示される例では、標準位置は、点線１６２０と点線１６３０との交点となる。点線１６３０は、テレビ１００の基準の位置に対応する点線１６１０から予め定められた距離だけ離れた位置に相当する。点線１６２０は、テレビ１００の中心線、たとえばディスプレイ１３０の中心を通り、ディスプレイ１３０に垂直に交叉するような線に対応する。
In the example shown in FIG. 16, the standard position is an intersection of a dotted
このような状態で、視聴者１１は、テレビ１００に対する初期登録を行なう。すなわち、カメラ１５０による撮影を受け、解析装置１６０が視聴者１１の顔画像を認識し、特徴量を算出する。その結果、視聴者１１が正常に認識され、テレビ１００に特徴量が登録されると、その後、視聴者１１は、テレビ１００を視聴する都度、カメラ１５０に撮影され、新たに算出された特徴量と保存済みの特徴量との比較が行なわれることになる。
In such a state, the
視聴者が標準位置よりもテレビ１００に近い位置にて視聴する場合も考えられる。たとえば、視聴者が、点線１６３１に対応する位置１２において視聴する場合がある。あるいは、逆に、テレビ１００から離れた点線１６３２に対応する位置１３にて視聴する場合も考えられる。
It is also conceivable that the viewer views at a position closer to the
このような場合、カメラ１５０までの距離が短くなるが、本発明においては、特徴量の比が、視聴者の認識に使用される。たとえば、視聴者の目の間隔と目と口の間隔との比が、認識に使用される。この場合、同一の視聴者であれば、カメラ１５０からの距離が異なっても、当該比は、同一の値になるため、別の視聴者として誤って認識されることはない。したがって、その後のテレビ１００の動作の制御も、視聴者に応じた正確な制御が実現可能になる。
In such a case, the distance to the
さらに、視聴者が、テレビ１００に対して、中心軸からずれた位置において視聴する場合もある。たとえば、複数の視聴者がテレビ１００の映像を視聴する場合である。具体的には、図１６に示されるように、視聴者が点線１６２１，１６２２上の位置において視聴する場合である。
Further, the viewer may view the
このような場合も、特徴量の比の値は、予め登録された特徴量の比の値に対して大きくずれないため、視聴者を正確に認証することができる。その結果、予め登録されたデータに基づいて、視聴者に応じたテレビ１００の制御が可能になる。
Even in such a case, the feature value ratio value does not greatly deviate from the previously registered feature value ratio value, so that the viewer can be accurately authenticated. As a result, the
なお、標準位置と異なる位置は、図１６に示されるものに限られない。部屋１０の中で、テレビ１００の映像を視聴可能な位置は、標準位置と異なる位置になり得る。
The position different from the standard position is not limited to that shown in FIG. In the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
本発明は、テレビジョン受像装置その他の表示機能を有する表示装置に適用可能である。 The present invention is applicable to a television receiver and other display devices having a display function.
１００ テレビ、１０２ アンテナ、１０４ 外部入力部、１０６ 受光部、１０８ 操作部、１１０，１４１０ ＣＰＵ、１１２，１５２，１４６０ メモリ、１１４ チューナ、１１６ 切換回路、１２０，１４５０ 信号処理回路、１２２ 分離回路、１２４ ＯＳＤ回路、１２８ ドライバ、１３０ ディスプレイ、１３６ａ，１３６ｂ アンプ、１４０ａ，１４０ｂ スピーカ、１５０ カメラ、１６０，１４７０ 解析装置、３１０，４１０，１４２０ 入力部、３２０ 顔画像領域抽出部、３３０ 特徴量算出部、３４０ データ書込指令部、３５０ 個人認証部、３６０ 認証結果生成部、３７０，４９０ 出力部、４２０ 相対位置関係特定部、４２２ 特徴量比較部、４３０ 音量比較部、４４０ 音量調整指令部、４５０ スピーカ出力指令部、４６０ 個人情報取得部、４７０ ＯＳＤ文字調整指令部、４８０ 文章表現調整部、１３１０，１４８０ インターフェイス、１４００ カメラユニット、１４３０ レンズ、１４４０ ＣＣＤ素子。
100 TV, 102 antenna, 104 external input unit, 106 light receiving unit, 108 operation unit, 110, 1410 CPU, 112, 152, 1460 memory, 114 tuner, 116 switching circuit, 120, 1450 signal processing circuit, 122 separation circuit, 124 OSD circuit, 128 driver, 130 display, 136a, 136b amplifier, 140a, 140b speaker, 150 camera, 160, 1470 analyzer, 310, 410, 1420 input unit, 320 face image area extraction unit, 330 feature quantity calculation unit, 340 Data write command unit, 350 personal authentication unit, 360 authentication result generation unit, 370, 490 output unit, 420 relative positional relationship specifying unit, 422 feature amount comparison unit, 430 volume comparison unit, 440 volume adjustment command unit, 450 speaker output finger Department, 460 personal information acquisition unit, 470 OSD character adjustment command unit, 480 written expression adjuster, 1310,1480
Claims (13)
被写体を撮影して画像データを生成する撮像部と、
入力される信号に応じて音声を出力する音声出力部と、
前記テレビジョン受信装置に対して予め定められた標準の視聴位置における視聴者を撮影することにより生成された画像データから算出された特徴量と、前記視聴者の位置に応じて前記音声の出力を制御する制御データとを格納する記憶部とを備え、前記特徴量は、前記視聴者の顔の特徴点間の画素数を含み、
前記テレビジョン受信装置の視聴に応答して、前記撮像手段に視聴者を撮影させる撮影制御手段と、
前記視聴に応答して撮影された被写体の画像データから、前記視聴者の顔の画像が含まれる画像領域を抽出する検出手段と、
前記画像領域に対応するデータに基づいて、前記視聴に応答して撮影された視聴者の顔の特徴点間の画素数を算出する算出手段と、
前記記憶部に格納されている画素数と前記算出手段により算出された画素数とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する確認手段と、
前記視聴者が前記テレビジョン受信装置に登録されていることが確認された場合に、前記記憶部に格納されている画素数と前記算出手段により算出された画素数との比に基づいて、前記標準の視聴位置と視聴時の位置との位置関係を表わす情報を算出する位置情報算出手段とを備え、前記位置関係は、前記テレビジョン受信装置と前記視聴者との遠近関係を含み、
前記遠近関係と前記制御データとに基づいて、前記視聴時に、前記音声の音量を制御する音量制御手段とを備える、テレビジョン受信装置。 A television receiver,
An imaging unit that shoots a subject and generates image data;
An audio output unit that outputs audio in accordance with an input signal;
A feature amount calculated from image data generated by photographing a viewer at a standard viewing position predetermined for the television receiver, and output of the sound according to the position of the viewer. A storage unit for storing control data to be controlled, and the feature amount includes the number of pixels between feature points of the viewer's face,
In response to viewing of the television receiving device, photographing control means for causing the imaging means to photograph a viewer;
Detecting means for extracting an image area including an image of the viewer's face from image data of a subject photographed in response to the viewing;
Calculating means for calculating the number of pixels between feature points of the face of the viewer photographed in response to the viewing based on the data corresponding to the image region;
Confirmation as to whether or not the viewer is a viewer registered in the television receiver based on the number of pixels stored in the storage unit and the number of pixels calculated by the calculation unit Means,
When it is confirmed that the viewer is registered in the television receiver, based on the ratio between the number of pixels stored in the storage unit and the number of pixels calculated by the calculation unit, Position information calculating means for calculating information representing a positional relationship between a standard viewing position and a viewing position, the positional relationship includes a perspective relationship between the television receiver and the viewer;
A television receiver, comprising: volume control means for controlling the volume of the audio during the viewing based on the perspective relationship and the control data.
視聴者の撮影により生成された画像データを取得する取得手段と、
取得された画像データに基づいて、前記視聴者の顔の特徴量を算出する算出手段と、
前記テレビジョン受信装置に対して予め定められた標準の視聴位置における視聴者を撮
影することにより生成された画像データから算出された特徴量と、前記視聴者の位置に応じて前記テレビジョン受信装置の動作を制御する制御データとを格納する記憶部と、
前記記憶部に格納されている特徴量と前記算出手段により算出された特徴量とに基づいて、前記視聴者が前記テレビジョン受信装置に登録されている視聴者であるか否かを確認する確認手段と、
前記視聴者が前記テレビジョン受信装置に登録されていることが確認された場合に、前記記憶部に格納されている特徴量と前記算出手段により算出された特徴量とに基づいて、前記標準の視聴位置と視聴時の位置との位置関係を表わす情報を算出する位置情報算出手段と、
前記位置関係と前記制御データとに基づいて、前記テレビジョン受信装置の動作を制御する制御手段とを備え、
前記特徴量は、前記視聴者の顔の特徴点間の画素数を含む、テレビジョン受信装置。 A television receiver,
Acquisition means for acquiring image data generated by photographing of the viewer;
Calculation means for calculating a feature amount of the viewer's face based on the acquired image data;
The television receiver according to the feature amount calculated from the image data generated by photographing the viewer at a standard viewing position predetermined for the television receiver and the position of the viewer A storage unit for storing control data for controlling the operation of
Confirmation as to whether or not the viewer is a viewer registered in the television receiving device based on the feature amount stored in the storage unit and the feature amount calculated by the calculation unit Means,
When it is confirmed that the viewer is registered in the television receiver, the standard value is calculated based on the feature value stored in the storage unit and the feature value calculated by the calculation unit. Position information calculating means for calculating information representing a positional relationship between the viewing position and the position at the time of viewing;
Control means for controlling the operation of the television receiver based on the positional relationship and the control data;
The television reception device, wherein the feature amount includes the number of pixels between feature points of the viewer's face.
前記算出手段は、
前記視聴に応答して撮影された被写体の画像データから、前記視聴者の顔の画像が含まれる画像領域を抽出する検出手段と、
前記画像領域に対応するデータに基づいて、前記視聴に応答して撮影された視聴者の顔の特徴量を算出する特徴量算出手段とを含む、請求項４に記載のテレビジョン受信装置。 In response to viewing of the television receiver, the image capturing unit further includes photographing control means for photographing the viewer,
The calculating means includes
Detecting means for extracting an image area including an image of the viewer's face from image data of a subject photographed in response to the viewing;
5. The television receiver according to claim 4, further comprising: a feature amount calculating unit that calculates a feature amount of a viewer's face photographed in response to the viewing based on data corresponding to the image region.
前記制御データは、前記遠近関係に基づいて、出力される音声の音量を制御する音量制御データを含み、
前記制御手段は、前記音量制御データと前記遠近関係とに基づいて、前記音声出力部から出力される音声の音量を制御する音量制御手段を含む、請求項６に記載のテレビジョン受信装置。 An audio output unit that outputs audio based on the input signal;
The control data includes volume control data for controlling the volume of the output voice based on the perspective relationship,
The television receiver according to claim 6, wherein the control unit includes a volume control unit that controls a volume of sound output from the sound output unit based on the volume control data and the perspective relationship.
前記音量制御手段は、前記視聴者の属性に応じて前記音量を制御する、請求項７に記載のテレビジョン受信装置。 The storage unit further stores attribute data representing an attribute of the viewer, and the attribute data and the volume control data are associated with each other,
The television receiver according to claim 7, wherein the volume control unit controls the volume according to an attribute of the viewer.
前記表示部に文字を表示するための文字データを生成する生成手段とをさらに備え、
前記制御データは、前記遠近関係に基づいて、前記文字の表示態様を規定する表示制御データを含み、
前記制御手段は、前記表示制御データに基づいて、前記遠近関係に応じた表示態様で文字を表示する文字データを前記生成手段に生成させる、請求項６に記載のテレビジョン受信装置。 A display unit for displaying an image based on an input signal;
Generating means for generating character data for displaying characters on the display unit;
The control data includes display control data that defines a display mode of the character based on the perspective relationship,
The television receiver according to claim 6, wherein the control unit causes the generation unit to generate character data for displaying a character in a display mode corresponding to the perspective relationship based on the display control data.
前記生成手段は、前記視聴者の属性に応じて前記文字データを生成する、請求項９に記載のテレビジョン受信装置。 The storage unit further stores attribute data representing an attribute of the viewer, and the attribute data and the display control data are associated with each other,
The television receiving device according to claim 9, wherein the generation unit generates the character data according to an attribute of the viewer.
前記制御データは、前記視聴者の位置に応じて、各前記音声出力部から出力される音声の音量を制御する音量制御データを含み、
前記位置情報算出手段は、前記標準の視聴位置からの前記視聴者の左右方向における位置関係を表わす情報を算出し、
前記制御手段は、前記左右方向における位置関係と前記音量を制御するデータとに基づいて、各前記音声出力部により出力される音声の音量を制御する、請求項２に記載のテレビジョン受信装置。 It further includes a plurality of audio output units that output audio based on the input signal,
The control data includes volume control data for controlling the volume of audio output from each of the audio output units according to the position of the viewer,
The position information calculation means calculates information representing a positional relationship in the horizontal direction of the viewer from the standard viewing position;
The television receiver according to claim 2, wherein the control unit controls a volume of sound output from each of the sound output units based on a positional relationship in the left-right direction and data for controlling the volume.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005265456A JP4225307B2 (en) | 2005-09-13 | 2005-09-13 | Television receiver |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005265456A JP4225307B2 (en) | 2005-09-13 | 2005-09-13 | Television receiver |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007081677A JP2007081677A (en) | 2007-03-29 |
| JP4225307B2 true JP4225307B2 (en) | 2009-02-18 |
Family
ID=37941532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005265456A Expired - Fee Related JP4225307B2 (en) | 2005-09-13 | 2005-09-13 | Television receiver |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4225307B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010107773A (en) * | 2008-10-30 | 2010-05-13 | Toshiba Corp | Display control device and display control method |
| JP2010273276A (en) * | 2009-05-25 | 2010-12-02 | Car Mate Mfg Co Ltd | Television control device |
| JP5418093B2 (en) * | 2009-09-11 | 2014-02-19 | ソニー株式会社 | Display device and control method |
| JP5568929B2 (en) * | 2009-09-15 | 2014-08-13 | ソニー株式会社 | Display device and control method |
| KR101923447B1 (en) * | 2012-02-22 | 2018-11-29 | 엘지전자 주식회사 | Multimedia device for providing a different interface depending on the location or position of user and method for controlling the same |
| CN115379297A (en) * | 2021-05-18 | 2022-11-22 | 南宁富联富桂精密工业有限公司 | Directional sound transmission method, electronic device and storage medium |
| TW202333491A (en) * | 2021-12-28 | 2023-08-16 | 日商索尼集團公司 | Information processing device, information processing method, and program |
-
2005
- 2005-09-13 JP JP2005265456A patent/JP4225307B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007081677A (en) | 2007-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4225307B2 (en) | Television receiver | |
| US7835551B2 (en) | Television set and authentication device | |
| US9927948B2 (en) | Image display apparatus and image display method | |
| JP5239126B2 (en) | Electronic camera | |
| JP4902795B2 (en) | Display device, television receiver, display device control method, program, and recording medium | |
| US20160014540A1 (en) | Soundbar audio content control using image analysis | |
| JP6973394B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2007212664A (en) | Liquid crystal display device | |
| JP4756980B2 (en) | Television receiver | |
| US8279299B2 (en) | Imaging device and associated methodology of setting adjustable aspect ratios | |
| JP2007174229A (en) | Color video image display device | |
| JP2014077994A (en) | Image display device, control method and control program for the same, and imaging device | |
| JPH11164329A (en) | Stereoscopic video image display device | |
| EP2458881A2 (en) | Information Processing Apparatus, Information Processing Method and Program | |
| US20130093848A1 (en) | Image output device, method and program | |
| JP2008244917A (en) | Receiver control system | |
| JP2008277983A (en) | Television receiver | |
| KR101591396B1 (en) | Image capture apparatus, a communication method, a storage medium and a communication system | |
| JP2006086717A (en) | Image display system, image reproducer, and layout controller | |
| EP3796673A1 (en) | An application for assisting a hearing device wearer | |
| JP5580486B2 (en) | Image output apparatus, method and program | |
| CN109391769A (en) | Control equipment, control method and storage medium | |
| US20140247327A1 (en) | Image processing device, method, and recording medium therefor | |
| EP2518917A1 (en) | Video display apparatus and video display method | |
| TW201740738A (en) | Method and device for displaying multi-channel video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |