JP5720758B2 - Display device and control method - Google Patents
Display device and control method Download PDFInfo
- Publication number
- JP5720758B2 JP5720758B2 JP2013238462A JP2013238462A JP5720758B2 JP 5720758 B2 JP5720758 B2 JP 5720758B2 JP 2013238462 A JP2013238462 A JP 2013238462A JP 2013238462 A JP2013238462 A JP 2013238462A JP 5720758 B2 JP5720758 B2 JP 5720758B2
- Authority
- JP
- Japan
- Prior art keywords
- child
- image
- unit
- face
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000013459 approach Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 26
- 238000010191 image analysis Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 75
- 238000004458 analytical method Methods 0.000 description 30
- 238000005457 optimization Methods 0.000 description 28
- 230000002265 prevention Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は、表示装置および制御方法に関する。 The present invention relates to a display device and a control method.
近年、薄型テレビの市場拡大に伴い、例えばリビングルームに設置するための大画面テレビなどの画像表示装置の需要が高まっている。このような中、様々な機能を備えた画像表示装置が提案されている。 In recent years, with the expansion of the market for flat-screen televisions, for example, there is an increasing demand for image display devices such as large-screen televisions for installation in living rooms. Under such circumstances, image display devices having various functions have been proposed.
ところで、画像表示装置に表示された画像をユーザは任意の位置で視聴することができるため、ユーザが視聴に不適な位置で画像表示装置に表示された画像を視聴することがある。 By the way, since the user can view the image displayed on the image display apparatus at an arbitrary position, the user may view the image displayed on the image display apparatus at a position unsuitable for viewing.
例えば、子供は、放送内容にのめり込み易い傾向にあるため、テレビの画面に接近することがある。テレビの画面に接近して視聴し続けると、フォーカスが固定することに起因する視力の低下や癲癇の発生の虞がある。また、テレビの画面に過度に接近すると、テレビが転倒してけがをする虞がある。子供は、このような危険性を認識しがたいため、テレビの画面に接近させないようにする必要がある。また、子供は、テレビの画面に接近してテレビの表示部分を破壊したり、破損したテレビの表示部分によってけがをしたりする虞があるため、テレビの画面に接近させないようにする必要がある。 For example, a child tends to get into broadcast content, and thus may approach a television screen. If the user keeps approaching the TV screen, the visual acuity and wrinkle may be reduced due to the fixed focus. In addition, if the TV screen is excessively approached, the TV may fall and be injured. Since it is difficult for children to recognize such dangers, it is necessary to keep them away from the television screen. In addition, children may approach the television screen and destroy the display portion of the television, or may be injured by the damaged television display portion, so it is necessary to prevent the child from approaching the television screen. .
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、子供による視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a new and improved display capable of preventing viewing at a position unsuitable for viewing by a child. It is to provide an apparatus and a control method.
本開示によれば、画像表示方向に対する所定の範囲の動画像を撮像する撮像部と、前記撮像部が撮像した動画像を解析して、視聴者が子供であるか大人であるかの判定を行い、子供であると判定された場合、子供の位置を算出する画像解析部と、前記画像解析部が算出した前記子供の位置が視聴に不適な位置である場合、前記子供を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部と、を備える表示装置が提供される。 According to the present disclosure, an image capturing unit that captures a moving image in a predetermined range with respect to an image display direction, and a moving image captured by the image capturing unit are analyzed to determine whether the viewer is a child or an adult. And when the child position is determined to be a child, the image analysis unit for calculating the position of the child, and the child position calculated by the image analysis unit is an inappropriate viewing position, And a display control unit that causes the display unit to perform display for guiding to the display.
また、本開示よれば、画像表示方向に対する所定の範囲の動画像を撮像することと、撮像した動画像を解析して、視聴者が子供であるか大人であるかの判定を行い、子供であると判定された場合、子供の位置を算出することと、算出した前記子供の位置が視聴に不適な位置である場合、前記子供を適切な視聴位置に誘導するための表示を表示部に行わせることと、を含む制御方法が提供される。 Further, according to the present disclosure, capturing a moving image within a predetermined range with respect to the image display direction, analyzing the captured moving image, and determining whether the viewer is a child or an adult. If it is determined that there is a child position, and if the calculated child position is inappropriate for viewing, a display for guiding the child to an appropriate viewing position is displayed on the display unit. A control method is provided.
以上説明したように本発明によれば、子供による視聴に不適な位置での視聴を防止することが可能な、新規かつ改良された表示装置および制御方法を提供することができる。 As described above, according to the present invention, it is possible to provide a new and improved display device and control method capable of preventing viewing at a position unsuitable for viewing by a child.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
なお、説明は以下の順序で行うものとする。
＜１.本発明の一実施形態＞
［１−１．画像表示装置の構成］
［１−２．制御部の構成］
［１−３．子供接近防止処理］
The description will be made in the following order.
<1. One Embodiment of the Present Invention>
[1-1. Configuration of image display apparatus]
[1-2. Configuration of control unit]
[1-3. Child approach prevention process]
＜１．本発明の一実施形態＞
［１−１．画像表示装置の構成］
まず、本発明の一実施形態にかかる画像表示装置の構成について説明する。図１は、本発明の一実施形態にかかる画像表示装置１００の外観について説明する説明図である。図１は、画像表示装置１００を正面から見た場合の正面図である。以下、図１を用いて本発明の一実施形態にかかる画像表示装置１００の外観について説明する。
<1. One Embodiment of the Present Invention>
[1-1. Configuration of image display apparatus]
First, the configuration of an image display apparatus according to an embodiment of the present invention will be described. FIG. 1 is an explanatory view illustrating the appearance of an
図１に示したように、本発明の一実施形態に係る画像表示装置１００は、静止画像または動画像を表示する表示パネル１０２の上方中央部及び左右中央部に、動画像を撮像する撮像部１０４が備えられている。撮像部１０４は、画像表示装置１００が表示パネル１０２で静止画像または動画像を表示する方向に対して、動画像の撮像を行うものである。本実施形態にかかる画像表示装置１００は、撮像部１０４で撮像された画像を解析し、画像に映っているユーザの顔を検出する。また、画像表示装置１００は、検出されたユーザの顔の画像を解析し、年齢や性別などのその他の属性情報を算出する。そして、画像表示装置１００は、算出された属性情報に基づいて、ユーザが子供なのか大人なのかを判定する。また、画像表示装置１００は、検出されたユーザの顔画像を解析し、顔検出位置や顔サイズを検出する。そして、画像表示装置１００は、ユーザが子供なのか大人なのかの判定結果と、ユーザの顔検出位置や顔サイズの検出結果とに基づいて、ユーザの位置を算出する。本実施形態にかかる画像表示装置１００は、ユーザが子供であって、子供が画像表示装置１００の視聴に不適な位置、例えば表示パネル１０２から１ｍの範囲内にいる場合に、子供を最適な視聴位置、例えば表示パネル１０２から１ｍ以上離れた位置に誘導するための表示や音を出力させることを特徴としている。
As shown in FIG. 1, an
また、本発明の一実施形態に係る画像表示装置１００は、表示パネル１０２の下方中央部にセンサ１０６を備えている。センサ１０６は、画像表示装置１００の前方の人間の有無を検知するものである。
In addition, the
なお、図１では、画像表示装置１００は、画像の表示パネル１０２の周囲の３箇所に、動画像を撮像する撮像部１０４を備えていたが、本発明においては動画像を撮影する撮像部１０４の場所はかかる例に限定されないことは言うまでもなく、例えば、画像表示装置１００とは別の装置を設け、画像表示装置１００に当該装置を接続して、当該装置において動画像を撮影してもよい。また、撮像部１０４の数も３つに限られないことは言うまでもなく、２つ以下、または４つ以上の撮像部１０４を設けて撮像してもよい。さらに、センサ１０６の数も１つに限られないことは言うまでも無く、２つ以上のセンサを設けてもよい。
In FIG. 1, the
また、図１には図示しないが、画像表示装置１００は、リモートコントローラ（図示せず）からの赤外線や無線等による制御信号を受信することができる信号受信部をさらに備えていてもよい。
Although not shown in FIG. 1, the
以上、図１を用いて本発明の一実施形態にかかる画像表示装置１００の外観について説明した。次に、本発明の一実施形態にかかる画像表示装置１００の構成について説明する。
The appearance of the
図２は、本発明の一実施形態にかかる画像表示装置１００の構成について説明する説明図である。以下、図２を用いて本発明の一実施形態にかかる画像表示装置１００の構成について説明する。
FIG. 2 is an explanatory diagram illustrating the configuration of the
図２に示したように、本発明の一実施形態にかかる画像表示装置１００は、表示パネル１０２と、撮像部１０４と、センサ１０６と、スピーカ１０８と、制御部１１０と、を含んで構成される。
As shown in FIG. 2, the
そして制御部１１０は、画像入力部１１２と、画像処理部１１４と、視聴状態解析部１１６と、視聴状態記録部１１８と、システム最適化処理部１２０と、システム制御部１２２と、を含んで構成される。
The
表示パネル１０２は、本発明の表示部の一例であり、パネル駆動信号に基づいて静止画像または動画像を表示するものである。本実施形態においては、表示パネル１０２は液晶によって静止画像または動画像を表示する。もちろん発明においては、表示パネル１０２はかかる例に限定されないことは言うまでもない。表示パネル１０２は、有機ＥＬ（エレクトロルミネセンス）のような自発光型の表示デバイスによって静止画像または動画像を表示するものであってもよい。
The
撮像部１０４は、上述したように、静止画像または動画像を表示する表示パネル１０２の上方中央部および左右中央部に備えられるものであり、表示パネル１０２にパネル駆動信号が供給され、表示パネル１０２において動画像を表示している際に、画像表示装置１００が表示パネル１０２で動画像を表示する方向に対して動画像の撮像を行うものである。撮像部１０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサによって動画像の撮像を行うものであってもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサによって動画像の撮像を行うものであってもよい。撮像部１０４で撮像された動画像は制御部１１０に送られる。
As described above, the
センサ１０６は、上述したように、静止画像または動画像を表示する表示パネル１０２の下方中央部に備えられるものであり、例えば、画像表示装置１００の前方の人間の有無を検知するものである。また、センサ１０６は、画像表示装置１００の前方に人間が存在している場合には、画像表示装置１００とその人間との間の距離を検出することができる。センサ１０６による検知結果及び距離情報は制御部１１０に送られる。スピーカ１０８は、本発明の音声出力部の一例であり、音声出力信号に基づいて音声を出力するものである。
As described above, the
制御部１１０は、画像表示装置１００の動作を制御するものである。以下で制御部１１０の各部について説明する。
The
画像入力部１１２は、撮像部１０４で撮像された動画像を受け取るものである。画像入力部１１２が受け取った動画像は画像処理部１１４に送られ、画像処理部１１４での画像処理に用いられる。
The
画像処理部１１４は、本発明の画像解析部の一例であり、画像入力部１１２から送られてきた、撮像部１０４で撮像された動画像に対する各種画像処理を実行するものである。画像処理部１１４が実行する画像処理には、撮像部１０４で撮像された動画像に含まれている動体の検出処理、動画像に含まれている人間の人数の検出処理、動画像に含まれている顔および顔の表情の検出処理が含まれる。画像処理部１１４による各種画像処理の結果は、視聴状態解析部１１６に送られて、画像表示装置１００を視聴している人物の有無や視聴している人物の視聴状態や視聴位置の解析に用いられる。
The
画像処理部１１４における、画像中に含まれる顔を検出する顔検出処理については、例えば特開２００７−６５７６６号公報や、特開２００５−４４３３０号公報に掲載されている技術を用いることができる。以下、顔検出処理について簡単に説明する。
For the face detection processing for detecting a face included in an image in the
画像からユーザの顔を検出するには、まず供給された画像における顔の位置、顔の大きさ、顔の方向を、それぞれ検出する。顔の位置と大きさが検出されることにより、顔画像の部分を画像から切り出すことができる。そして切り出した顔画像と、顔の方向の情報とから、顔の特徴的な部分（顔特徴位置）、例えば、眉毛、目、鼻、口といった特徴的な部分を検出する。顔特徴位置の検出には、例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ）と呼ばれる方法を適用して、特徴位置を検出するようにすることが可能である。 In order to detect the user's face from the image, first, the position of the face, the size of the face, and the direction of the face in the supplied image are detected. By detecting the position and size of the face, the face image portion can be cut out from the image. Then, a characteristic part of the face (face characteristic position), for example, a characteristic part such as eyebrows, eyes, nose, or mouth is detected from the cut face image and face direction information. For detection of the facial feature position, for example, a method called AAM (Active Appearance Models) can be applied to detect the feature position.
顔特徴位置を検出すると、検出した顔特徴位置のそれぞれに対して局所特徴量を算出する。局所特徴量を算出し、算出した局所特徴量を顔画像と併せて記憶しておくことで、撮像部１０４で撮影された画像から顔の識別が可能となる。顔の識別方法については、例えば特開２００７−６５７６６号公報や、特開２００５−４４３３０号公報に掲載されている技術を用いることが出来るので、ここでは詳細な説明は省略する。また、顔画像や顔特徴位置によって、供給された画像に写っている顔が男性なのか女性なのか、また人物が何歳くらいなのかを判別することも可能である。また、予め顔の情報を記録しておくことで、供給された画像に写っている人物を記録された顔の中から探し出して、個人を特定することが可能である。
When the face feature position is detected, a local feature amount is calculated for each detected face feature position. By calculating the local feature amount and storing the calculated local feature amount together with the face image, the face can be identified from the image captured by the
視聴状態解析部１１６は、本発明の画像解析部の一例であり、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を受け取り、画像処理部１１４による各種画像処理の結果、並びにセンサ１０６の検知による検知結果及び距離情報を用いて、画像表示装置１００が表示している画像を視聴している人物が子供であるか大人であるかや視聴している人物の視聴状態や視聴位置の解析を実行するものである。視聴状態解析部１１６が人物が子供であるか大人であるかや視聴している人物の視聴状態や視聴位置を解析することで、画像表示装置１００は、画像表示装置１００を視聴している人物が子供であるか大人であるかや人物の視聴位置によって表示パネル１０２の輝度を低下させたり、表示パネル１０２の表示内容を制御したり、音声内容を制御したりすることができる。視聴状態解析部１１６での解析処理による解析結果は、視聴状態記録部１１８及びシステム最適化処理部１２０に送られる。
The viewing
なお、視聴状態解析部１１６は、センサ１０６の検知による検知結果及び距離情報から、動体は検知できているが、センサ１０６とその動体との距離が所定の距離以上離れている場合には、その動体は検出の対象外としてもよい。
The viewing
視聴状態記録部１１８は、視聴状態解析部１１６の解析処理によって得られる解析結果を記録するものである。視聴状態記録部１１８が記録した視聴状態解析部１１６での解析結果は、システム最適化処理部１２０におけるシステム最適化処理に用いられる。また、視聴状態記録部１１８が記録した視聴状態解析部１１６での解析結果は、外部の情報収集サーバ２００に送られるようにしてもよい。
The viewing
システム最適化処理部１２０は、本発明の画像解析部の一例であり、視聴状態解析部１１６の解析処理によって得られる解析結果を用いて、画像表示装置１００の各部に対するシステム最適化処理を実行するためのシステム制御情報を算出するものである。画像表示装置１００の各部に対するシステム最適化処理には、表示パネル１０２の輝度制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声内容の制御や音声の音量制御等がある。
The system
画像表示装置１００は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、子供接近防止処理を実行することができる。システム最適化処理部１２０が算出したシステム制御情報はシステム制御部１２２に送られる。
The
システム制御部１２２は、本発明の表示制御部、音声制御部の一例であり、システム最適化処理部１２０が算出したシステム制御情報に基づいて、画像表示装置１００の各部に対するシステム最適化処理を実行するものである。具体的には、システム制御部１２２は、システム最適化処理部１２０が算出したシステム制御情報に基づいて、表示パネル１０２の輝度制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声内容の制御や音声の音量制御等を実行する。
The
以上、図２を用いて本発明の一実施形態にかかる画像表示装置１００の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について、より詳細に説明する。
The configuration of the
［１−２．制御部の構成］
図３は、本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について説明する説明図である。図３は、制御部１１０の中でも、制御部１１０に含まれる視聴状態解析部１１６の構成について説明するものである。以下、図３を用いて、視聴状態解析部１１６の構成について説明する。
[1-2. Configuration of control unit]
FIG. 3 is an explanatory diagram illustrating the configuration of the
図３に示したように、視聴状態解析部１１６は、ユーザ方向／距離算出部１３２と、ユーザ属性算出部１３４と、を含んで構成される。
As shown in FIG. 3, the viewing
ユーザ方向／距離算出部１３２は、画像処理部１１４による各種画像処理の結果、並びに撮像部１０４の画角や解像度の情報等の光学情報を受け取り、画像処理部１１４による各種画像処理の結果、並びに撮像部１０４の光学情報を用いて、撮像部１０４の光軸に対するユーザの相対位置（方向［φ１，θ１］、距離ｄ１）を算出する。図４（Ａ）は、撮像部１０４の撮像範囲内にユーザ１およびユーザ２が存在する場合を説明する説明図であり、図４（Ｂ）は、撮像部１０４で撮像された画像中に含まれるユーザ１の顔検出位置［ａ１，ｂ１］、顔サイズ［ｗ１，ｈ１］とユーザ２の顔検出位置［ａ２，ｂ２］、顔サイズ［ｗ２，ｈ２］を説明する説明図である。また、図５（Ａ）は、撮像部１０４の撮像範囲内における基準距離ｄ０と距離ｄ１にユーザが存在する場合を説明する説明図であり、図５（Ｂ）は、撮像部１０４で撮像された画像における距離ｄ１のユーザの顔サイズ［ｗ１，ｈ１］を説明する説明図であり、図５（Ｃ）は、撮像部１０４で撮像された画像における基準距離ｄ０のユーザの基準顔サイズ［ｗ０，ｈ０］を説明する説明図である。
The user direction /
方向［φ１，θ１］は撮像画像サイズ［ｘｍａｘ，ｙｍａｘ］で正規化された顔検出位置［ａ１，ｂ１］と撮像部１０４の画角［φ０，θ０］とから、
水平方向：φ１＝φ０＊ａ１
垂直方向：θ１＝θ０＊ｂ１
として算出する。また、距離ｄ１は基準距離ｄ０における基準顔サイズ［ｗ０，ｈ０］から、
距離：ｄ１＝ｄ０＊（ｗ０／ｗ１）
として算出する。
The direction [φ1, θ1] is calculated from the face detection position [a1, b1] normalized by the captured image size [xmax, ymax] and the angle of view [φ0, θ0] of the
Horizontal direction: φ1 = φ0 * a1
Vertical direction: θ1 = θ0 * b1
Calculate as The distance d1 is calculated from the reference face size [w0, h0] at the reference distance d0.
Distance: d1 = d0 * (w0 / w1)
Calculate as
ユーザ属性算出部１３４は、画像処理部１１４による各種画像処理の結果、並びに画像処理部１１４より得られたユーザの年齢などの属性情報を受け取り、画像処理部１１４による各種画像処理の結果、並びに画像処理部１１４より得られた属性情報を用いて、ユーザが子供であるか大人であるかを判定する。
The user
ここで、画像処理部１１４からは、撮像画像と、撮像画像内における、画像表示装置１００を利用しているユーザごとの顔検出情報（例えば、顔検出位置［ａ１，ｂ１］、顔サイズ［ｗ１，ｈ１］、年齢や性別などのその他の属性情報等の情報）が、視聴状態解析部１１６のユーザ方向／距離算出部１３２やユーザ属性算出部１３４に送られる。視聴状態解析部１１６では、ユーザ方向／距離算出部１３２において、画像処理部１１４から送られてくる情報を用いた、画像表示装置１００を視聴している人間の視聴位置の解析処理が行われる。また、ユーザ属性算出部１３４において、画像処理部１１４から送られてくる情報を用いた、画像表示装置１００を視聴している人間が子供であるか大人であるかの解析処理が行われる。
Here, from the
システム最適化処理部１２０は、ユーザ方向／算出部１３２及びユーザ属性算出部１３４による解析処理の結果を用いて、子供が画像表示装置１００の視聴に適さない位置にいる場合に、子供を画像表示装置１００の視聴に適した位置へ誘導するための処理（子供誘導実現処理）のためのシステム制御情報を算出するものである。子供を画像表示装置１００の視聴に適した位置へ誘導することができる処理とは、例えば、表示パネル１０２の輝度を低下させるとともに、表示パネル１０２において最適な視聴位置への誘導メッセージを表示したり、表示パネル１０２において接近距離のグラフ表示と警告メッセージを表示したりする処理がある。また、例えば、表示パネル１０２の明るさをオフにするとともに、表示パネル１０２において最適な視聴位置への誘導メッセージを表示したり、スピーカ１０８から警告音声を発生させたりする処理がある。システム最適化処理部１２０が算出した子供誘導実現処理のためのシステム制御情報はシステム制御部１２２に送られ、子供接近防止処理に用いられる。
The system
以上、図３を用いて本発明の一実施形態にかかる画像表示装置１００に含まれる制御部１１０の構成について説明した。次に、本発明の一実施形態にかかる画像表示装置１００による子供接近防止処理について説明する。
The configuration of the
［１−３．子供接近防止処理］
図６は、本発明の一実施形態にかかる画像表示装置１００による子供接近防止処理の一例について示す流れ図である。以下、図６を用いて本発明の一実施形態にかかる画像表示装置１００による子供接近防止処理について説明する。
[1-3. Child approach prevention process]
FIG. 6 is a flowchart showing an example of the child approach prevention process by the
図６において、まず、画像表示装置１００の撮像部１０４が撮像を開始すると、画像表示装置１００の画像処理部１１４は、撮像部１０４で撮像された画像に含まれる顔の検出処理などを実行して、画像表示装置１００が表示している画像を視聴している人物の顔を認識する（ステップＳ６０２）。
In FIG. 6, first, when the
次いで、画像表示装置１００の視聴状態解析部１１６は、画像処理部１１４から送られてくる情報を用いた、画像表示装置１００を視聴している人間の視聴位置の解析処理や子供であるか大人であるかの解析処理を行う。そして、画像表示装置１００のシステム最適化処理部１２０は、視聴状態解析部１１６による解析処理の結果を用いて、子供が画像表示装置１００の視聴に適さない位置にいるか、すなわち画像表示装置１００に接近しているか否かを判別する。具体的には、システム最適化処理部１２０は、子供の顔を検出したか、かつ子供の顔の大きさ、すなわち顔サイズが所定値以上であるか否かを判別する（ステップＳ６０４）。なお、画像表示装置１００には、基準位置における子供の基準顔サイズが予め登録されているものとする。また、所定値は画像表示装置１００の視聴に適しない位置での子供の顔サイズである。
Next, the viewing
ステップＳ６０４の判別の結果、子供の顔を検出し、かつ子供の顔サイズが所定値以上であるときは（ステップＳ６０４でＹＥＳ）、システム最適化処理部１２０は、過去所定時間内に検出された子供接近の回数が所定数以上であるか否かを判別し（ステップＳ６０６）、過去所定時間内に検出された子供接近の回数が所定数以上でないときは（ステップＳ６０６でＮＯ）、ステップＳ６０２の処理に戻る。また、所定時間は、適宜設定することができる。また、所定数は、設定された所定時間によって適宜変更することができる。
As a result of the determination in step S604, when the child's face is detected and the child's face size is greater than or equal to a predetermined value (YES in step S604), the system
ステップＳ６０６の判別の結果、過去所定時間内に検出された子供接近の回数が所定数以上であるときは（ステップステップＳ６０６でＹＥＳ）、システム最適化処理部１２０は、画像表示装置１００に子供が接近していると判断する（ステップＳ６０８）。
As a result of the determination in step S606, when the number of child approaches detected in the past predetermined time is equal to or greater than the predetermined number (YES in step S606), the system
次いで、システム最適化処理部１２０は、上述した子供誘導実現処理のためのシステム制御情報を算出して、算出したシステム制御情報をシステム制御部１２２に送る。そして、システム制御部１２２は、システム最適化処理部１２０から受け取ったシステム制御情報に基づいて、表示パネル１０２の輝度制御、表示パネル１０２の表示内容の制御、スピーカ１０８から出力される音声内容の制御等を実行する（ステップＳ６１０）。例えば、図７（Ａ）に示すように、表示パネル１０２の輝度を低下させるとともに、表示パネル１０２において最適な視聴位置への誘導メッセージを表示する。また、図７（Ｂ）に示すように、表示パネル１０２の明るさをオフにするとともに、表示パネル１０２において最適な視聴位置への誘導メッセージを表示する。また、図７（Ｃ）に示すように、表示パネル１０２の輝度を低下させるとともに、表示パネル１０２において画像表示処理１００とユーザとの接近距離のグラフ表示と警告メッセージを表示する。また、図７（Ｄ）に示すように、表示パネル１０２の明るさをオフにするとともに、スピーカ１０８から警告音声を発生させる。また、上述した処理とともに、リモートコントローラ（図示せず）を振動させてもよい。そして、ステップＳ６０２の処理に戻る。
Next, the system
ステップＳ６０４の判別の結果、子供の顔を検出し、かつ子供の顔サイズが所定値以上でないときは（ステップＳ６０４でＮＯ）、システム最適化処理部１２０は、所定値以下の顔サイズの子供を検出したか、もしくは子供以外の顔を検出したか否かを判別し（ステップＳ６１２）、所定値以下の顔サイズの子供や子供以外の顔を検出していないときは（ステップＳ６１２でＮＯ）、ステップＳ６０２の処理に戻る。
As a result of the determination in step S604, when the child's face is detected and the child's face size is not equal to or larger than the predetermined value (NO in step S604), the system
ステップＳ６１２の判別の結果、所定値以下の顔サイズの子供、もしくは子供以外の顔を検出したときは（ステップＳ６１２でＹＥＳ）、システム最適化処理部１２０は、過去所定時間内に検出された子供接近の回数が所定数以下であるか否かを判別し（ステップＳ６１４）、過去所定時間内に検出された子供接近の回数が所定数以下でないときは（ステップＳ６１４でＮＯ）、ステップＳ６０２の処理に戻る。
As a result of the determination in step S612, when a child having a face size equal to or smaller than the predetermined value or a face other than a child is detected (YES in step S612), the system
ステップＳ６１４の判別の結果、過去所定時間内に検出された子供接近の回数が所定数以下であるときは（ステップＳ６１４でＹＥＳ）、システム最適化処理部１２０は、画像表示装置１００に子供が接近していないと判断する（ステップＳ６１６）。
As a result of the determination in step S614, when the number of child approaches detected in the past predetermined time is equal to or less than the predetermined number (YES in step S614), the system
次いで、システム最適化処理部１２０は、システム制御部１２２が上述した子供誘導実現処理のためのシステム制御情報に基づいて、表示パネル１０２の輝度制御、表示パネル１０２の表示内容の制御、スピーカから出力される音声内容の制御等を実行している場合には、通常の表示処理に戻すためのシステム制御情報を算出して、算出したシステム制御情報をシステム制御部１２２に送る。そして、システム制御部１２２は、システム最適化処理部１２０から受け取ったシステム制御情報に基づいて、表示パネル１０２の輝度や表示内容、スピーカ１０８から出力される音声内容を通常の状態に戻す処理を実行する（ステップＳ６１８）。そして、ステップＳ６０２の処理に戻る。
Next, the system
図６の子供接近防止処理によれば、過去所定時間内に検出された子供接近の回数が所定数以上であるときに、システム最適化処理部１２０が画像表示装置１００に子供が接近していると判断する。そして、システム制御部１２２が子供を画像表示装置１００の視聴に適した位置へ誘導するための処理、例えば、図７（Ａ）に示す表示パネル１０２の輝度を低下させるとともに、表示パネル１０２において誘導メッセージを表示する処理を実行する。これにより、子供が画像表示装置１００に接近して、子供が画像表示装置１００の視聴に不適な位置で視聴するのを防止することができる。したがって、子供が画像表示装置１００に接近して視聴し続けることによる、フォーカスが固定することに起因する視力の低下や癲癇の発生を防止することができる。また、子供が画像表示装置１００に過度に接近することによる、画像表示装置１００の転倒を防止することができる。また、子供が画像表示装置１００に接近して画像表示装置１００の表示部分を破壊したり、破損した画像表示装置１００の表示部分によってけがをしたりする虞をなくすことができる。
According to the child approach prevention process of FIG. 6, when the number of child approaches detected in the past predetermined time is equal to or greater than the predetermined number, the system
また、本実施の形態では、図８（Ａ）〜図８（Ｃ）に示すように、ユーザの視聴位置の算出において、基準距離ｄ０における基準顔サイズ［ｗ０，ｈ０］を以下のような補正テーブルを用いることで顔サイズのバラつきを補正してもよい。例えば、ユーザの年齢などの属性情報から、その年齢における平均的な顔サイズのデータテーブルを予め記憶しておき、例えばユーザが子供であれば基準顔サイズ［ｗ０，ｈ０］を図８（Ｃ）に示す基準顔サイズよりも小さい顔サイズ［ｗ０Ｃ，ｈ０Ｃ］にし、ユーザが大人であれば基準顔サイズ［ｗ０，ｈ０］を図８（Ｂ）に示す基準顔サイズよりも大きい顔サイズ［ｗ０Ａ，ｈ０Ａ］にしてもよい。 In the present embodiment, as shown in FIGS. 8A to 8C, the reference face size [w0, h0] at the reference distance d0 is corrected as follows in the calculation of the viewing position of the user. The variation in face size may be corrected by using a table. For example, based on attribute information such as the user's age, a data table of the average face size at that age is stored in advance. For example, if the user is a child, the reference face size [w0, h0] is shown in FIG. The face size [w0C, h0C] is smaller than the reference face size shown in FIG. 8, and if the user is an adult, the reference face size [w0, h0] is larger than the reference face size shown in FIG. 8B [w0A, h0A].
また、本実施の形態では、ユーザの視聴位置の算出において、画像表示装置１００を利用するユーザ、例えば画像表示装置１００の設置場所の家族などを予め画像表示装置１００に登録する際に、ユーザ毎の顔サイズをデータテーブルとして登録してもよい。これにより、ユーザ毎に基準顔サイズを変更することができる。ユーザ毎の顔サイズの登録方法としては、別の距離センサ（図示せず）と連動して距離情報とともに撮影することや、ユーザを一定距離に誘導してから撮影することや、基準となる尺度と同じ距離で撮影することなどで実現可能である。
In the present embodiment, in calculating the viewing position of a user, when a user who uses the
また、図９に示すように、同一のユーザであっても、ユーザの属性情報は時系列的に変動が生ずることがあるため、本実施の形態では、システム最適化処理部１２０におけるユーザが子供であるか大人であるかの判定においては、時系列的な傾向をもとに、すなわち過去の判定履歴を用いて判定を行う。例えば、図９に示すように、ｔ１時点においては、ユーザの属性情報は子供の属性情報であり、ｔ２時点においては、ユーザの属性情報は大人の属性情報であり、ｔ３時点においては、ユーザの属性情報は子供の属性情報であるとする。この場合、所定時間の間、すなわちｔ１〜ｔ３の間における子供の判定が一定数、例えば２以上であるので子供であると判定することができる。
In addition, as shown in FIG. 9, even in the same user, the user attribute information may vary in time series. Therefore, in this embodiment, the user in the system
また、本実施の形態では、過去所定時間内に検出された子供接近の回数が所定数以上であるときに、子供接近と判定したが、図１０（Ａ）及び図１０（Ｂ）に示すように、ユーザがｔ３時点でのように撮像部１０４に接近しすぎて、ユーザの顔が撮像部１０４の画角外に出てしまい顔を検出できなくなる場合がある。このため、本実施の形態では、ユーザの顔が検出されなくなったｔ３時点の直前のｔ１時点及びｔ２時点での情報、すなわち過去の位置の算出履歴を用いてｔ３時点での位置を算出または推測して、ユーザが撮像部１０４の撮像範囲を超えて接近していると判断してもよい。また、ユーザの身体の一部が撮像部１０４を覆っている場合には、背景差分や動体検出（動き領域の大きさ）等によって、上述したユーザが撮像部１０４の撮像範囲を超えて接近していることの判定精度を向上させることができる。
In the present embodiment, when the number of child approaches detected within the past predetermined time is greater than or equal to the predetermined number, it is determined that the child is approaching, but as shown in FIGS. 10A and 10B. In addition, the user may be too close to the
また、本実施の形態では、ユーザの年齢などの属性情報を用いた、ユーザが子供であるか大人であるかの判定において、ユーザが子供であるか否かの判定と、ユーザが大人であるか否かの判定とを組み合わせて行うことにより、子供判定における誤判定の割合を低減する。以下、具体的に子供判定における誤判定の割合の低減方法について説明する。 In the present embodiment, in determining whether the user is a child or an adult using attribute information such as the user's age, whether the user is a child and whether the user is an adult This is combined with the determination of whether or not to reduce the rate of erroneous determination in child determination. Hereinafter, a method for reducing the erroneous determination ratio in the child determination will be specifically described.
まず、ユーザが子供であるか否かの判定の結果としては、図１１に示すように、以下の４つのケースがある。
ケースＡ：ＴｒｕｅＰｏｓｉｔｉｖｅ（正しく子供と判定した。）
ケースＢ：ＦａｌｓｅＮｅｇａｔｉｖｅ（子供と判定すべきところを子供と判定しなかった。）
ケースＣ：ＦａｌｓｅＰｏｓｉｔｉｖｅ（子供と判定すべきでないところを子供と判定した。）
ケースＤ：ＴｒｕｅＮｅｇａｔｉｖｅ（正しく子供と判定しなかった。）
First, as a result of the determination as to whether or not the user is a child, there are the following four cases as shown in FIG.
Case A: TruePositive (determined correctly as a child)
Case B: FalseNegative (where a child should not be determined as a child)
Case C: FalsePositive (where a child should not be determined as a child)
Case D: TrueNegative (not correctly determined as a child)
本実施の形態では、子供が画像表示装置１００に接近することを正しく検知したいため、ユーザが子供であるか否かの判定では、ケースＣの子供と判定すべきでないところを子供と判定するのを削減したい。例えば、子供であるか否かの判定精度が８５％＠ＦＰＲ１０％とする。ここで、
ＦＰＲ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）＝ケースＣ／（ケースＣ＋ケースＤ）、
精度（Ｐｒｅｃｉｓｉｏｎ）＝ケースＡ／（ケースＡ＋ケースＣ）
とする。
In the present embodiment, since it is desired to correctly detect that the child is approaching the
FPR (False Positive Rate) = Case C / (Case C + Case D),
Precision (Precision) = Case A / (Case A + Case C)
And
実際に子供である１００人の人物と、実際に大人である１５０人の人物とを上述した判定精度で子供であるか否かの判定を行った場合において、１００人が子供であると判定されたときは、ケースＡに該当するのは８５人となり、ケースＢに該当するのは１５人となり、ケースＣに該当するのは１５人となり、ケースＤに該当するのは１３５人となる。したがって、実際に子供である１００人の人物の内、８５人を正しく子供と判定し、実際に大人である１５０人の人物の内、１５人を間違って子供と判定することになる。 When it is determined whether 100 persons who are actually children and 150 persons who are actually adults are children with the above-described determination accuracy, 100 persons are determined to be children. In this case, 85 people correspond to case A, 15 people fall into case B, 15 people fall into case C, and 135 people fall into case D. Therefore, 85 out of 100 persons who are actually children are correctly determined as children, and 15 out of 150 persons who are actually adults are erroneously determined as children.
本実施の形態では、図１２に示すように、子供であるか否かの判定を行った後に、大人であるか否かの判定を行う。例えば、上述したように、子供であるか否かの判定において、子供と判定された実際に子供である８５人の人物と、実際には大人である１５人の人物とを大人であるか否かの判定を行った場合、実際に大人である人物は実際には子供である人物よりも大人と判定されやすいと期待できるため、例えば、実際には子供である８５人の人物の内、１０人を間違って大人と判定し、実際に大人である１５人の人物の内、１０人を正しく大人と判定することが期待できる。したがって、実際に子供である８５人の人物の内、７５人を正しく大人でないと判定し、実際に大人である１５人の人物の内、５人を間違って大人でないと判定することになる。このように、本実施の形態では、子供であるか否かの判定と、大人であるか否かの判定とを組み合わせて子供であるか否かの判定を行うので、図１２に示すように、子供であるか否かの判定精度を、子供であるか否かのみでの判定精度８５％から、子供であるか否かの判定と大人であるか否かの判定との組み合わせでの判定精度９３．７５％に向上させることができる。 In the present embodiment, as shown in FIG. 12, after determining whether or not a child, it is determined whether or not an adult. For example, as described above, in the determination of whether or not a child, whether or not 85 persons who are actually children and 15 persons who are actually adults are adults. Since it can be expected that a person who is actually an adult is more likely to be determined to be an adult than a person who is actually a child, for example, among the 85 persons who are actually children, 10 It can be expected that a person is erroneously determined as an adult, and that 10 out of 15 persons who are actually adults are correctly determined as adults. Therefore, of the 85 persons who are actually children, 75 are determined not to be adults correctly, and among the 15 persons who are actually adults, 5 are erroneously determined not to be adults. As described above, in the present embodiment, the determination as to whether or not a child is combined with the determination as to whether or not an adult is performed to determine whether or not a child is present, as shown in FIG. The determination accuracy of whether or not a child is determined based on a combination of determination of whether or not a child and determination of whether or not an adult from 85% determination accuracy based only on whether or not a child The accuracy can be improved to 93.75%.
なお、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware, or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
１００ 画像表示装置
１０２ 表示パネル
１０４ 撮像部
１０６ センサ
１０８ スピーカ
１１０ 制御部
１１２ 画像入力部
１１４ 画像処理部
１１６ 視聴状態解析部
１１８ 視聴状態記録部
１２０ システム最適化処理部
１２２ システム制御部
１３２ ユーザ方向／距離算出部
１３４ ユーザ属性解析部
DESCRIPTION OF
Claims (7)
前記撮像部が撮像した動画像を解析して、視聴者の顔の検出および前記視聴者が子供であるか大人であるかの判定を行い、前記視聴者が子供であると判定される場合で、前記子供の顔の大きさが所定の大きさ以上であるときに、接近回数をカウントする画像解析部と、
前記接近回数が所定の回数以上である場合、前記子供を適切な視聴位置に誘導するための表示を表示部に行わせる表示制御部と、
を備える表示装置。 An imaging unit that captures a predetermined range of moving images with respect to the image display direction;
When the moving image captured by the imaging unit is analyzed to detect the viewer's face and determine whether the viewer is a child or an adult, and the viewer is determined to be a child An image analysis unit that counts the number of approaches when the size of the child's face is equal to or larger than a predetermined size ;
When the number of times of approach is a predetermined number or more, a display control unit that causes the display unit to perform display for guiding the child to an appropriate viewing position;
A display device comprising:
撮像した動画像を解析して、視聴者の顔の検出および前記視聴者が子供であるか大人であるかの判定を行い、前記視聴者が子供であると判定される場合で、前記子供の顔の大きさが所定の大きさ以上であるときに、接近回数をカウントすることと、
前記接近回数が所定の回数以上である場合、前記子供を適切な視聴位置に誘導するための表示を表示部に行わせることと、
を含む制御方法。 Capturing a predetermined range of moving images in the image display direction;
The captured moving image is analyzed to detect a viewer's face and determine whether the viewer is a child or an adult. When the viewer is determined to be a child, Counting the number of approaches when the face size is greater than or equal to a predetermined size ,
When the number of approaches is a predetermined number or more, causing the display unit to display to guide the child to an appropriate viewing position;
Control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013238462A JP5720758B2 (en) | 2013-11-19 | 2013-11-19 | Display device and control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013238462A JP5720758B2 (en) | 2013-11-19 | 2013-11-19 | Display device and control method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009210988A Division JP5418093B2 (en) | 2009-09-11 | 2009-09-11 | Display device and control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014078956A JP2014078956A (en) | 2014-05-01 |
| JP5720758B2 true JP5720758B2 (en) | 2015-05-20 |
Family
ID=50783886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013238462A Expired - Fee Related JP5720758B2 (en) | 2013-11-19 | 2013-11-19 | Display device and control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5720758B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021093083A (en) * | 2019-12-12 | 2021-06-17 | シャープ株式会社 | Display device, suppression processing method, control program, and recording medium |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07303195A (en) * | 1994-05-09 | 1995-11-14 | Kazuo Matsumura | Controller for image display device |
| JP3350721B2 (en) * | 1994-10-07 | 2002-11-25 | シャープ株式会社 | Clothing amount measuring device and clothing amount measuring method |
| JP2000152109A (en) * | 1998-11-11 | 2000-05-30 | Matsushita Electric Ind Co Ltd | Television receiver |
| JP2001016514A (en) * | 1999-06-30 | 2001-01-19 | Matsushita Electric Ind Co Ltd | Display device with recognizing function |
-
2013
- 2013-11-19 JP JP2013238462A patent/JP5720758B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014078956A (en) | 2014-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5418093B2 (en) | Display device and control method | |
| JP5568929B2 (en) | Display device and control method | |
| US10182720B2 (en) | System and method for interacting with and analyzing media on a display using eye gaze tracking | |
| JP5263092B2 (en) | Display device and control method | |
| US9298246B2 (en) | Information processing device, system, and information processing method | |
| JP4697279B2 (en) | Image display device and detection method | |
| JP2007265125A (en) | Content display | |
| US9286850B2 (en) | Display method and display apparatus | |
| WO2007074842A1 (en) | Image processing apparatus | |
| KR20160121287A (en) | Device and method to display screen based on event | |
| JPH1124603A (en) | Information display device and information collecting device | |
| JP2013115644A (en) | Display device and display method | |
| KR101647969B1 (en) | Apparatus for detecting user gaze point, and method thereof | |
| CN110825220A (en) | Eyeball tracking control method and device, intelligent projector and storage medium | |
| US11477433B2 (en) | Information processor, information processing method, and program | |
| WO2018112838A1 (en) | Head-mounted display apparatus, and visual-aid providing method thereof | |
| JP5720758B2 (en) | Display device and control method | |
| TW201709022A (en) | Non-contact control system and method | |
| CN114740966A (en) | Multi-modal image display control method and system and computer equipment | |
| JP6198187B2 (en) | Signal processing apparatus and signal processing method | |
| JP2012174057A (en) | Display device, television receiver, specification method, computer program and recording medium | |
| KR101414345B1 (en) | Input device using camera and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150309 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5720758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |