JP2013132029A - Mirror device with camera and furniture with mirror - Google Patents

Mirror device with camera and furniture with mirror Download PDF

Info

Publication number
JP2013132029A
JP2013132029A JP2011282305A JP2011282305A JP2013132029A JP 2013132029 A JP2013132029 A JP 2013132029A JP 2011282305 A JP2011282305 A JP 2011282305A JP 2011282305 A JP2011282305 A JP 2011282305A JP 2013132029 A JP2013132029 A JP 2013132029A
Authority
JP
Japan
Prior art keywords
mirror
camera
display device
light emission
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011282305A
Other languages
Japanese (ja)
Other versions
JP5879562B2 (en
Inventor
Masanori Kashiwagi
正徳 柏木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011282305A priority Critical patent/JP5879562B2/en
Publication of JP2013132029A publication Critical patent/JP2013132029A/en
Application granted granted Critical
Publication of JP5879562B2 publication Critical patent/JP5879562B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stroboscope Apparatuses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow a display device to emit light as a lighting device when a camera captures images, allow an entire surface of the display device to be used as the lighting device, and prevent the occurrence of luminous power shortage and uneven illuminance.SOLUTION: A display device 3, emitting light and displaying information, is disposed in a lower part of a mirror body 1 including a mirror surface forming a mirror image. A camera 2 captures images of a person facing the mirror body 1 with the forward side of the mirror body 1 set as a field of vision. A process part 4 causes the display device 3 to display information extracted from images captured by the camera 2. Further, a light emission control part 5 causes the display device 3 to emit light as a lighting device when the camera 2 captures images and adjusts the light emitting conditions of the display device 3.

Description

本発明は、鏡像を形成する鏡面を備え、鏡面の前方を視野とするカメラが付設されたカメラ付きミラー装置に関するものである。   The present invention relates to a mirror device with a camera, which includes a mirror surface that forms a mirror image and is provided with a camera having a field of view in front of the mirror surface.

従来から、顔認証システムや証明写真の撮影を目的として、利用者の顔等を適切な照明のもとで撮影する技術が提案されている。たとえば、特許文献1には、被撮影者が眼鏡を装着している場合に、眼鏡部分に光の反射が生じるのを防止するために、カメラとともに液晶ディスプレイなどからなる表示部および照明・表示兼用部を設けた構成が提案されている。照明・表示兼用部は、表示部とともに表示を行うだけではなく、照明用にも用いられる。また、特許文献1には、照明・表示兼用部のうちどの部分を照明として発光させるかを決定する制御部が記載されている。   2. Description of the Related Art Conventionally, a technique for photographing a user's face or the like under appropriate lighting has been proposed for the purpose of photographing a face authentication system or an ID photo. For example, in Patent Document 1, when a subject wears spectacles, in order to prevent light from being reflected on the spectacles part, a display unit including a camera and a liquid crystal display, and a combination of illumination and display are disclosed. The structure which provided the part is proposed. The combined illumination / display unit is used not only for display together with the display unit but also for illumination. Patent Document 1 describes a control unit that determines which portion of the illumination / display combined unit emits light as illumination.

特開2010−154190号公報JP 2010-154190 A

ところで、特許文献1に記載された技術では、表示部と照明・表示兼用部とを1枚の液晶ディスプレイで形成する場合には、画面の一部だけを照明に使用することになり、専用の照明装置を設ける場合に比較すると、輝度が不足する可能性がある。また、液晶ディスプレイの画面のうちあらかじめ定められた領域だけを照明・表示兼用部として利用しているから、被撮影者を照明する際の配光も制限されることになる。   By the way, in the technique described in Patent Document 1, when the display unit and the illumination / display combined unit are formed by a single liquid crystal display, only a part of the screen is used for illumination. There is a possibility that the luminance is insufficient as compared with the case where a lighting device is provided. Further, since only a predetermined area of the screen of the liquid crystal display is used as the illumination / display unit, the light distribution when the subject is illuminated is also limited.

とくに、特許文献1では、液晶ディスプレイの周部を照明・表示兼用部として用いているから、被撮影者の顔を撮影する場合に特徴量を抽出する上で重要と考えられる中央部の照度が不足する可能性がある。しかも、表示部の表示内容によっては、被撮影者を照明する領域の照度に表示内容による照度むらが発生する可能性もある。   In particular, in Patent Document 1, since the peripheral part of the liquid crystal display is used as an illumination / display unit, the illuminance at the central part, which is considered to be important in extracting the feature amount when photographing the face of the subject, is determined. There may be a shortage. In addition, depending on the display content of the display unit, unevenness in illuminance due to the display content may occur in the illuminance of the area that illuminates the subject.

本発明は、カメラの撮影時にディスプレイ装置を照明として発光させるとともに発光条件の調節を可能とすることによって、ディスプレイ装置の全面を照明用に用いることを可能にし、光量不足や照度むらの発生を防止したカメラ付きミラー装置を提供することを目的とする。   The present invention makes it possible to use the entire display device for illumination by allowing the display device to emit light as illumination and to adjust the light emission conditions at the time of shooting with a camera, thereby preventing the occurrence of insufficient light quantity and uneven illumination. An object of the present invention is to provide a mirror device with a camera.

本発明に係るカメラ付きミラー装置は、上記目的を達成するために、鏡像を形成する鏡面を備えたミラー本体と、前記ミラー本体の下部に配置され発光して表示を行うディスプレイ装置と、前記ミラー本体の前方を視野として前記ミラー本体に対面する人を撮影するカメラと、前記カメラにより撮影された画像から抽出される情報を前記ディスプレイ装置に表示させる処理部と、前記カメラによる撮影時に前記ディスプレイ装置を照明として発光させ、かつ前記ディスプレイ装置の発光条件を調節する発光制御部とを備えることを特徴とする。   In order to achieve the above object, a mirror device with a camera according to the present invention includes a mirror main body having a mirror surface that forms a mirror image, a display device that is disposed below the mirror main body and emits light to display, and the mirror. A camera that shoots a person facing the mirror body with the front of the body as a field of view, a processing unit that displays information extracted from an image photographed by the camera on the display device, and the display device at the time of photographing by the camera And a light emission control unit that adjusts the light emission conditions of the display device.

このカメラ付きミラー装置において、前記ミラー本体は前面が前記鏡面であるハーフミラーであって、前記ディスプレイ装置は、前記ハーフミラーの背面側に配置されていることが好ましい。   In this mirror device with a camera, the mirror body is preferably a half mirror whose front surface is the mirror surface, and the display device is preferably disposed on the back side of the half mirror.

このカメラ付きミラー装置において、前記ディスプレイ装置はドットマトリクスディスプレイであって、前記処理部は、前記カメラが撮影した画像から前記ミラー本体に対面する人の着目領域を抽出する機能を有し、前記発光制御部は、前記着目領域における照度の分布を適正化するように、前記ディスプレイ装置の輝度の分布を前記発光条件として調節する機能を有することが好ましい。   In this mirror device with a camera, the display device is a dot matrix display, and the processing unit has a function of extracting a region of interest of a person facing the mirror body from an image captured by the camera, and the light emission It is preferable that the control unit has a function of adjusting the luminance distribution of the display device as the light emission condition so as to optimize the illuminance distribution in the region of interest.

このカメラ付きミラー装置において、前記ディスプレイ装置はドットマトリクス型のカラーディスプレイであって、前記処理部は、前記カメラが撮影した画像から前記ミラー本体に対面する人の着目領域を抽出する機能を有し、前記発光制御部は、前記着目領域における色の分布を適正化するように、前記ディスプレイ装置の発光色の分布を前記発光条件として調節する機能を有することが好ましい。   In this mirror device with a camera, the display device is a dot matrix type color display, and the processing unit has a function of extracting a region of interest of a person facing the mirror body from an image taken by the camera. The light emission control unit preferably has a function of adjusting the light emission color distribution of the display device as the light emission condition so as to optimize the color distribution in the region of interest.

このカメラ付きミラー装置において、前記発光制御部は、前記着目領域における照度の分布を適正化するように、前記ディスプレイ装置の輝度の分布を前記発光条件として調節する機能を有することが好ましい。   In this mirror device with a camera, the light emission control unit preferably has a function of adjusting the luminance distribution of the display device as the light emission condition so as to optimize the distribution of illuminance in the region of interest.

このカメラ付きミラー装置において、前記着目領域は、前記ミラー本体に対面する人の顔に相当する顔領域であることが好ましい。   In this mirror device with a camera, it is preferable that the region of interest is a face region corresponding to a human face facing the mirror body.

本発明に係るミラー付き什器は、上述したカメラ付きミラー装置と、什器本体とを備えることを特徴とする。   A fixture with a mirror according to the present invention includes the above-described mirror device with a camera and a fixture main body.

本発明の構成によれば、カメラの撮影時にディスプレイ装置を照明として発光させるとともに発光条件の調節を可能とするので、ディスプレイ装置の全面を照明用に用いることを可能にし、光量不足や照度むらの発生を防止することができるという利点を有する。   According to the configuration of the present invention, since the display device emits light as illumination and the light emission conditions can be adjusted at the time of photographing with the camera, the entire surface of the display device can be used for illumination, and there is insufficient light amount or uneven illuminance. It has the advantage that generation | occurrence | production can be prevented.

実施形態1を示す側面図である。1 is a side view showing a first embodiment. 同上の斜視図である。It is a perspective view same as the above. 実施形態2を示す側面図である。6 is a side view showing Embodiment 2. FIG.

(実施形態1)
本実施形態は、図1に示すように、鏡像を形成する鏡面を備えたミラー本体1と、ミラー本体1の前方を視野とするカメラ2と、ミラー本体1の下部に配置されたディスプレイ装置3とを備える。
(Embodiment 1)
In the present embodiment, as shown in FIG. 1, a mirror main body 1 having a mirror surface that forms a mirror image, a camera 2 having a field of view in front of the mirror main body 1, and a display device 3 disposed at the lower part of the mirror main body 1. With.

ミラー本体1は、光の反射のみを行う通常の鏡、あるいは一部の光を透過させ残りの光を反射させるハーフミラーとのいずれかが用いられる。カメラ2は、CCDイメージセンサあるいはCMOSイメージセンサであって、ミラー本体1に対面する人を正面から撮像できるように、ミラー本体1の上部ないし上方に配置される。   The mirror body 1 is either an ordinary mirror that only reflects light or a half mirror that transmits part of light and reflects the remaining light. The camera 2 is a CCD image sensor or a CMOS image sensor, and is arranged above or above the mirror body 1 so that a person facing the mirror body 1 can be imaged from the front.

ミラー本体1が通常の鏡である場合、ディスプレイ装置3は、ミラー本体1の一部に埋め込まれるように配置される。ミラー本体1がハーフミラーである場合、ディスプレイ装置3は、ミラー本体1の背面側に配置される。この場合、ハーフミラーの反射率は70%より大きいことが好ましい。ディスプレイ装置3は、発光して表示を行う構成であって、バックライト付きの液晶表示器を想定しているが、プラズマディスプレイ、EL表示器、リアプロジェクタ型のディスプレイなどを用いることも可能である。   When the mirror body 1 is a normal mirror, the display device 3 is arranged so as to be embedded in a part of the mirror body 1. When the mirror body 1 is a half mirror, the display device 3 is disposed on the back side of the mirror body 1. In this case, the reflectance of the half mirror is preferably greater than 70%. The display device 3 is configured to emit light and display, and is assumed to be a liquid crystal display with a backlight. However, a plasma display, an EL display, a rear projector type display, or the like can also be used. .

カメラ2により撮像された画像はコンピュータを主構成とする処理部4に入力される。処理部4は、適宜のプログラムを実行することにより、入力された画像から所要の情報を抽出する。処理部4は、たとえば、ミラー本体1に対面する人の顔を含む領域、あるいは全身を含む領域を撮像した画像から、顔に関する情報や身体もしくは服装に関する情報を抽出する機能を備える。この種の機能は周知であるから詳述しない。以下では、カメラ2が顔を含む領域を撮像し、顔認識の技術を用いて顔に相当する顔領域を着目領域として抽出する場合を想定して説明する。身体や服装に関する情報を抽出する場合には、それらに相当する領域を着目領域として抽出すればよい。   An image picked up by the camera 2 is input to a processing unit 4 having a computer as a main component. The processing unit 4 extracts necessary information from the input image by executing an appropriate program. For example, the processing unit 4 has a function of extracting information on the face and information on the body or clothes from an image obtained by imaging a region including a human face facing the mirror body 1 or a region including the whole body. This type of function is well known and will not be described in detail. In the following description, it is assumed that the camera 2 captures an area including a face and extracts a face area corresponding to the face as a target area using a face recognition technique. When extracting information about the body and clothes, a region corresponding to them may be extracted as a region of interest.

処理部4は、顔領域を抽出すると、顔領域を形状や位置の特徴を用いて複数の部分領域(輪郭、目、鼻、口など)に分解し、部分領域ごとにあらかじめ定められている属性(形状、色など)を抽出する。このように顔領域を部分領域に分解するとともに部分領域ごとに属性を抽出することによって、部分領域ごとの属性の分析や、属性の変更による画像の加工などが可能になる。また、処理部4は、顔領域から部分領域を情報として抽出するほか、顔領域の照度の分布や色の分布、表面粗度やつや、部分領域の位置関係のような特徴量も情報として抽出することが好ましい。   After extracting the face area, the processing unit 4 decomposes the face area into a plurality of partial areas (contours, eyes, nose, mouth, etc.) using features of shape and position, and attributes predetermined for each partial area. (Shape, color, etc.) are extracted. As described above, by dividing the face area into partial areas and extracting attributes for each partial area, it is possible to analyze attributes for each partial area, process an image by changing the attributes, and the like. In addition to extracting a partial area as information from the face area, the processing unit 4 also extracts feature quantities such as illuminance distribution, color distribution, surface roughness, gloss, and positional relation of the partial area as information. It is preferable to do.

処理部4は、カメラ2により撮像された画像から上述のような情報を抽出し、さらに抽出した情報を解析することにより、顔色、肌の状態(しみ、しわを含む)、表情、化粧の仕上がりなどを評価した情報を抽出する。処理部4において最終的にどのような情報を抽出するかは、利用者が選択することが好ましいが、あらかじめ定めた情報のみを抽出するようにしてもよい。抽出する情報の選択を可能にする場合、ディスプレイ装置3にタッチスイッチを組み合わせたタッチパネルを操作部として用い、タッチパネルを用いて処理部4に指示を与えるようにすればよい。   The processing unit 4 extracts the information as described above from the image captured by the camera 2, and further analyzes the extracted information, so that the facial color, skin state (including spots and wrinkles), facial expression, and finish of makeup Extract information that evaluates It is preferable for the user to select what information is finally extracted in the processing unit 4, but only predetermined information may be extracted. When selecting information to be extracted, a touch panel in which a touch switch is combined with the display device 3 is used as an operation unit, and an instruction is given to the processing unit 4 using the touch panel.

処理部4が抽出した情報は、ディスプレイ装置3に表示される。すなわち、ディスプレイ装置3は、顔領域に関して評価した情報を表示する。また、処理部4は、顔領域の画像を加工した場合、加工後の顔領域の画像をディスプレイ装置3に表示する機能を備える。処理部4が現状の顔領域から抽出した情報をディスプレイ装置3に表示すれば、利用者は化粧や手入れに必要な情報が得られ、また表情や顔色の分析結果から健康状態に関する情報が得られる。   Information extracted by the processing unit 4 is displayed on the display device 3. That is, the display device 3 displays information evaluated regarding the face area. The processing unit 4 has a function of displaying the processed face area image on the display device 3 when the face area image is processed. If the information extracted from the current face area by the processing unit 4 is displayed on the display device 3, the user can obtain information necessary for makeup and care, and information on the health condition can be obtained from the analysis results of facial expressions and facial colors. .

ところで、カメラ2で撮影した画像から上述のような情報を抽出する場合、カメラ2で撮影するたびに撮影の条件が異なっていると、抽出される情報にばらつきが生じる。そのため、カメラ2での撮影毎に撮影の条件が異なっていると、抽出された情報の信頼性が損なわれることになる。この問題を解決するには、ミラー本体1の周囲に撮影用の照明装置を配置することが考えられるが、コスト増につながるという問題がある。化粧用の鏡のように見え方を重要視する場合には、顔全体を均一に照明することが必要であるから、ミラー本体1の周囲に照明装置を配置することが必要である。しかしながら、本実施形態は、カメラ2による撮像を目的にし、かつ近距離から撮影するから、顔全体を均一に照明するためには、カメラ2から利用者に向かって光を当てることが好ましい。   By the way, when extracting the information as described above from an image photographed by the camera 2, if the photographing conditions are different every time the camera 2 is photographed, the extracted information varies. Therefore, if the shooting conditions are different for each shooting by the camera 2, the reliability of the extracted information is impaired. In order to solve this problem, it is conceivable to arrange an illumination device for photographing around the mirror body 1, but there is a problem that the cost increases. When importance is attached to the appearance like a cosmetic mirror, it is necessary to uniformly illuminate the entire face, and thus it is necessary to arrange an illumination device around the mirror body 1. However, since the present embodiment aims at imaging by the camera 2 and shoots from a short distance, it is preferable to shine light from the camera 2 toward the user in order to uniformly illuminate the entire face.

そこで、利用者をカメラ2で撮影した後に、上述のような情報をディスプレイ装置3に表示することに鑑みて、撮影と表示とがたいていの場合に同時ではないことを利用し、ディスプレイ装置3を撮影時の照明として機能させる構成を採用している。すなわち、ディスプレイ装置3が発光して表示を行う構成であることを利用し、カメラ2による撮影に連動させてディスプレイ装置3を発光させるのである。   Therefore, in view of displaying the above information on the display device 3 after shooting the user with the camera 2, the fact that shooting and display are not simultaneous in most cases, A configuration that functions as illumination during shooting is adopted. That is, the display device 3 emits light in conjunction with photographing by the camera 2 by utilizing the configuration in which the display device 3 emits light and performs display.

カメラ2での撮影時には、周囲光の影響があるから、ディスプレイ装置3の発光時には発光条件を調節することによって、撮影条件のばらつきを抑制することが好ましい。そのため、ディスプレイ装置3の発光条件を調節するための発光制御部5が設けられる。ディスプレイ装置3は、利用者の正面において比較的大きい面積を占有しており、しかも撮影時に利用者に対してディスプレイ装置3は比較的近い距離に位置する。したがって、カメラ2による撮影時にディスプレイ装置3を照明として利用することにより、利用者の所要部位の全体をディスプレイ装置3によってむらなく照明することが可能になる。   Since shooting with the camera 2 is affected by ambient light, it is preferable to suppress variations in shooting conditions by adjusting the light emission conditions when the display device 3 emits light. Therefore, a light emission control unit 5 for adjusting the light emission conditions of the display device 3 is provided. The display device 3 occupies a relatively large area in front of the user, and the display device 3 is located at a relatively close distance to the user at the time of photographing. Therefore, by using the display device 3 as illumination at the time of photographing by the camera 2, it becomes possible to uniformly illuminate the entire required part of the user by the display device 3.

また、上述したように、ディスプレイ装置3はミラー本体1の下部に配置されており、具体的には、ディスプレイ装置3は、平均的な身長の利用者にとって、目の前方よりもやや下方に位置するように配置されている。したがって、利用者の顔において天井照明などによる影が生じやすい部位に斜め下方から光が当てられることになり、顔全体が影を生じないように照明されることになる。その結果、カメラ2で撮影した画像には顔に関する多くの情報が含まれることになり、それだけ画像から抽出される情報の精度が高くなる。また、目の前方よりやや下方にディスプレイ装置3が位置することにより、ディスプレイ装置3に通常の表示を行う場合には、利用者にとって表示内容が見やすくなる。   Further, as described above, the display device 3 is disposed at the lower part of the mirror body 1, and specifically, the display device 3 is positioned slightly below the front of the eyes for users of average height. Are arranged to be. Accordingly, light is applied to the part of the user's face that tends to cause shadows due to ceiling lighting or the like from obliquely below, and the entire face is illuminated so as not to cause shadows. As a result, the image captured by the camera 2 includes a lot of information regarding the face, and the accuracy of the information extracted from the image increases accordingly. In addition, since the display device 3 is positioned slightly below the front of the eyes, when normal display is performed on the display device 3, the display contents are easy for the user to see.

発光制御部5によりディスプレイ装置3の発光条件を調節するには、目的の情報を抽出するために発光条件を整えてからカメラ2で撮影するより前に、カメラ2による事前の撮影を行うことが好ましい。処理部4は、事前の撮影によって得られた画像から顔領域の照度や色の分布を抽出し、顔領域に対する周囲光を含めた光の当たり方を評価する。この評価結果に基づいて、発光制御部5はディスプレイ装置3の発光条件を定めてディスプレイ装置3を発光させる。また、処理部4は、発光制御部5がディスプレイ装置3を上記発光条件で発光させている間に、カメラ2で撮影された画像を取得する。   In order to adjust the light emission conditions of the display device 3 by the light emission control unit 5, it is necessary to perform pre-shooting with the camera 2 before shooting with the camera 2 after adjusting the light emission conditions in order to extract target information. preferable. The processing unit 4 extracts the illuminance and the color distribution of the face area from the image obtained by the previous photographing, and evaluates how the light including the ambient light hits the face area. Based on the evaluation result, the light emission control unit 5 determines the light emission condition of the display device 3 and causes the display device 3 to emit light. Further, the processing unit 4 acquires an image photographed by the camera 2 while the light emission control unit 5 causes the display device 3 to emit light under the light emission conditions.

カメラ2で撮影するより前に、事前の撮影によってディスプレイ装置3の発光条件を調節する場合、発光条件を変化させながら、カメラ2での撮影を複数回繰り返すようにしてもよい。すなわち、発光制御部5がディスプレイ装置3の発光条件を制御しながら、カメラ2による撮影を複数回行い、カメラ2が撮影した画像から処理部4が抽出した情報を用いて、発光制御部5が発光条件を調節するのである。   When the light emission condition of the display device 3 is adjusted by pre-photographing before taking a picture with the camera 2, the picture taking with the camera 2 may be repeated a plurality of times while changing the light emission condition. That is, while the light emission control unit 5 controls the light emission conditions of the display device 3, the light emission control unit 5 uses the information extracted by the processing unit 4 from the image captured by the camera 2. The light emission conditions are adjusted.

ディスプレイ装置3は、処理部4で得られた情報を文字列で示すだけではなく、画像も表示可能であることが好ましいから、ドットマトリクス方式を採用している。そのため、発光制御部5により定められる発光条件は、ディスプレイ装置3の部分ごとに異なる輝度となるように選択することが可能である。すなわち、発光制御部5は、処理部4が抽出した顔領域における照度の分布を適正化するように、ディスプレイ装置3の輝度の分布を発光条件として調節する。ディスプレイ装置3の輝度の分布を調節することにより、利用者の顔の照度を部分ごとに細かく制御して、カメラ2の撮影に際して撮影条件を最適化することが可能になる。   The display device 3 adopts a dot matrix method because it is preferable not only to display the information obtained by the processing unit 4 as a character string but also to display an image. Therefore, the light emission conditions determined by the light emission control unit 5 can be selected so as to have different luminance for each part of the display device 3. That is, the light emission control unit 5 adjusts the luminance distribution of the display device 3 as a light emission condition so as to optimize the illuminance distribution in the face area extracted by the processing unit 4. By adjusting the luminance distribution of the display device 3, it is possible to finely control the illuminance of the user's face for each part and optimize the shooting conditions when shooting with the camera 2.

上述の動作例では、カメラ2で事前に撮影した画像に基づいて発光制御部5がディスプレイ装置3の輝度の分布を調節しているが、ディスプレイ装置3の輝度の分布は基底値(デフォルト)を設定し、カメラ2で撮影する間に輝度の分布を微調整してもよい。また、顔の形状に適した輝度分布のパターンを用意しておき、このパターンに対して微調整を行ってもよい。さらに、輝度分布のパターンを複数用意しておき、いずれかのパターンを選択して利用してもよい。   In the above-described operation example, the light emission control unit 5 adjusts the luminance distribution of the display device 3 based on the image captured in advance by the camera 2, but the luminance distribution of the display device 3 has a base value (default). The luminance distribution may be finely adjusted while setting and photographing with the camera 2. A brightness distribution pattern suitable for the shape of the face may be prepared and fine adjustment may be performed on this pattern. Furthermore, a plurality of luminance distribution patterns may be prepared, and one of the patterns may be selected and used.

また、ディスプレイ装置3がドットマトリクス型のカラーディスプレイである場合、発光制御部5は、ディスプレイ装置3の発光色の分布を発光条件として調節することが可能である。ディスプレイ装置3の発光色の分布を調節すれば、顔領域における色の分布を調節することが可能になる。また、ディスプレイ装置3がドットマトリクス型のカラーディスプレイである場合、発光色とともに輝度の分布も調節することが可能である。輝度と発光色との分布を調節すれば、顔領域の部分ごとの色を適正化することが可能になる。   When the display device 3 is a dot matrix type color display, the light emission control unit 5 can adjust the light emission color distribution of the display device 3 as a light emission condition. By adjusting the emission color distribution of the display device 3, the color distribution in the face region can be adjusted. When the display device 3 is a dot matrix type color display, it is possible to adjust the luminance distribution as well as the emission color. By adjusting the distribution of luminance and emission color, it is possible to optimize the color of each part of the face area.

とくに、しみやにきびのように、特徴的な色味を持つ部位に対応する発光色を調節すれば、必要に応じて、該当部位を目立たないようにする照明、あるいは該当部位を強調する照明などが可能になる。このように、顔を照明する光色を調節することにより、カメラ2で撮像した画像から必要な情報を抽出するのが容易になり、結果的に抽出される情報の精度を高めることが可能になる。   In particular, if you adjust the emission color corresponding to a part with a characteristic color, such as stains or acne, you can make the part inconspicuous or light that emphasizes the part if necessary Is possible. In this way, by adjusting the light color that illuminates the face, it becomes easy to extract necessary information from the image captured by the camera 2, and as a result, the accuracy of the extracted information can be increased. Become.

利用者が顔の画像をカメラ2で撮影する際には、ミラー本体1の鏡像を見ながら、ディスプレイ装置3の輝度分布あるいは色分布を調節することにより撮影の準備を行う。その後、準備した発光条件でディスプレイ装置3の画面から利用者に光を当てるとともに、カメラ2による撮影を行う。さらに、カメラ2で撮影された画像から抽出された情報は、ディスプレイ装置3に表示される。このように、ディスプレイ装置3は、カメラ2での撮影時に照明専用に用いられ、撮影の妨げになる情報が表示されることはない。すなわち、ディスプレイ装置3が照明用に用いられる期間と表示用に用いられる期間とが異なっていることにより、照明用と表示用との両機能に適した条件でディスプレイ装置3を用いることが可能になる。   When a user captures a face image with the camera 2, the user prepares for capturing by adjusting the luminance distribution or color distribution of the display device 3 while looking at the mirror image of the mirror body 1. Thereafter, the user is irradiated with light from the screen of the display device 3 under the prepared light emission conditions, and shooting by the camera 2 is performed. Further, information extracted from an image photographed by the camera 2 is displayed on the display device 3. In this way, the display device 3 is used exclusively for lighting when taking a picture with the camera 2, and information that hinders the taking is not displayed. That is, the display device 3 can be used under conditions suitable for both functions for illumination and display, because the period during which the display device 3 is used for illumination and the period used for display are different. Become.

上述した実施形態は、処理部4がカメラ2で撮影した画像から顔領域を抽出している。ただし、処理部4は、カメラ2で撮影した画像をディスプレイ装置3に表示してもよい。すなわち、画像自体を画像から抽出される情報として用いることになる。このように撮影した画像をディスプレイ装置3に表示するだけでも、利用者の顔に相当する領域が表示されると、利用者は、撮影時に生じた影、顔に生じているしわやしみなどの状態を見ることが可能になる。   In the embodiment described above, the face region is extracted from the image captured by the processing unit 4 with the camera 2. However, the processing unit 4 may display an image captured by the camera 2 on the display device 3. That is, the image itself is used as information extracted from the image. Even if an image corresponding to the user's face is displayed just by displaying the captured image on the display device 3, the user can detect shadows, wrinkles, spots, etc. It becomes possible to see the state.

さらに、画像を記憶させる記憶部を設けておけば、過去に撮影した画像が履歴として保存されるから、過去の画像との比較によって、顔の状態の変化を知ることが可能になる。また、カメラ2で撮影した画像は、そのままディスプレイ装置3に表示するとミラー本体1に形成された鏡像とは逆向きになるから、処理部4は、カメラ2で撮像した画像をディスプレイ装置3に表示する際に、左右を反転することが好ましい。   Furthermore, if a storage unit for storing images is provided, images captured in the past are stored as a history, so that changes in the face state can be known by comparison with past images. In addition, when the image captured by the camera 2 is displayed on the display device 3 as it is, the processing unit 4 displays the image captured by the camera 2 on the display device 3 because it is opposite to the mirror image formed on the mirror body 1. In doing so, it is preferable to reverse the left and right.

上述した構成例では、処理部4において、顔の外観に関する評価を行う場合を例示したが、顔認証のための特徴量を抽出する場合や、照明写真を撮影する場合のように、顔に照射される光の分布を安定させたい場合にも同様の技術を採用可能である。さらに、ディスプレイ装置3は、1画素ごとに発光輝度や発光色の調節が可能であり、しかも位置だけではなく、時間経過に伴う調節も可能であるから、カメラ2で撮影する際の照明の条件をきめ細かく調節することが可能である。   In the configuration example described above, the case where the processing unit 4 evaluates the appearance of the face is illustrated, but the face is irradiated as in the case where a feature amount for face authentication is extracted or an illumination photograph is taken. A similar technique can also be adopted when it is desired to stabilize the distribution of the emitted light. Furthermore, since the display device 3 can adjust the light emission luminance and the light emission color for each pixel and can adjust not only the position but also with the passage of time, the illumination conditions for shooting with the camera 2 are also possible. Can be finely adjusted.

上述した構成例は、カメラ2で撮影した画像を、主として利用者の顔に関する情報を抽出する目的で用いているが、利用者の姿勢や姿勢の時間変化などを抽出するために用いることも可能である。とくに、姿勢の時間変化を抽出する場合、利用者がミラー本体1に映る鏡像を見る場合と、カメラ2で撮影する場合とでは、適切な光の照射方向が異なることがあり、カメラ2での撮影に際しては天井照明などを用いると、カメラ2のほうからの光量が不足することになる。本実施形態の構成によれば、ディスプレイ装置3を用いてカメラ2のほうからの光量を補っているから、必要な光量を確保されることになる。   In the configuration example described above, the image taken by the camera 2 is used mainly for the purpose of extracting information related to the user's face, but it can also be used to extract the user's posture, time change of the posture, and the like. It is. In particular, when extracting the time change of the posture, when the user sees the mirror image reflected on the mirror body 1 and when shooting with the camera 2, the appropriate light irradiation direction may differ. If ceiling lighting or the like is used for shooting, the amount of light from the camera 2 is insufficient. According to the configuration of the present embodiment, the amount of light from the camera 2 is supplemented using the display device 3, so that the necessary amount of light is secured.

さらに、ミラー本体1がハーフミラーであって、ディスプレイ装置3をミラー本体1の背面側に配置した構成では、ディスプレイ装置3をミラー本体1の一部に埋め込む構成と比較すると、ディスプレイ装置3を使用しないときに鏡面を広く使うことができる。   Further, in the configuration in which the mirror body 1 is a half mirror and the display device 3 is disposed on the back side of the mirror body 1, the display device 3 is used as compared with the configuration in which the display device 3 is embedded in a part of the mirror body 1. Mirror surface can be used widely when not.

(実施形態2)
本実施形態は、実施形態1の技術を利用した什器に関するものである。以下に説明する実施形態は、什器本体としてキャビネットおよび洗面ボウルを備えた洗面化粧台を想定している。ただし、以下に説明する実施形態は一例であって、三面鏡、姿見、浴室用鏡など、鏡を備える各種の什器本体と組み合わせることによって、ミラー付き什器を構成することが可能である。
(Embodiment 2)
This embodiment relates to a fixture using the technique of the first embodiment. Embodiment described below assumes the vanity stand provided with the cabinet and the wash bowl as a main body of a fixture. However, the embodiment described below is an example, and it is possible to configure a fixture with a mirror by combining with various fixture bodies including a mirror such as a three-sided mirror, a figure, and a bathroom mirror.

図3に示すように、什器本体10は、キャビネット11を備え、キャビネット11の上面であるカウンタ12に洗面ボウル13が取り付けられている。また、キャビネット11の後部には実施形態1において説明したカメラ付きミラー装置が取り付けられる背ボード14が設けられている。処理部4および発光制御部5を構成するコンピュータは、キャビネット11あるいは背ボード14の適宜の場所に収納される。また、本実施形態は、ディスプレイ装置3の画面にタッチスイッチを重ねたタッチパネルを操作部として備えていることを想定している。   As shown in FIG. 3, the fixture body 10 includes a cabinet 11, and a wash bowl 13 is attached to a counter 12 that is an upper surface of the cabinet 11. Further, a back board 14 to which the mirror device with a camera described in the first embodiment is attached is provided at the rear part of the cabinet 11. The computers constituting the processing unit 4 and the light emission control unit 5 are accommodated in appropriate places on the cabinet 11 or the back board 14. In the present embodiment, it is assumed that a touch panel in which a touch switch is superimposed on the screen of the display device 3 is provided as an operation unit.

洗面化粧台は、洗顔のために日々利用するから、カメラ2で撮像した画像に基づいて肌の状態などを管理するには好適である。また、洗面化粧台は洗顔に用いるから、洗顔後に素肌の状態を評価することにより、肌の状態を正確に評価することが可能になる。   Since the vanity is used daily for washing the face, it is suitable for managing the skin condition and the like based on the image captured by the camera 2. Further, since the vanity is used for washing the face, it is possible to accurately evaluate the skin condition by evaluating the condition of the bare skin after the face washing.

洗面化粧台に設けたカメラ付きミラー装置は、利用者の操作によって起動させてもよいが、スタンバイ状態で休止させておくことが望ましい。スタンバイ状態では、カメラ2および処理部4の最小限の機能が動作しており、利用者が洗面化粧台の前に立ったときに、カメラ2で撮影されている画像に基づいて処理部4が利用者の存在を認識する。処理部4は、利用者の存在を認識すると、ディスプレイ装置3の下部に操作用のアイコンを表示する。   The mirror device with a camera provided on the vanity may be activated by a user's operation, but it is desirable to pause in the standby state. In the standby state, the minimum functions of the camera 2 and the processing unit 4 are operating, and when the user stands in front of the vanity, the processing unit 4 is based on the image captured by the camera 2. Recognize the presence of users. When recognizing the presence of the user, the processing unit 4 displays an operation icon at the bottom of the display device 3.

この状態において、アイコンに指あるいは手を近づけるかアイコンに触れると、処理部4および発光制御部5が起動され、ディスプレイ装置3が照明として発光し、カメラ2による撮影が行われる。その後、カメラ2で撮影された画像から所要の情報が抽出され、ディスプレイ装置3に表示されることになる。   In this state, when a finger or a hand is brought close to the icon or the icon is touched, the processing unit 4 and the light emission control unit 5 are activated, the display device 3 emits light as illumination, and photographing by the camera 2 is performed. Thereafter, necessary information is extracted from the image photographed by the camera 2 and displayed on the display device 3.

アイコンは、ディスプレイ装置3が照明として用いられている間にはディスプレイ装置3に表示されず、カメラ2で撮影された画像から抽出された情報が表示されるときには、ディスプレイ装置3に再表示される。このアイコンは、ディスプレイ装置3の表示内容を切り換えたり、ディスプレイ装置3の表示を消したりする際に用いられる。さらに、アイコンは、カメラ2での撮影の開始や終了を指示するために用いることも可能である。利用者による操作を受け付けるために、ディスプレイ装置3にアイコンを表示する代わりに、音声認識の技術を採用し、音声あるいは音の種類を用いることにより、カメラ付きミラー装置の操作を行ってもよい。他の構成および動作は実施形態1と同様である。   The icon is not displayed on the display device 3 while the display device 3 is used as illumination. When the information extracted from the image captured by the camera 2 is displayed, the icon is displayed again on the display device 3. . This icon is used when switching the display contents of the display device 3 or erasing the display of the display device 3. Further, the icon can be used to instruct the start and end of shooting with the camera 2. In order to accept an operation by the user, instead of displaying an icon on the display device 3, the mirror device with camera may be operated by adopting a voice recognition technique and using a voice or sound type. Other configurations and operations are the same as those of the first embodiment.

なお、上述した構成例では、ディスプレイ装置3にタッチパネルを用いて利用者による操作を可能にしているが、処理部4および発光制御部5に対する指示を、赤外線や電波を媒体とする通信で行うようにしてもよい。たとえば、利用者が管理する移動体端末(携帯電話、スマートホンなど)に適宜のプログラム(いわゆる、「携帯アプリ」)を搭載しておき、移動体端末の通信用インターフェイスを通して指示を与えてもよい。   In the configuration example described above, a user can operate the display device 3 using a touch panel. However, instructions to the processing unit 4 and the light emission control unit 5 are performed by communication using infrared or radio waves as a medium. It may be. For example, an appropriate program (a so-called “mobile application”) may be installed in a mobile terminal (cell phone, smart phone, etc.) managed by the user, and an instruction may be given through the communication interface of the mobile terminal. .

1 ミラー本体
2 カメラ
3 ディスプレイ装置
4 処理部
5 発光制御部
10 什器本体
DESCRIPTION OF SYMBOLS 1 Mirror body 2 Camera 3 Display apparatus 4 Processing part 5 Light emission control part 10 Fixture body

Claims (7)

鏡像を形成する鏡面を備えたミラー本体と、前記ミラー本体の下部に配置され発光して表示を行うディスプレイ装置と、前記ミラー本体の前方を視野として前記ミラー本体に対面する人を撮影するカメラと、前記カメラにより撮影された画像から抽出される情報を前記ディスプレイ装置に表示させる処理部と、前記カメラによる撮影時に前記ディスプレイ装置を照明として発光させ、かつ前記ディスプレイ装置の発光条件を調節する発光制御部とを備えることを特徴とするカメラ付きミラー装置。   A mirror main body having a mirror surface for forming a mirror image; a display device disposed at a lower part of the mirror main body for emitting and displaying; a camera for photographing a person facing the mirror main body with the front of the mirror main body as a field of view; A processing unit for displaying information extracted from an image photographed by the camera on the display device, and light emission control for causing the display device to emit light as illumination during photographing by the camera and adjusting a light emission condition of the display device A mirror device with a camera. 前記ミラー本体は前面が前記鏡面であるハーフミラーであって、前記ディスプレイ装置は、前記ハーフミラーの背面側に配置されていることを特徴とする請求項1記載のカメラ付きミラー装置。   The camera-equipped mirror device according to claim 1, wherein the mirror body is a half mirror whose front surface is the mirror surface, and the display device is disposed on a back side of the half mirror. 前記ディスプレイ装置はドットマトリクスディスプレイであって、前記処理部は、前記カメラが撮影した画像から前記ミラー本体に対面する人の着目領域を抽出する機能を有し、前記発光制御部は、前記着目領域における照度の分布を適正化するように、前記ディスプレイ装置の輝度の分布を前記発光条件として調節する機能を有することを特徴とする請求項1又は2記載のカメラ付きミラー装置。   The display device is a dot matrix display, and the processing unit has a function of extracting a region of interest of a person facing the mirror body from an image captured by the camera, and the light emission control unit includes the region of interest The camera-equipped mirror device according to claim 1, wherein the mirror device has a function of adjusting the luminance distribution of the display device as the light emission condition so as to optimize the illuminance distribution. 前記ディスプレイ装置はドットマトリクス型のカラーディスプレイであって、前記処理部は、前記カメラが撮影した画像から前記ミラー本体に対面する人の着目領域を抽出する機能を有し、前記発光制御部は、前記着目領域における色の分布を適正化するように、前記ディスプレイ装置の発光色の分布を前記発光条件として調節する機能を有することを特徴とする請求項1又は2記載のカメラ付きミラー装置。   The display device is a dot matrix type color display, and the processing unit has a function of extracting a region of interest of a person facing the mirror body from an image photographed by the camera, and the light emission control unit includes: The camera-equipped mirror device according to claim 1, wherein the mirror device with a camera has a function of adjusting a light emission color distribution of the display device as the light emission condition so as to optimize a color distribution in the region of interest. 前記発光制御部は、前記着目領域における照度の分布を適正化するように、前記ディスプレイ装置の輝度の分布を前記発光条件として調節する機能を有することを特徴とする請求項4記載のカメラ付きミラー装置。   The camera-equipped mirror according to claim 4, wherein the light emission control unit has a function of adjusting a luminance distribution of the display device as the light emission condition so as to optimize an illuminance distribution in the region of interest. apparatus. 前記着目領域は、前記ミラー本体に対面する人の顔に相当する顔領域であることを特徴とする請求項1〜6のいずれか1項に記載のカメラ付きミラー装置。   The camera-equipped mirror device according to claim 1, wherein the region of interest is a face region corresponding to a human face facing the mirror body. 請求項1〜6のいずれか1項に記載のカメラ付きミラー装置と、什器本体とを備えることを特徴とするミラー付き什器。   A mirror-equipped fixture comprising the mirror device with a camera according to any one of claims 1 to 6 and a fixture main body.
JP2011282305A 2011-12-22 2011-12-22 Mirror device with camera, fixture with mirror Expired - Fee Related JP5879562B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011282305A JP5879562B2 (en) 2011-12-22 2011-12-22 Mirror device with camera, fixture with mirror

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011282305A JP5879562B2 (en) 2011-12-22 2011-12-22 Mirror device with camera, fixture with mirror

Publications (2)

Publication Number Publication Date
JP2013132029A true JP2013132029A (en) 2013-07-04
JP5879562B2 JP5879562B2 (en) 2016-03-08

Family

ID=48909242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011282305A Expired - Fee Related JP5879562B2 (en) 2011-12-22 2011-12-22 Mirror device with camera, fixture with mirror

Country Status (1)

Country Link
JP (1) JP5879562B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015029168A (en) * 2013-07-30 2015-02-12 パナソニック株式会社 Electronic mirror device
JP2015125319A (en) * 2013-12-26 2015-07-06 Necパーソナルコンピュータ株式会社 Display device and program
JP2016015118A (en) * 2014-06-09 2016-01-28 パナソニックIpマネジメント株式会社 Wrinkle detection device and wrinkle detection method
WO2018142771A1 (en) * 2017-01-31 2018-08-09 ソニー株式会社 Control device, control method, and illumination system
CN111343448A (en) * 2018-12-19 2020-06-26 卡西欧计算机株式会社 Display device, display method, and recording medium
JP2020154026A (en) * 2019-03-18 2020-09-24 株式会社Lixil Display device for dressing table and dressing table
JP2020154025A (en) * 2019-03-18 2020-09-24 株式会社Lixil Display device for dressing table and dressing table
JP2021153919A (en) * 2020-03-27 2021-10-07 株式会社Lixil Mirror with display monitor function
JP2022031323A (en) * 2018-03-06 2022-02-18 カシオ計算機株式会社 Display control device, light emission control device, display control method, light emission control method, and program
CN114340079A (en) * 2021-12-29 2022-04-12 苏州鑫凯威科创发展有限公司 Cosmetic mirror with lamp and self-adaptive light projection method thereof
US11936963B2 (en) 2019-11-05 2024-03-19 Nec Corporation Imaging device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015029168A (en) * 2013-07-30 2015-02-12 パナソニック株式会社 Electronic mirror device
JP2015125319A (en) * 2013-12-26 2015-07-06 Necパーソナルコンピュータ株式会社 Display device and program
JP2016015118A (en) * 2014-06-09 2016-01-28 パナソニックIpマネジメント株式会社 Wrinkle detection device and wrinkle detection method
WO2018142771A1 (en) * 2017-01-31 2018-08-09 ソニー株式会社 Control device, control method, and illumination system
US11464098B2 (en) * 2017-01-31 2022-10-04 Sony Corporation Control device, control method and illumination system
JP2022031323A (en) * 2018-03-06 2022-02-18 カシオ計算機株式会社 Display control device, light emission control device, display control method, light emission control method, and program
US11074757B2 (en) 2018-12-19 2021-07-27 Casio Computer Co., Ltd. Display device, display method, and recording medium
CN111343448A (en) * 2018-12-19 2020-06-26 卡西欧计算机株式会社 Display device, display method, and recording medium
JP2020154025A (en) * 2019-03-18 2020-09-24 株式会社Lixil Display device for dressing table and dressing table
JP2020154026A (en) * 2019-03-18 2020-09-24 株式会社Lixil Display device for dressing table and dressing table
US11936963B2 (en) 2019-11-05 2024-03-19 Nec Corporation Imaging device
JP2021153919A (en) * 2020-03-27 2021-10-07 株式会社Lixil Mirror with display monitor function
JP7432421B2 (en) 2020-03-27 2024-02-16 株式会社Lixil Mirror with display monitor function
CN114340079A (en) * 2021-12-29 2022-04-12 苏州鑫凯威科创发展有限公司 Cosmetic mirror with lamp and self-adaptive light projection method thereof
CN114340079B (en) * 2021-12-29 2024-02-02 苏州鑫凯威科创发展有限公司 Cosmetic mirror with lamp and self-adaptive light projection method thereof

Also Published As

Publication number Publication date
JP5879562B2 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
JP5879562B2 (en) Mirror device with camera, fixture with mirror
US11616906B2 (en) Electronic system with eye protection in response to user distance
JP6847124B2 (en) Adaptive lighting systems for mirror components and how to control adaptive lighting systems
CN104113688B (en) A kind of image processing method and its electronic equipment
JP4831267B2 (en) Information processing apparatus, information processing method, program, and electronic apparatus
TWI545947B (en) Display device with image capture and analysis module
US20200267312A1 (en) Information processing apparatus, information processing method, and program
US20190146128A1 (en) Smart mirror
US20140275948A1 (en) Information terminal device
CN115167723A (en) Wearable device capable of eye tracking
CA2773865A1 (en) Display device with image capture and analysis module
US11380138B2 (en) Device and method for touchless palm print acquisition
JP2014535096A (en) Vision-based interactive projection system
US11113849B2 (en) Method of controlling virtual content, terminal device and computer readable medium
US11521575B2 (en) Electronic device, electronic device control method, and medium
JP2011221672A (en) Image processing apparatus, image processing method, program, and electronic device
TWI543147B (en) Method for adjusting luminance of monitor of electrical device
US11216066B2 (en) Display device, learning device, and control method of display device
JP5227212B2 (en) Skin color measuring device, skin color measuring program, makeup simulation device and makeup simulation program
CN107968939B (en) Display screen processing method and device, storage medium and electronic device
JP2013145323A (en) Mirror with camera and apparatus with camera
KR20240085787A (en) Smart mirror apparatus
JP3153960U (en) Beauty Equipment
WO2024064372A1 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
JP2020120275A (en) Sneak photography camera detection device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141014

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151002

R151 Written notification of patent or utility model registration

Ref document number: 5879562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees