JP5932253B2 - Display control device, display control device control method, program, and storage medium - Google Patents
Display control device, display control device control method, program, and storage medium Download PDFInfo
- Publication number
- JP5932253B2 JP5932253B2 JP2011154033A JP2011154033A JP5932253B2 JP 5932253 B2 JP5932253 B2 JP 5932253B2 JP 2011154033 A JP2011154033 A JP 2011154033A JP 2011154033 A JP2011154033 A JP 2011154033A JP 5932253 B2 JP5932253 B2 JP 5932253B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- captured
- mosaic
- viewer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 38
- 239000000463 material Substances 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体に関し、特に、表示装置に閲覧者の関心を引きながら広告コンテンツ等を表示するデジタルサイネージに用いて好適な表示制御技術に関するものである。 The present invention relates to a display control device, a control method for the display control device, a program, and a storage medium, and more particularly to a display control technique suitable for use in digital signage that displays advertising content and the like while attracting the viewer's interest on the display device. It is.
広告、案内等を表示する方法としては、看板や大型ディスプレイがある。また、近年は、ディスプレイの閲覧者に対応してコンテンツを表示する「デジタルサイネージ」といわれる広告表示が登場している。 As a method for displaying advertisements, information, etc., there are a signboard and a large display. In recent years, an advertisement display called “digital signage” that displays content corresponding to a viewer of a display has appeared.
特許文献１には、ディスプレイに沿って通行する人の近傍に所定のサイズのテキストおよび画像等の映像情報をその人の移動に従って表示する移動体付随情報表示装置の技術が開示されている。
また、閲覧者に対応したコンテンツ画像の生成技術として、特許文献２には、ユーザの画像データをピクト画像に変換し、予め用意されたテンプレート画像に当てはめて実画像に完成させる技術が開示されている。
また、特許文献３には、複数の画像間の比較から特定被写体を抽出する方法が開示されている。
Patent Document 1 discloses a technique of a moving body-associated information display device that displays video information such as text and images of a predetermined size in the vicinity of a person who passes along a display according to the movement of the person.
Further, as a content image generation technique corresponding to a viewer, Patent Document 2 discloses a technique for converting user image data into a pictographic image and applying it to a template image prepared in advance to complete an actual image. Yes.
Patent Document 3 discloses a method for extracting a specific subject from comparison between a plurality of images.
特許文献１にて提案された移動体付随情報表示装置は、表示するコンテンツ自体を閲覧者に対応したものとする技術は開示されないため、閲覧者の興味や注目を引きにくいという問題がある。
また、特許文献２にて開示された画像表示方法においては、ユーザの画像データによりコンテンツ画像を構成するため、コンテンツ画像をユーザに対応したものとすることが可能である。
The mobile body-associated information display device proposed in Patent Document 1 has a problem that it is difficult to attract the viewer's interest and attention because the technology that makes the displayed content itself correspond to the viewer is not disclosed.
Further, in the image display method disclosed in Patent Document 2, the content image is configured by the user's image data. Therefore, the content image can correspond to the user.
しかし、多数のユーザ画像データでコンテンツ画像を生成した場合には、一つ一つのユーザ画像が相対的に小さくなり、表示される映像がユーザに対応したものと感じさせることが難しい。他方、一つ一つのユーザ画像を大きくしてコンテンツ画像を生成した場合には、コンテンツ画像が不明確となって、広告や情報伝達の効果が小さくなるという問題点があった。
本発明は前述の問題点に鑑み、閲覧者の興味・注目を引きながら、広告等の提示したい情報を明確に表示することが可能な表示制御装置を提供できるようにすることを目的とする。
However, when a content image is generated with a large number of user image data, each user image is relatively small, and it is difficult to make the displayed video correspond to the user. On the other hand, when a content image is generated by enlarging each user image, there is a problem that the content image becomes unclear and the effect of advertisement and information transmission is reduced.
In view of the above-described problems, an object of the present invention is to provide a display control device capable of clearly displaying information desired to be presented such as an advertisement while attracting the interest and attention of a viewer.
本発明の表示制御装置は、撮像手段により撮像された、表示手段を視聴者が視認可能な範囲の撮像画像を取得する取得手段と、前記取得手段で取得した撮像画像から、前記表示手段の視聴者の画像を抽出する画像抽出手段と、前記抽出手段で抽出した前記視聴者の画像を素材画像としてモザイク画像を生成する画像処理手段と、前記画像処理手段によって、前記視聴者が視認可能な大きさの素材画像を用いて生成された第１のモザイク画像を前記表示手段に表示した後、前記撮像手段により撮像された撮像画像が特定の条件を満たすと、前記第１のモザイク画像よりも分割数を大きく、かつ前記素材画像のサイズを小さくして前記画像処理手段で生成した第２のモザイク画像を前記表示手段に表示するように制御する表示制御手段とを有することを特徴とする。 The display control device of the present invention, taken by the imaging means, an acquiring means for viewer display means acquires a captured image range visible, from the captured image acquired by the acquisition unit, viewing of the display means An image extracting means for extracting a person's image, an image processing means for generating a mosaic image using the viewer's image extracted by the extracting means as a material image, and a size that is visible to the viewer by the image processing means . after displaying on said display means the first mosaic image generated using the material image, the captured image meets a certain condition, which is captured by the imaging means, than the first mosaic image division Display control means for controlling the second mosaic image generated by the image processing means to be displayed on the display means by increasing the number and reducing the size of the material image And wherein the door.
本発明によれば、閲覧者（視聴者）の興味及び注目を引きながら、提示したい情報をより印象的に認識させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the information to present can be recognized more impressively, attracting the interest and attention of a viewer (viewer) .
（第１の実施形態）
本発明が適用可能な実施形態による表示制御装置の構成例を、図１のブロック図を参照して説明する。
図１において、１１はカメラ部、１２はディスプレイ、１３は外部Ｉ／Ｆ、１４は記憶媒体、１５はＣＰＵ、１６はワークメモリである。
(First embodiment)
A configuration example of a display control apparatus according to an embodiment to which the present invention is applicable will be described with reference to the block diagram of FIG.
In FIG. 1, 11 is a camera unit, 12 is a display, 13 is an external I / F, 14 is a storage medium, 15 is a CPU, and 16 is a work memory.
第１の実施形態による表示制御装置１０は、カメラ部１１により閲覧者を撮像し、記憶媒体１４より広告等の情報伝達すべき画像を読みだす。そして、ＣＰＵ１５における処理により、前記情報伝達すべき画像を目標画像として前記撮像した閲覧者の画像を素材画像とするモザイク画像を生成し、ディスプレイ１２に表示する。
The
ここで、多数の写真をモザイクのように組み合わせて作成した画像のことをモザイク画像、あるはフォトモザイクと称する。モザイク画像は、複数の小さな画像（以下、素材画像）を並べて１つの大きな画像（以下、目標画像）として見えるようになっている。閲覧者が全体を見ると一つの大きな画像（目標画像）として視認でき、モザイク画像に接近するなどして詳細に見ると目標画像の要素となっている一つ一つの素材画像が視認できる。 Here, an image created by combining a large number of photographs like a mosaic is referred to as a mosaic image or photo mosaic. The mosaic image is arranged such that a plurality of small images (hereinafter referred to as material images) are arranged and viewed as one large image (hereinafter referred to as a target image). When the viewer sees the whole image, it can be visually recognized as one large image (target image), and when viewed in detail by approaching the mosaic image, each material image that is an element of the target image can be visually recognized.
図２は、本発明の第１の実施形態による表示制御装置１０の使用状態を示す外観図である。図２におけるカメラ部２１、ディスプレイ２２は、それぞれ図１のカメラ部１１、ディスプレイ１２に相当する。また、ＰＣ２３は図１の外部Ｉ／Ｆ１３、記憶媒体１４、ＣＰＵ１５、ワークメモリ１６を備えたパーソナルコンピュータである。図示のように、カメラ部２１は、視聴者がディスプレイ２２を視認可能な範囲を撮像する。
FIG. 2 is an external view showing a usage state of the
図２（ａ）において、ＰＣ２３は、カメラ部２１が撮像した撮像画像から抽出した閲覧者２７の画像（この例の場合は、閲覧者２７の顔画像）を素材画像２５としている。また、情報伝達すべき画像を目標画像とするモザイク画像２６ａ（第１のモザイク画像）を、１００程度の小さな（粗い）分割数で生成し、ディスプレイ２２に表示している。
In FIG. 2A, the
情報伝達すべき画像とは、例えば広告として閲覧者２７に宣伝したい内容であり、予め記憶媒体１４に記録されている画像である。例えば、カメラメーカーであればカメラの外観の画像などが閲覧者２７に宣伝したい広告画像として考えられる。本実施形態では、情報伝達すべき画像として、カメラの画像を例にとって説明する。
The image to be transmitted is, for example, content that is desired to be advertised to the
図２（ａ）のような表示を行うと、閲覧者２７がディスプレイ２２に自分の顔が大きく写っていることから、ディスプレイ２２に対する閲覧者２７の注目・関心をひきやすい。小さな分割数でのモザイク画像２６ａを表示してから一定の時間が経過するなどして、閲覧者２７の関心をある程度ひきつけられたと推定される所定の条件を充足すると、図２（ｂ）に遷移する。なお、分割数についての詳細は後述する。
When the display as shown in FIG. 2A is performed, the
図２（ｂ）は、図２（ａ）よりも分割数を大きく、すなわち素材画像２５のそれぞれを小さくし、目標画像をより高精細に表現したモザイク画像２６ｂ（第２のモザイク画像）をディスプレイ２２に表示した例である。これにより、閲覧者２７は、図２（ａ）の状態よりは、自分の画像で一体何が表現されようとしているのかを認識しやすくなる。アニメーションをしながら分割数はだんだんと大きくなり、素材画像２５はだんだんと小さく、目標画像はだんだんと高精細に視認できるようになっていき、最終的に図２（ｃ）のようなモザイク画像が表示される。
FIG. 2B displays a
図２（ｃ）は、分割数を上限値まで大きくしたことにより、素材画像が十分に小さく、目標画像が十分に高精細に視認されるモザイク画像２６ｃを表示した例である。図２（ｃ）は、図面の都合上、モザイク画像２６ｃを目標画像の線図で図示している。しかし、実際には小さな素材画像２５（閲覧者２７の顔画像）で構成されており、十分に近寄ってみれば線図ではなく、素材画像２５の集合であることが視認できるものとする。
FIG. 2C shows an example in which a
閲覧者２７は自分の顔画像がだんだんと小さくなっていき、最終的に自分の顔画像で目標画像であるカメラの外観図が表現されていることを確実に認識することができる。これにより、閲覧者２７に興味と関心をもって目標画像を視認させることができる。
The
図２（ａ）〜（ｃ）で説明した表示を実現する具体的な処理について説明する。
図３は、本発明の第１の実施形態による表示制御装置１０における判断処理の流れを示すフローチャートである。図３の処理は、記憶媒体１４に記録されたプログラムを、ＣＰＵ１５がワークメモリ１６に展開して実行することで実現する。
A specific process for realizing the display described in FIGS. 2A to 2C will be described.
FIG. 3 is a flowchart showing the flow of determination processing in the
Ｓ３０１では、ＣＰＵ１５は、記憶媒体１４より情報伝達すべき画像を読み出す。
Ｓ３０２では、カメラ部１１を制御してカメラ部１１に撮像を行わせ、カメラ部１１で撮像した撮像画像を取得する。
Ｓ３０３では、Ｓ３０２で撮像した画像から人物等の特定の被写体の画像を抽出する。抽出する被写体は、前述したモザイク画像を閲覧しているであろう被写体であることが好ましい。画像抽出の技術としては、たとえば特許文献３が特定被写体と背景の画像との比較により行うものを開示するなど、種々多様な技術が実用可能に提供されており、そのいずれを用いるものであっても差支えない。なお、Ｓ３０３の処理を省き、Ｓ３０２で取得した撮像画像をそのまま後述する処理で素材画像としても良い。
In S <b> 301, the
In S <b> 302, the
In S303, an image of a specific subject such as a person is extracted from the image captured in S302. The subject to be extracted is preferably a subject who will be browsing the above-described mosaic image. As a technique for image extraction, for example, Patent Document 3 discloses a technique which is practically provided, such as a technique disclosed by comparing a specific subject with a background image, and any one of them is used. There is no problem. Note that the process of S303 may be omitted, and the captured image acquired in S302 may be used as a material image by the process described later.
Ｓ３０４では、前記情報伝達すべき画像を目標画像として、Ｓ３０３で抽出した特定の被写体の画像を素材画像（要素）とするモザイク画像を、分割数Ｄで生成する。分割数とは、目標画像を何個の素材画像で表現するかを表す変数である。Ｓ３０４では、初期値として予め記憶されている分割数となる。例えば、分割数が５００であれば、５００個の素材画像を用いてモザイク画像を生成し、分割数が２０００であれば２０００個の素材画像を用いてモザイク画像を生成する。 In S304, a mosaic image having the image to be transmitted as a target image and the image of the specific subject extracted in S303 as a material image (element) is generated with the division number D. The number of divisions is a variable indicating how many material images the target image is expressed. In S304, the division number is stored in advance as an initial value. For example, if the number of divisions is 500, a mosaic image is generated using 500 material images, and if the number of divisions is 2000, a mosaic image is generated using 2000 material images.
すなわち、分割数が小さいほどモザイク画像は粗く、目標画像が視認し難い。逆に分割数が大きいほどモザイク画像は高精細であり、目標画像が視認しやすいものとなる。また、本実施形態では、目標画像の大きさは分割数に関わらず一定としている。そのため、分割数が小さければ各素材画像の大きさは大きく、分割数が大きければ各素材画像の大きさは小さくなる。従って、分割数が小さいほど素材画像自体は大きくて視認しやすく、分割数が大きいほど素材画像自体の大きさが小さくて視認しにくいものとなる。 That is, the smaller the number of divisions, the coarser the mosaic image and the harder it is to visually recognize the target image. Conversely, the larger the number of divisions, the higher the resolution of the mosaic image, and the easier it is to visually recognize the target image. In the present embodiment, the size of the target image is constant regardless of the number of divisions. Therefore, if the number of divisions is small, the size of each material image is large, and if the number of divisions is large, the size of each material image is small. Therefore, the smaller the number of divisions, the larger the material image itself and the easier it is to visually recognize it. The larger the number of divisions, the smaller the material image itself and the more difficult it is to visually recognize.
本実施形態での分割数Ｄの初期値は、素材画像が十分に視認できる大きさとなるように定められた値であり、例えば３０〜１００程度である。なお、素材画像が十分に視認できる大きさとなるかどうかはディスプレイ２２の表示サイズ、及び閲覧者２７とディスプレイ２２との間の距離に応じて異なる。従って、異なる複数の初期値を記憶しておき、ディスプレイ２２の表示サイズと、閲覧者２７とディスプレイ２２の距離の少なくとも一方に応じて使い分けるようにすればより好適である。
The initial value of the division number D in the present embodiment is a value determined so that the material image can be sufficiently visually recognized, and is about 30 to 100, for example. Note that whether the material image is sufficiently large to be visually recognized depends on the display size of the display 22 and the distance between the
Ｓ３０５では、Ｓ３０４で生成したモザイク画像をディスプレイ２２に表示する。
Ｓ３０６では、Ｓ３０５でモザイク画像の表示を開始してから所定時間ｔ０（数秒程度）が経過したか否かを判定する。モザイク画像の表示を開始してから所定時間ｔ０が経過したと判定した場合はＳ３０７に進み、そうでない場合はｔ０が経過するのを待つ。
In S305, the mosaic image generated in S304 is displayed on the display 22.
In S306, it is determined whether or not a predetermined time t0 (about several seconds) has elapsed since the display of the mosaic image was started in S305. If it is determined that the predetermined time t0 has elapsed since the start of the display of the mosaic image, the process proceeds to S307, and otherwise it waits for t0 to elapse.
Ｓ３０６の判定は、モザイク画像を表示したことにより、閲覧者２７の関心をある程度引いた状態で、閲覧者２７の関心を引いたままモザイク画像を更新するのに好適であると想定されるタイミングを計る目的の判定である。本実施形態では所定時間ｔ０が経過したか否かを判定しているが、閲覧者２７の関心を引いたままモザイク画像を更新するのに好適であると想定されるタイミングの判定となれば他の条件でもよい。
The determination in S306 is a timing that is assumed to be suitable for updating the mosaic image while attracting the
例えば、カメラ部２１で撮像可能な所定の撮像エリア内の閲覧者２７の滞在時間が所定の時間に達した（所定の被写体が所定時間にわたり検知され続けた場合）という条件や、ディスプレイ２２への近接を検知したことを条件とすることが考えられる。他にも、カメラ部２１で撮像されている被写体（閲覧者と想定される被写体）の身振り・手振りなどの特定のジェスチャー、表情の変化、発声などを検知することを条件としてもよい。
For example, the condition that the stay time of the
Ｓ３０７では、モザイク画像の分割数Ｄを、所定倍率ｎ（ｎは１より大きい）を掛けて更新する。なお、分割数Ｄを増やす処理であれば、所定倍率ｎを掛ける以外の方法でもよい。
Ｓ３０８では、Ｓ３０７で更新した分割数Ｄによりモザイク画像を生成する。これにより、それまでのモザイク画像よりは高精細で、目標画像が視認しやすく、素材画像が視認し難いモザイク画像が生成される。
In step S307, the mosaic image division number D is updated by a predetermined magnification n (n is greater than 1). As long as the number of divisions D is increased, a method other than multiplication by a predetermined magnification n may be used.
In S308, a mosaic image is generated based on the division number D updated in S307. As a result, a mosaic image that is higher in definition than the previous mosaic image, easy to visually recognize the target image, and difficult to visually recognize the material image is generated.
Ｓ３０９では、Ｓ３０８で生成したモザイク画像をディスプレイ２２に表示する。
Ｓ３１０では、分割数Ｄが、予め定められた上限値Ｄmax以上となったか否かを判定する。Ｄmax以上となっていた場合はＳ３１２に進み、Ｄmaxに達していない場合はＳ３１１に進む。
Ｓ３１１では、モザイク画像の更新期間分の時間（数十msec程度）待機し、その後Ｓ３０７に進み、分割数Ｄを更に増やして処理を繰り返す。
In S309, the mosaic image generated in S308 is displayed on the display 22.
In S310, it is determined whether or not the division number D is equal to or greater than a predetermined upper limit value Dmax. If it is equal to or greater than Dmax, the process proceeds to S312 and if Dmax is not reached, the process proceeds to S311.
In S311, the process waits for a time period for updating the mosaic image (about several tens of msec), and then proceeds to S307 to further increase the division number D and repeat the processing.
このように、Ｓ３０７〜Ｓ３１１の処理を繰り返すことで、モザイク画像における素材画像（被写体の画像）がだんだんと小さくなっていき、だんだん目標画像（情報伝達すべき画像）が高精細に視認されるようなアニメーション表示となる。目標画像が十分高精細に視認できるようになったところで分割数Ｄが上限値Ｄmaxに達し、アニメーションは止まる（Ｓ３１０でＹｅｓ）。 As described above, by repeating the processing of S307 to S311, the material image (subject image) in the mosaic image becomes gradually smaller, and the target image (image to be transmitted information) is gradually viewed with high definition. The animation is displayed. When the target image can be viewed with sufficiently high definition, the number of divisions D reaches the upper limit value Dmax, and the animation stops (Yes in S310).
Ｓ３１２では、分割数Ｄが上限値Ｄmax以上となった状態、すなわち高精細なモザイク画像の表示を解除すべき所定の条件（解除条件）を満たすか否かを判定する。解除条件を満たしていない場合は高精細なモザイク画像の表示を継続し、解除条件が満たされた場合は、Ｓ３０２に進み、分割数を初期値に戻して処理を繰り返す。 In S312, it is determined whether or not a state where the division number D is equal to or greater than the upper limit value Dmax, that is, a predetermined condition (cancellation condition) for canceling the display of a high-definition mosaic image is satisfied. If the cancellation condition is not satisfied, the display of the high-definition mosaic image is continued. If the cancellation condition is satisfied, the process proceeds to S302, the number of divisions is returned to the initial value, and the process is repeated.
解除条件としては、例えば、分割数Ｄが上限値Ｄmax以上となった高精細なモザイク画像を表示した後、一定の時間が経過したことを解除条件にする。また、閲覧者と想定される被写体がカメラ部３１の撮像領域から外れたことや、閲覧者と想定される被写体の所定の身振り・手振りなどのジェスチャー、表情の変化、発声があったことなどを撮像画像等から検出したことを条件としてもよい。 As a cancellation condition, for example, the fact that a fixed time has elapsed after displaying a high-definition mosaic image in which the number of divisions D is equal to or greater than the upper limit value Dmax is set as the cancellation condition. In addition, a subject assumed to be a viewer has deviated from the imaging area of the camera unit 31, a gesture such as predetermined gestures / hand gestures of the subject assumed to be a viewer, a change in facial expression, a utterance, etc. It is good also as a condition that it detected from a picked-up image etc.
以上のように、本発明の第１の実施形態によれば、まず素材画像である閲覧者の画像がわかるように少ない分割数によりモザイク画像を構成する。そして、所定時間の経過など閲覧者の関心が推定される所定の条件を満たしたとき、分割数を大きくして広告等の目標画像を精細に表示する。即ち、まず閲覧者の画像を表示することで、閲覧者の興味・注目をひき、次いで広告等の目標画像を精細に表示することで、目標画像の情報を明確に伝達する。このことにより、閲覧者の興味・注目を引きながら、広告等の提示したい情報を伝達する効果を奏し、たとえば広告に利用した場合に広告効果を大きくすることができる。 As described above, according to the first embodiment of the present invention, a mosaic image is first configured with a small number of divisions so that a viewer's image as a material image can be seen. When a predetermined condition for estimating the viewer's interest, such as the passage of a predetermined time, is satisfied, the number of divisions is increased and a target image such as an advertisement is displayed finely. That is, by first displaying the viewer's image, the viewer's interest and attention are drawn, and then the target image such as an advertisement is displayed finely, thereby clearly transmitting the target image information. As a result, the effect of transmitting information desired to be presented, such as an advertisement, can be obtained while attracting the viewer's interest and attention. For example, when used for an advertisement, the advertisement effect can be increased.
（第２の実施形態）
本発明の第２の実施形態の表示制御装置は、前述した第１の実施形態とは目的を同じとするが、構成を逆にした例で、素材画像が「カメラ画像」であり、目標画像が「被写体画像」である。本実施形態の画像処理装置の構成は、第１の実施形態で示した図１と同様の構成で実現可能であるため、装置構成の説明は省略する。
(Second Embodiment)
The display control apparatus of the second embodiment of the present invention has the same purpose as that of the first embodiment described above, but is an example in which the configuration is reversed, and the material image is a “camera image”, and the target image Is the “subject image”. Since the configuration of the image processing apparatus of the present embodiment can be realized by the same configuration as that of FIG. 1 shown in the first embodiment, the description of the apparatus configuration is omitted.
図４は、本発明の第２の実施形態による表示制御装置１０における判断処理の流れを示すフローチャートである。図４の処理は、記憶媒体１４に記録されたプログラムをＣＰＵ１５がワークメモリ１６に展開して実行することで実現する。
Ｓ４０１では、ＣＰＵ１５は、記憶媒体１４より情報伝達すべき画像を読み出す。
Ｓ４０２では、カメラ部１１を制御してカメラ部１１に撮像を行わせ、ＣＰＵ１５は撮像された撮像画像を取得する。
FIG. 4 is a flowchart showing the flow of determination processing in the
In S <b> 401, the
In S402, the
Ｓ４０３では、前述した情報伝達すべき画像を素材画像とし、カメラ部１１で撮像された画像を目標画像とするモザイク画像を分割数Ｄで生成する。分割数とは、目標画像を何個の素材画像で表現するかを表す変数である。Ｓ４０３では、初期値として予め記憶されている分割数となる。
In S403, a mosaic image is generated with the number of divisions D using the above-described image to be transmitted as a material image and using the image captured by the
第２の実施形態での分割数Ｄの初期値は、目標画像が十分に視認できる大きさとなるように定められた値であり、例えば１，０００以上である。なお、目標画像が十分に視認できる大きさとなるかどうかはディスプレイ１２の表示サイズ、及び閲覧者とディスプレイ１２の間の距離に応じて異なる。従って、異なる複数の初期値を記憶しておき、ディスプレイ１２の表示サイズと、閲覧者とディスプレイ１２の距離の少なくとも一方に応じて使い分けるようにすればより好適である。
The initial value of the division number D in the second embodiment is a value determined so that the target image can be sufficiently visually recognized, and is 1,000 or more, for example. Note that whether or not the target image is sufficiently large to be visible depends on the display size of the
Ｓ４０４では、Ｓ４０３で生成したモザイク画像をディスプレイ１２に表示する。
Ｓ４０５では、Ｓ４０４でモザイク画像の表示を開始してから所定時間ｔ０（数秒程度）が経過したか否かを判定する。モザイク画像の表示を開始してから所定時間ｔ０が経過したと判定した場合はＳ４０６に進み、そうでない場合は所定時間ｔ０が経過するのを待機する。
In S404, the mosaic image generated in S403 is displayed on the
In S405, it is determined whether or not a predetermined time t0 (about several seconds) has elapsed since the display of the mosaic image was started in S404. If it is determined that the predetermined time t0 has elapsed since the start of the display of the mosaic image, the process proceeds to S406. Otherwise, the process waits for the predetermined time t0 to elapse.
Ｓ４０５の判定は、モザイク画像を表示したことにより、閲覧者の関心をある程度引いた状態で、閲覧者の関心を引いたままモザイク画像を更新するのに好適であると想定されるタイミングを計る目的の判定である。本実施形態では所定時間ｔ０が経過したか否かを判定しているが、閲覧者の関心を引いたままモザイク画像を更新するのに好適であると想定されるタイミングの判定であれば他の条件でもよい。 The purpose of the determination in S405 is to measure the timing assumed to be suitable for updating the mosaic image while attracting the viewer's interest while displaying the viewer's interest to some extent by displaying the mosaic image. It is a judgment of. In this embodiment, it is determined whether or not the predetermined time t0 has elapsed. However, other timings may be used as long as the timing is assumed to be suitable for updating the mosaic image while attracting the viewer's interest. Condition may be sufficient.
例えば、カメラ部１１で撮影可能な所定のエリア内の閲覧者の滞在時間が所定の時間に達したという条件や、ディスプレイ１２への近接を検知したことを条件とすることが考えられる。他にも、カメラ部１１で撮像されている被写体（閲覧者と想定される被写体）の身振り・手振りなどのジェスチャー、表情の変化、発声などを検知することを条件としてもよい。
For example, it is conceivable that the condition is that the visitor's stay time in a predetermined area where the
Ｓ４０６では、モザイク画像の分割数Ｄを、所定倍率（１／ｎ）を掛けて更新する（ｎは１より大きい）。なお、分割数Ｄを減らす処理であれば、所定倍率（１／ｎ）を掛ける以外の方法でもよい。
Ｓ４０７では、Ｓ４０６で更新した分割数Ｄによりモザイク画像を生成する。これにより、それまでのモザイク画像よりは粗い、素材画像が視認しやすく、目標画像が視認し難いモザイク画像が生成される。
In S406, the mosaic image division number D is updated by multiplying by a predetermined magnification (1 / n) (n is larger than 1). As long as the number of divisions D is reduced, a method other than multiplication by a predetermined magnification (1 / n) may be used.
In S407, a mosaic image is generated based on the division number D updated in S406. As a result, a mosaic image that is coarser than the previous mosaic image, easily visible in the material image, and difficult to visually recognize the target image is generated.
Ｓ４０８では、Ｓ４０７で生成したモザイク画像を表示する。
Ｓ４０９では、分割数Ｄが、予め定められた最少分割数Ｄｍｉｎ以下となったか否かを判定する。最少分割数Ｄｍｉｎとなっていた場合はＳ４１１に進み、最少分割数Ｄｍｉｎ以下でない場合はＳ４１０に進む。
Ｓ４１０では、モザイク画像の更新期間分の時間（数十msec程度）待機し、その後Ｓ４０６に進み、分割数Ｄを更に減らして処理を繰り返す。
In S408, the mosaic image generated in S407 is displayed.
In S409, it is determined whether or not the division number D is equal to or less than a predetermined minimum division number Dmin. If it is the minimum division number Dmin, the process proceeds to S411, and if it is not less than the minimum division number Dmin, the process proceeds to S410.
In S410, the process waits for the time period for updating the mosaic image (about several tens of milliseconds), and then proceeds to S406 to further reduce the division number D and repeat the process.
このようにＳ４０６〜Ｓ４１０の処理を繰り返すことで、モザイク画像における素材画像（情報伝達すべき画像）がだんだんと大きくなっていき、だんだん目標画像（情報伝達すべき画像）が高精細に視認されるようなアニメーション表示となる。素材画像が十分高精細に視認できるようになったところで最少分割数Ｄｍｉｎに達し、アニメーションは止まる（Ｓ４０９でＹｅｓ）。 By repeating the processes of S406 to S410 in this way, the material image (image to be transmitted information) in the mosaic image is gradually increased, and the target image (image to be transmitted information) is gradually recognized with high definition. The animation is displayed as follows. When the material image can be viewed with sufficiently high definition, the minimum division number Dmin is reached, and the animation stops (Yes in S409).
Ｓ４１１では、分割数Ｄが最少分割数Ｄｍｉｎ以下となった状態、すなわちモザイク画像の表示を解除すべき所定の条件（解除条件）を満たすか否かを判定する。解除条件を満たしていない場合はモザイク画像の表示を継続し、解除条件が満たされた場合は、Ｓ４０２に進み、分割数を初期値に戻して処理を繰り返す。 In S411, it is determined whether the division number D is equal to or smaller than the minimum division number Dmin, that is, whether a predetermined condition (cancellation condition) for canceling the display of the mosaic image is satisfied. If the cancellation condition is not satisfied, the display of the mosaic image is continued. If the cancellation condition is satisfied, the process proceeds to S402, the number of divisions is returned to the initial value, and the process is repeated.
解除条件としては、例えば、分割数Ｄが最少分割数Ｄｍｉｎ以下となったモザイク画像を表示した後、一定の時間が経過したことを解除条件とすることができる。また、他にも撮像中に、閲覧者がカメラ部１１の撮像領域から外れたことや、閲覧者の所定の身振り・手振りなどのジェスチャー、表情の変化、発声があったこと、などを条件とすることができる。
As a cancellation condition, for example, after a mosaic image whose division number D is equal to or less than the minimum division number Dmin is displayed, a certain period of time has elapsed. In addition, other conditions such as that the viewer is out of the imaging area of the
図５は、本発明の第２の実施形態による表示制御装置１０の使用状態を示す外観図である。
図５におけるカメラ部５１、ディスプレイ５２は、それぞれ図１のカメラ部１１、ディスプレイ１２に相当する。また、ＰＣ５３は図１のＩ／Ｆ１３、記憶媒体１４、ＣＰＵ１５、ワークメモリ１６を備えたパーソナルコンピュータである。図示のように、カメラ部５１は、視聴者がディスプレイ５２を視認可能な範囲を撮像する。
FIG. 5 is an external view showing a usage state of the
The camera unit 51 and the display 52 in FIG. 5 correspond to the
図５（ａ）において、ＰＣ５３は、カメラ部５１が撮像した画像を目標画像とし、カメラ広告の画像を素材画像とするモザイク画像５６ａをディスプレイ５２に表示した例である。目標画像は撮像した画像から抽出された、モザイク画像を閲覧しているであろう被写体などの特定の被写体の画像であるとなおよい。モザイク画像５６ａは比較的大きな（細かい）分割数で生成されている。図５（ａ）は図面の都合上、モザイク画像５６ａを目標画像の線図で図示しているが、実際には小さな素材画像５５（カメラ画像）で構成されており、十分に近寄ってみれば、線図ではなく素材画像５５の集合であることが視認できるものとする。
In FIG. 5A, the
図５（ａ）のような表示を行うと、閲覧者５７がディスプレイ５２に自分の顔が大きく写っていることから、ディスプレイ５２に対する閲覧者５７の注目・関心をひきやすい。モザイク画像５６ａを表示して一定の時間が経過するなど、閲覧者５７の関心をある程度引きつけられたと推定される所定の条件を充足すると、図５（ｂ）に推移する。
When the display as shown in FIG. 5A is performed, the
図５（ｂ）では、図５（ａ）よりも分割数を小さく、すなわち、素材画像５５のそれぞれを大きくし、閲覧者５７が一つ一つの素材画像を視認するのに十分な程度の小さな（粗い）分割数としたモザイク画像５６ｂ（第２のモザイク画像）が表示されている。
In FIG. 5B, the number of divisions is smaller than that in FIG. 5A, that is, each
以上のように、本発明の第２の実施形態によれば、まず目標画像である閲覧者５７の画像が分かるように大きい（細かい）分割数によりモザイク画像５６ａを構成する。そして、所定時間の経過などして閲覧者５７の関心が推定される所定の条件を満たしたとき、分割数を小さくして、広告等の素材画像が明確に視認できるように表示する。
As described above, according to the second embodiment of the present invention, the mosaic image 56a is first configured with a large (fine) division number so that the image of the
即ち、まず閲覧者５７を表していることが識別容易なモザイク画像５６ａを表示することで、閲覧者５７の興味・注目をひく。次いで、そのモザイク画像が広告等の素材画像の集合で出来ていることが閲覧者５７に分かるようなモザイク画像５６ｂを表示することで、素材画像の情報を伝達する。このことにより、閲覧者５７の興味・注目を引きながら、広告等の提示したい情報を閲覧者５７に伝達する効果を奏し、たとえば広告に利用した場合に広告効果を得ることができる。
That is, first, the mosaic image 56a that easily identifies the
なお、ＣＰＵ１５の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、前述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
The control of the
Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above only shows one embodiment of this invention, and it is also possible to combine each embodiment suitably.
前述の各実施形態では、電子看板にモザイク画像を利用して、宣伝したい画像をより効果的に注目させるための利用方法を説明したが、閲覧者に対してより確実に閲覧させるべき画像をモザイク画像を利用して表示するものであれば他の場面で適用してもよい。また、装置としても前述のようなシステム構成に限られるものではなく、撮像装置で撮像した画像をディスプレイに表示できるものであれば他の装置でも適用可能である。 In each of the above-described embodiments, a method of using a mosaic image for an electronic signboard to make the image to be advertised more effective has been described. However, an image that should be viewed more reliably by the viewer is mosaicked. It may be applied in other scenes as long as it is displayed using an image. Further, the apparatus is not limited to the system configuration as described above, and can be applied to other apparatuses as long as the image captured by the imaging apparatus can be displayed on the display.
例えば、カメラ付きパーソナルコンピュータやカメラ付きＰＤＡ、カメラ付き携帯電話端末やカメラ付きデジタルフォトフレーム、カメラ付き音楽プレーヤー、カメラ付きゲーム機、カメラ付き電子ブックリーダー、カメラ付き自動販売機などに適用可能である。 For example, it can be applied to personal computers with cameras, PDAs with cameras, mobile phones with cameras, digital photo frames with cameras, music players with cameras, game machines with cameras, electronic book readers with cameras, vending machines with cameras, etc. .
また、ユーザを撮像するカメラ付きのパーソナルコンピュータにおいて、撮像したユーザの画像を第１の実施形態における素材画像、または第２の実施形態における目標画像とし、パーソナルコンピュータのモニタ上で前述の各実施形態のような表示を行ってもよい。この時、情報伝達すべき画像としては、インターネットを介して取得された広告画像の他、ユーザが設定したお気に入りの画像、備忘録としての画像、各種警告をするための画像などが想定できる。 Further, in the personal computer with a camera that captures the user, the captured user image is used as the material image in the first embodiment or the target image in the second embodiment, and each of the above-described embodiments on the monitor of the personal computer. Such a display may be performed. At this time, as an image to be transmitted, an advertisement image acquired via the Internet, a favorite image set by the user, an image as a memorandum, an image for various warnings, and the like can be assumed.
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (computer program) that implements the functions of the above-described embodiments is supplied to a system or apparatus via a network or various computer-readable storage media. This is a process in which a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes a program stored in a storage medium.
１０ 表示制御装置、１１カメラ部、１２ ディスプレイ、１３ 外部Ｉ／Ｆ、１４ 記憶媒体、１５ ＣＰＵ、１６ ワークメモリ
DESCRIPTION OF
Claims (13)
前記取得手段で取得した撮像画像から、前記表示手段の視聴者の画像を抽出する画像抽出手段と、
前記抽出手段で抽出した前記視聴者の画像を素材画像としてモザイク画像を生成する画像処理手段と、
前記画像処理手段によって、前記視聴者が視認可能な大きさの素材画像を用いて生成された第１のモザイク画像を前記表示手段に表示した後、前記撮像手段により撮像された撮像画像が特定の条件を満たすと、前記第１のモザイク画像よりも分割数を大きく、かつ前記素材画像のサイズを小さくして前記画像処理手段で生成した第２のモザイク画像を前記表示手段に表示するように制御する表示制御手段とを有することを特徴とする表示制御装置。 Obtaining means for obtaining a captured image in a range in which the viewer can visually recognize the display means, which is imaged by the imaging means;
An image extracting means for extracting a viewer image of the display means from the captured image obtained by the obtaining means;
Image processing means for generating a mosaic image using the viewer image extracted by the extraction means as a material image;
By the image processing unit, after the first mosaic image generated using an elemental image of the viewer viewable size displayed on the display means, the captured image is a specific imaged by the imaging means When the condition is satisfied, control is performed such that the second mosaic image generated by the image processing unit is displayed on the display unit with the number of divisions larger than that of the first mosaic image and the size of the material image being reduced. And a display control means.
前記取得手段によって取得した前記撮像画像に基づく画像を目標画像として、複数の素材画像よりなるモザイク画像を生成する画像処理手段と、
前記画像処理手段で生成した第１のモザイク画像を表示手段に表示した後、前記撮像手段により撮像された撮像画像が特定の条件を満たすと、前記第１のモザイク画像よりも分割数を小さく、かつ前記素材画像のサイズを大きくして前記画像処理手段で生成された第２のモザイク画像を前記表示手段に表示するように制御する表示制御手段とを有することを特徴とする表示制御装置。 Acquisition means for acquiring a captured image captured by the imaging means;
Image processing means for generating a mosaic image composed of a plurality of material images, using an image based on the captured image acquired by the acquisition means as a target image;
After the first mosaic image generated by the image processing unit is displayed on the display unit, if the captured image captured by the imaging unit satisfies a specific condition, the number of divisions is smaller than the first mosaic image, And a display control unit for controlling the display unit to display the second mosaic image generated by the image processing unit with the size of the material image being increased.
前記取得ステップで取得した撮像画像から、前記表示手段の視聴者の画像を抽出する画像抽出ステップと、
前記抽出ステップで抽出した前記視聴者の画像を素材画像としてモザイク画像を生成する画像処理ステップと、
前記画像処理ステップによって、前記視聴者が視認可能な大きさの素材画像を用いて生成された第１のモザイク画像を前記表示手段に表示した後、前記撮像手段により撮像された撮像画像が特定の条件を満たすと、前記第１のモザイク画像よりも分割数を大きく、かつ前記素材画像のサイズを小さくして前記画像処理ステップで生成した第２のモザイク画像を前記表示手段に表示するように制御する表示制御ステップとを有することを特徴とする表示制御装置の制御方法。 An acquisition step of acquiring a captured image in a range in which the viewer can visually recognize the display unit, which is captured by the imaging unit ;
An image extraction step of extracting a viewer image of the display means from the captured image acquired in the acquisition step;
An image processing step of generating a mosaic image using the viewer image extracted in the extraction step as a material image;
By the image processing step, after the first mosaic image generated using an elemental image of the viewer viewable size displayed on the display means, the captured image is a specific imaged by the imaging means When the condition is satisfied, control is performed such that the second mosaic image generated in the image processing step is displayed on the display unit with the number of divisions larger than that of the first mosaic image and the size of the material image being reduced. A display control step for controlling the display control apparatus.
前記取得ステップによって取得した前記撮像画像に基づく画像を目標画像として、複数の素材画像よりなるモザイク画像を生成する画像処理ステップと、
前記画像処理ステップで生成した第１のモザイク画像を表示手段に表示した後、前記撮像手段により撮像された撮像画像が特定の条件を満たすと、前記第１のモザイク画像よりも分割数を小さく、かつ前記素材画像のサイズを大きくして前記画像処理ステップで生成された第２のモザイク画像を前記表示手段に表示するように制御する表示制御ステップとを有することを特徴とする表示制御装置の制御方法。 An acquisition step of acquiring a captured image captured by the imaging means;
An image processing step for generating a mosaic image composed of a plurality of material images, using an image based on the captured image acquired by the acquisition step as a target image;
After displaying the first mosaic image generated in the image processing step on the display unit, when the captured image captured by the imaging unit satisfies a specific condition, the number of divisions is smaller than the first mosaic image, And a display control step for controlling the display unit to display the second mosaic image generated in the image processing step with the size of the material image being increased. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011154033A JP5932253B2 (en) | 2011-07-12 | 2011-07-12 | Display control device, display control device control method, program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011154033A JP5932253B2 (en) | 2011-07-12 | 2011-07-12 | Display control device, display control device control method, program, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013020136A JP2013020136A (en) | 2013-01-31 |
| JP5932253B2 true JP5932253B2 (en) | 2016-06-08 |
Family
ID=47691612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011154033A Expired - Fee Related JP5932253B2 (en) | 2011-07-12 | 2011-07-12 | Display control device, display control device control method, program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5932253B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2511129A (en) * | 2013-02-26 | 2014-08-27 | Nomadix Media Ltd | A system for displaying media content |
| US9836760B2 (en) * | 2014-01-31 | 2017-12-05 | Apple Inc. | Representative user journeys for content sessions |
| JP6311040B2 (en) * | 2017-02-02 | 2018-04-11 | 東芝テック株式会社 | Product sales data processing apparatus and product sales data processing system |
| CN109036213A (en) * | 2018-05-21 | 2018-12-18 | 南通全息智能科技有限公司 | Holographic advertisement machine |
| JP6969654B1 (en) * | 2020-11-10 | 2021-11-24 | 三菱電機株式会社 | Guidance system and elevator system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004287004A (en) * | 2003-03-20 | 2004-10-14 | Matsushita Electric Ind Co Ltd | Display system |
| JP2005184206A (en) * | 2003-12-17 | 2005-07-07 | Canon Inc | Image processing apparatus, control method of image processing apparatus, and storage medium |
| EP2360663B1 (en) * | 2008-12-16 | 2016-04-20 | Panasonic Intellectual Property Corporation of America | Information display device and information display method |
| JP2011078077A (en) * | 2009-09-03 | 2011-04-14 | Sony Corp | Image processing apparatus, method, and program |
-
2011
- 2011-07-12 JP JP2011154033A patent/JP5932253B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013020136A (en) | 2013-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108780389B (en) | Image retrieval for computing devices | |
| US10539806B2 (en) | Enhanced transparent display screen for mobile device and methods of operation | |
| JP5932253B2 (en) | Display control device, display control device control method, program, and storage medium | |
| JP2016126773A (en) | Systems and methods for generating haptic effects based on eye tracking | |
| US20100079491A1 (en) | Image compositing apparatus and method of controlling same | |
| TWI779343B (en) | Method of a state recognition, apparatus thereof, electronic device and computer readable storage medium | |
| US20140148219A1 (en) | Emotional illumination, and related arrangements | |
| JP5110098B2 (en) | Display processing apparatus and program | |
| US20140223474A1 (en) | Interactive media systems | |
| EP3043343A1 (en) | Information processing device, information processing method, and program | |
| JP2006236013A (en) | Environmental information exhibition device, environmental information exhibition method and program for the method | |
| US9137461B2 (en) | Real-time camera view through drawn region for image capture | |
| JP5523086B2 (en) | Information presenting apparatus, information presenting method, and program | |
| JP5489197B2 (en) | Electronic advertisement apparatus / method and program | |
| US9292947B2 (en) | Image processing apparatus and an image processing method for generating mosaic image(s) | |
| JP5510366B2 (en) | Image display control device and program | |
| US10580188B2 (en) | Method of creating animated image based on key input, and user terminal for performing the method | |
| JP2011090386A (en) | Information display device | |
| JP6717046B2 (en) | Interest level evaluation device, method and program | |
| KR20140127131A (en) | Method for displaying image and an electronic device thereof | |
| WO2019095811A1 (en) | Interface display method and apparatus | |
| JP3770374B2 (en) | Image display device | |
| JP2014110469A (en) | Electronic device, image processing method, and program | |
| WO2022172259A1 (en) | Program, method, information processing device, and system | |
| JP2012249211A (en) | Image file generating device, image file generating program and image file generating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160428 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5932253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |