JP6894322B2 - Information provision system and information provision program - Google Patents
Information provision system and information provision program Download PDFInfo
- Publication number
- JP6894322B2 JP6894322B2 JP2017170149A JP2017170149A JP6894322B2 JP 6894322 B2 JP6894322 B2 JP 6894322B2 JP 2017170149 A JP2017170149 A JP 2017170149A JP 2017170149 A JP2017170149 A JP 2017170149A JP 6894322 B2 JP6894322 B2 JP 6894322B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- information
- painting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報提供システム等に関する。 The present invention relates to an information providing system and the like.
人の目には見えない不可視コードを用いて情報を提供する技術が提案されている。
例えば、特許文献１では、ヘッドマウントディスプレイを用いて情報提示する技術が開示されている。当該文献におけるヘッドマウントディスプレイは、ユーザが外界の様子を見るための光学経路上にハーフミラーを有し、更にこのハーフミラーで反射した外界の様子を撮影することができる受光装置（撮像素子）を搭載している。ユーザがこのヘッドマウントディスプレイを装着して不可視コードが埋め込まれた提示物を見ると、撮像素子で撮影した当該不可視コードに対応した画像等がサーバシステムから読み出されて、ヘッドマウントディスプレイが搭載する画像表示装置でハーフミラーに投影される。
A technique for providing information using an invisible code that is invisible to the human eye has been proposed.
For example,
特許文献１によれば、ヘッドマウントディスプレイを装着しているユーザの目には、本来そこには存在しない画像が提示物の像に重なって見えるようになる。情報提供の有意性とは別に、現実世界における肉眼では見えないものが画面越しでは見えるといった体験は、大人であってもとても印象深いものである。ましてや、子供では一層印象深く感じるであろうことは想像に難くなく、そのインパクトは子供の知育においても利用する価値が高いと考えられる。
According to
本発明は、より興趣性の高い情報提供システムおよびそのプログラムを提供することを目的とする。 An object of the present invention is to provide a more interesting information providing system and a program thereof.
本発明の情報提供システムは、情報が記載された情報部（例えば、図１の絵画部９１４）と、撮影部（例えば、図２のカメラモジュール９５５）、表示部（例えば、図２のタッチパネル９４２）、記憶部（例えば、図２のＩＣメモリ９５２、ＳｏＣ９５１に内蔵される半導体メモリ）および制御部（例えば、図２の制御基板９５０、ＳｏＣ９５１）を備えた携帯型電子機器（例えば、図１のルーペ型ハンディ機器９３０）とを具備した情報提供システムであって、前記情報部には、前記情報部を前記撮影部で認識した場合に、前記認識した画像に基づいて前記情報部中の被撮影位置を識別可能に構成された画像が描かれており、前記記憶部は、前記情報部の部分画像を前記表示部に表示するための画像データ（例えば、図１０の絵画画像データ５２２）を記憶し、前記制御部は、前記撮影部によって認識した前記画像に基づいて前記情報部中の被撮影位置を識別し、前記被撮影位置に応じた前記情報部中の部分画像を前記画像データに基づいて前記表示部に表示制御させ（例えば、図１２のステップＳ１０）、前記被撮影位置が所定の特別画像を表示するための位置条件を満たした場合に、前記表示部に表示する前記部分画像上に当該特別画像（例えば、図５の特別画像の第１の画像要素Ｗ４１）を表示させる（例えば、図１２のステップＳ３０〜Ｓ３４）。また、本発明の情報提供システムは、情報部と、撮影部、表示部、記憶部および制御部を備えた携帯型電子機器とを具備した情報提供システムであって、前記情報部には、コンテンツ画像と、前記情報部を前記撮影部で撮影した場合に、前記情報部中の被撮影位置を識別可能に構成されたコード画像と、が描かれており、前記記憶部は、少なくとも前記情報部に描かれたコンテンツ画像の部分画像を前記表示部に表示するための画像データを記憶し、前記制御部は、前記撮影部によって撮影したコード画像に基づいて前記情報部中の被撮影位置を識別し、前記被撮影位置に応じた前記情報部中の前記部分画像を前記部分画像データに基づいて前記表示部に表示制御させ、前記部分画像は、前記部分画像の輪郭が、前記撮影部で撮影される被撮影範囲の画像の輪郭と一致し、特別画像を表示するための表示条件を満たした場合に、前記表示部に前記特別画像を表示させる。
The information providing system of the present invention includes an information unit (for example, the
また、本発明の情報提供システムにおいて、前記制御部が、前記被撮影位置が所定の特別画像を表示するための位置条件を満たした場合に、前記表示部に表示する前記部分画像上に当該特別画像（例えば、図５の特別画像の第１の画像要素Ｗ４１）を表示させる（例えば、図１２のステップＳ３０〜Ｓ３４）ことが好ましい。 Further, in the information providing system of the present invention, when the control unit satisfies the position condition for displaying a predetermined special image, the special image is displayed on the partial image displayed on the display unit. It is preferable to display an image (for example, the first image element W41 of the special image of FIG. 5) (for example, steps S30 to S34 of FIG. 12).
また、本発明の情報提供システムにおいて、前記部分画像は、前記部分画像の輪郭が、被撮影範囲の画像の輪郭と一致し、前記部分画像と前記被撮影範囲の画像とは異なってもよい。また、本発明の情報提供システムにおいて、前記携帯型電子機器が、計時部（例えば、図２の時計部９５３）を更に備え、前記制御部は、前記計時部による計時情報に基づいて前記特別画像を可変に制御する（例えば、図１２のステップＳ３２）ことが好ましい。
Further, in the information providing system of the present invention, in the partial image, the contour of the partial image matches the contour of the image in the imaged range, and the partial image and the image in the imaged range may be different. Further, in the information providing system of the present invention, the portable electronic device further includes a time measuring unit (for example, the
また、本発明の情報提供システムにおいて、前記制御部が、前記表示部に表示した前記特別画像の履歴（例えば、図９の特別画像表示履歴データ５６０）を前記記憶部に記憶させ、当該履歴に基づいて、過去に表示した前記特別画像を前記表示部に表示させる記録表示制御部（例えば、図８の記録表示制御部２２２、図１２のステップＳ５０〜Ｓ５６）を有することが好ましい。
Further, in the information providing system of the present invention, the control unit stores the history of the special image displayed on the display unit (for example, the special image
また、本発明の情報提供システムにおいて、前記情報部は、前記近接撮影で撮影した撮影画像が、被撮影位置に応じて異なる画像で構成されてなることが好ましい。 Further, in the information providing system of the present invention, it is preferable that the information unit is composed of images taken by the close-up photography, which are different depending on the position to be photographed.
また、本発明の情報提供システムにおいて、前記情報部は、肉眼で判別不可能なコード画像（例えば、図３のコード画像２０）が所定の配置規則で埋め込まれた画像で構成されてなることが好ましい。また、本発明の情報提供システムにおいて、前記情報部は、前記コード画像が所定の配置規則で埋め込まれ、コード画像の配置関係から被撮影位置を割り出すものであってもよい。
Further, in the information providing system of the present invention, the information unit may be composed of an image in which a code image (for example, the
また、本発明の情報提供システムにおいて、前記携帯型電子機器が、覗き窓部を備えたルーペ形状を有し、前記表示部が、前記覗き窓部に設けられることが好ましい。 Further, in the information providing system of the present invention, it is preferable that the portable electronic device has a loupe shape provided with a viewing window portion, and the display portion is provided in the viewing window portion.
また、本発明は、撮影部、及び表示部を備えたコンピュータを、情報部に記載された情報を前記撮影部で認識した場合に、前記撮影部で認識した画像に基づいて、前記情報中の被撮影位置を識別する被撮影位置識別手段（例えば、図８の制御部２００、被撮影位置識別部２０６、図１２のステップＳ８）、前記被撮影位置識別手段により識別された被撮影位置基づいて、前記コンピュータに記憶された前記情報部中の部分画像データを前記表示部に表示制御させる部分画像表示制御手段（例えば、図８の制御部２００、部分画像表示制御部２０８、図１２のステップＳ１０）、前記被撮影位置の位置条件を判別する被撮影位置条件識別手段、前記位置条件が所定の特別画像を表示するための位置条件を満たした場合に、前記表示部に表示される前記部分画像上に当該特別画像を表示制御する特別画像表示制御手段、として機能させる情報提供プログラム（例えば、図９のハンディ機器制御プログラム５０２）である。また、本発明は、撮影部、及び表示部を備えたコンピュータを、コンテンツ画像とコード画像とを備えた情報部を前記撮影部で撮影した場合に、前記撮影部で撮影したコード画像に基づいて、前記情報部中の被撮影位置を識別する被撮影位置識別手段、前記被撮影位置識別手段により識別された被撮影位置に基づいて、前記コンピュータに記憶された部分画像データに基づいて少なくとも前記情報部中に描かれたコンテンツ画像の部分画像を前記表示部に表示制御させる部分画像表示制御手段、特別画像を表示するための表示条件を満たした場合に、前記特別画像を表示制御する特別画像表示制御手段、として機能させ、前記コンピュータに記憶された少なくとも前記情報部中に描かれたコンテンツ画像の部分画像の輪郭が、前記撮影部で撮影される被撮影範囲の画像の輪郭と一致する情報提供プログラムである。
Further, in the present invention, when the photographing unit and the computer provided with the display unit recognize the information described in the information unit by the photographing unit, the information in the information is based on the image recognized by the photographing unit. Based on the imaged position identifying means for identifying the imaged position (for example, the
また、本発明の情報提供プログラムにおいて、前記コンピュータを、前記被撮影位置の位置条件を判別する被撮影位置条件識別手段、前記位置条件が所定の特別画像を表示するための位置条件を満たした場合に、前記表示部に表示される前記部分画像上に当該特別画像を表示制御する特別画像表示制御手段、として機能させることが好ましい。 Further, in the information providing program of the present invention, when the computer satisfies the position condition identification means for determining the position condition of the imaged position, and the position condition for displaying a predetermined special image. It is preferable to function as a special image display control means for displaying and controlling the special image on the partial image displayed on the display unit.
また、本発明の情報提供プログラムにおいて、前記部分画像は、前記部分画像の輪郭が、被撮影範囲の画像の輪郭と一致し、前記部分画像と前記被撮影範囲の画像とは異なってもよい。また、本発明の情報提供プログラムにおいて、前記コンピュータは、更に計時部を備え、前記コンピュータを、前記計時部による計時情報に基づいて前記特別画像を可変に表示制御する計時情報対応画像選択手段として機能させることが好ましい。
Further, in the information providing program of the present invention, in the partial image, the contour of the partial image matches the contour of the image in the imaged range, and the partial image and the image in the imaged range may be different. Further, in the information providing program of the present invention, the computer further includes a timekeeping unit, and the computer functions as a timekeeping information compatible image selection means for variably displaying and controlling the special image based on the timekeeping information by the timekeeping unit. It is preferable to let it.
また、本発明の情報提供プログラムにおいて、前記コンピュータを、前記表示部に表示した前記特別画像の履歴を前記記憶部に記憶させる特別画像表示履歴記憶手段、前記履歴に基づいて、過去に表示した前記特別画像を前記表示部に表示制御する記録表示制御手段、として機能させることが好ましい。 Further, in the information providing program of the present invention, the special image display history storage means for storing the history of the special image displayed on the display unit in the storage unit, the computer displayed in the past based on the history. It is preferable to make the special image function as a recording display control means for controlling the display on the display unit.
また、本発明の情報提供プログラムは、前記被撮影位置識別手段において、前記被撮影位置は、前記絵画画像中の画像のパタンマッチングにより識別されることが好ましい。 Further, in the information providing program of the present invention, it is preferable that the imaged position is identified by pattern matching of the images in the painting image in the photographed position identifying means.
また、本発明の情報提供プログラムは、前記被撮影位置識別手段において、前記被撮影位置は、前記絵画画像中の肉眼で判別不可能なコード画像により識別されることが好ましい。また、本発明の情報提供プログラムは、前記被撮影位置識別手段において、前記被撮影位置は、前記撮影部で認識した画像中の前記コード画像の配置関係により識別されるものであってもよい。 Further, in the information providing program of the present invention, it is preferable that the imaged position is identified by a code image in the painting image which cannot be discriminated by the naked eye in the photographed position identifying means. Further, in the information providing program of the present invention, in the photographed position identifying means, the photographed position may be identified by the arrangement relationship of the code image in the image recognized by the photographing unit.
以下、本発明を適用した実施形態の一例を説明するが、本発明を適用可能な実施形態は以下の例に限られるものではない。
図１は、本実施形態における子供向けの玩具システム９００の構成例を示す図である。本実施形態の玩具システム９００は、本体部９１０と、ルーペ型ハンディ機器９３０とを有する。
Hereinafter, an example of an embodiment to which the present invention is applied will be described, but the embodiment to which the present invention can be applied is not limited to the following example.
FIG. 1 is a diagram showing a configuration example of a
本体部９１０は、絵画部９１４を備えた複数のページ９１２を有する冊子体である。本実施形態では、バインダフレーム９１６にリング９１８で複数のページ９１２を着脱自在に綴じた所謂「リングファイル」としたが、のり付けや紐綴じされたノートや書籍型としてもよい。
なお、ページ９１２の数は適宜設定可能であり、１つのページ９１２は折りたたみ式でもよい。また、図示の例では、１つのページ９１２に１つの絵画部９１４を設けた構成としているが、１つのページ９１２に複数の絵画部９１４を設ける構成や、複数のページ９１２で１つの絵画部９１４を構成するいわゆる“見開き”構成も可能である。絵画部９１４は、各ページ９１２に印刷された構成でもよいし、シール紙として各ページ９１２に貼付された構成でもよい。
The
The number of
ルーペ型ハンディ機器９３０は、ルーペを模した外観を有したコンピュータに相当する電子機器であって、ルーペのようにしてユーザが把持して絵画部９１４を覗き込むようにして使用する。
The loupe-type
図２は、本実施形態におけるルーペ型ハンディ機器９３０の構成例を示す図であって、図２（１）がユーザ側に向けられる正面図、図２（２）が側面図である。
ルーペ型ハンディ機器９３０の外観は、ルーペの形状を有している。具体的には、円板型筐体部９３２の側面から操作部９３４を介して棒状の把持部９３６が延設され、円板型筐体部９３２の裏面には透明樹脂または半透明な樹脂でできた略円筒状の採光スカート部９３８が設けられている。なお、把持部９３６は、採光スカート部９３８を絵画部９１４上に載置した際、倒れず自立する程度の長さで設けられていることが好ましい。
2A and 2B are views showing a configuration example of the loupe type
The appearance of the loupe type
円板型筐体部９３２の正面側中央には、覗き窓部９４０が設けられておりタッチパネル９４２が嵌め込まれている。
A
円板型筐体部９３２の内部には、制御基板９５０が内蔵されている。制御基板９５０は、例えばＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−Ｃｈｉｐ）９５１と、ＩＣメモリ９５２と、時計部９５３と、タッチパネル９４２を作動させるためのタッチパネルドライバＩＣ９５４と、カメラモジュール９５５とを搭載する。そして、把持部９３６に内蔵される内蔵バッテリー９３７から電力を得て稼動する。
A
ＳｏＣ９５１に内蔵されているＣＰＵは、ＩＣメモリ９５２に記憶されているプログラムとデータを読み出して演算処理して、ルーペ型ハンディ機器９３０の動作を統合的に制御する。
ＩＣメモリ９５２には、プログラムと各種データが記憶されている。その各種データの中には、各ページ９１２に印刷されている絵画部９１４の絵画画像の画像データが含まれている。
The CPU built in the SoC951 reads the program and data stored in the
The
時計部９５３は、パソコン等に内蔵されるリアルタイムクロックICであって、現在日時を常時計時してＳｏＣ９５１に出力する。勿論、時計部９５３を、ＳｏＣ９５１がクロック信号に基づいて日時を計数演算するソフトウェアクロックとして実現してもよく、少なくとも時間、日付、季節（時季）のうちの一つを計時する計時部を有することが好ましい。
The
カメラモジュール９５５は、レンズ等の光学素子や、フィルター、撮影した画像データを生成しＳｏＣ９５１へ出力するセンサーチップなどを搭載した公知のイメージセンサーである。本実施の形態のカメラモジュール９５５は、可視光は勿論のこと不可視領域の赤外線または紫外線も撮影することができる。そして、カメラモジュール９５５は、円板型筐体部９３２の裏面側の被写体を撮影するように設けられており、その光軸Ｌはタッチパネル９４２の画面中心点を通るように設定されている。焦点距離を含む光学諸元は、少なくとも採光スカート部９３８の端面に押し当てられた被写体にピントが合うような近接距離撮影が可能な設定とされている。オートフォーカス機能を搭載していてもよい。また、本実施の形態において、カメラモジュール９５５の前方に赤外線透過フィルムが設けられている。本実施の形態において、赤外線透過フィルムは、可視印刷部で反射された赤外光をより効率的にカメラモジュール９５５で認識するためのものであり、可視光を吸収し、赤外光を透過する部材であれば特に限定されるものではない。
The
操作部９３４は、ユーザが操作入力するための複数の操作スイッチ９３５を備える。
The
図３は、本実施形態における絵画部９１４の構成例を示す図である。
本実施の形態において、絵画部９１４は、画像コンテンツであり、イラストに分類される絵画画像を例示したが、情報が記載された情報部を持つものであればこれに限られることはなく、写真、タイポグラフィーなどそのジャンルは問わない。また、文字情報（本実施形態でいう「画像」に含むものとする）であってもよい。また、２次元画像でも良いし立体視画像でもよい。
FIG. 3 is a diagram showing a configuration example of the
In the present embodiment, the
絵画部９１４は、赤外光を反射する通常の可視インクによる可視印刷部と、ユーザの肉眼には見えない不可視の赤外線吸収インクで印刷された不可視印刷部とで構成される。本実施の形態では、例えば、近赤外領域の光の吸収率が高い印刷用塗料を用いて不可視印刷部が印刷される。可視印刷部のみを図示すると、図３（１）に示すようになる。これがユーザの肉眼で把握できる画像すなわち可視光領域での絵画部９１４の姿である。これに加えて不可視印刷部を模式的に図示すると、図３（２）に示すようになる。
The
絵画部９１４の絵画画像の可視印刷部には、単数又は複数の観察対象部３０（図示の例では右方の観察対象部３０ａと左方の観察対象部３０ｂの２箇所）が含まれている。観察対象部３０は、それぞれデータ上、固有の特定範囲３２（図示の例では右方の特定範囲３２ａと左方の特定範囲３２ｂの２箇所）として定義されている。本実施形態の特定範囲３２は、観察対象部３０を囲う矩形領域であって、絵画画像座標系における四隅の座標により定義されている。
The visible printing unit of the painting image of the
不可視印刷部は、カメラモジュール９５５で撮影した場合に、撮影画像に基づいて当該絵画画像中の被撮影位置を識別可能なように、複数のコード画像２０が所定の配列規則で並べられて構成されている。換言すれば、絵画部９１４の絵画画像には、肉眼では判別できないコード画像２０が埋め込まれている。なお、本実施の形態において「撮影」とは、写真や動画として画像を記録する行為のみではなく、カメラモジュール９５５によって画像を認識する行為すべてを含むものとする。
The invisible printing unit is configured by arranging a plurality of
コード画像２０は、不可視の赤外線吸収インクで印刷されており、可視印刷部は、赤外線領域の光を反射するインクで印刷されているため、赤外線透過フィルムが設けられたカメラモジュール９５５で撮影すると、図３（２）のようにコード画像２０を認識し、識別することが可能となる。なお、本実施の形態において、絵画部９１４に対して赤外線を照射する光源を設けることにより、コード画像２０の識別率をより向上させることができるため好ましい。例えば、円板型筐体部９３２の裏面側に赤外LEDを設け、カメラモジュール９５５の被写体に対し赤外光が照射されるようにすることができる。
The
コード画像２０は、それぞれが固有の情報を担持するコードである。そして、複数のコードが所定規則で配列されている。具体的には、上から一列目には正姿勢のコード画像２０が所定間隔で配置される。上から二列目には正姿勢から４５°反時計回りに回転させた傾斜姿勢のコード画像２０が、一列目のコード画像２０の間隔とは半分ずれた所定間隔で配置される。三列目は一列目のコード画像２０を左右反転させた状態で配置され、四列目は二列目と同様に、正姿勢から４５°反時計回りに回転させた傾斜姿勢のコード画像２０が、三列目のコード画像２０の間隔とは半分ずれた所定間隔で配置される。なお、一列当たりのコード画像２０の数や、列数は適宜設定可能である。但し、採光スカート９３８を絵画部９１４に当てて近接撮影した場合に、撮影画像中に少なくとも１つのコード画像２０が含まれるように、コード画像２０の配置規則（配置数を含む）を定めると良い。撮影画像に含まれたコード画像２０から撮影位置や撮影角度等を把握するためである。なお、撮影画像中に少なくとも２つのコード画像２０が含まれるように撮影し、２つ以上のコード画像を判別することにより、より正確に被撮影位置を算出できるため好ましい。
The
コード画像２０がそれぞれ固有の情報を担持していること、また傾斜姿勢で配列されていることから、カメラモジュール９５５で撮影した撮影画像に写っているコード画像２０を識別・解読することにより、当該撮影画像が絵画部９１４の絵画画像の何処を撮影しているかを知ることができる。換言すれば、被撮影位置を知ることが可能であり、絵画画像の座標系における撮影画像の中心位置座標を知ることができる。
Since each of the
印刷されているコード画像２０のコードパターン（コード情報）には、ページ９１２毎すなわち絵画部９１４毎に固有の情報と、当該絵画部９１４中の位置情報と、当該コード画像２０が当該絵画部９１４に対してどの向きで印刷されているかを示す向きの情報とが含まれている。また、コード画像２０そのものに向きがある。したがって、撮影したコード画像２０から、今現在、カメラモジュール９５５がどの絵画部９１４を撮影しているか、その絵画部９１４中のどの位置を撮影しているかの大まかな位置、どの角度（ページ９１２に向かって時計回り／反時計回りの回転角度）で撮影しているかを知ることができる。また、撮影した２つ以上のコード画像の距離から、その絵画部９１４中のどの位置を撮影しているかの詳細な位置を知ることができる。
The code pattern (code information) of the printed
不可視印刷部の目的は、絵画画像をカメラモジュール９５５で近接撮影した場合に、撮影画像に基づいて当該絵画画像中の被撮影位置を識別可能にすることである。言い換えると、絵画画像のうちの撮影している位置或いは範囲、又は当該範囲を定義するための代表位置を識別可能にすることである。
よって、不可視印刷部の構成は本実施形態の例に限らず、例えば、ドットの分布によって識別情報を定義する構成としてもよい。また、通常の可視のインクで描画されたコード画像やドット分布としてもよい。あるいは、カメラモジュール９５５で撮影した可視印刷部の画像内容自体を画像パターン認識で逐次識別することにより、撮影している位置或いは範囲、又は当該範囲を定義するための代表位置を識別する構成とすることも可能である。その場合、不可視印刷部それ自体や、赤外線透過フィルム、赤外光源等を省略することができ、好適である。
The purpose of the invisible printing unit is to make it possible to identify the imaged position in the painting image based on the shot image when the painting image is taken close-up with the
Therefore, the configuration of the invisible printing unit is not limited to the example of the present embodiment, and may be, for example, a configuration in which the identification information is defined by the distribution of dots. Further, it may be a code image or a dot distribution drawn with ordinary visible ink. Alternatively, the image content itself of the visible printing unit captured by the
図４は、ルーペ型ハンディ機器９３０における画像表示の例について説明するための図である。
ユーザは、あたかもルーペで昆虫を観察するかのごとく、ルーペ型ハンディ機器９３０の把持部９３６を手で握って、採光スカート部９３８（図２参照）の端面がページ９１２に当たるようにしてルーペ型ハンディ機器９３０を絵画部９１４へ当てる。そして、覗き窓部９４０を覗き見る。
FIG. 4 is a diagram for explaining an example of image display in the loupe type
The user holds the
ルーペ型ハンディ機器９３０は、逐次、ページ９１２をカメラモジュール９５５で撮影し、撮影画像の中にコード画像２０の検出とコード画像２０の解析とを行う。そして、撮影画像に写ったコード画像２０から今現在どの絵画部９１４を撮影しているか、絵画部９１４中のどの位置を撮影しているか、どの角度で撮影しているかを判別する。
The loupe-type
前述のようにルーペ型ハンディ機器９３０のＩＣメモリ９５２には、全ての絵画部９１４と同じ絵画画像を表示部に表示可能な画像データが記憶されている。ルーペ型ハンディ機器９３０は、今撮影している絵画部９１４の絵画画像のうちの被撮影範囲と一致する範囲の部分画像Ｗ２をＩＣメモリ９５２から抽出してタッチパネル９４２に表示させる。つまり、ルーペ型ハンディ機器９３０のタッチパネル９４２には、撮影されている絵画部９１４の撮影画像は表示されない。よって、覗き窓部９４０を覗き込んでいるユーザには、タッチパネル９４２越しにルーペ型ハンディ機器９３０を当てている部分の絵画部９１４の部分画像Ｗ２が見える。図４の例では、画像左上の森の上にルーペ型ハンディ機器９３０を当てているので、森の様子が描かれた部分の部分画像Ｗ２が表示されている。ルーペ型ハンディ機器９３０をずらせば、部分画像Ｗ２として表示される画像もスクロール表示されて追従して変化するので、ユーザの感覚としては、タッチパネル９４２がまるでルーペのレンズであるかのように感じられる。
As described above, the
なお、本実施の形態では、ＩＣメモリ９５２から抽出される部分画像Ｗ２は、部分画像Ｗ２の輪郭が、被撮影範囲の画像の輪郭と一致する画像であればよく、必ずしも画像自体の内容まで一致させる必要はない。例えば、被撮影範囲の画像と異なる彩色がされていたり、特別演出を行う画像が追加された画像を部分画像として表示してもよい。被撮影範囲の画像と部分画像とを異ならせることにより、より面白い表示をさせることが可能であり、興趣性の向上したルーペ型ハンディ機器９３０を提供することができる。
In the present embodiment, the partial image W2 extracted from the
なお、念の為の繰り返しの説明となるが、ルーペ型ハンディ機器９３０のタッチパネル９４２に表示されるのは、撮影画像そのものではない。ＩＣメモリ９５２に記憶された絵画画像の画像データのうち、撮影画像から判別した撮影範囲に対応する部分画像が、タッチパネル９４２に表示されるのである。本実施の形態のように、ＩＣメモリ９５２に記憶された絵画画像の画像データのみを表示部に表示することにより、本来なら表示部に表示されるであろうコード画像が表示部に表示されないため、コード画像の表示部への写りこみを気にする必要がなくなり、簡単な構成で絵画部の絵画画像とコード画像のデザインの自由度を向上させることができる。
As a repetitive explanation just in case, what is displayed on the
図５および図６は、撮影画像に特定範囲３２が含まれる場合のルーペ型ハンディ機器９３０における画像表示の例について説明するための図である。
カメラモジュール９５５で撮影された撮影画像内に特定範囲３２の一部又は全部が含まれていると判断された場合、ルーペ型ハンディ機器９３０は、当該特定範囲３２に対応する観察対象部３０に係る「特別画像」を部分画像上に表示する。換言すると、被撮影位置が所定の位置条件を満たしたと判断して、部分画像上に特別画像を表示する。
5 and 6 are diagrams for explaining an example of image display in the loupe type
When it is determined that a part or all of the
「特別画像」とは、撮影されている絵画画像中の観察対象部３０の様子の違いを現す単数または複数の画像要素で構成される。ルーペ型ハンディ機器９３０は、特定範囲３２と対応付けられた特別画像の定義データを予め記憶しており、当該定義データでは「表示条件」毎に画像要素データが格納されている。本実施形態の特別画像を構成する１つの画像要素はアニメーション（動画）とするが静止画でもよい。そして、「表示条件」の設定の仕方によって、本実施形態の特別画像は２タイプある。
The "special image" is composed of a single or a plurality of image elements that show the difference in the appearance of the
図５の例は、「表示条件」として、最初に当該特定範囲３２を撮影した日時からの経過時間を設定したタイプである。
図５の例では、絵画部９１４の右方の観察対象部３０ａには、鉢植えとそれを育てる眉毛ウサギのキャラクタとが描かれているが、鉢植えには芽が出ていない。観察対象部３０ａの特定範囲３２ａを最初に撮影した日時からの経過時間が１日目〜２日目では、水やりをするウサギの姿をアニメーションする第１の画像要素Ｗ４１が特別画像として選択されてタッチパネル９４２に表示される。経過時間が３日目〜５日目までは、芽が出た様子の第２の画像要素Ｗ４３が選択されて表示される。６日目〜８日目までは蕾がついた様子の第３の画像要素Ｗ４６が選択されて表示される。そして、経過時間が９日目以降になると、開花した様子の第４の画像要素Ｗ４９が選択されて表示される。なお、ここでは特別画像を構成する画像要素を４種類として説明したが、これらの途中経過や第４の画像要素Ｗ４９の更に後の様子（例えば、花が枯れて種を付け、全体が枯れるまで）を含むように更に多くの画像要素を用意してもよい。
The example of FIG. 5 is a type in which the elapsed time from the date and time when the
In the example of FIG. 5, the potted plant and the character of the eyebrow rabbit that raises the potted plant are drawn on the
図６の例は、「表示条件」として、撮影している現在日時を条件とするタイプである。例えば、撮影した時の季節、月、曜日、日、時間帯、時刻、祝日の識別（例えば子供の日等）、夏休み、クリスマス期間、などを表示条件として適宜設定可能である。そして、現在日時が適合する表示条件に対応づけられた特別画像の画像要素を選択して表示させる。
図６の例では、絵画部９１４の左方の観察対象部３０ｂには、朝顔の鉢植えとそれを見ている斑ウサギのキャラクタとが描かれているが、鉢植えの花は咲いていない。ユーザがルーペ型ハンディ機器９３０を使っている時刻が、午後６時以降〜翌午前５時までであれば、当該時間帯に対応づけられている第１の画像要素Ｗ６１（カメラモジュール９５５で撮影しているのと同じ内容）が表示される。しかし、ルーペ型ハンディ機器９３０を使っている時刻が午前５時以降〜午後６時までであれば、当該時間帯に対応付けられた第２の画像要素Ｗ６２（花が咲いた様子）が表示される。
なお、ここでは特定範囲３２ｂに対応付けられる特別画像を構成する画像要素を２種類として説明したが、これらの途中経過や第２の画像要素Ｗ６２の更に後の様子（例えば、夕方以降の花がしぼんだ様子）を含むように更に多くの画像要素を時間帯と対応付けて用意してもよい。
In the example of FIG. 6, the "display condition" is a type in which the current date and time of shooting is a condition. For example, the season, month, day of the week, day, time zone, time, holiday identification (for example, Children's Day, etc.), summer vacation, Christmas period, etc. at the time of shooting can be appropriately set as display conditions. Then, the image element of the special image associated with the display condition matching the current date and time is selected and displayed.
In the example of FIG. 6, the morning glory potted plant and the character of the mottled rabbit looking at it are drawn on the
Here, the image elements constituting the special image associated with the
そして、ルーペ型ハンディ機器９３０は、図５や図６のように表示した特別画像の画像表示履歴を記憶し、ユーザが過去に表示した特別画像を任意のタイミングで再現表示することができる。これを「記録表示機能」と呼ぶが、想定されるユーザが子供なので、子供向けには「観察図鑑モード」と呼ぶと好適であろう。
Then, the loupe type
図７は、観察図鑑モードにおける画面表示例を示す図である。
操作部９３４あるいはタッチパネル９４２にて所定の記録表示開始操作が入力されると、ルーペ型ハンディ機器９３０は記録表示画面Ｗ８を表示する。記録表示画面Ｗ８は、メニュー表示部４０と、指定位置表示部４１と、記録表示部４２とを有する。
FIG. 7 is a diagram showing an example of screen display in the observation picture book mode.
When a predetermined recording display start operation is input on the
メニュー表示部４０には、観察対象部３０別に、過去に表示した特別画像のサムネイル４３がスクロール表示可能に表示される。ユーザは再度表示させたい特別画像を示すサムネイル４３を指定位置表示部４１に合わせるようにスライド操作する。
On the
ルーペ型ハンディ機器９３０は、指定位置表示部４１に合わされたサムネイル４３に対応付けられる過去に表示した特別画像を、記録表示部４２にて画像要素別にスクロール表示可能に表示する。記録表示部４２の画像要素へのタッチ操作を検出すると、画面表示例Ｗ１０に示す様に、当該画像要素を拡大表示させる。
The loupe-type
なお、記録表示画面Ｗ８には、記録表示終了操作アイコン４４が含まれる。当該アイコンをタッチ操作すると、あるいは操作部９３４にて所定の操作を行うと、記録表示画面Ｗ８の表示を終了させることができる。
The recording display screen W8 includes a recording display
また、本実施の形態において、ルーペ型ハンディ機器９３０は、更に音声出力部を備えてもよい。表示部への画像の表示に伴い、音声を出力させることにより、より使用者の興味をそそるルーペ型ハンディ機器を提供することができる。
Further, in the present embodiment, the loupe type
［機能構成の説明］
図８は、ルーペ型ハンディ機器９３０の機能構成例を示す機能ブロック図である。
本実施形態のルーペ型ハンディ機器９３０は、操作入力部１００と、撮影部１０２と、制御部２００と、画像表示部３７２と、記憶部５００とを備える。
[Explanation of functional configuration]
FIG. 8 is a functional block diagram showing a functional configuration example of the loupe type
The loupe-
操作入力部１００は、プレーヤによって為された各種の操作入力に応じて操作入力信号を制御部２００へ出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、加速度センサ、ジャイロ、などによって実現できる。図２の例では操作スイッチ９３５や、タッチパネル９４２がこれに該当する。
The
撮影部１０２は、撮影画像の画像データを制御部２００へ出力する。図２の例ではカメラモジュール９５５がこれに該当する。
The photographing
制御部２００は、例えばＣＰＵ、ＧＰＵ、半導体メモリ等を１つの半導体素子上に集積したＳｏＣやマイクロコントローラＩＣによって実現され、操作入力部１００や撮影部１０２、記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号、撮影部１０２からの画像データ等に基づいて各種の演算処理を実行して、ルーペ型ハンディ機器９３０の動作を統合的に制御する。図２の例では制御基板９５０に含まれるものである。
The
そして、本実施形態における制御部２００は、不可視コード識別部２０２と、コード判別部２０４と、被撮影位置識別部２０６と、部分画像表示制御部２０８と、特別画像表示制御部２１０と、特別画像表示履歴記憶制御部２２０と、記録表示制御部２２２と、時計部２２６と、画像生成部２７２と、を有する。
The
不可視コード識別部２０２は、撮影部１０２で撮影された撮影画像の画像データを画像解析して、画像内に写っているコード画像２０を検出して、コードパターンやコード画像２０の向き等を識別する。
The invisible
撮影絵画判別部２０４は、不可視コード識別部２０２により識別されたコード画像２０から絵画部９１４の種類（複数用意された絵画部９１４のいずれであるか）を判別する。
The photographing
被撮影位置識別部２０６は、撮影されている絵画部９１４の画像中の相対的な被撮影位置を識別する。
具体的には、不可視コード識別部２０２によって識別されたコードパターンから絵画部９１４中の位置を判別し、また、当該コード画像２０が写っている向きから絵画部９１４に対する撮影向きを判別する。この判別位置および判別向きから、撮影された位置（被撮影位置。被撮影範囲とも言える）を割り出す。また、本実施形態では撮影部１０２の焦点距離は採光スカート部９３８によって固定と判断できるため、判別位置および判別向きから、撮影された位置が求められる。
The imaged
Specifically, the position in the
部分画像表示制御部２０８は、被撮影位置識別部２０６により識別された被撮影位置に対応する絵画部９１４の中の部分画像Ｗ２（図４参照）を画像表示部３７２に表示制御させる。
The partial image
特別画像表示制御部２１０は、被撮影位置識別部２０６により識別された被撮影位置が所定の特別画像を表示するための位置条件を満たした場合に、画像表示部３７２に表示する部分画像Ｗ２の上に、撮影絵画判別部２０４により判別された絵画部９１４に対応づけられた特別画像を表示させる。そして、本実施形態では、計時情報に基づいて特別画像を可変に制御するために、計時情報対応画像選択部として、現在日時対応画像選択部２１２と、時間経過対応画像選択部２１４とを有する。
The special image
本実施形態では、観察対象部３０を囲う特定範囲３２が撮影画像に含まれる場合（逆説的に言えば、撮影画像の中心位置座標が特定範囲３２に含まれる場合）に、位置条件を満たしたと判定する。そして、現在日時対応画像選択部２１２は、現在日時に応じて表示する特別画像となる画像要素を選択する（図６参照）。時間経過対応画像選択部２１４は、位置条件を満たした初回日時（観察対象部３０を最初に被写体とした日時）から現在までの時間経過に応じて表示する特別画像となる画像要素を選択する（図５参照）。
In the present embodiment, when the photographed image includes the
特別画像表示履歴記憶制御部２２０は、画像表示部３７２に表示させた特別画像の履歴を記憶部５００に記憶させる。
The special image display history
記録表示制御部２２２は、記録表示画面Ｗ８（図７参照）を画像表示部３７２に表示させ、特別画像表示履歴記憶制御部２２０が記憶させた履歴に基づいて、過去に表示した特別画像を画像表示部３７２に表示させる。
The recording
時計部２２６は、日時を計時する。図２の時計部９５３がこれに該当する。
The
画像生成部２７２は、例えば、ＧＰＵ、デジタルシグナルプロセッサ（ＤＳＰ）などのプロセッサ、ビデオ信号コントローラ、ビデオコーデックなどのプログラムや回路、フレームバッファ等の描画フレーム用半導体メモリ等によって実現される。
そして、画像生成部２７２は、部分画像表示制御部２０８や、特別画像表示制御部２１０、記録表示制御部２２２の制御に従って、所定の１フレーム時間（例えば１／６０秒）で１枚の画像を生成し、生成した画像の画像信号を画像表示部３７２に出力する。
The
Then, the
画像表示部３７２は、画像生成部２７２から入力される画像信号に基づいて各種画像を表示する。図２のタッチパネル９４２がこれに該当する。
The
記憶部５００は、制御部２００にルーペ型ハンディ機器９３０を統合的に制御させるための諸機能を実現するためのプログラム、各種データ等を記憶する。また、制御部２００の演算処理の作業領域として用いられ、制御部２００が各種プログラムに従って実行した演算結果や、操作入力部１００から入力される入力データ、撮影部１０２から入力された画像データ等を一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどの半導体メモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図２の例では制御基板９５０が搭載するＩＣメモリ９５２やＳｏＣ９５１に内蔵される半導体メモリがこれに該当する。
The
図９は、本実施形態の記憶部５００に記憶されるプログラムやデータの例を示す図である。本実施形態の記憶部５００には、システムプログラム５０１と、ハンディ機器制御プログラム５０２と、絵画部識別定義データ５１０と、絵画部定義データ５２０と、特別画像定義データ５３０と、が記憶されている。その他、使用に応じて、撮影対象絵画部ＩＤ５５０や、被撮影位置定義データ５５２、特別画像表示履歴データ５６０，計時用のタイマやカウンタ、各種フラグなどの情報が記憶される。
FIG. 9 is a diagram showing an example of a program and data stored in the
システムプログラム５０１は、ルーペ型ハンディ機器９３０にコンピュータとしての入出力の基本機能を実現させるための基本プログラムである。
The
ハンディ機器制御プログラム５０２は、制御部２００に不可視コード識別部２０２等の各機能部を実現させるためのプログラムである。
The handy
絵画部識別定義データ５１０は、本体部９１０が備える絵画部９１４別に用意される。１つの絵画部識別定義データ５１０は、当該絵画部９１４に含まれる各コード画像の情報（コードパターンや、当該絵画部に埋め込まれた（印刷された）位置、向きなどの情報）と、当該絵画部９１４を識別するための絵画部ＩＤとを格納する。勿論、これら以外のデータ、例えば絵画部９１４毎にコード画像の配列規則を変更する場合には、その配列規則の情報なども適宜格納することができる。
The painting unit
絵画部定義データ５２０は、本体部９１０が備える絵画部９１４別に用意され、それぞれの絵画部９１４を定義する。１つの絵画部定義データ５２０は、例えば図１０に示すように、絵画部ＩＤ５２１と、絵画画像データ５２２と、特定範囲定義データ５２３に対応付けられた特別画像ＩＤ５２４とを含む。勿論、これら以外のデータも適宜格納することができる。
The painting
絵画画像データ５２２は、対応する絵画部９１４と同じ画像座標系を有し、同じ内容を表示するためのデータである。本実施形態では２次元画像データである。
The
特定範囲定義データ５２３は、対応する絵画部９１４に設定されている観察対象部３０別の特定範囲３２を定義する（図３参照）。本実施形態の特定範囲３２は矩形領域なので、絵画画像データ５２２の画像座標系における矩形領域四隅の各座標を格納する。
The specific
特別画像ＩＤ５２４は、観察対象部３０およびその特定範囲３２に対応づけられる特別画像を示す。
The
図９に戻って、特別画像定義データ５３０は、特別画像毎に用意され、当該特別画像の構成を定義する。１つの特別画像定義データ５３０は、例えば図１１に示すように、特別画像ＩＤ５３１と、画像要素用表示原点座標５３５と、表示条件５４０と対応付けられた画像要素ＩＤ５４１および画像要素データ５４３とを含む。勿論、これら以外のデータも適宜格納することができる。
Returning to FIG. 9, the special
画像要素用表示原点座標５３５は、絵画部９１４の画像の何処に特別画像を表示するかの基準位置を定義する。
The display origin coordinate 535 for an image element defines a reference position where a special image is displayed in the image of the
表示条件５４０は、対応する画像要素データ５４３を表示させるための条件である。本実施形態では前述のように、最初に撮影した日時からの経過時間を設定するタイプ（図５参照）と、撮影した現在日時が比較対象となる日時の条件を設定するタイプ（図６参照）との２タイプがある。
The
画像要素データ５４３は、特定範囲３２と同じサイズの画像要素を定義するデータである。図５における第１の画像要素Ｗ４１〜第４の画像要素Ｗ４９、図６における第１の画像要素Ｗ６１および第２の画像要素Ｗ６２も当該データで定義される。画像要素用表示原点座標５３５に基づいて表示すると丁度、特定範囲３２を覆う位置に画像要素が表示される。
The
図９に戻って、撮影対象絵画部ＩＤ５５０は、現在撮影されている絵画部９１４の絵画部ＩＤを格納する。
Returning to FIG. 9, the shooting target
被撮影位置定義データ５５２は、現在撮影されている絵画部９１４の画像中における相対的な被撮影位置すなわち撮影されている部分を定義するための情報を格納する。本実施形態では、撮影画像中心位置座標５５４と、回転角度５５６と、被撮影範囲の四隅の位置座標を示す範囲四隅位置座標リスト５５８とを含む。
なお、本実施形態では、ルーペ型ハンディ機器９３０は、採光スカート部９３８をページ９１２に当てるようにして使用されるので、カメラモジュール９５５の光軸Ｌは、絵画部９１４の印刷面に対して垂直または略垂直となる所定の相対姿勢に維持される。そのため、回転角度５５６は垂直軸周りの回転成分（光軸Ｌ周りのロール角度）のみとする。しかし、採光スカート部９３８を設けない構成では、ページ９１２に対する相対姿勢は必ずしも一定にはならないので、光軸Ｌ周りのロール角度に加えて、ピッチ角度と、ヨー角度とを加えることができる。
The photographed
In the present embodiment, the loupe type
特別画像表示履歴データ５６０は、特別画像が表示される都度、表示日時５６１と対応づけて、表示した特別画像の特別画像ＩＤ５６３と、当該特別画像の画像要素ＩＤ５６５とが格納される。なお、特別画像表示履歴データ５６０は、所定の履歴消去操作をすると全履歴が抹消されるものとする。
The special image
［処理の流れの説明］
図１２は、ルーペ型ハンディ機器９３０における処理の流れについて説明するためのフローチャートである。
制御部２００は、カメラモジュール９５５で撮影した撮影画像内にコード画像２０が含まれているか否か判定する（ステップＳ２）。
[Explanation of processing flow]
FIG. 12 is a flowchart for explaining a processing flow in the loupe type
The
肯定の場合（ステップＳ２のＹＥＳ）、制御部２００は撮影画像内のコード画像２０のコードパターンから、今現在撮影されている絵画部９１４の種類を識別する（ステップＳ４）。そして、撮影対象絵画部ＩＤ５５０（図９参照）には、識別した絵画部９１４の絵画部ＩＤが設定される。
If affirmative (YES in step S2), the
次いで、制御部２００は識別された絵画部９１４の画像中における被撮影位置を特定する（ステップＳ８）。具体的には、コードパターンや、コード画像２０が写っている撮影画像中の位置および向きに基づいて、絵画部９１４のどこを撮影しているか、および撮影角度（撮影方向に対するロール角：時計回り／反時計回りの角度）を特定し、被撮影範囲の四隅の座標を算出する。
Next, the
そして、撮影対象絵画部ＩＤ５５０に合致する絵画部ＩＤ５２１（図１０参照）を有する絵画部定義データ５２０の絵画画像データ５２２に基づいて、被撮影位置に対応する部分画像をタッチパネル９４２に表示させる（ステップＳ１０）。
Then, based on the
もし、撮影画像（被撮影範囲）内に特定範囲３２の全体または一部が含まれているならば、特定画像を表示するための位置条件を満たしていると判断し（ステップＳ３０のＹＥＳ）、制御部２００は、該当する特定範囲３２に対応する特別画像を選択して（ステップＳ３２）、ステップＳ１０で表示している部分画像上に重ねて画面表示する（ステップＳ３４）。
If the captured image (photographed range) includes all or part of the
具体的には、特定範囲定義データ５２３（図１０参照）が定義する特定範囲３２毎に、当該特定範囲が被撮影位置定義データ５５２の示す被撮影範囲内にその一部又は全体が含まれているかを判定する。
含まれている場合に、該当する特定範囲定義データ５２３に対応づけられている特別画像ＩＤ５２４と合致する特別画像定義データ５３０を参照する（図１１参照）。そして、参照した特別画像定義データ５３０の表示条件５４０の中から適合する条件を検索し、適合した表示条件５４０に対応する画像要素データ５４３を選択して読み出し、画像要素用表示原点座標５３５に基づいて、ステップＳ１０で画面表示を開始した部分画像上に表示させる。前述のように、画像要素データ５４３が定義する画像要素は、観察対象部３０を囲う特定範囲３２と同じサイズで、且つその真上に重ね表示される。よって、タッチパネル９４２に表示されている画面表示上では、観察対象部３０の様子が変化したかのように見える。
Specifically, for each
When included, the special
次いで、制御部２００は特別画像の表示履歴を記憶する（ステップＳ３６）。
すなわち、特別画像表示履歴データ５６０（図９参照）に、現在日時を新たな表示日時５６１として設定し、これに対応づけられる画像要素ＩＤ５６５には、ステップＳ３４で画像表示した画像要素データ５４３の画像要素ＩＤ５４１（図１１参照）を格納し、特別画像ＩＤ５６３には特別画像ＩＤ５３１（図１１参照）を設定する。
Next, the
That is, the current date and time is set as a new display date and
そして、所定の記録表示開始操作が検出されると（ステップＳ５０のＹＥＳ）、制御部２００は、タッチパネル９４２に記録表示画面Ｗ８（図７参照）を表示させる（ステップＳ５２）。
Then, when a predetermined recording display start operation is detected (YES in step S50), the
そして、メニュー表示部４０での選択操作に応じて記録表示部４２にて過去に表示した特別画像を表示させる（ステップＳ５４）。具体的には、所定位置（指定位置表示部４１の上）にあるサムネイル４３に対応する画像要素データ５４３と同じＩＤの特別画像ＩＤ５６３に対応する画像要素ＩＤ５６５を読み出して、記録表示部４２に表示させる。
Then, the special image displayed in the past is displayed on the
所定の記録表示終了操作が検出されると（ステップＳ５６のＮＯ）、記録表示画面Ｗ８の表示が解除される（ステップＳ５８）。 When a predetermined recording display end operation is detected (NO in step S56), the display of the recording display screen W8 is canceled (step S58).
一方、ステップＳ２にて、撮影画像にコード画像２０が写っていなければ（ステップＳ２のＮＯ）、撮影が正しく行われていない（絵画部９１４に採光スカート部９３８を当てた状態で撮影していない）として、撮影画像を消去し、画面には何も表示しない等の撮影が正しく行われていない旨を示す所定表示とする（ステップＳ６０）。
On the other hand, if the
また、本発明に係る情報提供プログラムは、換言すれば、撮影部（例えば、カメラモジュール９５５）、及び表示部（例えば、タッチパネル９４２）を備えたコンピュータを、表示用画像データ（例えば、絵画画像データ５２２）を記憶する表示用画像データ記憶手段、情報部（例えば、絵画部９１４）に記載された画像を前記撮影部で認識した場合に、前記撮影部で認識した画像に基づいて、前記情報部中の被撮影位置を識別する被撮影位置識別手段、前記被撮影位置識別手段により識別された被撮影位置に基づいて、前記表示用画像データ記憶手段に記憶された表示用画像データから前記表示部に表示させる部分画像データを生成し、当該部分画像データに基づく部分画像を前記表示部に表示制御させる部分画像表示制御手段、として機能させる情報提供プログラムであって、前記部分画像の輪郭は、前記撮影部で認識した画像の輪郭と少なくとも一部が一致する情報提供プログラムである。 In other words, the information providing program according to the present invention uses a computer provided with a photographing unit (for example, camera module 955) and a display unit (for example, touch panel 942) for displaying image data (for example, painting image data). When the image described in the display image data storage means for storing 522) and the information unit (for example, the painting unit 914) is recognized by the photographing unit, the information unit is based on the image recognized by the photographing unit. The display unit from the display image data stored in the display image data storage means based on the imaged position identifying means for identifying the imaged position inside and the imaged position identified by the imaged position identifying means. An information providing program that generates partial image data to be displayed on the display and functions as a partial image display control means for causing the display unit to display and control a partial image based on the partial image data. This is an information providing program that at least partially matches the outline of the image recognized by the photographing unit.
本実施形態によると、ハンディ機器で絵画部の絵画画像を観察する（撮影する）と、ハンディ機器の表示部には絵画画像のうち撮影されている範囲に対応する部分画像が表示される。例えば、絵画画像を昆虫の写真とすれば、あたかもハンディ機器で昆虫を観察しているかのような疑似的な観察行為を体感できる。また、記憶部に記憶された画像データのみを表示部に表示することにより、本来なら表示部に表示されるであろうコード画像が表示部に表示されないため、コード画像の表示部への写りこみを気にする必要がなくなり、絵画部の絵画画像とコード画像のデザインの自由度を向上させることができる。 According to the present embodiment, when the painting image of the painting unit is observed (photographed) with the handy device, a partial image corresponding to the photographed range of the painting image is displayed on the display unit of the handy device. For example, if the painting image is a photograph of an insect, you can experience a pseudo-observation act as if you were observing the insect with a handy device. Further, by displaying only the image data stored in the storage unit on the display unit, the code image that would normally be displayed on the display unit is not displayed on the display unit, so that the code image is reflected on the display unit. It is not necessary to worry about the problem, and the degree of freedom in designing the painting image and the code image of the painting department can be improved.
本実施形態によると、ハンディ機器の表示部に表示される画像に、絵画部には描かれていない特別画像を表示させることができる。すなわち、「肉眼では見えないものが画面越しでは見える」体感を提供することができる。前述のごとく、こうした体感はとても印象が強い。よって、擬似的な体感であるが“観察する行為”の楽しさを印象づけ、子供の知育によい効果をもたらすことができる。 According to this embodiment, a special image that is not drawn on the painting unit can be displayed on the image displayed on the display unit of the handy device. That is, it is possible to provide a feeling that "what cannot be seen with the naked eye can be seen through the screen". As mentioned above, this kind of experience is very impressive. Therefore, although it is a pseudo-experience, it can impress the enjoyment of the "act of observing" and bring about a good effect on the intellectual education of the child.
また、本実施形態によると、ハンディ機器で絵画部を観察した（撮影した）日時や観察開始からの時間経過などに応じて特別画像の内容を変化させることができる。例えば、所定の時間帯（例えば、早朝）にしか見ることのできない内容の特別画像を用意しておいて子供がそれを上手く見ることができれば、観察時間の大切さを印象づけることができる。 Further, according to the present embodiment, the content of the special image can be changed according to the date and time when the painting part is observed (photographed) by the handy device, the time elapsed from the start of the observation, and the like. For example, if a special image with contents that can be seen only in a predetermined time zone (for example, early morning) is prepared and the child can see it well, the importance of observation time can be impressed.
また、本実施形態によると、観察記録とそれを後から再び見る行為を疑似的に体験させることができる。 Further, according to the present embodiment, it is possible to simulate the observation record and the act of revisiting it later.
また、本実施形態によると、絵画部を観察する（撮影する）位置によって表示部に表示される内容が変化するので、子供に絵画部の隅々まで観察する意欲を湧かせることができる。 Further, according to the present embodiment, since the content displayed on the display unit changes depending on the position where the painting unit is observed (photographed), the child can be motivated to observe every corner of the painting unit.
また、本実施形態によると、コード画像の配置関係から被撮影位置を割り出すことができる。絵画画像の部分部分をその都度画像認識技術で判定して被撮影位置を割り出す構成よりも遙かに演算負荷が少なく済む。制御部を実現する上で、それほど高い処理能力の演算装置を用いなくてもよくなるので、ハンディ機器の製造コストを削減することができる。 Further, according to the present embodiment, the position to be photographed can be determined from the arrangement relationship of the code image. The calculation load is much less than that of the configuration in which the part of the painting image is judged by the image recognition technology each time to determine the position to be photographed. In order to realize the control unit, it is not necessary to use an arithmetic unit having such a high processing capacity, so that the manufacturing cost of the handy device can be reduced.
また、本実施形態によると、ハンディ機器を、観察行為の代表的なアイテムである“ルーペ“を模したデザインとすることで、擬似体感であっても観察行為の雰囲気を高めることができる。 Further, according to the present embodiment, by designing the handy device to imitate a "loupe" which is a typical item of the observation act, it is possible to enhance the atmosphere of the observation act even if it is a simulated experience.
以上、本実施形態によれば、ユーザは、ルーペで対象を観察するようにルーペ型ハンディ機器９３０を絵画部９１４に当てて覗き窓部９４０を覗き込めば、時間経過やその時々によって観察対象部３０が変化した様子を見ることができる。よって、時間をかけて観察したり、時間を変えて観察することで新しい発見をする擬似体験を提供することができる。観察対象部３０の内容は、当然のことながら自然科学分野のものから、家庭料理の過程などさまざま設定が可能で有り、広く多様な分野の疑似体験をユーザに与えることができる。
As described above, according to the present embodiment, when the user applies the loupe type
〔変形例〕
なお、本発明の適用形態は上記実施形態に限らず、適宜構成要素の変更・追加・省略ができる。
[Modification example]
The application mode of the present invention is not limited to the above embodiment, and the components can be changed, added, or omitted as appropriate.
例えば、ルーペ型ハンディ機器９３０は、上記実施形態のように専用設計の機器とする構成に限らない。スマートフォンやタブレット機器などの携帯型電子機器に、ハンディ機器制御プログラム５０２（図９参照）と、絵画部識別定義データ５１０と、絵画部定義データ５２０と、特別画像定義データ５３０とを記憶させて、ハンディ機器制御プログラム５０２をアプリケーションとして実行させることにより実現するとしてもよい。但し、この構成の場合、採光スカート部９３８に相当するパーツを用意する事ができないので、所定の近接撮影時（適切な撮影距離の場合）にのみ絵画部９１４の画像や特別画像を表示するように制御することで実現することができる。具体的には、ステップＳ２でコード画像２０を正しく認識できた場合にのみ、ステップＳ６以降の処理が実行されるようにすればよい。なお、もちろん携帯型電子機器に着脱可能な採光スカート部９３８に相当するパーツを別途用意し、使用時に装着して使用するようにしてもよい。
For example, the loupe-type
また、上記実施の形態では、子供向けの玩具システムを例に説明したが、もちろんこれに限られることはない。例えば、大人向けコンテンツを実行する情報提供システムに適用することも可能である。 Further, in the above-described embodiment, the toy system for children has been described as an example, but the present invention is not limited to this. For example, it can be applied to an information providing system that executes adult content.
２０・・・コード画像
３０・・・観察対象部
３２・・・特定範囲
４０・・・メニュー表示部
４１・・・指定位置表示部
４２・・・記録表示部
４３・・・サムネイル
４４・・・記録表示終了操作アイコン
１０２・・・撮影部
２００・・・制御部
２０２・・・不可視コード識別部
２０４・・・撮影絵画判別部
２０６・・・被撮影位置識別部
２０８・・・部分画像表示制御部
２１０・・・特別画像表示制御部
２１２・・・現在日時対応画像選択部
２１４・・・時間経過対応画像選択部
２２０・・・特別画像表示履歴記憶制御部
２２２・・・記録表示制御部
２２６・・・時計部
３７２・・・画像表示部
５００・・・記憶部
５０２・・・ハンディ機器制御プログラム
５１０・・・絵画部識別定義データ
５２０・・・絵画部定義データ
５２２・・・絵画画像データ
５２３・・・特定範囲定義データ
５３０・・・特別画像定義データ
５４０・・・表示条件
５４３・・・画像要素データ
５５０・・・撮影対象絵画部ＩＤ
５５２・・・被撮影範囲定義データ
５５４・・・撮影画像中心位置座標
５５６・・・回転角度
５５８・・・範囲四隅位置座標リスト
５６０・・・特別画像表示履歴データ
５６１・・・表示日時
５６３・・・特別画像ＩＤ
５６５・・・画像要素ＩＤ
９００・・・玩具システム
９１０・・・本体部
９１４・・・絵画部
９３０・・・ルーペ型ハンディ機器
９３８・・・採光スカート部
９４０・・・覗き窓部
９４２・・・タッチパネル
９５０・・・制御基板
９５１・・・ＳｏＣ
９５２・・・ＩＣメモリ
９５３・・・時計部
９５５・・・カメラモジュール
Ｗ２・・・部分画像
Ｗ４１・・・第１の画像要素
Ｗ４３・・・第２の画像要素
Ｗ４６・・・第３の画像要素
Ｗ４９・・・第４の画像要素
Ｗ６１・・・第１の画像要素
Ｗ６２・・・第２の画像要素
Ｗ８・・・記録表示画面
20 ・ ・ ・
552 ・ ・ ・ Shooting
565 ... Image element ID
900 ・ ・ ・
952 ...
Claims (9)
前記情報部には、コンテンツ画像と、前記情報部を前記撮影部で撮影した場合に、前記情報部中の被撮影位置を識別可能に構成されたコード画像と、が描かれており、
前記記憶部は、少なくとも前記情報部に描かれたコンテンツ画像の部分画像を前記表示部に表示するための部分画像データを記憶し、
前記制御部は、前記撮影部によって撮影したコード画像に基づいて前記情報部中の被撮影位置を識別し、前記被撮影位置に応じた前記情報部中の前記部分画像を前記部分画像データに基づいて前記表示部に表示制御させ、
前記部分画像は、前記部分画像の輪郭が、前記撮影部で撮影される被撮影範囲の画像の輪郭と一致し、
特別画像を表示するための表示条件を満たした場合に、前記表示部に前記特別画像を表示させる情報提供システム。 And information unit, imaging unit, a display unit, an information providing system and a portable electronic apparatus having a storage unit and a control unit,
Wherein the information unit, and the content image, when the information unit has been photographed by the imaging unit, and the front SL information unit distinguishably configured code image to be captured position in has been painted,
The storage unit stores at least partial image data for displaying a partial image of the content image drawn on the information unit on the display unit.
The control unit identifies the imaged position in the information unit based on the code image captured by the photographing unit, and the partial image in the information unit corresponding to the imaged position is based on the partial image data. To control the display on the display unit.
In the partial image, the contour of the partial image coincides with the contour of the image in the imaged range photographed by the photographing unit.
An information providing system that displays the special image on the display unit when the display conditions for displaying the special image are satisfied.
前記携帯型電子機器は、計時部を更に備え、
前記制御部は、前記表示条件を前記計時部による計時情報に基づいて判別し、前記計時部による計時情報に基づいて前記特別画像を表示させる情報提供システム。 In claim 1,
The portable electronic device further includes a timekeeping unit.
The control unit is an information providing system that determines the display condition based on the timekeeping information by the timekeeping unit and displays the special image based on the timekeeping information by the timekeeping unit.
前記制御部は、前記表示部に表示した前記特別画像の履歴を前記記憶部に記憶させ、当該履歴に基づいて、過去に表示した前記特別画像を前記表示部に表示させる記録表示制御部を有する情報提供システム。 In claim 1 or 2,
The control unit has a recording display control unit that stores the history of the special image displayed on the display unit in the storage unit and displays the special image displayed in the past on the display unit based on the history. Information provision system.
前記情報部は、前記コード画像が所定の配置規則で埋め込まれ、コード画像の配置関係から被撮影位置を割り出す情報提供システム。 In any one of claims 1 to 3,
The information unit is an information providing system in which the code image is embedded according to a predetermined arrangement rule and the imaged position is determined from the arrangement relationship of the code image.
前記携帯型電子機器は、覗き窓部を備えたルーペ形状を有し、
前記表示部が、前記覗き窓部に設けられた情報提供システム。 In any one of claims 1 to 4,
The portable electronic device has a loupe shape with a viewing window, and has a loupe shape.
An information providing system in which the display unit is provided in the viewing window unit.
コンテンツ画像とコード画像とを備えた情報部を前記撮影部で撮影した場合に、前記撮影部で撮影したコード画像に基づいて、前記情報部中の被撮影位置を識別する被撮影位置識別手段、
前記被撮影位置識別手段により識別された被撮影位置に基づいて、前記コンピュータに記憶された部分画像データに基づいて少なくとも前記情報部中に描かれたコンテンツ画像の部分画像を前記表示部に表示制御させる部分画像表示制御手段、
特別画像を表示するための表示条件を満たした場合に、前記特別画像を表示制御する特別画像表示制御手段、
として機能させ、
前記コンピュータに記憶された少なくとも前記情報部中に描かれたコンテンツ画像の部分画像の輪郭が、前記撮影部で撮影される被撮影範囲の画像の輪郭と一致する情報提供プログラム。 A computer equipped with a shooting unit and a display unit
When the information unit including the content image and the code image is photographed by the photographing unit, the imaged position identifying means for identifying the imaged position in the information unit based on the code image photographed by the photographing unit.
Wherein based on the object imaging position identified by the photographing position identification means, displaying a part image images drawn content image in at least said information unit based on the partial image data stored in the computer on the display unit Partial image display control means to be controlled,
A special image display control means for controlling the display of the special image when the display conditions for displaying the special image are satisfied.
To function as
An information providing program in which the outline of at least a partial image of a content image drawn in the information unit stored in the computer matches the outline of an image in a shooting range photographed by the photographing unit.
前記コンピュータは、更に計時部を備え、
前記コンピュータを、
前記計時部による計時情報に基づいて前記特別画像を表示制御する計時情報対応画像選択手段として機能させる情報提供プログラム。 In claim 6,
The computer is further equipped with a timekeeping unit.
The computer
An information providing program that functions as a timekeeping information corresponding image selection means that displays and controls the special image based on the timekeeping information by the timekeeping unit.
前記コンピュータを、
前記表示部に表示した前記特別画像の履歴を前記コンピュータに設けられた記憶部に記憶させる特別画像表示履歴記憶手段、
前記履歴に基づいて、過去に表示した前記特別画像を前記表示部に表示制御する記録表示制御手段、として機能させる情報提供プログラム。 In claim 6 or 7,
The computer
A special image display history storage means for storing the history of the special image displayed on the display unit in a storage unit provided in the computer.
An information providing program that functions as a recording display control means for displaying and controlling the special image displayed in the past on the display unit based on the history.
前記被撮影位置識別手段において、前記被撮影位置は、前記撮影部で撮影した画像中の前記コード画像の配置関係により識別される情報提供プログラム。
In any one of claims 6 to 8,
An information providing program in which the imaged position is identified by the arrangement relationship of the code image in the image photographed by the photographing unit in the imaged position identifying means.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017170149A JP6894322B2 (en) | 2014-01-31 | 2017-09-05 | Information provision system and information provision program |
| JP2020009658A JP6979088B2 (en) | 2017-09-05 | 2020-01-24 | Information provision system and information provision program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014017907A JP6207415B2 (en) | 2014-01-31 | 2014-01-31 | Information providing system and information providing program |
| JP2017170149A JP6894322B2 (en) | 2014-01-31 | 2017-09-05 | Information provision system and information provision program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014017907A Division JP6207415B2 (en) | 2014-01-31 | 2014-01-31 | Information providing system and information providing program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020009658A Division JP6979088B2 (en) | 2017-09-05 | 2020-01-24 | Information provision system and information provision program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018032406A JP2018032406A (en) | 2018-03-01 |
| JP6894322B2 true JP6894322B2 (en) | 2021-06-30 |
Family
ID=61303576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017170149A Active JP6894322B2 (en) | 2014-01-31 | 2017-09-05 | Information provision system and information provision program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6894322B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3786166B2 (en) * | 1998-06-30 | 2006-06-14 | ソニー株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP4550460B2 (en) * | 2004-03-30 | 2010-09-22 | シャープ株式会社 | Content expression control device and content expression control program |
| CN101258492A (en) * | 2005-09-07 | 2008-09-03 | 国际商业机器公司 | Display device, output device, display system, display method, medium, program, and external unit |
| WO2007116705A1 (en) * | 2006-03-31 | 2007-10-18 | Nec Corporation | Web content read information display device, method, and program |
| JP5472972B2 (en) * | 2009-06-24 | 2014-04-16 | Ｎｅｃビッグローブ株式会社 | Object information display device, object information display method, object information display program |
-
2017
- 2017-09-05 JP JP2017170149A patent/JP6894322B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018032406A (en) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Craig | Understanding augmented reality: Concepts and applications | |
| US9996979B2 (en) | Augmented reality technology-based handheld viewing device and method thereof | |
| CN105031919B (en) | The method that the cognition of observer is maintained and embodied for augmented reality role | |
| JP2020074085A (en) | Apparatus and board | |
| EP2903265A1 (en) | Display device, control method, and control program | |
| WO2014002346A1 (en) | Video processing device, video processing method, and video processing system | |
| TW201447375A (en) | Head wearable electronic device and method for augmented reality | |
| US20170186235A1 (en) | Augmented reality system | |
| JP6207415B2 (en) | Information providing system and information providing program | |
| JP5514637B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| JP2018514836A (en) | Controller visualization in virtual and augmented reality environments | |
| JP5735861B2 (en) | Image display program, image display apparatus, image display method, image display system, marker | |
| Giddings | Drawing without light: Simulated photography in videogames | |
| Petrelli et al. | Prototyping tangibles: exploring form and interaction | |
| JP6979088B2 (en) | Information provision system and information provision program | |
| JP6894322B2 (en) | Information provision system and information provision program | |
| CN111083391A (en) | Virtual-real fusion system and method thereof | |
| TW201222476A (en) | Image processing system and method thereof, computer readable storage media and computer program product | |
| JP6946857B2 (en) | Information processing equipment and programs | |
| US20220036620A1 (en) | Animation production system | |
| Chan et al. | Gesture-based interaction for a magic crystal ball | |
| Giddings | Drawing without light | |
| JP7310283B2 (en) | Display control system, display control device, display control method, and program | |
| KR101526049B1 (en) | Virtual ecology park visualization system | |
| Demarest | Mediating Public Space: Art and Technology That Goes Beyond the Frame Art Gallery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170929 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180704 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190423 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190513 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190619 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200124 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200124 |
|
| C12 | Written invitation by the commissioner to file intermediate amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C12 Effective date: 20200214 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200324 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200325 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200703 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200708 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201007 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201209 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20201223 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210126 |
|
| C126 | Written invitation by the chief administrative judge to file intermediate amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C126 Effective date: 20210210 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210415 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210428 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210526 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6894322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |