JP2014048876A - 集合写真形成装置、集合写真形成方法および集合写真形成プログラム - Google Patents

集合写真形成装置、集合写真形成方法および集合写真形成プログラム Download PDF

Info

Publication number
JP2014048876A
JP2014048876A JP2012191065A JP2012191065A JP2014048876A JP 2014048876 A JP2014048876 A JP 2014048876A JP 2012191065 A JP2012191065 A JP 2012191065A JP 2012191065 A JP2012191065 A JP 2012191065A JP 2014048876 A JP2014048876 A JP 2014048876A
Authority
JP
Japan
Prior art keywords
user
image data
photo
group photo
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012191065A
Other languages
English (en)
Other versions
JP5978070B2 (ja
Inventor
Mitsuaki Koseki
光昭 小関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenrin Datacom Co Ltd
Original Assignee
Zenrin Datacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenrin Datacom Co Ltd filed Critical Zenrin Datacom Co Ltd
Priority to JP2012191065A priority Critical patent/JP5978070B2/ja
Publication of JP2014048876A publication Critical patent/JP2014048876A/ja
Application granted granted Critical
Publication of JP5978070B2 publication Critical patent/JP5978070B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】いわゆるソーシャルメディアの利用時において、関係性を成立させた複数の利用者が被写体となる仮想的な集合写真を簡単に形成できるようにする。
【解決手段】SNS2の投稿ログの利用ページなどの利用時にタッチパネル107を通じて「撮影」ボタンに対する操作(撮影指示)を受け付ける。この場合、投稿者画像取得部109が、ユーザー端末装置1のユーザーの顔写真の画像データと、当該ユーザーの利用ページに投稿情報が掲載されている1以上の他のユーザー(友人関係の成立しているユーザー)の顔写真の画像データとをSNS2から取得する。これら取得した顔写真の画像データを用いて、集合写真形成部110が1枚の集合写真を形成する。
【選択図】図1

Description

この発明は、例えば、SNS(Social Networking Service)などのいわゆるソーシャルメディアの利用時において、複数の利用者が被写体となる集合写真を形成(撮影)する装置、方法、プログラムに関する。
特許文献1には、遠隔地にいる複数の人が、あたかも同じ場所に集まったような集合写真を作ることができる合成画像システムに関する発明が開示されている。当該合成画像システムは、複数の携帯電話機や複数のテレビ電話機とサーバとが通信回線を通じて接続されて構成される。そして、携帯電話機やテレビ電話機からサーバを通じて、一緒に写真を撮りたい人の携帯電話機やテレビ電話機に対して、その旨の要求を送る。そして、要求元の携帯電話機やテレビ電話機から要求元のユーザーの画像データをサーバに送信する。
また、要求先のユーザーが集合写真を撮ることに同意した場合には、要求先の携帯電話機やテレビ電話機から要求先のユーザーの画像データをサーバに送信する。そして、サーバでは、要求元のユーザーの画像データと要求先のユーザーの画像データとを用いて集合写真を合成し、当該集合写真を要求元と要求先の携帯電話機やテレビ電話機に送信する。このようにして、特許文献1の合成画像システムでは、サーバが遠隔地にいる複数の人が被写体となった集合写真を形成し、要求元と要求先のユーザーに当該集合写真を配布することを可能にしている。
特開2002−176547号公報
近年、例えば、Facebook,Inc.が運営する「Facebook(登録商標)」などの個人の実名や顔写真まで公開するSNS(Social Networking Service)が多数のユーザーを獲得している。そして、SNSでは、テキストデータや画像データを投稿すると、これらの投稿情報は、当該SNSにおいて友人関係が成立しているユーザーのいわゆる投稿ログに掲載される。このようにして、SNSのユーザー同士が相互に情報の交換を行うことが可能になる。また、SNSの中には、いわゆるテキストチャット機能を提供しているものもある。
そして、SNSでは、共通の趣旨や嗜好で友人関係を構築している場合が多い。したがって、SNSを離れ、SNSのユーザー同士が実際に合って親睦を深めるいわゆるオフ会なども、共通の趣旨や嗜好で友人関係を成立させたグループを単位として行われる。しかし、距離的な問題からオフ会に参加できない、または、ネットワーク上の付き合いは構わないがリアルな付き合いは遠慮したいとするユーザーも多い。しかし、SNSを介して、共通の話題で盛り上がっている時点で何らかの記念を残したいとする要求がある。このため、SNS上において共通の話題で盛り上がっている複数のユーザーを被写体とする集合写真を簡単に形成したいとする要求が大きくなってきている。
そこで、上述した特許文献1に記載の技術を用いることが考えられる。しかし、特許文献1に記載の技術の場合には、集合写真の形成のために専用のサーバ装置が必要になる。また、特許文献1に記載野技術の場合には、上述もしたように、集合写真を形成することを希望した要求元のユーザーが、集合写真に一緒に写って欲しい複数のユーザーに対して、サーバを介して集合写真の形成に加わって欲しい旨の要求を出す。そして、その双方が画像データを提供しなければ集合写真を形成できない。このように、特許文献1に記載の技術の場合、集合写真を形成するまでに、複数のユーザーの手続が必要になり、簡単に集合写真を形成できない。
以上のことに鑑み、この発明は、いわゆるソーシャルメディアの利用時において、複数の利用者が被写体となる集合写真を簡単に形成できるようにすることを目的とする。
なお、この明細書において、ソーシャルメディアとは、誰もが参加できるスケーラブルな情報発信技術を用いて、社会的インタラクションを通じて広がっていくように設計されたメディアを意味する。換言すれば、ネットワーク上で、ユーザー同士が情報を交換(送受信)することによって成り立っているメディアであり、「1対多」、「多対多」の双方向で、テキストデータや画像データ等を使ったコミュニケーションが可能な種々のメディアを含む。
ソーシャルメディアの具体例としては、種々のSNSがある。SNSには、上述したFacebook,Inc.が運営する「Facebook(登録商標)」や株式会社ミクシィが運営する「mixi(登録商標)」など、大小さまざまなものがある。また、例えば、SNSの機能の1つとして提供されているテキストチャット機能は、インターネット等のネットワークを通じてリアルタイムにテキストテータベース(文字ベース)の会話を行う機能を意味する。テキストチャット機能は、ある程度まとまった内容を非同期にやり取りするメールや電子掲示板などとは異なり、実際の会話のように短い文章をリアルタイムにやり取りしてコミュニケーションを行う機能である。
上記課題を解決するため、請求項1に記載の発明の集合写真形成装置は、
ネットワーク上に設けられ、利用者の顔写真の画像データを利用者属性情報の1つとして利用可能なソーシャルメディアの利用時に、利用者からの集合写真の撮影指示を受け付ける受付手段と、
前記撮影指示を受け付けた場合に、当該利用者の顔写真の画像データと、当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを取得する投稿者画像取得手段と、
取得された当該利用者の前記顔写真の画像データと当該利用者のページに投稿情報が掲載されている1以上の他の利用者の前記顔写真の画像データとを利用して、1枚の集合写真を形成する形成手段と
を備えることを特徴とする。
請求項1に記載の発明の集合写真形成装置によれば、利用者の顔写真の画像データを利用者属性情報の1つとして利用可能なソーシャルメディアの利用時に、受付手段を通じて利用者からの集合写真の撮影指示を受け付けたとする。この場合、投稿者画像取得手段が、当該利用者の顔写真の画像データと、当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを取得する。これら取得された当該利用者の顔写真の画像データと当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを利用して、形成手段が1枚の集合写真を形成する。
これにより、ソーシャルメディアの利用者は、撮影指示を入力するだけで、当該利用者の顔写真の画像データと当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを利用した集合写真が形成できる。この場合、1以上の他の利用者の操作は必要なく、また、各利用者が集合写真の形成のために新たに画像データを提供する必要も無いので、簡単に目的とする集合写真を形成できる。
この発明によれば、いわゆるソーシャルメディアの利用時において、複数の利用者が被写体となる仮想的な集合写真を簡単に形成できる。
この発明の集合写真形成装置の一実施の形態が適用されたユーザー端末装置1(1)、1(2)、…の構成例について説明するための図である。 SNS2側が管理するユーザー別属性情報ファイルの例を説明するための図である。 記憶装置103に用意されている元画像データの一例を説明するための図である。 ユーザー端末装置1の表示部106に表示される投稿ログ等の表示例を説明するための図である。 集合写真形成部110によって形成される集合写真の一例を示す図である。 ユーザー端末装置1で行われる集合写真の形成処理を説明するためのフローチャートである。
以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。この発明の装置、方法、プログラムは、種々のソーシャルメディアを利用可能な種々のユーザー端末装置やSNSや無料通話アプリケーション等のソーシャルメディア側の情報処理装置に適用できる。
ユーザー端末装置は、パーソナルコンピュータ、タブレット端末、携帯電話端末、スマートフォンと呼ばれる高機能携帯電話端末などの通信機能を備えた種々の電子機器である。また、ソーシャルメディア側のシステムは、一般にクラウドシステムとして構築される場合が多い。このため、ソーシャルメディア側の情報処理装置としては、当該クラウドシステムを構成するいずれかの装置ということになる。
なお、以下に説明する実施の形態においては、説明を簡単にするため、例えば高機能携帯電話端末であるユーザー端末装置に、この発明の装置、方法、プログラムを適用した場合を例にして説明する。すなわち、この発明の主要な機能はユーザー端末装置側において実現される。
[ユーザー端末装置1の構成例]
図1は、ソーシャルメディアとして所定のSNS2を利用可能な利用者(以下、ユーザーと記載する。)が用いるユーザー端末装置1(1)、1(2)、…の構成例について説明するための図である。ユーザー端末装置1(1)、1(2)、…のそれぞれは、この発明の装置、方法、プログラムの一実施の形態が適用されたものである。
まず、ユーザー端末装置1(1)、1(2)、…の構成例を説明する前に、図1に示したSNS2の概要について説明する。SNS2は、インターネット上に設けられ、アカウントが設定されたユーザーのいわゆるページ(ユーザー領域)を形成して、当該ページを通じてユーザー同士が情報のやり取りを行うなどのことができる。図1において、SNS2の内部に符号U1、A1、A2、…等を付して示した○印は、アカウントが設定されたユーザーのページ(ユーザー領域)に対応している。
そして、アカウントが設定されたユーザーは、当該設定された自己のアカウントを用い、自己のユーザー端末装置1(1)、1(2)、…を通じてSNS2にログインすることにより、自己のページにアクセスできる。そして、当該ページを通じて、SNS2に属する他のユーザーと友人関係を成立させたり、テキストデータや画像データからなる投稿情報の投稿を行ったりできる。また、当該ページを通じて、友人関係にある他のユーザーからの投稿情報が掲載される自己の投稿ログの閲覧もできる。この他にも、当該ページを通じてチャット機能を利用するなど、種々のSNS2が提供する機能を利用できる。
また、この実施の形態のSNS2は、ユーザーの顔写真の画像データをユーザー属性情報の1つとして管理し、公開したり、利用したりできるようにしている。図2は、SNS2側で管理されるユーザー別属性情報ファイルの例を説明するための図である。図2に示すように、ユーザー別属性情報ファイルでは、アカウントが設定されたユーザー毎に、ユーザーの顔写真の画像データ、ユーザーID、基本情報が管理される。基本情報は、アカウント情報、名前、その他の属性情報からなる。このような、ユーザー別属性情報ファイルで管理される各ユーザーの属性情報は、アカウントの設定時に、各ユーザーからユーザー端末装置1(1)、1(2)、…を通じて提供されるものである。
次に、この実施の形態のユーザー端末装置1(1)、1(2)、…の構成例について説明する。この実施の形態のユーザー端末装置1(1)、1(2)、…のそれぞれは、集合写真形成装置として同様の機能を有するものであるので、以下においては、ユーザー端末装置1(1)、1(2)、…を総称して、ユーザー端末装置1と記載する。
この実施の形態のユーザー端末装置1は、図1の下側のブロック図に示すように、大きく8つの部分を有する。図1に示したユーザー端末装置1おいて、無線通信部101は、通信ネットワークを通じて受信した信号を自機(ユーザー端末装置1)が処理可能なデータに変換して取り込んだり、送信用の種々のデータをプロトコルに準拠した信号に変換して自機から通信ネットワークに送出したりする。無線通信部101には、送受信アンテナ101Aが接続されている。
制御部102は、ユーザー端末装置1の各部を制御するものであり、図示しないが、CPU、ROM、RAMがCPUバスを通じて接続されて構成されたコンピュータ装置である。また、制御部102は、種々のアプリケーションプログラムの実行部としても機能する。記憶装置103は、記録媒体として不揮発性メモリを備え、種々のアプリケーションプログラムや処理に必要なデータ、また、種々の処理により得られたデータ等の不揮発性メモリへの書込み/記録保持/読み出し/削除を行う。
操作部104は、ユーザー端末装置1に設けられたハードウェアキーからなり、ユーザーからの操作入力を受け付けて、受け付けた情報を制御部102に供給する。操作部104に設けられたハードウェアキーは例えば電源のオン/オフキーや基本機能を実行するための幾つかのファンクションキー等である。時間制御部105は、現在年月日、現在曜日、現在時刻を管理する。
表示部106は、種々の画像データや映像データの供給を受けて、これを映像信号に変換し、当該映像信号に応じた画像や映像を自己の表示画面に表示する。また、表示部106の表示画面に貼付されたタッチパネル107は、表示画面に表示される情報と共に、いわゆるソフトウェアキーを構成する。したがって、制御部102は、タッチパネル107からのユーザーの指示位置を示す情報と当該指示位置に対応する表示部106の表示画面上に表示された情報とに基づいて、ユーザーからの指示入力が認識できるようになっている。
元画像取得部108は、この実施の形態においては、ユーザー端末装置1の記憶装置103から目的とする集合写真の元になる元画像データを取得する。すなわち、この実施の形態では、記憶装置103には、種々のシチュエーションで撮影された集合写真を形成する元画像データが予め用意されている。図3は、元画像データの一例を説明するための図である。例えば、図3Aに示すようなサッカー選手の試合前集合写真や図3Bに示すような山麓で撮影された登山旅行時集合写真などが元画像データとして用意されている。
この他にも図示しないが、例えば新幹線車内で撮影された旅行時集合写真等、集合写真を形成するための種々のシチュエーションの元画像データを用意しておくことが可能である。なお、ここでは、元画像データを記憶装置103に用意するものとして説明するが、元画像データをSNS2側に用意しておき、これを元画像取得部108が無線通信部101を通じてSNS2から取得する構成とすることもできる。
投稿者画像取得部109は、ユーザー端末装置1のユーザーから撮影指示を受け付けた場合に、無線通信部101を通じてSNS2から集合写真の形成に用いるユーザーの顔写真の画像データを取得する。より具体的には、投稿者画像取得部109は、撮影指示を行ったユーザー端末装置1のユーザーの顔写真の画像データと、当該ユーザーのページに投稿情報が掲載されている1以上の他のユーザーの顔写真の画像データとを取得する。
図4は、ユーザー端末装置1の表示部106に表示されるユーザーの投稿ログの利用ページの表示例を説明するための図である。図4に示す投稿ログの利用ページの表示例は、当該ユーザーのSNS2上に形成された投稿ログに掲載された投稿情報を投稿された順番に表示するようにしたものであり、投稿を行ったユーザーの顔写真と投稿内容(テキストデータ)からなっている。ユーザーの顔写真は、投稿と同時に、図2に示したユーザー別属性情報ファイルの顔写真(画像データ)が用いられて、図4に示したように投稿内容の横や上に表示される。
そして、投稿者画像取得部109は、図4に示したユーザーの投稿ログの利用ページの表示例において、右下端部に表示された撮影ボタンが操作されると、集合写真に含めるSNS2のユーザーの顔写真の画像データを取得する。この場合、図4を用いて説明したように、投稿ログに掲載されている投稿を行ったユーザーの顔写真の画像データを取得する。
例えば、図4に示した投稿ログを表示しているユーザー端末装置1のユーザーであって、「撮影」ボタンを操作したユーザーが、図2に示したユーザー別属性情報ファイルに登録されている「△△一郎」であるとする。また、「△△一郎」と友人関係にあり、図4に示した投稿ログに投稿情報が表示されているユーザーが、図2に示したユーザー別属性情報ファイルに登録されている「○○太郎」や「□□花子」等であるとする。
この場合、投稿者画像取得部109は、図4に示した投稿ログに投稿情報が掲載されている「△△一郎」、「○○太郎」、「□□花子」等のユーザーの顔写真の画像データを、SNS2が提供する当該投稿ログの利用ページから取得する。これにより、ユーザー端末装置1は、目的とするユーザーの顔写真の画像データを取得できる。なお、SNS2で利用されているユーザーの顔写真の画像データは、基本的に公開することを目的として、SNS2に提供されるものであるため、SNS2がユーザー端末装置1に提供し、これをユーザー端末装置1において利用しても問題が生じることはない。
但し、自己の顔写真の画像データが集合写真の形成のために用いられることを望まないユーザーも存在することが考える。このため、例えば、アカウントの設定時等の所定の時点において、顔写真の画像データの提供の可否についてユーザーに問い合わせを行い、それに応じて顔写真の画像データの提供の可否をユーザー別属性情報ファイルに設定しておくこともできる。
これにより、投稿者画像取得部109が、ユーザー別属性情報ファイルを確認し、顔写真の画像データの提供の可否設定が「提供不可」であるユーザーについては、通常の顔写真とは別に用意される集合写真用の顔写真や一般的な顔アイコン、アバター(イラスト)を用いることができる。あるいは、投稿者画像取得部109が、ユーザー別属性情報ファイルを確認し、顔写真の画像データの提供の可否設定が、「提供可」であるユーザーの顔写真の画像データだけを取得することもできる。なお、形成する集合写真を、撮影指示を行ったユーザーが自分だけの記念として保存するのであれば、集合写真に含める他のユーザーの許可は不要である。
また、投稿者画像取得部109は、当該ユーザーの投稿ログに掲載されている投稿情報に応じて設定可能な条件に従って、集合写真の形成に用いるユーザーの顔写真の画像データを取得できる。例えば、当該ユーザーの投稿ログに掲載されている投稿情報に基づき、投稿時間の新しいもの順に投稿を行った所定人数分の異なるユーザーの顔写真の画像データを取得できる。また、当該ユーザーの投稿ログに掲載されている投稿情報に基づき、共通の話題に投稿してきている所定人数分の異なるユーザーの顔写真の画像データを取得できる。また、当該ユーザーの投稿ログに掲載されている投稿情報に基づき、投稿回数の多い順に所定人数分の異なるユーザーの顔写真の画像データを取得できる。この他にも、いわゆる「いいね」ボタンが押された回数の多い投稿順に所定人数分の異なるユーザーの顔写真の画像データを取得するなどのこともできる。
なお、テキストチャット機能を用いて、複数のユーザーがリアルタイムにテキストデータの送受を行っている場合においても上述した投稿ログを利用する場合と同様に、他のユーザーの顔写真の画像データを取得できる。すなわち、ユーザー端末装置1のユーザー以外のユーザーの顔写真の画像データは、チャットに参加してテキストデータ(投稿情報に相当)を送信してきているユーザーのものを取得できる。
そして、集合写真形成部110は、元画像取得部108が取得した元画像データと、投稿者画像取得部109が取得した複数のユーザーの顔写真の画像データとを合成し、1枚の集合写真の画像データを形成する。図5は、集合写真形成部110によって形成される集合写真の一例を示す図である。例えば、元画像取得部108が取得した元画像データが、図3Aに示したサッカー選手の試合前集合写真であり、投稿者画像取得部109が取得したユーザーの顔写真の画像データが図2に示した3名のユーザーの顔写真の画像データを含むものとする。
この場合、集合写真形成部110は、図5に示すように、図3Aに示したサッカー選手の試合前集合写真の各選手の顔部分の画像を、投稿者画像取得部109が取得したユーザーの顔写真に置き換える処理を行う。これにより、実際の写真ではないが、図5に示したように画像合成により形成した仮想的な集合写真の画像データが形成できる。そして、図5に示した集合写真の場合には、ユーザー端末装置1のユーザーである「△△一郎」の顔写真を、当該集合写真において一番目立つ後列の中央(左右いずれからも3番目)に位置する選手の顔部分に配置している。
また、この例においては、投稿の新しい順に、まず、前列の中央から外側に向かうように、各選手の顔部分を友人関係にあるユーザーの顔写真に置き換えるようにしている。そして、前列終了後には、後列の中央から外側に向かうように、各選手の顔部分を友人関係にあるユーザーの顔写真に置き換える。なお、後列の中央は、ユーザー端末装置1のユーザーの顔写真に置き換えられているので、実際にはその隣から置き換えられる。
したがって、図5に示した集合写真の場合には、友人関係にある「○○太郎」の顔写真が前列左から3番目に配置され、友人関係にある「□□花子」の顔写真が前列左から3番目に配置されるというようにして集合写真が形成される。このように、集合写真形成部110は、予め決められた順番に従って、元画像に存在する人物の顔部分の画像を、投稿者画像取得部109により取得されたユーザーの顔写真に置き換えて、集合写真を形成する。
そして、この実施の形態のユーザー端末装置1では、(1)集合写真の撮影指示、(2)集合写真の元になる元画像(元写真)の選択、(3)合成する顔写真の優先条件の指定、(4)顔写真の取得、(5)集合写真の合成、(6)出来上がった写真を見るだけか、保存するか、他の投稿者や他のユーザーに公開するかの選択の順に集合写真に関する一連の処理を行える。これらの処理の詳細については、フローチャートを用いて後述する。
このように、この実施の形態のユーザー端末装置1においては、ユーザー端末装置1においては、投稿を行ったユーザーの顔写真を用いて集合写真を形成できる。しかも、集合写真に含める撮影指示を行ったユーザー以外のユーザーが特別に操作を行うこともないので、撮影指示を行ったユーザーが目的とする集合写真を簡単に形成できる。そして、形成された集合写真は、見て楽しんだり、ユーザー端末装置1に保持して利用することができるほか、SNS2を通じて、集合写真に顔写真が含められた他のユーザーに対して提供したり、画像供給サイトにアップロードしたりできる。
[ユーザー端末装置1の処理のまとめ]
次に、この実施の形態のユーザー端末装置1において、集合写真を形成する場合の処理についてフローチャートを参照しながらまとめる。図6は、ユーザー端末装置1で行われる集合写真の形成処理を説明するためのフローチャートである。この図6に示す集合写真の形成処理は、SNS2にログインし、投稿ログの利用ページやテキストチャット機能の利用ページを表示するようにした場合に実行される処理である。
まず、制御部102は、ユーザーの指示に応じて、無線通信部101を通じてSNS2の投稿ログの利用ページあるいはテキストチャット機能の利用ページにアクセスし、当該利用ページへの投稿情報を表示部106に表示する処理を行う(ステップS101)。例えば、投稿ログの利用ページの表示が指示された場合には、図4に示した態様の投稿ログの利用ページが表示される。そして、制御部102は、タッチパネル107を通じてユーザーからの操作入力を受け付ける(ステップS102)。
この後、制御部102は、ステップS102において、撮影指示を受け付けたか否かを判別する(ステップS103)。ステップS103の判別処理は、例えば、図4に示した投稿ログの利用ページの右下端部等に表示される「撮影」ボタンが操作されたか否かを判別する処理である。ステップS103の判別処理において、撮影指示は受け付けていないと判別した時には、所定の終了操作を受け付けたか否かを判別する(ステップS104)。当該所定の終了操作は、当該利用ページの「終了」ボタンの操作等である。
ステップS104の判別処理において、終了操作を受け付けたと判別したときには、表示部106の表示を、当該利用ページを表示する前の状態に戻すなどの所定の終了処理を行って(ステップS105)、この図6に示す処理を終了する。また、ステップS104の判別処理において、終了操作を受け付けていないと判別したときには、受け付けた操作に応じた処理を実行し(ステップS106)、この後、ステップS102からの処理を繰り返す。なお、ステップS106においては、例えば、表示情報のスクロール処理や投稿情報の入力受付処理、受け付けた投稿情報の投稿処理等、ユーザーの操作に応じた種々の処理が行われる。
また、ステップS103の判別処理において、撮影指示を受け付けたと判別した時には、制御部102は、元画像の選択設定処理を実行する(ステップS107)。具体的にステップS107では、記憶装置103に記憶保持している複数の元画像のサムネイル画像を表示部106に表示し、ユーザーからの元画像の選択を受け付けて、選択された元画像を特定する情報を記憶装置103の所定の領域に設定する処理を行う。
そして、ステップS107の元画像の選択設定処理を実行した後においては、制御部102は、元画像取得部108を制御し、ステップS107において選択設定された元画像を取得する処理を行う(ステップS108)。この後、制御部102は、投稿者画像取得部109を制御し、図4を用いて説明したように、投稿ログの利用ページやテキストチャット機能の利用ページに投稿情報が掲載されているユーザーの顔写真の画像データをSNS2が提供する当該利用ページから取得する処理を行う(ステップS109)。
なお、上述もしたが、ステップS109の処理では、ユーザーからの指示に応じて、どのようなユーザーの顔写真の画像データを取得するかを制御することができる。すなわち、投稿時間、投稿内容、投稿回数等に基づいて、顔写真の画像データを取得するユーザーの範囲を設定することができる。この他にも、SNS2の機能として、投稿情報等に対して、支持や他者に進めることを意味するいわゆる「いいね」ボタンや「おすすめ」ボタンなどが多く押された投稿情報の投稿者の顔写真の画像データを優先的に抽出することもできる。また、SNS2の機能として、投稿情報に対してコメントできる場合には、コメント数の多い投稿情報の投稿者の顔写真の画像データを優先的に抽出することもできる。
次に、制御部102は、集合写真形成部110を制御して、ステップS108で取得した元画像の画像データと、ステップS109で取得したユーザーの顔写真の画像データとを用いて、図5に一例を示したように集合写真を形成する(ステップS110)。そして、制御部102は、集合写真形成部110が形成した集合写真の画像データを表示部106に供給して、当該集合写真を表示部106に表示する(ステップS111)。
この後、制御部102は、タッチパネル107を通じてユーザーからの操作入力を受け付け(ステップS112)、受け付けた操作に応じた処理を実行する(ステップS113)。このステップS112、ステップS113の処理を通じて、例えば、形成した集合写真を、破棄したり、記憶装置103に格納したり、SNS2にアップロードして他のユーザーに配布できるようにしたりするなどのことが行われる。そして、ステップS113の処理の地においては、ステップS101からの処理が繰り替えされる。
このように、ユーザー端末装置1では、ユーザーからの撮影指示に応じて、極めて簡単に、「撮影」ボタンを操作したユーザーの顔写真と、「撮影」ボタンを操作したユーザーと友人関係にある他のユーザーの顔写真を含めた集合写真を形成できる。そして、形成した集合写真を、自分で楽しんだり、SNS2を介して他のユーザーに提供したりするなどができる。
[実施の形態の効果]
ユーザーの顔写真がユーザーの属性情報の1つとして公開され、利用が可能なSNSのユーザーが、自己の顔写真と、自己と友人関係を成立させた他のユーザーの顔写真とを用いて、簡単に集合写真を形成できる。これにより、オフ会に参加できないユーザーや、現実の世界での付き合いは遠慮したいユーザーが存在していても、仮想的な集合写真を形成し、これを利用することができる。すなわち、ネット上でも、現実の世界と同様に集合写真を形成し、これを利用することにより、現実の世界と同様のユーザー同士の関係性を構築できる。
[変形例]
なお、上述した実施の形態では、集合写真の形成機能(撮影機能)を、主にユーザー端末装置1の機能として実現したが、これに限るものではない。SNS2側において、集合写真の形成機能(撮影機能)を実現することももちろん可能である。この場合、SNS2側に、図1に示した元画像取得部108、投稿者画像取得部109、集合写真形成部110が設けられ、これらが機能することになる。そして、基本的に図6に示したフローチャートの各処理の実行主体がユーザー端末装置1からSNS2側に移ることになる。このため、図6を参照しながらSNS2側が集合写真の形成機能を有する場合のSNS2側の処理について簡単にまとめる。
まず、SNS2は、ユーザー端末装置1からのユーザーの指示に応じて、投稿ログの利用ページあるいはテキストチャット機能の利用ページ等をユーザー端末装置1に提供し、これをユーザー端末装置1の表示部106に表示させる(ステップS101)。当該利用ページは、図4に示したように、「撮影」ボタンを有するものである。そして、SNS2は、ユーザー端末装置1からの操作入力を受け付け(ステップS102)、撮影指示を受け付けたか否かを判別する(ステップS103)。ステップS103において、撮影指示を受け付けていないと判別した時には、SNS2は、ステップS104〜ステップS106の処理により、ユーザーからの指示に応じて、終了処理や表示画面のスクロール処理等の要求に応じた処理を行うことになる。
一方、ステップS103の判別処理において、撮影指示を受け付けたと判別した時には、SNS2は、元画像の選択設定処理を実行する(ステップS107)。具体的にステップS107では、SNS2が保持している複数の元画像のサムネイル画像をユーザー端末装置1に提供して表示させ、ユーザーからの元画像の選択を受け付けて、選択された元画像を特定する情報をSNS2に設定する。
そして、ステップS107の元画像の選択設定処理を実行した後、SNS2は、SNS2側に設けられた元画像取得部108を制御し、ステップS107において選択設定された元画像を取得する(ステップS108)。この後、SNS2においては、撮影指示を送信してきたユーザーの利用ページに投稿情報が掲載されているユーザーの顔写真の画像データを取得する処理を行う(ステップS109)。
このステップS109の処理は、SNS2側に設けられた投稿者画像取得部109を制御することにより実行される。そして、撮影指示を送信してきたユーザー端末装置1のユーザーの顔写真の画像データと、当該ユーザーの利用ページに投稿が掲載されている他のユーザーの顔写真の画像データとが取得される。なお、SNS2側で実行されるステップS109の処理でも、ユーザーからの指示に応じて、撮影指示を行ったユーザー以外に、どのようなユーザーの顔写真の画像データを取得するかを制御することができる。すなわち、投稿時間、投稿内容、投稿回数、いわゆる「いいね」ボタンの押された回数、寄せられたコメントの数等に基づいて、顔写真の画像データを取得するユーザーの範囲を設定することができる。
次に、SNS2は、ステップS108で取得した元画像の画像データと、ステップS109で取得したユーザーの顔写真の画像データとを用いて、図5にその一例を示したように、目的とする集合写真を形成する(ステップS110)。このステップS110の処理は、SNS2側に設けられた集合写真形成部110を制御することにより実行される。ここでも、顔写真の配列順を設定することもできる。そして、SNS2は、集合写真形成部110が形成した集合写真の画像データを、撮影指示を送信してきたユーザー端末装置1に提供して、当該集合写真を当該ユーザー端末装置1の表示部106に表示させる(ステップS111)。
この後、SNS2は、ユーザー端末装置1からの操作入力を受け付け(ステップS112)、受け付けた操作に応じた処理を実行する(ステップS113)。このステップS112、ステップS113では、形成した集合写真を、例えば、破棄したり、SNS2の所定の記憶領域に格納したり、SNS2を通じて他のユーザーに配布したりするなど、ユーザー端末装置1からの指示に応じた種々の処理が行われる。そして、ステップS113の処理の地においては、ステップS101からの処理が繰り替えされる。
このように、この発明は、ユーザー端末装置1側で目的とするいわゆる仮想的な集合写真を形成することもできるし、SNS2側で形成することもできる。また、テキストチャット機能を利用している場合などにおいては、当該テキストチャット機能を提供しているソーシャルメディア側の機能として、チャットの参加者をメンバーとする集合写真の撮影機能を実現できる。
また、集合写真形成部110の機能として、「撮影」ボタンを操作したユーザーが、集合写真の中央でより大きく写っているポジションとすることができる。また、その他のユーザーの顔写真の入れ替えは、投稿情報の発信時刻順やランダム、友人としての親しい度合いなどを選択でき、これらに応じて例えば、集合写真の中央から外側に向かう方向にポジションを決めるといったことができる。また、元画像の各被写体に順番を付し、その順番に従って、ユーザーの顔写真を当てはめるポジションを決めることもできる。また、出来上がった写真を見て、顔写真の位置の入れ替えを行ったり、顔写真の並び順(配列)についての異なる基準を用いて、集合画像を再合成したりするなどのこともできる。
また、形成された仮想的な集合写真は、上述もしたように、撮影ボタンを操作したユーザーのみが楽しんでもよいし、配布したり、公開したりしてもよい。
また、上述した実施の形態では、図3を用いて説明したような元画像を用いるものとして説明したが、元画像は必ずしも必要なく、単に、投稿者画像取得部109が取得したユーザーの顔写真を、所定の順番に並べただけの集合写真を形成することもできる。
また、形成した集合写真には撮影部(形成日)、集合写真に含められたユーザーの名前、投稿の概要を示すキーワード情報等の付加情報を付加するようにしてもよい。
また、上述した実施の形態においては、集合写真に用いる元画像は、予め用意されている複数の元画像の中から撮影を指示したユーザーが選択するものとして説明したが、これに限るものではない。例えば、各ユーザーからの投稿情報を解析することにより、投稿内容(話題)を特定し、その特定した話題に合致した元画像を自動的に選択するように構成することも可能である。この場合には、頻出の単語を検出するなど、種々の手法を用いることができる。
また、上述したように、投稿者画像取得部109は、ユーザーの投稿ログ等に掲載されている投稿情報に応じて設定可能な条件に従って、集合写真の形成に用いるユーザーの顔写真の画像データを取得できるものである。従って、投稿時間の新しいもの順、投稿回数の多い順、「いいね」ボタンや「おすすめ」ボタンが多く押された投稿情報順、コメントが多く寄せられた投稿情報順などの適宜の順番で所定数分の他のユーザーの顔写真の画像データを取得できる。
また、投稿者画像取得部109は、他のユーザーの投稿情報内容を解析することにより、共通の話題(同じ話題)に投稿してきている投稿者の顔写真の画像データを取得することもできる。その他にも、投稿者画像取得部109は、SNS2に存在する属性情報に基づき、ユーザーによって指示される条件に従って、顔写真の画像データを抽出する範囲を設定することができる。例えば、SNS側で管理される各ユーザーの属性情報に基づいて、撮影指示を行ったユーザーに対して、居住地の近いユーザーを優先したり、出身校が同じユーザーを優先したり、年齢が近いユーザーを優先したりできる。また、投稿者画像取得部109は、SNS2に存在する履歴情報に基づき、SNS2が有するダイレクトメッセージ機能を用いて直接にメッセージのやり取りを行ったユーザーの顔写真の画像データを優先して取得するなどのこともできる。
また、集合写真形成部110は、上述もしたように、元画像の各被写体に順番を付しておくことにより、その順番に応じて、撮影指示を行ったユーザーや他のユーザーの顔写真の配置を定めることができる。元画像の各被写体の順番は、ユーザー端末装置1のユーザーによって予め設定しておくなどのことが可能である。また、集合写真の形成後において、表示部106に表示された集合写真を確認しながら、タッチパネル107を通じてユーザーの顔写真の位置を変更するなどのことも可能である。当該処理は、制御部102と集合写真形成部110とが協働することにより実現できる。
なお、SNSによっては、撮影指示を行ったユーザー端末装置1のユーザーの投稿ログやテキストチャットの利用ページには、当該ユーザー端末装置1のユーザーの投稿を別エリアに表示したり、あるいは、表示しないようにしたりできる場合もある。このような場合であっても、撮影指示を行ったユーザー端末装置1のユーザーの顔写真は例えば当該SNSから取得して必ず集合写真に含める。これにより、撮影指示を行ったユーザーの顔写真を必ず含む集合写真を形成できる。
[その他]
上述した実施の形態の説明からも分かるように、集合写真形成装置の受付手段としての機能は、ユーザー端末装置1のタッチパネル107及び表示部106に表示された「撮影」ボタンが実現している。また、集合写真形成装置の投稿者画像取得手段の機能は、例えばユーザー端末装置1の投稿者画像取得部109が実現し、集合写真形成装置の形成手段の機能は、例えばユーザー端末装置1の集合写真形成部110が実現している。
また、集合写真形成装置の記憶手段としての機能は、例えば、ユーザー端末装置1の記憶装置103が実現し、集合写真形成装置の元画像取得手段としての機能は、例えば、ユーザー端末装置1の元画像取得部108が実現している。また、集合写真形成装置の提示手段としての機能は、例えば、ユーザー端末装置1の表示部106が実現し、集合写真形成装置の受付手段としての機能は、例えば、ユーザー端末装置1のタッチパネル107が実現している。
また、図6に示した処理が、この発明の方法の一実施の形態に対応するものであり、図6に示した処理を行うプログラムが、この発明のプログラムの一実施の形態に対応するものである。そして、図1に示した元画像取得部108、投稿者画像取得部109、集合写真形成部110の各機能は、ユーザー端末装置1の制御部102に実行されるプログラムにより、制御部102の機能として実現することができる。また、図1に示した元画像取得部108、投稿者画像取得部109、集合写真形成部110の各機能は、SNS2等のソーシャルメディアを提供する情報処理装置で実行されるプログラムにより、ソーシャルメディア側の機能として実現することもできる。
1…ユーザー端末装置、2…SNS、101…無線通信部、101A…送受信アンテナ、102…制御部、103…記憶装置、104…操作部、105…時間制御部、106…表示部、107…タッチパネル、108…元画像取得部、109…投稿者画像取得部、110…集合写真形成部

Claims (7)

  1. ネットワーク上に設けられ、利用者の顔写真の画像データを利用者属性情報の1つとして利用可能なソーシャルメディアの利用時に、利用者からの集合写真の撮影指示を受け付ける受付手段と、
    前記撮影指示を受け付けた場合に、当該利用者の顔写真の画像データと、当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを取得する投稿者画像取得手段と、
    取得された当該利用者の前記顔写真の画像データと当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の前記顔写真の画像データとを利用して、1枚の集合写真を形成する形成手段と
    を備えることを特徴とする集合写真形成装置。
  2. 請求項1に記載の集合写真形成装置であって、
    集合写真の元になる1以上の元画像データを記憶する記憶手段と、
    前記記憶手段から目的とする元画像データを取得する元画像取得手段と
    を備え、
    前記形成手段は、前記元画像データにより形成される元画像を利用して、1枚の前記集合写真を形成することを特徴とする集合写真形成装置。
  3. 請求項2に記載の集合写真形成装置であって、
    前記記憶手段に記憶されている1以上の元画像データに応じた元画像を利用者に提示する提示手段と、
    利用者からの元画像の選択入力を受け付ける受付手段と
    を備え、
    前記元画像取得手段は、前記選択入力に応じた元画像データを取得することを特徴とする集合写真形成装置。
  4. 請求項1に記載の集合写真形成装置であって、
    前記形成手段は、当該利用者のページに投稿情報が掲載されている1以上の他の利用者のそれぞれに対して予め決められた方法に従って順番を付し、当該順番に従って、1枚の集合写真中の位置を特定することを特徴とする集合写真形成装置。
  5. 請求項1に記載の集合写真形成装置であって、
    前記投稿者画像抽出手段は、当該利用者のページに掲載されている1以上の他の利用者の投稿情報に基づいて、同じ話題で投稿してきている利用者の顔写真の画像データを抽出することを特徴とする集合写真形成装置。
  6. ネットワーク上に設けられ、利用者の顔写真の画像データを利用者属性情報の1つとして利用可能なソーシャルメディアの利用時に、受付手段を通じて利用者からの集合写真の撮影指示を受け付ける受付工程と、
    前記撮影指示を受け付けた場合に、投稿者画像取得手段が、当該利用者の顔写真の画像データと、当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを取得する投稿者画像取得工程と、
    取得された当該利用者の前記顔写真の画像データと当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の前記顔写真の画像データとを利用して、形成手段が1枚の集合写真を形成する形成工程と
    を有することを特徴とする集合写真形成方法。
  7. 画像データを処理する装置に搭載されたコンピュータが実行する集合写真形成プログラムであって、
    ネットワーク上に設けられ、利用者の顔写真の画像データを利用者属性情報の1つとして利用可能なソーシャルメディアの利用時に、受付手段を通じて利用者からの集合写真の撮影指示を受け付ける受付ステップと、
    前記撮影指示を受け付けた場合に、投稿者画像取得手段が、当該利用者の顔写真の画像データと、当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の顔写真の画像データとを取得する投稿者画像取得ステップと、
    取得された当該利用者の前記顔写真の画像データと当該利用者のページ等の領域に投稿情報が掲載されている1以上の他の利用者の前記顔写真の画像データとを利用して、形成手段が1枚の集合写真を形成する形成ステップと
    を実行することを特徴とする集合写真形成プログラム。
JP2012191065A 2012-08-31 2012-08-31 集合写真形成装置、集合写真形成方法および集合写真形成プログラム Expired - Fee Related JP5978070B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012191065A JP5978070B2 (ja) 2012-08-31 2012-08-31 集合写真形成装置、集合写真形成方法および集合写真形成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012191065A JP5978070B2 (ja) 2012-08-31 2012-08-31 集合写真形成装置、集合写真形成方法および集合写真形成プログラム

Publications (2)

Publication Number Publication Date
JP2014048876A true JP2014048876A (ja) 2014-03-17
JP5978070B2 JP5978070B2 (ja) 2016-08-24

Family

ID=50608494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012191065A Expired - Fee Related JP5978070B2 (ja) 2012-08-31 2012-08-31 集合写真形成装置、集合写真形成方法および集合写真形成プログラム

Country Status (1)

Country Link
JP (1) JP5978070B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017517904A (ja) * 2014-05-30 2017-06-29 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド ビデオベースの対話方法、端末、サーバ、およびシステム
JP6375039B1 (ja) * 2017-07-21 2018-08-15 テイク エイト インコーポレイテッド プログラム、撮影方法及び端末
CN113012042A (zh) * 2019-12-20 2021-06-22 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
JP2022048031A (ja) * 2020-09-14 2022-03-25 ヤフー株式会社 生成装置、生成方法および生成プログラム
JP7522439B2 (ja) 2020-06-24 2024-07-25 株式会社ヴァレント 情報処理方法および情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004039068A1 (ja) * 2002-10-23 2004-05-06 Matsushita Electric Industrial Co., Ltd. 画像合成携帯端末およびそれに用いられる画像合成方法
JP2006217439A (ja) * 2005-02-07 2006-08-17 Canon Inc 通信端末装置
JP2013016944A (ja) * 2011-07-01 2013-01-24 Active Node Co Ltd 携帯端末、携帯端末を用いた通信方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004039068A1 (ja) * 2002-10-23 2004-05-06 Matsushita Electric Industrial Co., Ltd. 画像合成携帯端末およびそれに用いられる画像合成方法
JP2006217439A (ja) * 2005-02-07 2006-08-17 Canon Inc 通信端末装置
JP2013016944A (ja) * 2011-07-01 2013-01-24 Active Node Co Ltd 携帯端末、携帯端末を用いた通信方法及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017517904A (ja) * 2014-05-30 2017-06-29 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド ビデオベースの対話方法、端末、サーバ、およびシステム
US10200763B2 (en) 2014-05-30 2019-02-05 Tencent Technology (Shenzhen) Company Limited Video-based interaction method, terminal, server and system
JP6375039B1 (ja) * 2017-07-21 2018-08-15 テイク エイト インコーポレイテッド プログラム、撮影方法及び端末
JP2019023846A (ja) * 2017-07-21 2019-02-14 テイク エイト インコーポレイテッド プログラム、撮影方法及び端末
CN113012042A (zh) * 2019-12-20 2021-06-22 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
CN113012042B (zh) * 2019-12-20 2023-01-20 海信集团有限公司 显示装置、虚拟合照生成方法及存储介质
JP7522439B2 (ja) 2020-06-24 2024-07-25 株式会社ヴァレント 情報処理方法および情報処理装置
JP2022048031A (ja) * 2020-09-14 2022-03-25 ヤフー株式会社 生成装置、生成方法および生成プログラム
JP7054725B2 (ja) 2020-09-14 2022-04-14 ヤフー株式会社 生成装置、生成方法および生成プログラム

Also Published As

Publication number Publication date
JP5978070B2 (ja) 2016-08-24

Similar Documents

Publication Publication Date Title
JP6375039B1 (ja) プログラム、撮影方法及び端末
JP5540126B2 (ja) チャットサービス提供方法及びプログラム
KR101626474B1 (ko) 메신저 기반 문서 공유 서비스 제공 장치 및 이를 이용한 방법
US9794200B2 (en) Server device, method, and system
US20170054858A1 (en) System and method for sharing collaborative digital photo albums
JP5909459B2 (ja) メッセージ送受信支援システム、メッセージ送受信支援プログラム及びメッセージ送受信支援方法
JP5978070B2 (ja) 集合写真形成装置、集合写真形成方法および集合写真形成プログラム
US20110276634A1 (en) Network system, communication terminal, communication method, and communication program
US20150026272A1 (en) Server device, method, and non-transitory computer-readable storage medium storing program
JP5919410B1 (ja) 撮影装置、撮影方法および撮影プログラム
JP2013047944A (ja) 動画公開装置、方法、及びコンピュータプログラム
JP2013003630A (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2015082729A (ja) 携帯端末
JP5903915B2 (ja) サーバ装置、プログラム及び通信システム
JP6314111B2 (ja) 端末装置、端末装置の制御方法及び端末装置の制御プログラム
JP6186165B2 (ja) 情報システム、第二端末装置、情報処理方法およびプログラム
JP2022168309A (ja) サーバ装置、携帯端末、イベント運営方法及びプログラム
KR101703129B1 (ko) 다수의 사용자 간에 동영상을 공유하는 방법 및 상기 방법을 실행시키기 위한 매체에 저장된 애플리케이션
JP2008295985A (ja) インターネットを利用したゴルフコミュニティシステム
JP6491308B2 (ja) 端末装置の制御プログラム、端末装置の制御方法及び端末装置
CN113553404A (zh) 信息处理装置、信息处理方法和计算机可读介质
JP6325716B2 (ja) サーバ装置、携帯端末、イベント運営方法及びプログラム
JP6412986B1 (ja) Snsシステム、表示方法及びプログラム。
JP6383059B1 (ja) プログラム、表示方法及び端末
JP7244602B2 (ja) 端末装置の制御プログラム、端末装置の制御方法及び端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160725

R150 Certificate of patent or registration of utility model

Ref document number: 5978070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees