JP5541385B2 - Moving image generation system, moving image display method, web server, and program - Google Patents
Moving image generation system, moving image display method, web server, and program Download PDFInfo
- Publication number
- JP5541385B2 JP5541385B2 JP2013050453A JP2013050453A JP5541385B2 JP 5541385 B2 JP5541385 B2 JP 5541385B2 JP 2013050453 A JP2013050453 A JP 2013050453A JP 2013050453 A JP2013050453 A JP 2013050453A JP 5541385 B2 JP5541385 B2 JP 5541385B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving image
- moving
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、動画像生成システム、動画表示方法およびウェブサーバ並びにプログラムに関する。 The present invention relates to a moving image generation system, a moving image display method, a web server , and a program .
従来、電子撮像装置(デジタルカメラ)を用いて撮影した画像を処理ないしは加工する技術が種々存在する。例えばデジタルカメラを用いて背景内に被写体が存在する画像を撮影し、その後に背景内に被写体が存在しない背景画像を撮影して、背景画像と被写体が存在する画像から差分情報を生成し、被写体のみを切出すようにした画像処理技術に関する発明もその一つである(例えば、特許文献1)。 Conventionally, there are various techniques for processing or processing an image captured using an electronic imaging device (digital camera). For example, a digital camera is used to capture an image with a subject in the background, and then a background image with no subject in the background is captured to generate difference information from the background image and the image with the subject. One of them is an invention related to an image processing technique in which only the image is cut out (for example, Patent Document 1).
また、動画撮像操作に伴って、撮像装置の記憶手段に動画として複数の静止画像データが記憶されると、この複数記憶された静止画像データを他の電子機器へ送信し、電子機器側で、撮像機器より送信された複数の静止画像データに基づき動画データを作成する技術がある(特許文献2)。 In addition, when a plurality of still image data is stored as a moving image in the storage unit of the imaging device in accordance with the moving image capturing operation, the plurality of stored still image data is transmitted to another electronic device. There is a technique for creating moving image data based on a plurality of still image data transmitted from an imaging device (Patent Document 2).
特許文献1または特許文献2に開示されている技術では、一般的な動画像の合成はできるものの、デジタルカメラで撮影した画像から動画像を切出し、それを背景画像と合成して作成した動画を、連続する静止画として外部機器に転送し、外部機器側でその連続する静止画と背景画像とを合成して動画ファイルを生成することはできないという課題があった。すなわち、複数枚の静止画を連続して再生してパラパラマンガのように動画再生することはできても、送信側で切出された画像を受信側で動画像として表示することは困難であった。
With the technology disclosed in
この発明の主たる目的は、デジタルカメラで撮影した画像から動画像を切出し、それを背景画像と合成して作成した動画を、連続する静止画として外部機器に転送し、外部機器側でその連続する静止画と背景画像とを合成して動画ファイルを生成することができる動画生成システム、動画表示方法およびそれを支援するウェブサーバを提供することにある。 The main object of the present invention is to cut out a moving image from an image taken with a digital camera, and transfer a moving image created by combining it with a background image to an external device as a continuous still image. An object of the present invention is to provide a moving image generation system capable of generating a moving image file by combining a still image and a background image, a moving image display method, and a web server that supports the moving image display method.
上記目的を達成するため請求項1記載の発明は、連続撮影可能な撮像手段と、前記撮像手段によって撮像された連続画像から被写体を切出した切出し画像データ列を生成する切出し画像生成手段と、を備えた撮像装置と、前記切出し画像生成手段により生成された前記切出し画像データ列を受信する受信手段と、前記受信手段によって受信した前記切出し画像データ列に基づいて所定のフォーマットの動画データを作成可能な動画変換手段と、前記動画変換手段によって作成された動画データを格納するデータ格納手段と、前記動画変換手段によって作成された動画データを送信する動画送信手段と、を備えた電子機器と、を備え、前記切出し画像生成手段は、1つの画像データ列の各画像に同じグループ識別情報を付与し、且つ当該画像データ列の中の何枚目の画像であるのかを示す画像順序識別情報を付与し、前記動画変換手段は、前記同じグループ識別情報を有する画像データを前記画像順序識別情報の順番に従って動画再生可能なデータに変換することを特徴とする動画生成システムを提供するものである。
請求項2に記載の発明は、前記電子機器は、前記切出し画像生成手段によって生成された切出し画像データ列を他の背景画像と合成した合成画像データ列を生成する画像合成手段を備え、前記動画変換手段は前記画像合成手段により生成された前記合成画像データ列に基づいて所定のフォーマットの動画データを作成することを特徴とする請求項1記載の動画生成システムを提供するものである。
In order to achieve the above object, an invention according to
According to a second aspect of the present invention, the electronic device includes an image composition unit that generates a composite image data sequence obtained by combining the cut-out image data sequence generated by the cut-out image generation unit with another background image, and the moving
請求項3に記載の発明は、前記切出し画像データ列を受信し、インターネットを介して前記電子機器に送信可能なコンピュータをさらに備え、前記電子機器は、前記合成画像データ列に基づいて前記動画変換手段によって動画データに変換し、変換された動画データを、インターネットを介して前記コンピュータに送信することを特徴とする請求項2に記載の動画生成システムを提供するものである。
請求項4に記載の発明は、前記電子機器は、前記動画変換手段によって作成された動画データを、インターネットに公開されているウェブサイトに送信する動画投稿手段を備えることを特徴とする請求項1ないし3いずれかに記載の動画生成システムを提供するものである。
The invention according to
According to a fourth aspect of the present invention, the electronic device includes a moving image posting unit that transmits the moving image data created by the moving image conversion unit to a website published on the Internet. Or a moving image generating system according to any one of 3 above.
請求項5に記載の発明は、同一の画像データ列に属することを示すグループ識別情報と、当該画像データ列の中の何枚目の画像であるのかを示す画像順序識別情報とが付与された複数枚の連続した静止画からなる連続画像データを、インターネットを介して受信する受信手段と、前記受信手段によって受信した連続画像データと前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する動画変換手段と、前記動画変換手段によって作成された動画データを格納するデータ格納手段と、前記データ格納手段に格納された動画データを、インターネットを介して送信する動画送信手段と、を備えることを特徴とするウェブサーバを提供するものである。
請求項6に記載の発明は、前記受信した複数枚の連続した静止画からなる連続画像データと背景画像とを合成した合成画像データ列を生成する画像合成手段をさらに備え、前記動画変換手段は前記受信手段によって受信した連続画像データまたは前記画像合成手段により作成された合成画像データ列と前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成することを特徴とする請求項5記載のウェブサーバを提供するものである。
In the invention according to
The invention according to
請求項7に記載の発明は、前記データ格納手段は、ユーザごとに識別符号を付与し該識別符号に基づいて前記動画変換手段によって作成された動画データを記憶する記憶手段と、前記記憶手段の前記識別符号ごとの記憶領域に記憶される動画データの記憶容量が所定量を超えた場合に、当該識別符号に対応するユーザに使用料を要求する出力を行う料金請求手段と、ユーザにより使用料が支払われたことを確認する入金確認手段と、前記入金確認手段が入金を確認した場合に、対応する識別符号の記憶領域の記憶容量を増加させる記憶容量増加手段と、を備えることを特徴とする請求項5または6に記載のウェブサーバを提供するものである。According to a seventh aspect of the present invention, the data storage means assigns an identification code to each user and stores moving image data created by the moving image conversion means based on the identification code; and When the storage capacity of the moving image data stored in the storage area for each identification code exceeds a predetermined amount, a charge billing means for performing an output requesting a usage fee to the user corresponding to the identification code, and a usage fee by the user And a storage capacity increasing means for increasing the storage capacity of the storage area of the corresponding identification code when the payment confirmation means confirms the payment. The web server according to
請求項8に記載の発明は、前記動画変換手段によって作成された動画データを、インターネットに公開されているウェブサイトに送信する動画投稿手段を備えることを特徴とする請求項5ないし7いずれかに記載のウェブサーバを提供するものである。The invention according to
請求項9に記載の発明は、前記画像合成手段は、前記連続した静止画に対し、それぞれ同じ背景画像を合成して合成画像データ列を生成することを特徴とする請求項6に記載のウェブサーバを提供するものである。According to a ninth aspect of the present invention, the image synthesizing unit generates a synthetic image data string by synthesizing the same background image with the continuous still images. A server is provided.
請求項10に記載の発明は、前記画像合成手段は、前記連続した静止画に対し、異なる背景画像を合成して合成画像データ列を生成することを特徴とする請求項6に記載のウェブサーバを提供するものである。According to a tenth aspect of the present invention, the image synthesizing unit generates a synthetic image data sequence by synthesizing different background images with the continuous still images. Is to provide.
請求項11に記載の発明は、前記画像合成手段は、前記連続した静止画に対し、1枚の背景画像を合成することを特徴とする請求項6に記載のウェブサーバを提供するものである。The invention according to claim 11 provides the web server according to
請求項12に記載の発明は、前記画像合成手段は、前記連続した静止画に対し、動画の背景画像を合成して合成画像データ列を生成することを特徴とする請求項6に記載のウェブサーバを提供するものである。According to a twelfth aspect of the invention, the image synthesizing unit generates a synthesized image data sequence by synthesizing a background image of a moving image with the continuous still images. A server is provided.
請求項13に記載の発明は、前記データ格納手段に格納された動画データを再生する再生手段を備え、前記画像合成手段は、前記再生手段による再生時に、合成画像データ列を生成することを特徴とする請求項9ないし12いずれかに記載のウェブサーバを提供するものである。A thirteenth aspect of the present invention is provided with a reproducing unit that reproduces the moving image data stored in the data storage unit, and the image synthesizing unit generates a composite image data sequence at the time of reproduction by the reproducing unit. A web server according to any one of
請求項14に記載の発明は、ウェブサーバのコンピュータを、同一の画像データ列に属することを示すグループ識別情報と、当該画像データ列の中の何枚目の画像であるのかを示す画像順序識別情報とが付与された複数枚の連続した静止画からなる連続画像データを、インターネットを介して受信する受信手段と、前記受信手段によって受信した連続画像データにより作成された合成画像データ列と前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する動画変換手段と、前記動画変換手段によって作成された動画データを格納するデータ格納手段と、前記データ格納手段に格納された動画データを、インターネットを介して送信する動画送信手段と、して機能させることを特徴とするプログラムを提供するものである。According to the fourteenth aspect of the present invention, group identification information indicating that the computer of the web server belongs to the same image data sequence, and image order identification indicating the number of images in the image data sequence Receiving means for receiving continuous image data composed of a plurality of continuous still images to which information is added via the Internet, a composite image data sequence created from the continuous image data received by the receiving means, and the group Movie data conversion means for creating movie data in a predetermined format based on the identification information and the image order identification information, data storage means for storing the movie data created by the movie conversion means, and stored in the data storage means A program characterized by functioning as a moving image transmitting means for transmitting the moving image data via the Internet It is to provide a beam.
請求項15に記載の発明は、同一の画像データ列に属することを示すグループ識別情報と、当該画像データ列の中の何枚目の画像であるのかを示す画像順序識別情報とが付与された複数枚の連続した静止画からなる連続画像データを、インターネットを介して受信する受信ステップと、前記受信した連続画像データと前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する動画変換ステップと、前記動画変換ステップによって作成された動画データを格納するデータ格納ステップと、前記格納された動画データを表示させるステップと、を含むことを特徴とする動画像表示方法を提供するものである。
The invention described in claim 15 is provided with group identification information indicating that the images belong to the same image data string and image order identification information indicating the number of images in the image data string Movie data in a predetermined format based on a reception step of receiving continuous image data composed of a plurality of continuous still images via the Internet, and the received continuous image data, the group identification information, and the image order identification information A moving image display method comprising: a moving image converting step for generating the moving image data; a data storing step for storing the moving image data generated by the moving image converting step; and a step for displaying the stored moving image data. It is to provide.
本発明によれば、撮像装置により撮影された動画を携帯電話機等他の電子機器で作成して楽しむことができるシステム、動画表示方法およびそれを支援するウェブサーバを実現することができるという効果がある。 According to the present invention, there is an effect that it is possible to realize a system, a moving image display method, and a web server supporting the moving image display method that can be created and enjoyed by another electronic device such as a mobile phone. is there.
以下、本発明の好適な実施の形態を図面に基づいて説明する。
図1は、本発明の第1の実施の形態に係るウェブサーバを使用したネットワークシステムの全体構成を示す。
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.
FIG. 1 shows the overall configuration of a network system using a web server according to the first embodiment of the present invention.
図1に示すように、ネットワークシステムは、複数のユーザがそれぞれ所有するパーソナルコンピュータ(以下、ユーザPCと略す)10a〜10dと、画像処理に関わるサービスを提供するサービス提供者が所有するサーバコンピュータ(以下、ウェブサーバと称する)20とが、インターネット30を介して通信可能に接続されて構成されている。また、本実施形態のネットワークシステムは、ユーザが所有する携帯電話機40もインターネット30を介してウェブサーバ20と接続可能にされている。
As shown in FIG. 1, the network system includes personal computers (hereinafter abbreviated as user PCs) 10a to 10d owned by a plurality of users, and server computers owned by service providers that provide services related to image processing ( (Hereinafter referred to as a web server) 20 is configured to be communicably connected via the Internet 30. In the network system of this embodiment, the
ユーザPC10a〜10cには、それぞれユーザが所有するデジタルカメラ50a〜50cがUSBケーブルなどの通信手段を介して接続され、カメラで撮像した画像やカメラ内で加工された画像をユーザPC10a〜10c内に取り込み、そのままもしくはPC内で加工してインターネット30を介してウェブサーバ20へ送信可能にされている。
また、ユーザPC10aにはカラープリントが可能なプリンタ60が接続され、画像を出力してプリントアウトできるように構成されている。図示しないが、ユーザPC10b,10cについても同様である。さらに、ユーザPC10a〜10cは、デジタルカメラ50a〜50cに内蔵されたメモリカードが装填可能なアダプタ等を備え、カメラにより撮影された画像データを該メモリカードから取得し、ハードディスク等に記憶することができるように構成されていてもよい。
Further, a
また、ウェブサーバ20には、インターネット30を介してユーザPCが送ってきた画像データをファイルとして格納する例えばハードディスク装置のような不揮発性の記憶装置(ストレージ)21が接続されている。また、ウェブサーバ20には、LAN(ローカルエリアネットワーク)22を介してサーバを制御してウェブサイトを管理する管理用コンピュータ(以下、サイト管理PCと称する)23が接続されている。本実施形態のウェブサーバ20には、ユーザPC10a〜10cから送られてきた所定の形態の画像を種々のフォーマットの動画に変換する機能や、変換された画像をウェブサイト上に公開する機能、携帯用のフォーマットに変換された画像を携帯電話機へ送信する機能等を実現する管理ソフト(プログラム)が内蔵されている。
The
サイト管理PC23は、図2に示すように、プログラムに従って画像データ処理などを行うCPU201と、CPUにより処理すべきあるいは処理した画像データ等を一時的に記憶したりCPUの作業領域を提供する随時書き込み読み出し可能なRAM202と、CPUが実行するプログラムや固定データを記憶する読み出し専用のROM203と、画像データ等を不揮発的に記憶するハードディスク204と、CPUをLAN23を介してウェブサーバ20やインターネット30に接続するための通信インターフェースとしてのLANアダプタ205と、外部よりCPU201へ指令を与える入力操作装置としてのキーボード206等を備え、これらがシステムバス207を介して互いに接続されている。
As shown in FIG. 2, the
上記CPU201は、ROM203又はハードディスク204に記憶保存されたプログラムを読み出して実行し、後述の動画変換処理などを行う。サイト管理PC23には、ハードディスク204の他にCD−ROMやDVDなどの外部記憶装置を設けてもよい。
The
次に、前記ネットワークシステムにおいて提供する本発明に係るネットワークサービス(ネットワークビジネス)の一実施形態について、図3を用いて説明する。本実施形態のネットワークサービスにおいては、図3に、符号#が付されている数字の順序に従って画像データが生成または送信される。 Next, an embodiment of a network service (network business) according to the present invention provided in the network system will be described with reference to FIG. In the network service of the present embodiment, the image data is generated or transmitted according to the order of the numbers with the symbol # in FIG.
本実施形態のネットワークサービスでは、先ずユーザがデジタルカメラ50で連続撮影した複数枚の時系列的な画像データ、もしくはそれらの画像データから背景画像を画像処理技術で除去して被写体を切出して得られた切出し画像データ列(n枚の連続画像)あるいは上記切出し画像列を他の背景画像に貼り付けた合成画像データ列を作成する。そして、それを、ユーザPC10によって前記ウェブサーバ20へ静止画の画像データ列として送信(アップロード)する。
すると、ウェブサーバ20は、受信した切出し画像データ列を動画に変換し、変換された動画を、ユーザPC10または携帯電話機40が前記ウェブサーバ20よりダウンロード可能にする。これにより、ユーザはデジタルカメラのみでなくパソコンのモニタや携帯電話機の画面上で動画を楽しむことができるようになる。なお、本明細書では、主に切出しのための人物など動きを伴う撮影における主役となる物体を被写体と称している。ウェブサーバ20は、上記のようなサービスをユーザに提供するため、ネットワークシステム上にサービス用のウェブサイトを公開する。
In the network service of the present embodiment, first, a user obtains a plurality of time-series image data continuously photographed with the
Then, the
また、ウェブサーバ20は、上記のようにして変換された動画を、ネットワークシステムにおいて不特定多数の第三者が閲覧可能に公開したウェブサイトにユーザが簡単に投稿できるように支援する機能を有する。これにより、パソコンに不慣れな初心者でも簡単に動画を投稿し、自分の作品を公開して楽しむことができる。さらに、ウェブサーバ20には、サービス提供者が所有する画像データ(静止画および動画)を記憶装置21に格納し、ユーザが利用可能(ダウンロード可能)なデータすなわちオンライン素材として提供し、該オンライン素材を背景画像として選択しユーザPC10から受信した切出し画像データ列を合成して動画に変換する機能も設けられている。
In addition, the
なお、ここで、ウェブサーバ20において、複数の連続画像からなる画像データ列を動画に変換する処理は、n枚の静止画を時間列に連結して動画生成のためのフレームを生成した後に、デジタルカメラで再生可能なJPEGの動画フォーマットに変換する処理のほか、パソコンや携帯電話機により再生可能なフォーマットの動画データに変換する処理が含まれる。また、ウェブサーバ20の記憶装置21には、ユーザPC10から受信した画像データ列の他、動画変換されたデータ、ユーザがウェブサイトで入手した画像データおよびそれを用いて合成変換したデータも保存できるように構成することができる。
Here, in the
また、ウェブサーバ20は、記憶装置21に格納されている動画データを、携帯電話機によって容易にダウンロードできるようにするため、動画作成後にその動画にURL(Uniform Resource Locator)を割り振ってそのURLからQR(Quick Response)コード(登録商標)に代表される二次元バーコードを作成してユーザPC10へ送信し、ユーザPCのモニタ上にQRコード(登録商標)を表示させる機能を持たせるようにした。これにより、ユーザは、カメラ機能を有する携帯電話機によってこのQRコード(登録商標)を読み取って、該コードに対応したURLから動画をダウンロードすることができる。
また、QRコード(登録商標)と共にその元になったURLも表示させ、そのURLをメール等で家族や知人に送信すれば、受け取った人がパソコンでインターネットブラウザを開きそのURLをアドレス欄にコピーあるいは入力することによって、パソコンのモニタ上で、ウェブサーバ20によって作成された動画を鑑賞することもできる。つまり、ユーザは、QRコード(登録商標)を送信すれば動画データそのものを送信しなくても、各種端末で動画を表示させることができる。
In addition, the
In addition, if the URL is displayed together with the QR code (registered trademark), and the URL is sent to family members and acquaintances by e-mail etc., the recipient opens the Internet browser on a personal computer and copies the URL to the address field. Alternatively, by inputting, a moving image created by the
さらに、ブログ上に上記URLを貼り付けておくことで、ブログ上で自動的に動画を表示させることもできる。ここで、ユーザPCによるウェブサイトへの画像データのアップロードは、ユーザPCに搭載されているブラウザもしくはサービス提供者が提供する専用のソフトウェアによって行えるようにウェブサーバ20が構成されている。
Furthermore, by pasting the URL on the blog, a moving image can be automatically displayed on the blog. Here, the
ウェブサーバ20は、ユーザPCから受信した画像データ列を動画に変換する機能を有する。すなわち、デジタルカメラで作成した切出し画像データまたは合成画像データ列を、インターネット30を介して受信し、動画に変換できるように構成されている。動画にする題材としては、ユーザが撮影した切出し画像や背景画像だけでなく、上記オンライン素材を題材としても動画を作成しても良い。
The
また、ウェブサーバ20は、上記動画変換機能により作成した動画を格納する記憶装置21を備えており、ウェブサーバ20の記憶装置21に格納する際に、ユーザごとにID(個人識別コード)を付与し、ユーザ単位でストレージ領域(フォルダ)を作成して動画データを格納する。そして、この際、ストレージを有料で貸し出したり、一定の記憶容量まで無料で貸し出し一定容量以上のデータの保存を希望するユーザに対しては有料でストレージの容量を増加するようにしてもよい。これにより、収益を上げることができるビジネスモデルを構築することができる。
この場合、ウェブサーバ20には、識別符号としてのIDに対応するユーザに使用料を要求する出力を行う料金請求手段(機能)と、ユーザにより使用料が支払われたことを確認する入金確認手段(機能)と、前記入金確認手段が入金を確認した場合に、対応する識別符号の記憶領域の記憶容量を増加させる記憶容量増加手段(機能)とを設ける。また、使用料を要求する出力や入金の確認は、例えばインターネットを介してメールを送付することで、人手を必要せずに行えるようにするとよい。
Further, the
In this case, the
さらに、オンライン素材等を利用したサービスにおいて、ユーザPC10から受信した切出し画像データ列とオンライン素材等とから動画を生成する場合にも、単なる動画としてではなく、複数の動画を整理してムービーアルバムとして保存したり、さまざまなグリーティングカード形式の動画や、携帯電話機の待受け画面等に使用する動画、携帯電話のメールに使用される絵文字用の動画を生成する機能をウェブサーバ20に持たせ、これらの機能によるサービスを有料化して提供するシステムを構築してもよい。また、図3のインターネット30に、印刷提供会社(現像所やコンビニ等を含む)のプリンタを接続可能に構成し、ユーザPC10から画像データ列をネットワークのプリンタへ送信してシールとしてプリントアウトするサービスを提供できるように構成してもよい。
Furthermore, when a video is generated from the cut-out image data sequence received from the
ここで、上記ネットワークサービスを提供するためウェブサーバ20において行われる主要な処理の手順を、図4のフローチャートを用いて説明する。
この処理は、ウェブサイト上でユーザPC10から動画変換要求があった場合に開始される。ウェブサーバ20は、先ず動画変換要求があった否か判定し(ステップS1)、要求があった場合には画像データが送信されて来ているか否か判定する(ステップS2)。ここで、送信ありと判定されるとステップS3で画像データの受信処理を行い、次のステップでn枚すべての画像データを受信したか否か判定する(ステップS4)。ステップS2とS4で“No”のときは、ステップS2へ戻り、ステップS4で全データを受信したと判定すると、次のステップでオンライン素材の選択があったか否か判定する(ステップS5)。
Here, a procedure of main processing performed in the
This process is started when there is a video conversion request from the
ここで、オンライン素材の選択があれば選択されたオンライン素材の画像データを読み込んでステップS3で受信した画像データと合成する(ステップS6)。ステップS5でオンライン素材の選択がないと判定するとステップS6をスキップしてステップS7へ進む。ステップS7では、ステップS3で受信した画像データまたはステップS6で合成した画像データを動画に変換する処理を行う。その後、ユーザPCからの動画のダウンロード要求があった否か判定し(ステップS8)、要求があった場合には動画データを送信する(ステップS9)。ステップS8でダウンロード要求がなかった場合あるいは要求に応じてステップS9で動画データを送信した後は、動画データをストレージに保存して一連の処理を終了する(ステップS10)。 If an online material is selected, the image data of the selected online material is read and combined with the image data received in step S3 (step S6). If it is determined in step S5 that no online material is selected, step S6 is skipped and the process proceeds to step S7. In step S7, the image data received in step S3 or the image data synthesized in step S6 is converted into a moving image. Thereafter, it is determined whether or not there is a moving image download request from the user PC (step S8). If there is a request, moving image data is transmitted (step S9). When there is no download request in step S8 or after the moving image data is transmitted in step S9 in response to the request, the moving image data is stored in the storage and a series of processing is terminated (step S10).
次に、本実施形態のネットワークサービスにおいて、ユーザPC10からウェブサーバ20へ画像データを送信して動画変換のサービスを受けるのを支援するのに適したソフトの機能について説明する。本発明者らは、上記支援ソフトとして2つの方式を考えた。第1は、ユーザPC10が備えるブラウザの機能を利用する方式であり、単に動画変換のサービスのみを提供するのに適した簡易な方式である。第2は、ブラウザの機能を使用しないサービス支援ソフトを利用する方式であり、動画変換のサービスのみならず前述したようなサイト側が提供するオンライン素材を合成した動画の変換や作成した動画を一般に公開する場を提供する機能等複数のサービスを提供する高度な機能を実現するのに適した方式である。いずれの方式においても、支援ソフトとしてプログラムをユーザPC10にインストールする。
Next, in the network service of this embodiment, a function of software suitable for supporting receiving a video conversion service by transmitting image data from the
以下、第2の方式について具体的に説明する。
第2の方式では、ユーザPC10にインストールされている上記プログラムを立ち上げると、ユーザPC10のモニタ画面上に、図5に示すようなメイン画面が表示される。
Hereinafter, the second method will be specifically described.
In the second method, the launch the program installed in the
メイン画面は、中央から右上にかけて選択した画像等を表示する画像表示領域(プレビュー領域)A1が設けられ、画面の左側には、上から順に、フォルダの一覧を表示するフォルダ表示領域A2、選択されたファイルや画像の詳細情報を表示する情報表示領域A3、サイトが提供するサービスを選択する複数の機能ボタンを表示する機能ボタン表示領域A4が設けられている。さらに、画像表示領域A1の直ぐ下には、変換された動画の再生や停止、早送りなどの指令を入力するための複数のナビゲーションボタンを表示するナビボタン表示領域A5が、また画面の下側には選択されたフォルダ内の画像を縮小表示するサムネイル一覧表示領域A6が設けられている。さらに、画面の右上隅には、タスクバーA7が表示される。 The main screen is provided with an image display area (preview area) A1 for displaying an image selected from the center to the upper right, and a folder display area A2 for displaying a list of folders is selected on the left side of the screen in order from the top. An information display area A3 for displaying detailed information on files and images, and a function button display area A4 for displaying a plurality of function buttons for selecting a service provided by the site are provided. Further, immediately below the image display area A1, a navigation button display area A5 for displaying a plurality of navigation buttons for inputting commands such as playback, stop, and fast-forward of the converted video is also provided at the lower side of the screen. Is provided with a thumbnail list display area A6 for reducing and displaying images in the selected folder. Further, a task bar A7 is displayed in the upper right corner of the screen.
上記フォルダ表示領域A2の上端には2つタブ(合成画像とオンライン素材)が表示され、左側のタブをマウスでクリックして選択すると、ユーザがアップロードした撮影データや当該サイトで変換した動画データのファイルが、年、月に分類して格納したフォルダが表示され、右側のタブをマウスでクリックして選択すると、当該サイトが提供するオンライン素材を格納したフォルダが表示される。そして、サムネイル一覧表示領域A6に表示されているメニュー選択欄(フィルタ)に設けられているボタンをクリックすると、「全表示」、「連続画像」、「動画ファイル」、静止画を格納した「画像ファイル」などのメニューを表示するプルダウンメニューが出現し、その中から選択したメニューに応じてフォルダ内の画像がサムネイル一覧表示領域A6に表示されるようになっている。 Two tabs (composite image and online material) are displayed at the upper end of the folder display area A2, and when the left tab is selected by clicking with the mouse, the photographed data uploaded by the user or the video data converted on the site is displayed. A folder in which the file is classified and stored by year and month is displayed, and when the tab on the right side is selected by clicking with the mouse, a folder storing the online material provided by the site is displayed. When a button provided in the menu selection field (filter) displayed in the thumbnail list display area A6 is clicked, “all display”, “continuous image”, “moving image file”, “image” storing still images are stored. A pull-down menu for displaying a menu such as “File” appears, and images in the folder are displayed in the thumbnail list display area A6 according to the menu selected from the menu.
機能ボタン表示領域A4には、ユーザPC10から当該サイトへユーザが撮影した画像等をアップロードすることを指令する画像追加ボタンB1、選択された「連続画像」から動画の作成を指令する動画作成ボタンB2、選択された「連続画像」からアニメーションGIFの作成を指令するアニメーション作成ボタンB3、選択されたファイルの画像データをメールで送信することを指令するメール送信ボタンB4、選択されたファイルの画像データをカメラへ送信することを指令するカメラ送信ボタンB5、選択されたファイルの画像データを携帯電話で見られるように変換することを指令する携帯閲覧ボタンB6、選択されたファイルの連続画像を公開サイトへ投稿することを指令する投稿ボタンB7が設けられている。
In the function button display area A4, an image addition button B1 for instructing to upload an image taken by the user from the
ここで、画像追加ボタンB1をクリックすると、ユーザPC内のハードディスクに格納されているフォルダを表示する図6のようなダイアログがモニタ上にウィンドウで表示される。このダイアログで、追加したい画像データ(連続画像/動画)を格納してあるフォルダをマウスで指定して、「OK」ボタンをクリックすると選択された画像データが自動的にアップロードされる。動画作成ボタンB2をクリックすると、図7のような動画変換設定用のダイアログがモニタ上にウィンドウで表示される。このダイアログで、「OK」ボタンをクリックすると選択された画像データ(連続画像)に基づいて自動的に動画が作成される。また、このダイアログには「詳細設定」ボタンが設けられており、このボタンをクリックすると、さらに別のダイアログが表示され、フォーマットや画像サイズ、再生速度、繰り返し回数などの設定を変更することができるようになっている。 Here, when the image addition button B1 is clicked, a dialog as shown in FIG. 6 is displayed on the monitor in a window that displays folders stored in the hard disk in the user PC. In this dialog, when the folder storing the image data (continuous image / moving image) to be added is designated with the mouse and the “OK” button is clicked, the selected image data is automatically uploaded. When the moving image creation button B2 is clicked, a moving image conversion setting dialog as shown in FIG. 7 is displayed in a window on the monitor. When an “OK” button is clicked in this dialog, a moving image is automatically created based on the selected image data (continuous image). In addition, this dialog has a "Detailed Settings" button. Clicking this button displays another dialog that allows you to change settings such as format, image size, playback speed, and repeat count. It is like that.
アニメーション作成ボタンB3をクリックすると、選択された「連続画像」からアニメーションが作成される。このアニメーション作成は、アニメーションGIFという一種の動画フォーマットに変換することであるが、アニメーションGIFは時系列で長さが無限な一般の動画フォーマットとは違うカテゴリのフォーマットであり、パラパラ漫画に相当する一連の静止画をパッケージしてそれを順次表示する仕組みとなっている。このフォーマットに変換することにより、HTMLベースのメールに添付して、文章中に動くキャラクターを配置するといった用途に使用することができる。 When the animation creation button B3 is clicked, an animation is created from the selected “continuous image”. This animation creation is to convert it into a kind of animation format called animation GIF, but animation GIF is a format of a category different from a general animation format that is infinite in length in time series, and is a series corresponding to a flip book. It is a mechanism that packages still images and displays them sequentially. By converting to this format, it can be used for such purposes as attaching a moving character in a sentence attached to an HTML-based mail.
また、メイン画面で携帯電話で見たい画像を選択して携帯閲覧ボタンB6をクリックすると、連続画像の場合には再生速度を選択する画面が表示されるので、速度を選択して「OK」ボタンをクリックすると選択された画像データ(連続画像)が変換サイトへアップロードされて自動的に携帯用画像への変換が実行され、変換されたデータは携帯画像用のフォルダに格納されるとともに、URLが付与されそのURLに基づいてQRコード(登録商標)が作成されてモニタに表示される。このQRコード(登録商標)を携帯電話機のカメラ機能で読み込んで画像データをダウンロードすることによって、携帯電話機の画面上に動画が表示される。 Also, if you select an image you want to see on your mobile phone on the main screen and click the mobile browsing button B6, a screen for selecting the playback speed is displayed for continuous images. Select the speed and click the “OK” button. When is clicked, the selected image data (continuous image) is uploaded to the conversion site and automatically converted into a portable image. The converted data is stored in a folder for portable images, and the URL is A QR code (registered trademark) is created based on the given URL and displayed on the monitor. By reading the QR code (registered trademark) with the camera function of the mobile phone and downloading the image data, a moving image is displayed on the screen of the mobile phone.
次に、本実施形態のネットワークサービスにおいて、ユーザPC10からウェブサーバ20へ送信される画像データ列およびその生成方法について説明する。本実施形態では、カメラで連続撮影した複数枚の時系列的な画像データから背景画像を画像処理技術で除去して被写体を切出した切出し画像データ列を生成する機能がデジタルカメラに設けられている。
Next, an image data sequence transmitted from the
図8には、切出し画像データ列を生成する機能を有する撮像装置50の概略構成が示されている。
本実施例の撮像装置50は、レンズ部501と、電子撮像部502と、撮像制御部503と、画像データ生成部504と、画像メモリ505と、特徴量演算部506と、ブロックマッチング部507と、画像処理部508と、記録制御部509と、記録媒体510と、表示制御部520と、液晶表示装置などからなる表示部521と、シャッタボタン531やモードの選択決定ボタン532などからなる操作入力部530と、制御手段としてのCPU(マイクロプロセッサ)540とを備えている。
FIG. 8 shows a schematic configuration of the
The
本実施例の撮像装置50は、電子撮像部502によって連続撮像された複数の画像フレームf1〜fn(図9(a))に基づいて、背景内に被写体Sが存在するか否かを判定し、この判定結果に基づいて被写体領域抽出用の背景画像P1(図9(b)参照)を取得する。そして、この背景画像P1及び被写体存在画像P2との間で対応する各画素の差分情報に基づいて、被写体存在画像P2から被写体画像Sを抽出して切出し画像データ列を生成する機能を有する。
The
レンズ部501は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。また、レンズ部501は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
電子撮像部502は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1の各種レンズを通過した光学像を二次元の画像信号に変換する。
The
The
撮像制御部503は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部503は、タイミング発生器、ドライバにより電子撮像部502を走査駆動して、所定周期毎に光学像を電子撮像部502により二次元の画像信号に変換させ、当該電子撮像部502の撮像領域から1画面分ずつ画像フレームを読み出して画像データ生成部504に出力させる。また、撮像制御部503は、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)等の撮像条件の調整制御を行う。
Although not shown, the
画像データ生成部504は、電子撮像部502から転送された画像フレームのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
The image
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用される画像メモリ505にDMA転送される。画像メモリ505は、例えば、DRAM等により構成され、特徴量演算部506と、ブロックマッチング部507と、画像処理部508と、CPU540等によって処理されるデータ等を一時記憶する。また、画像メモリ505は、例えば、20フレーム分の画像フレームを一時記憶することができるリングバッファを備え、画像データ生成部504により生成された複数の画像フレームを順次記憶する。
The luminance signal Y and the color difference signals Cb and Cr output from the color process circuit are DMA-transferred to an
特徴量演算部506は、背景画像P1を基準として、当該背景画像P1から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部506は、例えば、背景画像P1のYUVデータに基づいて、所定数(或いは、所定数以上)の特徴の高いブロック領域(特徴点)を選択して、当該ブロックの内容をテンプレート(例えば、16×16画素の正方形)として抽出する。ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。
The feature
ブロックマッチング部507は、被写体切出し画像を生成する際に、背景画像P1と被写体存在画像P2の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部507は、特徴抽出処理にて抽出されたテンプレートが被写体存在画像P2内のどこに対応するか、つまり、被写体存在画像P2内にてテンプレートの画素値が最適にマッチする位置(対応領域)を探索する。そして、画素値の相違度の評価値(例えば、差分二乗和(SSD)や差分絶対値和(SAD)等)が最も良かった背景画像P1と被写体存在画像P2間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
The
画像処理部508は、画像メモリ505に循環記憶された複数の画像フレームに基づいて、背景内に被写体Sが存在するか否かを判定する判定部581を具備している。判定部581は、具体的には、画像メモリ505に循環記憶された複数の画像フレームに基づいて、時系列が前後する画像フレーム同士の各々について所定の動体解析技術により動体検出を行う。そして、判定部581は、動体が検出されない場合には、背景内に被写体Sが存在しないと判定する一方で、動体が検出された場合には、背景内に被写体Sが存在すると判定する。さらに判定部581は、背景内に被写体Sが存在するか否かの判定結果に応じて背景内に被写体Sが存在しない状態から存在する状態に変化したか否かを判断する。
また、画像処理部508は、判定部581による判定結果に基づいて、画像メモリ505に記憶された画像フレームの中から被写体が存在しない背景画像P1及び被写体が存在する連続画像P2を取得する取得制御部582を具備している。
The
In addition, the
取得制御部582は、判定部581によって被写体Sが存在しない状態から存在する状態に変化したと判断されると、該変化後に電子撮像部502によって撮像されて画像メモリ505に記憶された被写体存在画像P2の画像フレームの取得を開始する。そして、例えば、メモリ容量や取得指定期間に応じて規定された所定の取得終了タイミングで、取得制御部582は、被写体存在画像P2の画像フレームの取得を終了する。つまり、取得制御部582は、判定部581によって被写体Sが存在しない状態から存在する状態に変化したと判断された後、被写体存在画像P2の画像フレームの取得を所定期間行う。シャッタボタン531が操作されている期間を撮影期間として、その間の画像フレームを撮影画像として記憶するようにしてもよい。
When the
また、取得制御部582は、判定部581によって被写体Sが存在しない状態から存在する状態に変化したと判断されると、当該判断前に画像データ生成部504により生成されて画像メモリ505に循環記憶されている画像フレーム、例えば、当該判断の直前の画像フレームを被写体Sの存在しない背景画像P1として一つ取得する。なお、画像処理部508は、被写体が存在する連続画像P2から被写体が存在しない部位を抽出し、それらを加算して被写体が存在しない背景画像P1を生成するようにしてもよい。画像処理部508は、取得制御部582により取得された被写体存在画像P2から被写体Sが含まれる被写体領域を抽出する被写体抽出部583を具備している。
If the
被写体抽出部583は、取得制御部582により取得された被写体が存在しない背景画像P1と被写体存在画像P2との間で対応する各画素の差分情報に基づいて、被写体存在画像P2から被写体Sが含まれる被写体領域を抽出する処理を行う。具体的には、被写体抽出部583は、取得制御部582により取得された被写体存在画像P2における各画像フレームf1〜fn夫々のYUVデータと背景画像P1のYUVデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去させる。
The
その後、CPU540は、被写体抽出部583に、ローパスフィルタをかけてノイズを除去した被写体存在画像P2における各画像フレームf1〜fn夫々と背景画像P1との間で対応する各画素について相違度を算出して各画像フレームf1〜fn毎の相違度マップを生成する。また、被写体抽出部583は、各画素に係る相違度マップを所定の閾値で2値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。さらに、被写体抽出部583は、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
Thereafter, the
さらに、画像処理部508は、被写体存在画像内P2で抽出された被写体領域の位置を特定して、被写体存在画像P2における被写体領域の位置を示す位置情報(例えば、アルファマップ)を生成する位置情報生成部584を具備している。アルファマップとは、被写体存在画像P2の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
Further, the
位置情報生成部584は、具体的には、上記の一番大きな島の部分が1、その他の部分が0である2値化された相違度マップに対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を作成する。この場合、被写体領域のアルファ値が1となり、被写体存在画像P2の所定の背景に対する透過度が0%となる。一方、被写体Sの背景部分はアルファ値が0となり、当該被写体存在画像P2の透過度が100%となる。そして、境界付近はアルファ値が0<α<1であるので、被写体存在画像P2と背景画像P1は混ざり合うこととなる。
画像処理部508は、生成されたアルファマップに基づいて、被写体存在画像P2の各画素のうち、アルファ値が1の画素を所定の単一色画像に対して透過させずに、且つ、アルファ値が0の画素を透過させるように、被写体Sの画像を所定の単一色画像と合成して被写体合成画像の画像データを生成する画像合成部585を具備している。
Specifically, the position information generation unit 584 applies a low-pass filter to the binarized difference map in which the largest island portion is 1 and the other portions are 0, and the boundary portion is intermediate. Create an alpha value by producing a value. In this case, the alpha value of the subject area is 1, and the transparency of the subject existing image P2 with respect to a predetermined background is 0%. On the other hand, the alpha value of the background portion of the subject S is 0, and the transparency of the subject existing image P2 is 100%. Since the alpha value near the boundary is 0 <α <1, the subject presence image P2 and the background image P1 are mixed.
Based on the generated alpha map, the
画像合成部585は、具体的には、アルファマップにおける1の補数(1−α)を用いて単一色画像から被写体領域を切出した画像を作成して、当該画像に、アルファマップを用いて被写体存在画像P2から切出した被写体Sを合成して被写体切出し画像を生成する。また、画像合成部585は、画像処理部508の取得制御部582によって取得された被写体存在画像P2の複数の画像フレームf1〜fnのそれぞれについて切出し画像C1〜Cn(図10参照)を生成する。生成されたn枚の切出し画像C1〜Cnは、記録制御部509によって切出し画像データ列として記録媒体510の所定領域に記録される。記録媒体510は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成される。
Specifically, the
なお、画像処理部508にJPEG圧縮部を設け、該圧縮部により符号圧縮化された被写体切出し画像の画像データ列として記録媒体510に記憶するようにしてもよい。このようにして、記録媒体510に記憶された切出し画像データ列を連続して読み出して表示部521に表示させることで、見かけ上の動画再生を行うことができる。また、被写体切出し画像の各画像データは、当該被写体切出し画像を構成する各画像フレームと画像処理部508の位置情報生成部584により生成された各アルファマップとを対応付けて一つのファイルとして保存してもよい。さらに、例えばMotion−JPEG形式で符号圧縮した被写体切出し画像の動画像データを記録し、カメラで動画再生できるように構成してもよい。
Note that the
表示制御部520は、画像メモリ505に一時的に記憶されている表示用画像データを読み出して表示部521に表示させる制御を行う。具体的には、表示制御部520は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、CPU540の制御下にて画像メモリ505から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部521に出力する。表示部521は、表示制御部520から供給されるビデオ信号に基づいて、ライブビュー画像や撮像された画像、切出し画像など加工された画像を表示画面に表示する。CPU540は、動作プログラム(図示略)を実行しつつ操作入力部530からの指令に従って各種の制御およびデータ処理を行う。
The
以上のような機能を有する本実施形態の撮像装置50によれば、ユーザは被写体領域抽出用の背景画像P1と被写体存在画像P2を取得する際、当該背景画像P1の撮像と被写体存在画像P2の撮像の2回の手順を踏むことなく、一度シャッタボタンを操作するだけで背景画像P1と被写体存在画像P2を容易に取得することができ、これらの背景画像P1と被写体存在画像P2を用いて連続した被写体切出し画像C1〜Cnの生成を行うことができる。また、記録制御部509により取得された被写体存在画像P2から静止画像をも生成することができる。
According to the
また、上記実施例では、カメラに、n枚の連続した被写体切出し画像データ列を生成する機能のほか、Motion−JPEG(M−JPEG)形式で符号圧縮した被写体切出し画像の動画データを生成する機能を持たせてもよいと説明したが、その場合においても、前記実施形態のインターネットを介したウェブサービスによる動画変換を提供するシステムを構成するに際しては、動画データではなくn枚の連続した被写体切出し画像データ列をウェブサイトへ送信して動画変換するのが望ましい。パソコン用の動画データや携帯電話用動画データ、フォトフレーム用の動画データなど多種多様なフォーマットの動画データに変換する機能や3種類以上の画像を重ねるなどより複雑な合成処理機能をウェブサーバに持たせる場合には、連続した画像データ列の方がJPEG動画データよりも変換処理がやり易いためである。 In the above embodiment, in addition to the function of generating n continuous subject cutout image data sequences in the camera, the function of generating moving image data of subject cutout images code-compressed in the Motion-JPEG (M-JPEG) format. However, even in such a case, when configuring the system for providing video conversion by the web service via the Internet according to the embodiment, it is necessary to extract n consecutive subjects instead of video data. It is desirable to convert the moving image by sending the image data string to a website. Web server has more complex compositing processing functions such as video data for PCs, video data for mobile phones, video data for photo frames, etc. This is because a continuous image data sequence is easier to convert than JPEG moving image data.
具体的には、カメラに設けられるM−JPEGの動画変換機能は一定の条件での変換のみが可能であり、フォーマットそのものを変えたり、表示スピードや繰り返し回数など、細かな調整をすることができない。これに対し、ウェブサイトで行う動画変換は、携帯電話で見るフォーマットからPC用のフォーマットまで多様な動画フォーマットをサポートできるようにするのが望ましい。さらに、PC用の動画フォーマットに関しては変換を行いたいユーザの意思でオプションを設定可能にするのが望ましい。 Specifically, the M-JPEG video conversion function provided in the camera can only convert under certain conditions, and it cannot change the format itself or make fine adjustments such as the display speed or the number of repetitions. . On the other hand, it is desirable that the moving image conversion performed on the website can support a variety of moving image formats from a format viewed on a mobile phone to a format for a PC. Furthermore, it is desirable to be able to set options with the intention of the user who wants to convert the video format for PC.
そこで、本実施形態においては、ユーザPCからウェブサーバへ動画変換する前のn枚の静止画からなる画像データ列を送る。そして、ウェブサーバがn枚の静止画を時間列に連結して動画生成のためのフレームを生成し、出来上がったフレーム画像を各種動画フォーマットに変換するようにしている。また、携帯電話用の動画は、機種によってフォーマットが異なるので、動画変換は3GP2などそれぞれの機種に合った動画フォーマットで行うこととなる。上記のようにウェブサーバに動画変換機能を持たせることによって、カメラでは出来ない変換オプションを設定したり、フォーマットが大きく異なる携帯電話機で見ることが出来る動画を生成して転送しりすることができるようになるという利点がある。 Therefore, in the present embodiment, an image data string composed of n still images before moving image conversion is sent from the user PC to the web server. The web server connects n still images to a time sequence to generate a frame for generating a moving image, and converts the completed frame image into various moving image formats. In addition, since the format for moving images for mobile phones differs depending on the model, the moving image conversion is performed in a moving image format suitable for each model such as 3GP2. By adding video conversion functions to the web server as described above, you can set conversion options that cannot be done with a camera, and generate and transfer videos that can be viewed on mobile phones with greatly different formats. There is an advantage of becoming.
なお、ここでは、上述したような被写体を背景画像から切出して画像データ列を生成する画像データ処理機能がデジタルカメラに設けられている場合を説明したが、このような画像データ処理機能はウェブサーバ20側に設けるようにしてもよい。これにより、特殊な機能を備えたデジタルカメラのユーザのみならずそのような機能を備えていないデジタルカメラのユーザであっても前述したような動画変換サービスを受けることができるようになる。 Here, the case where the digital camera is provided with an image data processing function for generating an image data sequence by extracting the subject as described above from the background image has been described. You may make it provide in 20 side. Accordingly, not only a digital camera user having a special function but also a digital camera user not having such a function can receive the moving image conversion service as described above.
次に、デジタルカメラで撮影した所定の画像データ(複数の連続切出し静止画列または該切出し静止画列と背景静止画の組;以下、動画前処理画像と称する)をウェブサーバ20に転送し、ウェブサーバ20にて動画像を作成する際のサーバ側の動画像作成手順の一例について、図11および図12を用いて説明する。なお、図11において、符号#1,#5,#6,#10が付されている画像は単発の静止画で、#2〜#4および#7〜#9は連続画像である。図11では、紙面の都合上、連続画像をそれぞれ3枚ずつ示しているが、8〜30枚程度の連続画像で構成するのが望ましい
Next, predetermined image data (a plurality of continuous cut still image sequences or a combination of the cut still image sequence and a background still image; hereinafter referred to as a moving image preprocessed image) transferred by the digital camera is transferred to the
本実施形態においては、デジタルカメラにより撮影され処理された画像のうち上記動画前処理画像には、図12に示すようなヘッダーが付加されて、デジタルカメラ内の記憶媒体に記憶される。図11では、ヘッダーを簡略化して示してある。また、カメラで撮影された通常の静止画の画像データは拡張子が「jpg」とするのに対して、撮影時の切出し画像または合成画像は拡張子が「jpe」とする。なお、拡張子がjpgの画像も、jpeの画像も、jpeg形式のデータであり、同一のフォルダに記録される。ただし、図11に示すように、拡張子がjpgとされた画像のヘッダーには「グループID」と「ID」の情報がなく、拡張子がjpeとされた画像のヘッダーには、「グループID」と「ID」の情報が付加される。ここで、「グループID」とは、該IDが付された静止画が、何れの「切出し画像データ列または合成画像データ列」に属しているのかを示すグループ固有の識別情報である。 In the present embodiment, among the images photographed and processed by the digital camera, the moving image preprocessed image is added with a header as shown in FIG. 12 and stored in a storage medium in the digital camera. In FIG. 11, the header is shown in a simplified manner. Further, an image data of a normal still image taken by a camera has an extension “jpg”, whereas an extracted image or a composite image at the time of shooting has an extension “jpe”. Note that both images with the extension jpg and images with jpe are jpeg format data and are recorded in the same folder. However, as shown in FIG. 11, there is no “Group ID” and “ID” information in the header of the image with the extension “jpg”, and “Group ID” is in the header of the image with the extension “jpe”. "And" ID "information is added. Here, the “group ID” is identification information unique to a group indicating to which “cut-out image data sequence or composite image data sequence” the still image to which the ID is attached belongs.
従って、グループIDは、「切出し画像データ列または合成画像データ列」の生成の度に異なるIDが生成され付与される。一方、「ID」は、当該静止画が上記グループIDにより特定された「切出し画像データ列または合成画像データ列」における何枚目の画像であるのかを示す識別情報である。このような情報を付加することによって、通常の静止画像と、動画前処理画像に係る切出し画像および合成画像とを確実に区別して認識することができ、動画変換処理が容易となる。本実施形態においては、ユーザが、記憶されている画像データの中から所望の画像を、グループIDで指定してウェブサーバに送信することによって、所望のフォーマット(movやgif)に動画変換した動画データを得るようにするものである。その際、ユーザは直接ID番号を指定するのでなく、モニタ上に表示されたダイアログ画面等のユーザインターフェースにより選択できるようにすると良い。 Therefore, a different ID is generated and given each time a “cutout image data sequence or composite image data sequence” is generated. On the other hand, “ID” is identification information indicating the number of images in the “cut image data sequence or composite image data sequence” specified by the group ID. By adding such information, it is possible to reliably distinguish and recognize a normal still image, a cut-out image and a synthesized image related to a moving image preprocessed image, and facilitate moving image conversion processing. In the present embodiment, a moving image in which a user converts a moving image into a desired format (mov or gif) by designating a desired image from stored image data with a group ID and transmitting it to a web server. It is intended to obtain data. At that time, it is preferable that the user does not directly specify the ID number, but can select it by a user interface such as a dialog screen displayed on the monitor.
ここで、画像データ列の合成表示について補足説明を行なう。図11は、3枚の切出し動画と1枚の背景静止画を合成する簡略化した図面であるが、例えばあるグループID「3012C3」において、切出し画像がA1,A2,A3,A4,A5,A6,A7,A8,A9,A10の10枚あるとする。また、背景となる静止画はB1であるとする。この場合、合成された画像は、A1B1,A2B1,A3B1,A4B1,A5B1,A6B1,A7B1,A8B1,A9B1,A10B1となる。これを連続再生すれば、背景が静止画で切出し画像だけが動いている動画を得ることができる。
また、途中で背景を切り替えたい場合は、別の静止画B2を用意し、途中で切り替える。例えば、A1B1,A2B1,A3B1,A4B1,A5B1,A6B2,A7B2,A8B2,A9B2,A10B2となる。
更に、背景がB1,B2,B3,B4,B5,B6,B7,B8,B89,B10からなる動画であれば、A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A7B7,A8B8,A9B9,A10B10のように合成すれば、動画の背景の中で切出し画像が動いて見えることになる。
Here, a supplementary explanation will be given regarding the composite display of the image data sequence. FIG. 11 is a simplified drawing for synthesizing three clipped moving images and one background still image. For example, in a certain group ID “3012C3”, clipped images are A1, A2, A3, A4, A5, A6. , A7, A8, A9, and A10. Further, it is assumed that the still image as the background is B1. In this case, the synthesized images are A1B1, A2B1, A3B1, A4B1, A5B1, A6B1, A7B1, A8B1, A9B1, and A10B1. If this is continuously reproduced, it is possible to obtain a moving image in which the background is a still image and only the cut image is moving.
If you want to switch the background in the middle, prepare another still image B2 and switch it in the middle. For example, A1B1, A2B1, A3B1, A4B1, A5B1, A6B2, A7B2, A8B2, A9B2, and A10B2.
In addition, if the background is a moving image consisting of B1, B2, B3, B4, B5, B6, B7, B8, B89, B10, A1B1, A2B2, A3B3, A4B4, A5B5, A6B6, A7B7, A8B8, A9B9, A10B10 If combined in this way, the cut-out image will appear to move in the background of the moving image.
切出し画像のフレーム数と背景動画のフレーム数は合わせる必要は無い。背景動画のフレーム数が高い場合は、A1B1,A2B1,A3B3,A4B3,A5B5,A6B5,A7B7,A8B7,A9B9,A10B9のように駒落としをしても良いし、A1B1,A1B2,A1B3,A2B4,A2B5,A2B6,A3B7,A3B8,A3B9,A3B10のように、なめらかな背景動画の中にカクカク動く切出し画像を表示させることもできる。
切出し画像や背景画像はオンライン素材でもよい。
合成表示は、再生しながら合成しても良いし、予め動画ファイルとして作成してから表示しても良い。再生しながら合成表示すれば、処理には時間がかかるが静止画は1枚だけ記憶していて再生時に上記A1B1,A2B1,A3B1,A4B1,A5B1,A6B1,A7B1,A8B1,A9B1,A10B1のように合成していけばよい。
予め動画ファイルを作成する場合は、上記例えば10枚の合成画像を保存記憶する必要があるが、M−JPEGやGIFのファイルとして他の装置に転送することが可能である。
It is not necessary to match the number of frames of the cutout image with the number of frames of the background video. When the number of frames of the background video is high, the frames may be dropped like A1B1, A2B1, A3B3, A4B3, A5B5, A6B5, A7B7, A8B7, A9B9, A10B9, or A1B1, A1B2, A1B3, A2B4, A2B5 , A2B6, A3B7, A3B8, A3B9, and A3B10, it is possible to display a clipped moving image in a smooth background moving image.
Cut-out images and background images may be online materials.
The combined display may be combined while being reproduced, or may be displayed after being created in advance as a moving image file. If combined display is performed during playback, processing takes time, but only one still image is stored, and during playback, as in A1B1, A2B1, A3B1, A4B1, A5B1, A6B1, A7B1, A8B1, A9B1, and A10B1 Just synthesize.
When creating a moving image file in advance, it is necessary to store and store the 10 composite images, for example, but it can be transferred to another device as an M-JPEG or GIF file.
次に、本発明に係るネットワークサービス(ネットワークビジネス)の第2の実施形態について、図13を用いて説明する。
本実施形態のネットワークサービスは、インターネット30にいわゆるフォトフレームと呼ばれる画像表示端末70を接続し、前記ウェブサーバ20がネットワークに公開したウェブサイトを介して、前記実施形態で説明したようなウェブサーバ20の有する機能を利用した変換された動画を、画像表示端末70へ送信して動画を表示させることができるようにしたものである。
Next, a second embodiment of the network service (network business) according to the present invention will be described with reference to FIG.
The network service of this embodiment connects an
従って、この実施形態においては、画像表示端末70が通信機能を有するようにされる。その通信機能としては、画像表示端末70自身がインターネット30に接続して通信する機能の他、インターネット接続可能な家電(例えばTVやセットトップボックスなど)やゲーム機(以下、インターネット機器と称する)80などとの間で、ブルートゥースと呼ばれる通信規格やIEEE802.11規格のWi−Fiと呼ばれる通信規格などで通信可能な機能を画像表示端末70に設け、インターネット機器80を介してウェブサーバ20から動画データを画像表示端末70へ送信して動画を表示できるようにしてよい。
Accordingly, in this embodiment, the
以上本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではない。例えば、前記実施形態においては、デジタルカメラで撮影された連続画像(静止画列)からウェブサーバで動画に変換する場合について説明したが、ユーザがパソコン上で作成した複数枚のイラストなどの画像を動画に変換する場合にも適用することができる。
また、前記実施形態においては、デジタルカメラで撮影された連続画像(静止画列)をウェブサーバへ送信し、ウェブサーバで動画に変換する場合について説明したが、ユーザPCに連続画像(静止画列)を動画に変換する機能を持たせてユーザPC上で連続画像(静止画列)を動画に変換できるようにしてもよい。
Although the invention made by the present inventor has been specifically described based on the embodiment, the present invention is not limited to the embodiment. For example, in the above-described embodiment, the case where a continuous image (still image sequence) photographed by a digital camera is converted to a moving image by a web server has been described. However, images such as a plurality of illustrations created by a user on a personal computer are displayed. It can also be applied when converting to a video.
In the above embodiment, a case has been described in which a continuous image (still image sequence) captured by a digital camera is transmitted to a web server and converted to a moving image by the web server. However, a continuous image (still image sequence) is transmitted to the user PC. ) May be converted into a moving image so that a continuous image (still image sequence) can be converted into a moving image on the user PC.
10 ユーザPC
20 ウェブサーバ
30 インターネット
40 携帯電話機
50 デジタルカメラ(撮像装置)
60 プリンタ
70 画像表示端末
80 インターネット機器
501 レンズ部
502 電子撮像部(撮像手段)
503 撮像制御部
504 画像データ生成部
505 画像メモリ
506 特徴量演算部
507 ブロックマッチング部
508 画像処理部
509 記録制御部
510 記録媒体
520 表示制御部
521 表示部
530 操作入力部
540 CPU(マイクロプロセッサ;制御手段)
10 User PC
20
60
503
Claims (15)
前記撮像手段によって撮像された連続画像から被写体を切出した切出し画像データ列を生成する切出し画像生成手段と、
を備えた撮像装置と、
前記切出し画像生成手段により生成された前記切出し画像データ列を受信する受信手段と、
前記受信手段によって受信した前記切出し画像データ列に基づいて所定のフォーマットの動画データを作成可能な動画変換手段と、
前記動画変換手段によって作成された動画データを格納するデータ格納手段と、
前記動画変換手段によって作成された動画データを送信する動画送信手段と、
を備えた電子機器と、を備え、
前記切出し画像生成手段は、1つの画像データ列の各画像に同じグループ識別情報を付与し、且つ当該画像データ列の中の何枚目の画像であるのかを示す画像順序識別情報を付与し、
前記動画変換手段は、前記同じグループ識別情報を有する画像データを前記画像順序識別情報の順番に従って動画再生可能なデータに変換する
ことを特徴とする動画生成システム。 Imaging means capable of continuous shooting;
A cut-out image generating means for generating a cut-out image data string obtained by cutting out a subject from the continuous images picked up by the image pickup means ;
An imaging device provided with,
Receiving means for receiving the cut image data sequence generated by the cut image generating means ;
And video converting means can create moving image data in a predetermined format based on the extracted image data sequence received by the previous SL receiving means,
Data storage means for storing moving picture data created by the moving picture conversion means;
A video transmission means for transmitting the video data created by the video conversion means;
An electronic device with
The cut-out image generation unit assigns the same group identification information to each image in one image data sequence, and assigns image order identification information indicating which image in the image data sequence is,
The moving image generation system, wherein the moving image conversion means converts the image data having the same group identification information into data that can be reproduced as a moving image in accordance with the order of the image order identification information.
前記動画変換手段は前記画像合成手段により生成された前記合成画像データ列に基づいて所定のフォーマットの動画データを作成する
ことを特徴とする請求項1記載の動画生成システム。 The electronic apparatus includes an image composition unit that generates a composite image data sequence obtained by combining the cut image data sequence generated by the cut image generation unit with another background image.
2. The moving image generating system according to claim 1, wherein the moving image converting unit creates moving image data in a predetermined format based on the combined image data sequence generated by the image combining unit.
前記電子機器は、前記合成画像データ列に基づいて前記動画変換手段によって動画データに変換し、変換された動画データを、インターネットを介して前記コンピュータに送信することを特徴とする請求項2に記載の動画生成システム。 A computer that receives the cut-out image data sequence and can transmit the cut image data sequence to the electronic device via the Internet;
3. The electronic apparatus according to claim 2, wherein the electronic device converts the moving image data into moving image data by the moving image conversion unit based on the composite image data sequence, and transmits the converted moving image data to the computer via the Internet. Video generation system.
前記受信手段によって受信した連続画像データと前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する動画変換手段と、
前記動画変換手段によって作成された動画データを格納するデータ格納手段と、
前記データ格納手段に格納された動画データを、インターネットを介して送信する動画送信手段と、
を備えることを特徴とするウェブサーバ。 It consists of a plurality of continuous still images to which group identification information indicating that they belong to the same image data sequence and image order identification information indicating the number of images in the image data sequence are given. Receiving means for receiving continuous image data via the Internet;
Moving image conversion means for creating moving image data of a predetermined format based on the continuous image data received by the receiving means and the group identification information and image order identification information ;
A data storage means for storing the moving image data generated by said video converting means,
Video transmission means for transmitting the video data stored in the data storage means via the Internet;
A web server comprising:
前記動画変換手段は前記受信手段によって受信した連続画像データまたは前記画像合成手段により作成された合成画像データ列と前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する
ことを特徴とする請求項5記載のウェブサーバ。 Further comprising image combining means for generating a combined image data sequence by combining the received continuous image data consisting of a plurality of continuous still images and a background image ,
The moving image converting means creates moving image data in a predetermined format based on the continuous image data received by the receiving means or the synthesized image data sequence created by the image synthesizing means and the group identification information and image order identification information. The web server according to claim 5, wherein:
ユーザごとに識別符号を付与し該識別符号に基づいて前記動画変換手段によって作成された動画データを記憶する記憶手段と、
前記記憶手段の前記識別符号ごとの記憶領域に記憶される動画データの記憶容量が所定量を超えた場合に、当該識別符号に対応するユーザに使用料を要求する出力を行う料金請求手段と、
ユーザにより使用料が支払われたことを確認する入金確認手段と、
前記入金確認手段が入金を確認した場合に、対応する識別符号の記憶領域の記憶容量を増加させる記憶容量増加手段と、
を備えることを特徴とする請求項5または6に記載のウェブサーバ。 The data storage means includes
Storage means for assigning an identification code to each user and storing the moving image data created by the moving image conversion means based on the identification code;
Charge requesting means for performing an output requesting a usage fee to a user corresponding to the identification code when the storage capacity of the moving image data stored in the storage area for each identification code of the storage means exceeds a predetermined amount;
A payment confirmation means for confirming that the user has paid the usage fee;
A storage capacity increasing means for increasing the storage capacity of the storage area of the corresponding identification code when the payment confirmation means confirms the payment;
The web server according to claim 5, further comprising:
前記画像合成手段は、前記再生手段による再生時に、合成画像データ列を生成することを特徴とする請求項9ないし12いずれかに記載のウェブサーバ。13. The web server according to claim 9, wherein the image composition unit generates a composite image data sequence during reproduction by the reproduction unit.
同一の画像データ列に属することを示すグループ識別情報と、当該画像データ列の中の何枚目の画像であるのかを示す画像順序識別情報とが付与された複数枚の連続した静止画からなる連続画像データを、インターネットを介して受信する受信手段と、It consists of a plurality of continuous still images to which group identification information indicating that they belong to the same image data sequence and image order identification information indicating the number of images in the image data sequence are given. Receiving means for receiving continuous image data via the Internet;
前記受信手段によって受信した連続画像データにより作成された合成画像データ列と前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する動画変換手段と、A moving image conversion unit that generates moving image data in a predetermined format based on the composite image data sequence generated from the continuous image data received by the receiving unit and the group identification information and the image order identification information;
前記動画変換手段によって作成された動画データを格納するデータ格納手段と、Data storage means for storing moving picture data created by the moving picture conversion means;
前記データ格納手段に格納された動画データを、インターネットを介して送信する動画送信手段と、Video transmission means for transmitting the video data stored in the data storage means via the Internet;
して機能させることを特徴とするプログラム。A program characterized by making it function.
前記受信した連続画像データと前記グループ識別情報および画像順序識別情報とに基づいて所定のフォーマットの動画データを作成する動画変換ステップと、
前記動画変換ステップによって作成された動画データを格納するデータ格納ステップと、
前記格納された動画データを表示させるステップと、
を含むことを特徴とする動画像表示方法。 It consists of a plurality of continuous still images to which group identification information indicating that they belong to the same image data sequence and image order identification information indicating the number of images in the image data sequence are given. A reception step of receiving continuous image data via the Internet;
A moving image conversion step of creating moving image data of a predetermined format based on the received continuous image data and the group identification information and image order identification information;
A data storage step for storing the moving image data created by the moving image conversion step ;
Displaying the stored video data;
A moving image display method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050453A JP5541385B2 (en) | 2013-03-13 | 2013-03-13 | Moving image generation system, moving image display method, web server, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050453A JP5541385B2 (en) | 2013-03-13 | 2013-03-13 | Moving image generation system, moving image display method, web server, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009298059A Division JP5229210B2 (en) | 2009-12-28 | 2009-12-28 | Movie generation system, movie display method, and web server |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013128328A JP2013128328A (en) | 2013-06-27 |
JP5541385B2 true JP5541385B2 (en) | 2014-07-09 |
Family
ID=48778560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013050453A Expired - Fee Related JP5541385B2 (en) | 2013-03-13 | 2013-03-13 | Moving image generation system, moving image display method, web server, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5541385B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993532A (en) * | 1995-09-26 | 1997-04-04 | Canon Inc | Image pickup recording device and system therefor |
JP2005269021A (en) * | 2004-03-17 | 2005-09-29 | Konica Minolta Photo Imaging Inc | Reproduction program, reproduction data generating program and data recording apparatus |
JP2006254219A (en) * | 2005-03-11 | 2006-09-21 | Olympus Corp | Digital camera, information processing apparatus and information processing program |
-
2013
- 2013-03-13 JP JP2013050453A patent/JP5541385B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013128328A (en) | 2013-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9910865B2 (en) | Method for capturing the moment of the photo capture | |
KR101901910B1 (en) | Method and apparatus for generating or storing resultant image which changes selected area | |
US10033931B2 (en) | Image processing apparatus and image processing method for processing still image data | |
JP6108755B2 (en) | Shooting device, shot image transmission method, and shot image transmission program | |
US20130162672A1 (en) | Image processing device, image processing method, and program | |
JP2013533669A (en) | Video summary instruction metadata storage | |
WO2006129868A1 (en) | Imaging device, imaging result processing method, image processing device, program for imaging result processing method, recording medium having program for imaging result processing method recorded therein, and imaging result processing system | |
KR101948692B1 (en) | Phtographing apparatus and method for blending images | |
JP2011078008A (en) | Content sharing apparatus, content editing apparatus, content sharing program, and content editing program | |
US20150189118A1 (en) | Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program | |
JP2005084987A (en) | Service server and composite moving picture preparation service method | |
US20160261906A1 (en) | Method and system for synchronizing usage information between device and server | |
US20150036020A1 (en) | Method for sharing original photos along with final processed image | |
JP5229210B2 (en) | Movie generation system, movie display method, and web server | |
KR20140014623A (en) | Apparatus and method for recording highlight clip | |
JP5541385B2 (en) | Moving image generation system, moving image display method, web server, and program | |
JP6265621B2 (en) | Display control apparatus and program | |
KR20140041458A (en) | Image information processing server | |
JP5195317B2 (en) | Camera device, photographing method, and photographing control program | |
KR101480407B1 (en) | Digital image processing apparatus, method for controlling the same and medium of recording the method | |
CN113615156A (en) | Image processing apparatus, image processing method, computer program, and storage medium | |
JP7362696B2 (en) | Imaging device | |
WO2022019171A1 (en) | Information processing device, information processing method, and program | |
JPWO2009078420A1 (en) | Image data generation apparatus, image data reproduction system, image data generation method, image data generation program, and recording medium | |
JP2006173854A (en) | Image display apparatus, image display program, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130411 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5541385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |