JP7452591B1 - 画像生成システム及び画像生成方法 - Google Patents

画像生成システム及び画像生成方法 Download PDF

Info

Publication number
JP7452591B1
JP7452591B1 JP2022138211A JP2022138211A JP7452591B1 JP 7452591 B1 JP7452591 B1 JP 7452591B1 JP 2022138211 A JP2022138211 A JP 2022138211A JP 2022138211 A JP2022138211 A JP 2022138211A JP 7452591 B1 JP7452591 B1 JP 7452591B1
Authority
JP
Japan
Prior art keywords
image
person
sub
photographed
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022138211A
Other languages
English (en)
Other versions
JP2024042130A (ja
Inventor
千夏 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2022138211A priority Critical patent/JP7452591B1/ja
Application granted granted Critical
Publication of JP7452591B1 publication Critical patent/JP7452591B1/ja
Publication of JP2024042130A publication Critical patent/JP2024042130A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Figure 0007452591000001
【課題】撮影環境の雰囲気を保ちながら撮影対象以外の人物を加工し、撮影画像の付加価値を高める。
【解決手段】画像生成システムは、撮影装置から撮影画像を受信する受信部と、前記撮影画像内の複数の人物をメイン被写体とサブ人物とに判別する判別部と、前記撮影画像内のサブ人物を、架空人物画像又はキャラクター画像に差し替える差替部と、を備える。前記サブ人物に対応する前記架空人物画像を作成する作成部をさらに備えてもよい。あるいはまた、キャラクターのモデルデータを記憶する記憶部と、前記モデルデータを用いて、前記サブ人物に対応する前記キャラクター画像を作成する作成部と、をさらに備えてもよい。
【選択図】図1

Description

本発明は、画像生成システム及び画像生成方法に関する。
観光地やレジャー施設では、顧客(観光客、入場者)をカメラマンが撮影したり、センサを使って自動撮影したりし、撮影画像のプリント物や画像データを販売するサービスが実施されている。
撮影画像に顧客以外の第三者が写り込んでしまった場合、肖像権等の問題によりこのままでは販売できないため、写り込んだ第三者をぼかしたり、透明化(背景合成)したりする加工処理が行われることがある。
しかし、ぼかした人物が含まれる画像は、記念写真としての価値を低下させ得るため、第三者が写り込まないような壁やパネルの前などに撮影場所が限定されていた。また、第三者を透明化する処理を行った場合、実際は周囲に多数の人がいて賑わっていたとしても、透明化処理により周囲に全く人がいない状況となり、撮影環境の雰囲気を保つことができなかった。
特許第6419749号公報
本発明は、撮影環境の雰囲気を保ちながら撮影対象以外の人物を加工し、撮影画像の付加価値を高めることができる画像生成システム及び画像生成方法を提供することを課題とする。
本発明の画像生成システムは、撮影装置から撮影画像を受信する受信部と、前記撮影画像内の複数の人物をメイン被写体とサブ人物とに判別する判別部と、前記撮影画像内のサブ人物を、架空人物画像又はキャラクター画像に差し替える差替部と、を備えるものである。
本発明の画像生成方法は、撮影装置から撮影画像を受信する工程と、前記撮影画像内の複数の人物をメイン被写体とサブ人物とに判別する工程と、前記撮影画像内のサブ人物を、架空人物画像又はキャラクター画像に差し替える工程と、を備えるものである。
本発明の画像生成システムは、撮影装置から撮影画像を受信する受信部と、前記撮影画像内の全ての人物を抽出してサブ人物と判別する判別部と、前記サブ人物を、架空人物画像又はキャラクター画像に差し替える差替部と、を備えるものである。
本発明の画像生成方法は、撮影装置から撮影画像を受信する工程と、前記撮影画像内の全ての人物を抽出してサブ人物と判別する工程と、前記サブ人物を、架空人物画像又はキャラクター画像に差し替える工程と、を備えるものである。
本発明によれば、撮影環境の雰囲気を保ちながら撮影対象以外の人物を加工し、撮影画像の付加価値を高めることができる。
本発明の実施形態に係る画像生成システムの概略構成図である。 撮影画像内のサブ人物の差し替え例を示す図である。 サーバ装置の機能ブロック図である。 画像生成方法を説明するフローチャートである。 撮影画像内のサブ人物の差し替え例を示す図である。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1に示すように、本実施形態に係る画像生成システムは、サーバ装置1、制御装置2及び撮影装置3を備え、撮影装置3で顧客(メイン被写体M)を撮影し、撮影画像のデータやプリント物を顧客に販売するものである。撮影装置3は、例えばデジタルカメラである。
この画像販売システムは、レジャー施設等に導入されるものである。顧客が所有するチケットには、顧客を一意に識別する識別情報が割り当てられている。例えば、チケットは、識別情報を示す二次元コードを含む。チケットは紙のチケットでもよいし、スマートフォン等で表示可能な電子チケットでもよい。
顧客は、入園時に自分の顔画像を識別情報と紐付けてサーバ装置1に登録する。例えば、顧客が所有するスマートフォン等を用いて専用ウェブサイトにアクセスし、スマートフォンの内蔵カメラで自分の顔を撮影することで、顔画像を登録することができる。家族や友人等のグループで来園している場合は、複数人の顔画像及び識別情報をグループ登録してもよい。
園内では、顧客のリクエストに応じてカメラマンが撮影装置3で撮影を行う。撮影した画像データは制御装置2へ送信される。また、カメラマンは、撮影前又は撮影後に、顧客から提示された二次元コードを撮影装置3で読み取り、識別情報を取得する。取得された識別情報は、制御装置2へ送信される。
制御装置2は通信機能を有するコンピュータである。制御装置2は、撮影装置3から受信した撮影画像及び識別情報をサーバ装置1へ送信する。
園内で撮影した場合、図2に示すように、撮影をリクエストした顧客(メイン被写体M)だけでなく、周囲にいる他の入園客(サブ人物B)も撮影画像内に写り込んでしまうことがある。
そこで、本実施形態では、サーバ装置1が、事前に登録された顔画像の中から、制御装置2から受信した識別情報に紐付けられた顔画像を抽出し、抽出した顔画像に基づいて、撮影画像内の人物をメイン被写体Mとサブ人物Bとに判別する。サーバ装置1は、判別したサブ人物Bの体格、年齢、性別、姿勢等に合わせた架空人物画像を作成し、図2に示すように、撮影画像内のサブ人物Bを架空人物Kに差し替える。
このように、撮影対象人物(メイン被写体M)以外のサブ人物Bを架空の人物に置換することで、肖像権の問題を解消し、撮影画像を顧客に販売することが可能になる。また、サブ人物Bを消去(透明化)するのではなく、架空の人物に置換するため、周囲の賑わいや混み具合等の撮影環境の雰囲気を保つことができる。撮影画像に写り込んでいる人物は架空人物であるため、撮影画像を購入した顧客は、画像をSNS等に自由にアップロードすることができる。
次に、図3を用いて、サーバ装置1の構成について説明する。サーバ装置1は、CPU、記憶部10、通信部等を有するコンピュータであり、CPUが記憶部10に格納されている制御プログラムを実行することで、登録部11、撮影画像受信部12、判別部13、作成部14及び差替部15の機能が実現される。
登録部11は、顧客が所有するスマートフォン等のユーザ端末から、顧客の顔画像の登録を受け付ける。登録部11は、ユーザ端末から、顧客の顔画像及び識別情報を受信すると、顔画像を識別情報とを紐付けて記憶部10に格納する。
複数人の顔画像をグループ化して登録してもよい。顔画像のグループに対して、いずれか1人の顧客の識別情報を紐付けてもよいし、複数の識別情報を紐付けてもよい。
撮影画像受信部12は、制御装置2から撮影画像及び識別情報を受信する。
判別部13は、制御装置2から受信した識別情報に対応する顔画像を記憶部10から取り出す。受信した識別情報が顔画像グループに紐付けられている場合は、このグループに含まれる全ての顔画像を取り出す。
判別部13は、公知の方法を用いて、制御装置2から受信した撮影画像に含まれる人物を抽出する。判別部13は、撮影画像から抽出した人物のうち、記憶部10から取り出した顔画像に対応する人物をメイン被写体と判別する。また、判別部13は、撮影画像から抽出した人物のうち、メイン被写体ではない人物をサブ人物と判別する。
作成部14は、サブ人物を置き換えるための架空人物の画像を作成する。架空人物の画像は、サブ人物と体格、年齢、性別、表情、姿勢等を合わせたものとする。架空人物画像は、顔だけでもよいし、体全体であってもよい。架空人物画像の作成には、敵対的生成ネットワーク(Generative adversarial networks:GAN)等の公知の機械学習システムを用いることができる。
作成部14が、サブ人物の画像を外部コンピュータへ送信して架空人物画像の作成を要求し、外部コンピュータから架空人物画像を取得してもよい。
差替部15は、撮影画像内のサブ人物を、作成された架空人物に差し替える。作成された架空人物画像が顔だけの場合は、顔部分のみ差し替える。架空人物は、サブ人物と体格、年齢、性別、表情、姿勢等を合わせたものであるため、差し替え後の撮影画像は自然な仕上がりとなる。
次に、本実施形態による画像生成方法を図4に示すフローチャートに沿って説明する。
顧客がレジャー施設に入園すると、自分の顔画像を登録する(ステップS1)。例えば、顧客が所有するスマートフォンを用いて、チケットに記載された登録サイトにする。顔画像登録処理が開始すると、スマートフォンのカメラが起動し、顧客は自分の顔を撮影し、登録する。登録時には、チケットに割り当てられた識別情報が顔画像に紐付けられる。
複数人のグループで来園している場合には、続けて他の人の顔を撮影、登録することで、グループ登録することができる。他の人の顔を撮影する際に、その人が所有するチケットの二次元コードを撮影し、識別情報を読み取ってもよい。グループ登録した顔画像には、少なくとも1つの識別情報が紐付けられる。
園内で撮影装置3により顧客が撮影される(ステップS2)。撮影前又は撮影後に顧客のチケットの二次元コードから識別情報を読み取る。撮影画像及び識別情報がサーバ装置1へ転送される。
サーバ装置1の判別部13が、受信した識別情報に対応する、事前登録された顔画像を取り出し、撮影画像内の人物をメイン被写体とサブ人物とに判別する(ステップS3)。
サーバ装置1の作成部14が、サブ人物を差し替えるための架空人物画像を作成する(ステップS4)。
サーバ装置1の差替部15が、撮影画像内のサブ人物領域を、ステップS4で作成した架空人物画像に差し替える(ステップS5)。
サブ人物を架空人物に差し替えた撮影画像は、識別情報と対応付けて、記憶部10に格納される。顧客が、入退場ゲート付近のプリント端末にチケットをかざして識別情報を読み取らせると、プリント端末はサーバ装置1と通信を行い、識別情報に対応する撮影画像を受信する。プリント端末は、料金の支払いを受け付けると、撮影画像のプリント処理を行う。顧客は、写り込んだサブ人物が架空人物に差し替えられた撮影画像のプリント物を入手できる。
あるいはまた、顧客がユーザ端末を操作し、撮影画像の画像データをダウンロードできるようにしてもよい。
サブ人物の全体を架空人物に差し替える場合、架空人物の服装を、施設のテーマに沿ったものとしてもよい。例えば、昔の街並みを再現したテーマパークの場合、架空人物の服装を昔の人の服装にしてもよい。外国の街並みを再現したテーマパークの場合、架空人物を外国人としてもよい。
上記実施形態では、サブ人物を架空人物に差し替える例について説明したが、図5に示すように、サブ人物BをキャラクターCに差し替えてもよい。例えば、サーバ装置1は、レジャー施設のマスコットキャラクターの3Dモデルデータを保存し、3Dモデルデータを用いて、撮影画像内のサブ人物に姿勢や表情を合わせたキャラクター画像を作成する。サーバ装置1は、撮影画像内のサブ人物を、作成したキャラクター画像に差し替える。
撮影画像に合成されるキャラクター画像は、撮影時に写り込んだサブ人物の人数、位置、姿勢、表情等により変化するものであるため、所定のテンプレートを用いた合成画像よりも、付加価値の高い画像を顧客に提供できる。
上記実施形態において、カメラマンが使用する撮影装置3が、スマートフォンやタブレット端末のように通信機能を有するものである場合は、制御装置2を省略し、撮影装置3からサーバ装置1へ撮影画像及び識別情報を送信してもよい。
上記実施形態では、カメラマンが顧客を撮影する例について説明したが、所定箇所に設置された撮影装置3による自動撮影でもよい。顧客は、撮影前又は撮影後に、読取装置にチケットの二次元コードを提示し、識別情報を読み取らせる。
上記実施形態では、事前にユーザの顔画像を登録し、サーバ装置1がメイン被写体とサブ人物との判別を行う例について説明したが、ユーザがメイン被写体の指定を行ってもよい。例えば、サーバ装置1は、園内のプリント端末、又はユーザが所有するユーザ端末へ、撮影画像及び人物抽出結果を送信し、表示させる。ユーザは、撮影画像に含まれる人物の中から、メイン被写体を選択する。サーバ装置1は、メイン被写体の選択を受け付け、選択されなかった人物をサブ人物と判別する。
サーバ装置1は、選択されなかった人物(サブ人物)に対応する架空人物画像やキャラクター画像を作成し、サブ人物と差し替える。
上記実施形態では、撮影対象を人物とし、撮影画像に含まれる人物を、メイン被写体とサブ人物とに判別する例について説明したが、撮影対象は人物に限定されず、建物、動物、風景等の人物以外のものをメイン被写体としてもよい。例えば、サーバ装置1は、非人物モードの画像処理設定を受け付けると、撮影画像から抽出した人物を全てサブ人物と判別し、サブ人物を架空人物やキャラクターに差し替える。
本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。
1 サーバ装置
2 制御装置
3 撮影装置

Claims (3)

  1. 撮影装置から撮影画像を受信する受信部と、
    前記撮影画像内の複数の人物をメイン被写体とサブ人物とに判別する判別部と、
    前記サブ人物の姿勢に合わせた架空人物画像又はキャラクター画像を作成する作成部と、
    前記撮影画像内のサブ人物の体全体を、前記架空人物画像又はキャラクター画像に差し替える差替部と、
    顔画像と識別情報とを紐付けて登録する登録部と、
    を備え
    前記受信部は、前記撮影画像と共に識別情報を受信し、
    前記判別部は、前記撮影画像内の複数の人物のうち、前記受信部が受信した識別情報に紐付けられた顔画像に対応する人物を前記メイン被写体と判別し、前記メイン被写体以外の人物を前記サブ人物と判別し、
    前記撮影画像内の前記メイン被写体は、前記架空人物画像又はキャラクター画像に差し替えない、画像生成システム。
  2. キャラクターのモデルデータを記憶する記憶部をさらに備え、
    前記作成部は、前記モデルデータを用いて、前記サブ人物に対応する前記キャラクター画像を作成する、請求項1に記載の画像生成システム。
  3. 紐付けられた顔画像と識別情報との登録を受け付ける工程と、
    撮影装置から撮影画像及び識別情報を受信する工程と、
    前記撮影画像内の複数の人物のうち、前記受信した識別情報に紐付けられた顔画像に対応する人物をメイン被写体と判別し、前記メイン被写体以外の人物をサブ人物と判別する工程と、
    前記サブ人物の姿勢に合わせた架空人物画像又はキャラクター画像を作成する工程と、
    前記撮影画像内のサブ人物の体全体を、前記架空人物画像又はキャラクター画像に差し替える工程と、
    を備え
    前記撮影画像内の前記メイン被写体は、前記架空人物画像又はキャラクター画像に差し替えない、画像生成方法。
JP2022138211A 2022-08-31 2022-08-31 画像生成システム及び画像生成方法 Active JP7452591B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022138211A JP7452591B1 (ja) 2022-08-31 2022-08-31 画像生成システム及び画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022138211A JP7452591B1 (ja) 2022-08-31 2022-08-31 画像生成システム及び画像生成方法

Publications (2)

Publication Number Publication Date
JP7452591B1 true JP7452591B1 (ja) 2024-03-19
JP2024042130A JP2024042130A (ja) 2024-03-28

Family

ID=90273487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022138211A Active JP7452591B1 (ja) 2022-08-31 2022-08-31 画像生成システム及び画像生成方法

Country Status (1)

Country Link
JP (1) JP7452591B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195595A (ja) 1999-10-29 2001-07-19 Atr Media Integration & Communications Res Lab 感性表現システム
JP2002305717A (ja) 2000-10-20 2002-10-18 Fuji Photo Film Co Ltd 画像処理システムおよび注文システム
JP2014082695A (ja) 2012-10-18 2014-05-08 Nec Casio Mobile Communications Ltd 携帯端末装置、携帯端末システム、携帯端末装置の制御方法、及びプログラム
JP2020184165A (ja) 2019-05-07 2020-11-12 株式会社鳥山研究室 撮像データ提供システム
JP2021077255A (ja) 2019-11-13 2021-05-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195595A (ja) 1999-10-29 2001-07-19 Atr Media Integration & Communications Res Lab 感性表現システム
JP2002305717A (ja) 2000-10-20 2002-10-18 Fuji Photo Film Co Ltd 画像処理システムおよび注文システム
JP2014082695A (ja) 2012-10-18 2014-05-08 Nec Casio Mobile Communications Ltd 携帯端末装置、携帯端末システム、携帯端末装置の制御方法、及びプログラム
JP2020184165A (ja) 2019-05-07 2020-11-12 株式会社鳥山研究室 撮像データ提供システム
JP2021077255A (ja) 2019-11-13 2021-05-20 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理システム

Also Published As

Publication number Publication date
JP2024042130A (ja) 2024-03-28

Similar Documents

Publication Publication Date Title
JP5939659B2 (ja) 写真・動画像提供システム
US20140105466A1 (en) Interactive photography system and method employing facial recognition
JP6111738B2 (ja) 画像管理システム、管理サーバ、管理サーバの処理方法、および制御プログラム
CN108280919A (zh) 人证核验快速通关闸机及其控制方法
JP6428212B2 (ja) チケット発行装置及びチケット発行システム
JP2024020650A (ja) 撮像データ提供システム
JP2022121584A (ja) 画像出力方法、および画像出力システム
JP7452591B1 (ja) 画像生成システム及び画像生成方法
JP4386050B2 (ja) 占い処理システム、占い処理方法、写真占いシステム、占い処理プログラム、および記録媒体
JP4235825B2 (ja) 写真サービスシステムおよび方法
JP7276032B2 (ja) 撮影システム
JP4424072B2 (ja) 写真サービスシステム
JP7077075B2 (ja) オンラインサービスシステム、オンラインサービス提供方法、コンテンツ管理装置及びコンピュータプログラム
JP6939248B2 (ja) 会員管理システム
JP2005286454A (ja) 映像記録配信システム
WO2023170781A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP7467909B2 (ja) 画像作成システム
JP2019023807A (ja) Idカード作成システム、idカード作成方法、及び印画物作成装置
JP2021164044A (ja) 撮影システム
JP2007279799A (ja) 画像交換装置および画像交換方法ならびに画像交換処理プログラム
JP2023077808A (ja) 画像販売システム
KR101846310B1 (ko) 이미지 연동 데이터 관리 시스템 및 그 방법
JP2023103000A (ja) 画像販売システム
JP2003178372A (ja) カードの取扱を含む自動写真撮影システム
JP2022147589A (ja) 撮影画像管理システム及び撮影画像管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230616

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R150 Certificate of patent or registration of utility model

Ref document number: 7452591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150