JP6932821B1 - 情報処理システム、方法及びプログラム - Google Patents

Abstract

【課題】三次元モデル化された家具情報からその種類を識別することが可能な技術を提供する。【解決手段】家具画像学習システム１のサーバ２０は、その機能として、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するレンダリング処理モジュール２０３６と、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成する機械学習モジュール２０３７と、を備える。【選択図】図３

Description

本開示は、情報処理システム、方法及びプログラムに関する。

従来、物品の画像データから、当該物品の種類ごとに分類する技術が知られている。

特許文献１には、種類の異なる複数の物品を種別毎に分類するための物品分類装置の技術が開示されている。この技術は、物品の撮像画像データを、三次元画像データに対応して直交する二軸を基準として所定の回転角ずつ回転させ、二次元平面に投射することで、二次元画像データを生成し、類似度を計算している。

特開２０１９−１２８８８１号公報

ところで、現在使用している家具を破損等により新調するような場合に、再度同じ家具の購入を希望する場合もあるが、その家具がモデルチェンジ等により販売されていない場合、その家具に類似する家具を希望する場合もある。そのような要望に応えるため、現在所有している家具の画像情報から解析を行って家具の種類に分類し、類似する家具の情報を提供する技術について、一定のニーズがある。しかしながら、家具の画像情報から、どのような家具であるかを識別するのは、容易ではなかった。

そこで、本開示では、三次元モデル化された家具情報からその種類を識別することが可能な技術について説明する。

本開示の一実施形態によると、制御部を備える情報処理システムが提供される。制御部は、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する。

一実施形態によると、プロセッサを備えるコンピュータにより実行されるための方法が提供される。方法は、プロセッサが、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する。

また、一実施形態によると、プロセッサを備えるコンピュータに実行させるためのプログラムが提供される。プログラムは、プロセッサに、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行させる。

本開示によれば、三次元モデル化された家具情報から投影されたレンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成する。これにより、このモデル情報を用いることで、三次元モデル化された家具情報からその種類を識別することが可能になる。

実施の形態１の家具画像学習システム１の全体の構成を示す図である。 実施の形態１の家具画像学習システム１を構成する端末装置１０の機能的な構成を示すブロック図である。 実施の形態１の家具画像学習システム１を構成するサーバ２０の機能的な構成を示す図である。 サーバ２０が記憶する家具データベース２０２１、間取りデータベース２０２２、レンダリングデータベース２０２３のデータ構造を示す図である。 実施の形態１の家具画像学習システム１により、家具情報の学習処理を行う流れの一例を示すフローチャートである。 実施の形態１の家具画像学習システム１により、家具情報の学習処理を行う流れの他の例を示すフローチャートである。 家具情報の学習処理における、端末装置１０に家具情報を表示した画面例を示す図である。 家具情報の学習処理における、端末装置１０に家具情報が配置された部屋の間取り情報を表示した画面例を示す図である。 家具情報の学習処理における、端末装置１０にレンダリング中の家具情報を表示した画面例を示す図である。 実施の形態２の家具画像学習システム１を構成するサーバ２０の機能的な構成を示す図である。 実施の形態３の家具画像学習システム１を構成するサーバ２０の機能的な構成を示す図である。 実施の形態３の家具画像学習システム１により、家具画像情報の識別処理を行う流れの一例を示すフローチャートである。

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜概要＞
以下、本開示の実施の形態である、三次元モデル化された家具情報の機械学習を行う家具画像学習システムについて説明する。この家具画像学習システムは、例えば、家具の外観を撮影した家具画像情報から、撮影されている家具の種類、具体的にはソファ、テーブル、机等の種類を識別するため、機械学習モデル（モデル情報）を生成するためのシステムである。ここで、家具とは、住居や店舗、オフィス等のような空間に配置される物であり、ソファ、テーブル、机のような一般的な家具のみならず、照明器具やテレビのような電化製品、クッション等の雑貨、建物にあらかじめ備え付けられるビルトイン電化製品や建具、収納棚等を含む概念である。

家具の外観を撮影した家具画像情報から、家具の種類を識別するための機械学習を行う手法としては、部屋に家具が実際に配置された状態を撮影した写真画像に基づき、機械学習を行う手法と、家具のＣＡＤデータのようなモデル情報に基づいて機械学習を行う手法とが挙げられる。これらの手法は、家具を複数の方向から撮影した写真画像や、家具の三次元ＣＡＤデータを複数の方向から投影した画像データを機械学習する手法である。

ところで、部屋に家具が実際に配置された状態を撮影した写真画像に基づいて機械学習を行う手法は、以下のような課題がある。まず、複数の写真それぞれの明るさが異なるため、機械学習を行うための教師データとしての品質が担保できない、という問題がある。また、部屋に家具が実際に配置された状態を撮影した写真を多数取得することは可能であるが、家具を撮影する構図（方向）が特定の方向に偏ることが多く、特定の角度からの画像情報しか得られず、検知できない角度が存在することになる。さらに、機械学習の教師データとして必要となる大量の家具画像情報を得るためには、被写体である家具を配置するための撮影場所の確保や撮影者の確保といった、物理的、人的リソースを必要とする、という問題がある。

また、家具のＣＡＤデータのようなモデル情報に基づいて機械学習を行う手法は、以下のような課題がある。まず、このようなモデル情報には、家具の材質や表面の模様、質感といった情報が表現されていないことが多く、機械学習の結果を左右することが多い、という問題がある。例えば、同じ家具の種類である収納棚であっても、木製の場合や、スチール製の場合もあり、これらの差異により表面の模様や質感は異なるため、機械学習の結果にも影響する。また、このようなモデル情報には、家具を実際に配置した際の陰影、周囲の風景等の映り込み、光の加減等が反映されていないため、家具を実際に配置して撮影した画像情報との差異が大きくなる、という問題がある。

そのため、この家具画像学習システムでは、家具の三次元ＣＡＤデータのような三次元モデル化された家具情報（画像情報）を、三次元モデル化された部屋の間取り情報（画像情報）に配置し、光源処理、表面画像処理等を行い、複数の異なる角度から投影されたレンダリング画像情報を取得する。このレンダリング画像情報に基づき、機械学習を行い、モデル情報を生成する。これにより、上記の２つの手法の問題点を解消している。

＜第１の実施の形態＞
以下、家具画像学習システム１について説明する。以下の説明では、例えば、端末装置１０がサーバ２０へアクセスすることにより、サーバ２０が、端末装置１０で画面を生成するための情報を応答する。端末装置１０は、サーバ２０から受信した情報に基づいて画面を生成し表示する。

＜１ 家具画像学習システム１の全体構成＞
図１は、家具画像学習システム１の全体の構成を示す図である。図１に示すように、家具画像学習システム１は、複数の端末装置（図１では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０とを含む。端末装置１０と、サーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。

端末装置１０は、各ユーザが操作する装置である。ここで、ユーザとは、例えば家具画像学習システム１により家具の外観を撮影した家具画像情報から、撮影されている家具の種類を識別するサービスを提供する事業者である。図１に端末装置１０Ａとして示すように、端末装置１０は、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣやノートＰＣ等により実現される。この他、端末装置１０は、例えば移動体通信システムに対応したスマートフォン、タブレット等の携帯端末であるとしてもよい。

端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。図１に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。

通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、キーボードや、タッチパネル、タッチパッド、マウス等のポインティングデバイス等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

サーバ２０は、家具情報や部屋の間取り情報、機械学習の結果生成されるモデル情報を管理する装置である。サーバ２０は、ユーザの端末装置１０からの操作により、三次元モデル化された家具情報を部屋の間取り情報に配置し、光源処理、表面画像処理等を行い、レンダリング画像情報を取得する。また、サーバ２０は、レンダリング画像情報に基づき機械学習を行い、モデル情報を生成する。

サーバ２０は、ネットワーク８０に接続されたコンピュータである。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

＜１．１ 端末装置１０の構成＞
図２は、実施の形態１の家具画像学習システム１を構成する端末装置１０のブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、表示操作受付部１３０（キーボード１３１及びディスプレイ１３２を含む）と、音声処理部１４０と、マイク１４１と、スピーカ１４２と、カメラ１５０と、記憶部１６０と、制御部１７０とを含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。

アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。

アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。

第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理等を行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理等を行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路等を含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１７０へ与える。

表示操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、表示操作受付部１３０は、キーボード１３１と、ディスプレイ１３２とを含む。なお、表示操作受付部１３０は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成してもよい。

キーボード１３１は、端末装置１０のユーザの入力操作を受け付ける。キーボード１３１は、文字入力を行う装置であり、入力された文字情報を入力信号として制御部１７０へ出力する。

ディスプレイ１３２は、制御部１７０の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ１３２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。

音声処理部１４０は、音声信号の変復調を行う。音声処理部１４０は、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１７０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声を端末装置１０の外部へ出力する。

カメラ１５０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１５０は、例えば、カメラ１５０から撮影対象までの距離を検出できる深度カメラである。

記憶部１６０は、例えばフラッシュメモリ等により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１６０は、ユーザ情報１６１を記憶する。

ユーザ情報１６１は、端末装置１０を介して、三次元モデル化された家具情報からレンダリング画像情報を取得するための操作を行うユーザの情報である。ユーザ情報としては、サーバ２０に登録されているユーザを識別する情報（ユーザＩＤ）、ユーザの氏名、ユーザが所属している企業等の組織情報等が含まれる。

制御部１７０は、記憶部１６０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１７０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１７０は、プログラムにしたがって動作することにより、入力操作受付部１７１と、送受信部１７２と、データ処理部１７３と、通知制御部１７４としての機能を発揮する。

入力操作受付部１７１は、キーボード１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。

送受信部１７２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルにしたがってデータを送受信するための処理を行う。

データ処理部１７３は、端末装置１０が入力を受け付けたデータに対し、プログラムにしたがって演算を行い、演算結果をメモリ等に出力する処理を行う。

通知制御部１７４は、ユーザに対し情報を提示する処理を行う。通知制御部１７４は、表示画像をディスプレイ１３２に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１５０に発生させる処理等を行う。

＜１．２ サーバ２０の機能的な構成＞
図３は、実施の形態１の家具画像学習システム１を構成するサーバ２０の機能的な構成を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、家具データベース２０２１と、間取りデータベース２０２２と、レンダリングデータベース２０２３と、家具モデルデータベース２０２４等を記憶する。

家具データベース２０２１は、家具画像学習システム１における機械学習の対象である家具の情報と、三次元モデル化された家具の画像情報とを保持するためのデータベースである。詳細は後述する。

間取りデータベース２０２２は、家具画像学習システム１で家具の画像情報を配置する部屋の情報と、三次元モデル化された部屋の間取り画像情報とを保持するためのデータベースである。詳細は後述する。

レンダリングデータベース２０２３は、家具画像学習システム１で家具の画像情報からレンダリング処理を行って取得された、レンダリング画像情報を保持するためのデータベースである。詳細は後述する。

家具モデルデータベース２０２４は、家具画像学習システム１でレンダリング画像情報に基づき機械学習が行われた結果である、モデル情報を保持するためのデータベースである。このモデル情報は、家具の外観を撮影した家具画像情報から、撮影されている家具の種類を識別するためのモデル情報である。

制御部２０３は、サーバ２０のプロセッサがプログラムにしたがって処理を行うことにより、各種モジュールとして示す機能を発揮する。各種モジュールは、受信制御モジュール２０３１、送信制御モジュール２０３２、家具配置モジュール２０３３、光源処理モジュール２０３４、家具表面処理モジュール２０３５、レンダリング処理モジュール２０３６、機械学習モジュール２０３７を含む。

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルにしたがって信号を受信する処理を制御する。

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルにしたがって信号を送信する処理を制御する。

家具配置モジュール２０３３は、三次元モデル化された部屋の間取り情報に、家具の三次元ＣＡＤデータのような三次元モデル化された家具情報を仮想的に配置する処理を制御する。家具配置モジュール２０３３は、例えば、ユーザが端末装置１０を操作し、どのような部屋の間取り情報（例えば、リビング、寝室等）に、どの家具に係る家具情報（例えば、ソファ、テーブル等）を配置するか、その家具を部屋の中のどこに配置するか（例えば、部屋の中央、壁に接触する等）を選択するので、その入力情報を受け付けて配置してもよい。部屋の間取り情報には、部屋のテイスト（モダン、ナチュラル等）の情報が含まれてもよい。

また、家具データベース２０２１または間取りデータベース２０２２に、どの部屋の間取り情報にどの家具に係る家具情報を配置するか、を示すリンク情報をあらかじめ格納しておき、家具配置モジュール２０３３は、そのリンク情報に基づいて配置してもよい。さらに、家具配置モジュール２０３３は、例えば、どのような部屋の間取り情報に、どの家具に係る家具情報を配置するか、その家具を部屋の中のどこに配置するかを、後述するモデル情報により決定してもよく、部屋の間取り情報と家具情報との無作為な組み合わせにより決定してもよい。

光源処理モジュール２０３４は、三次元モデル化された家具情報に対して、光源処理を行う処理を制御する。光源処理モジュール２０３４は、例えば、ユーザが端末装置１０を操作し、部屋の間取り情報の中における光源の位置を決定するので、その入力操作を受け付けて光源の位置を特定してもよく、家具配置モジュール２０３３が家具情報を配置した部屋の間取り情報に基づき、照明機器や窓等の位置を特定し、照明機器や窓からの光（太陽光）を光源として、その方向に基づいて家具情報に対する光源処理を行ってもよい。また、光源処理モジュール２０３４は、光源と家具情報との距離に基づいて光の照度の調整を行ってもよい。さらに、光源処理モジュール２０３４は、部屋の間取り情報に基づき、光源の種類として、アンビエントライト（環境光）、ディレクショナルライト（平行光源）、ポイントライト（点光源）等を選択してもよい。光源処理モジュール２０３４は、光源処理として具体的には、家具情報に対して陰影を表現するシェーディング処理を行う。

また、光源処理モジュール２０３４は、三次元モデル化された部屋の間取り情報に対して、家具情報と同様の光源処理を行ってもよい。

家具表面処理モジュール２０３５は、三次元モデル化された家具情報に対して、表面処理を行う処理を制御する。ここで、家具情報に対する表面処理とは、例えば家具画像情報の表面の模様を表現する表面画像処理や、家具画像情報の質感、例えば材質が分かるような画像を表現する質感画像処理を含む。家具表面処理モジュール２０３５は、例えば、ユーザが端末装置１０を操作し、家具情報の表面の色の状態や材質を決定するので、その入力操作を受け付けてもよく、家具データベース２０２１に格納されている家具及び家具の表面の材質（例えば、木製、スチール製、表面素材が合成皮革等）、色やテイスト（例えば、木目調、ホワイト等）等に基づき、家具情報に対して表面画像処理や質感画像処理を行ってもよい。また、家具表面処理モジュール２０３５は、光源処理モジュール２０３４が行った光源処理の結果を反映させて表面処理を行ってもよい。例えば、家具情報の家具の材質が金属や樹脂等の場合、光源処理の結果を反映させて家具の光沢を表現してもよい。

また、家具表面処理モジュール２０３５は、三次元モデル化された部屋の間取り情報に対して、家具情報と同様の表面処理を行ってもよい。

レンダリング処理モジュール２０３６は、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得する処理を制御する。レンダリング処理モジュール２０３６は、例えば、複数の異なる方向（角度）から投影された二次元画像情報、すなわちその角度からの視点における当該家具の画像情報である、レンダリング画像情報を取得する。このとき、レンダリング処理モジュール２０３６は、家具配置モジュール２０３３が部屋の間取り情報に配置し、光源処理モジュール２０３４が光源処理を行い、家具表面処理モジュール２０３５が表面処理を行った家具情報に対して、レンダリング画像情報を取得してもよい。また、レンダリング処理モジュール２０３６は、ユーザが端末装置１０を操作し、家具情報に対してレンダリング処理を行うために家具情報を投影する方向を決定するので、その入力操作を受け付けてもよい。

また、レンダリング処理モジュール２０３６は、例えば、家具情報のレンダリング画像情報だけではなく、家具情報が配置されている部屋の間取り情報についても、レンダリング画像情報を取得してもよい。ここで、部屋の間取り情報のレンダリング画像情報は、その部屋の外周情報、すなわちその部屋の天井、壁、床、部屋に既に配置されている家具のうちの１つまたは複数の画像情報が含まれてもよい。すなわち、家具のレンダリング画像情報には、部屋の間取り情報が映り込んだ状態の情報であってもよい。

レンダリング処理モジュール２０３６は、取得した家具情報のレンダリング画像情報を、レンダリングデータベース２０２３へ格納する。

機械学習モジュール２０３７は、レンダリング処理モジュール２０３６が取得したレンダリング画像情報に基づき、機械学習を行い、家具情報の種類（例えば、ソファ、テーブル、収納棚等）を識別するモデル情報を生成する処理を制御する。機械学習モジュール２０３７は、例えば、複数の異なる方向（角度）から投影された二次元画像情報であるレンダリング画像情報に基づき、機械学習を行う。

機械学習モジュール２０３７は、例えば、レンダリング画像情報を教師データとする教師あり機械学習により行ってもよく、ディープラーニングにより行ってもよい。また、機械学習モジュール２０３７は、例えば、部屋の間取り情報のレンダリング画像情報に基づく機械学習を行ってもよい。

機械学習モジュール２０３７は、生成したモデル情報を、家具モデルデータベース２０２４へ格納する。機械学習モジュール２０３７により生成されたモデル情報は、例えば、家具の外観を撮影した家具画像情報から、撮影されている家具の種類を識別するために使用される。

＜２ データ構造＞
図４は、サーバ２０が記憶する家具データベース２０２１、間取りデータベース２０２２、レンダリングデータベース２０２３のデータ構造を示す図である。

図４に示すように、家具データベース２０２１のレコードのそれぞれは、項目「家具ＩＤ」と、項目「家具種類」と、項目「色・テイスト」と、項目「サイズ」と、項目「家具ＣＡＤデータ」等を含む。

項目「家具ＩＤ」は、レンダリング処理モジュール２０３６がレンダリング処理を行う対象である、三次元モデル化された家具の画像情報それぞれを識別する情報である。

項目「家具種類」は、家具の画像情報に係る家具の種類の名称の情報であり、機械学習モジュール２０３７が生成するモデル情報の基になる情報である。

項目「色・テイスト」は、家具の画像情報に係る家具の色やテイストの情報であり、家具表面処理モジュール２０３５が表面処理を行う基になる情報である。なお、色やテイストの情報以外に、家具及び家具の表面の材質の情報が格納されてもよい。

項目「サイズ」は、家具の画像情報に係る家具の大きさの情報であり、家具配置モジュール２０３３が部屋の間取り情報に家具情報を仮想的に配置する際に、部屋の間取り情報の大きさと整合性をとるため、または家具情報が配置可能であるかを判定するために使用される情報である。

項目「家具ＣＡＤデータ」は、三次元モデル化された家具の画像情報であり、機械学習モジュール２０３７による機械学習の対象となる情報である。なお、画像情報ではなく、画像情報が格納されているサーバ２０の格納場所や、他のＷｅｂサーバ等へアクセス可能なリンク情報が格納されてもよい。

間取りデータベース２０２２のレコードのそれぞれは、項目「間取りＩＤ」と、項目「間取り種類」と、項目「テイスト」と、項目「サイズ」と、項目「間取りＣＡＤデータ」等を含む。

項目「間取りＩＤ」は、レンダリング処理モジュール２０３６がレンダリング処理を行う対象である、三次元モデル化された部屋の間取り情報それぞれを識別する情報である。

項目「間取り種類」は、部屋の間取り情報に係る部屋の種類の名称の情報であり、家具配置モジュール２０３３が家具情報を配置するための基になる情報である。

項目「テイスト」は、部屋の間取り情報に係る部屋のテイストの情報であり、家具配置モジュール２０３３が家具情報を配置するための基になる情報である。

項目「サイズ」は、部屋の間取り情報に係る部屋の大きさの情報であり、家具配置モジュール２０３３が部屋の間取り情報に家具情報を仮想的に配置する際に、家具情報の大きさと整合性をとるため、または家具情報が配置可能であるかを判定するために使用される情報である。

項目「間取りＣＡＤデータ」は、三次元モデル化された部屋の間取り情報であり、家具配置モジュール２０３３により家具情報が配置されるための情報である。なお、画像情報ではなく、画像情報が格納されているサーバ２０の格納場所や、他のＷｅｂサーバ等へアクセス可能なリンク情報が格納されてもよい。

レンダリングデータベース２０２３のレコードのそれぞれは、項目「レンダリング画像ＩＤ」と、項目「家具ＩＤ」と、項目「間取りＩＤ」と、項目「配置情報」と、項目「方向情報」と、項目「レンダリングデータ」等を含む。

項目「レンダリング画像ＩＤ」は、レンダリング処理モジュール２０３６がレンダリング処理を行った、三次元モデル化された家具情報から投影された家具情報のレンダリング画像情報それぞれを識別する情報である。

項目「家具ＩＤ」は、三次元モデル化された家具の画像情報それぞれを識別する情報であり、家具データベース２０２１の項目「家具ＩＤ」に対応している。

項目「間取りＩＤ」は、三次元モデル化された部屋の間取り情報それぞれを識別する情報であり、間取りデータベース２０２２の項目「間取りＩＤ」に対応している。

項目「配置情報」は、家具配置モジュール２０３３が家具情報を配置した、部屋の間取り情報の中における位置を示す情報であり、図４に示すように、例えば、「壁面から５００ｍｍ」「壁面接触」等の位置情報が格納されている。

項目「方向情報」は、レンダリング処理モジュール２０３６がレンダリング処理を行った、家具情報における方向（水平方向及び垂直方向）を示す情報であり、図４に示すように、例えば、「平面４５°、垂直０°」等の位置情報が格納されている。

項目「レンダリングデータ」は、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報であり、レンダリング処理モジュール２０３６がレンダリング処理を行った結果の情報である。なお、画像情報ではなく、画像情報が格納されているサーバ２０の格納場所や、他のＷｅｂサーバ等へアクセス可能なリンク情報が格納されてもよい。

レンダリング処理モジュール２０３６は、家具情報から投影されたレンダリング画像情報を取得すると、レンダリングデータベース２０２３に格納する。機械学習モジュール２０３７は、レンダリングデータベース２０２３に格納されているレンダリング画像情報に基づき、機械学習を行う。

＜３ 動作＞
以下、図５及び図６を参照しながら、実施の形態１における家具画像学習システム１による家具情報の学習処理について説明する。

図５は、実施の形態１の家具画像学習システム１により、家具情報の学習処理を行う流れの一例を示すフローチャートである。この家具情報の学習処理は、あらかじめユーザの認証処理が行われ、ユーザがログインした状態から開始される。

ステップＳ１１１において、端末装置１０の入力操作受付部１８１は、ユーザから、部屋の間取り情報に家具情報を仮想的に配置するため、部屋の間取り情報、配置する家具情報、及びその家具情報を部屋の間取り情報のどこに配置するかを決定する入力操作を受け付ける。例えば、端末装置１０の通知制御部１８４は、ディスプレイ１３２に部屋の間取り情報の一覧を表示させるので、ユーザは、部屋の間取り情報を選択する操作を行う。次に、端末装置１０のディスプレイ１３２に家具情報の一覧を表示させるので、ユーザは、家具情報を選択する操作を行う。そして、端末装置１０のディスプレイ１３２に部屋の間取り情報と配置する家具情報を表示させるので、ユーザは、部屋の間取り情報の中で家具情報を移動させ、家具情報を配置する操作を行う。送受信部１８２は、部屋の間取り情報、家具情報、及び家具の配置情報をサーバ２０へ送信する。

ステップＳ１２１において、サーバ２０の家具配置モジュール２０３３は、端末装置１０から送信された部屋の間取り情報、家具情報、及び家具の配置情報を、通信部２０１を介して受け付ける。家具配置モジュール２０３３は、受け付けた部屋の間取り情報に、受け付けた家具情報を仮想的に配置する処理を行う。また、家具配置モジュール２０３３は、受け付けた部屋の間取り情報、家具情報、及び家具の配置情報を、レンダリングデータベース２０２３に格納する処理を行う。

ステップＳ１１２において、端末装置１０の入力操作受付部１８１は、ユーザから、ステップＳ１１１で選択した部屋の間取り情報の中における光源の位置を選択する入力操作を受け付ける。例えば、通知制御部１８４は、ディスプレイ１３２に家具が配置された部屋の間取り情報を表示させるので、ユーザは、部屋の間取り情報の中で光源の位置を選択する操作を行う。送受信部１８２は、光源の位置情報をサーバ２０へ送信する。

ステップＳ１２２において、サーバ２０の光源処理モジュール２０３４は、端末装置１０から送信された光源の位置情報を、通信部２０１を介して受け付ける。光源処理モジュール２０３４は、受け付けた光源の位置情報に基づき、その位置を光源とし、その位置からの方向に基づいて家具情報に対する光源処理を行う。

ステップＳ１１３において、端末装置１０の入力操作受付部１８１は、ユーザから、ステップＳ１１１で選択した家具情報の表面の色の状態や材質を決定する入力操作を受け付ける。例えば、通知制御部１８４は、ディスプレイ１３２に家具が配置された部屋の間取り情報を表示させるので、ユーザは、家具情報を選択してその表面の色の状態や材質を決定する操作を行う。送受信部１８２は、家具情報の表面の色の状態や材質の情報をサーバ２０へ送信する。

ステップＳ１２３において、サーバ２０の家具表面処理モジュール２０３５は、端末装置１０から送信された家具情報の表面の色の状態や材質の情報を、通信部２０１を介して受け付ける。家具表面処理モジュール２０３５は、受け付けた家具情報の表面の色の状態や材質の情報に基づき、家具情報に対して表面処理として、表面画像処理や質感画像処理を行う。

ステップＳ１１４において、端末装置１０の入力操作受付部１８１は、ユーザから、ステップＳ１１１で選択し、光源処理及び表面処理が行われた家具情報からレンダリング画像情報を取得するため、レンダリング処理を行うために家具情報を投影する方向（角度）を決定する入力操作を受け付ける。例えば、通知制御部１８４は、ディスプレイ１３２に家具が配置された部屋の間取り情報を表示させるので、ユーザは、家具情報を投影する方向を移動させてレンダリング処理を行う方向を決定する操作を行う。送受信部１８２は、レンダリング処理を行う方向の情報をサーバ２０へ送信する。

ステップＳ１２４において、サーバ２０のレンダリング処理モジュール２０３６は、端末装置１０から送信されたレンダリング処理を行う方向の情報を、通信部２０１を介して受け付ける。レンダリング処理モジュール２０３６は、受け付けたレンダリング処理を行う方向に基づき、その方向（角度）から投影された二次元画像情報をレンダリング画像情報として取得する。レンダリング処理モジュール２０３６は、取得した家具情報のレンダリング画像情報を、レンダリングデータベース２０２３の項目「レンダリングデータ」に格納する処理を行う。

ステップＳ１２５において、サーバ２０の機械学習モジュール２０３７は、ステップＳ１２４で取得した家具情報のレンダリング画像情報に基づき、機械学習を行い、家具情報の種類（例えば、ソファ、テーブル、収納棚等）を識別するモデル情報を生成する処理を行う。

ステップＳ１２６において、サーバ２０の機械学習モジュール２０３７は、ステップＳ１２５で生成したモデル情報を、家具モデルデータベース２０２４へ格納する処理を行う。

以上のように、家具画像学習システム１では、ユーザの操作により部屋の間取り情報に家具情報が仮想的に配置され、光源処理及び表面処理が行われ、選択された方向（角度）から投影された二次元画像情報をレンダリング画像情報として取得される。このレンダリング画像情報に基づき、機械学習が行われ、家具情報の種類を識別するモデル情報が生成される。そのため、家具の光沢や陰影、材質や模様、質感が表現され、明るさが均一である家具の画像情報を取得することが可能である。また、投影する方向に偏りのないレンダリング画像情報を取得することが可能である。これにより、家具画像情報から家具の種類を識別するためのモデル情報を精度よく生成することが可能になる。

図６は、実施の形態１の家具画像学習システム１により、家具情報の学習処理を行う流れの他の例を示すフローチャートである。図６に示すフローチャートにおける家具情報の学習処理は、図５に示すフローチャートにおける家具情報の学習処理のステップＳ１２２及びステップＳ１２３に代えて、ステップＳ２２２及びステップＳ２２３が行われるため、重複する処理については繰り返して説明しない。

ステップＳ２２２において、サーバ２０の光源処理モジュール２０３４は、間取りデータベース２０２２に格納されている部屋の間取り情報を読み取って解析を行い、家具情報を配置した部屋の間取り情報から照明機器や窓等の位置を特定する。光源処理モジュール２０３４は、特定した照明機器や窓からの光（太陽光）を光源として、その位置からの方向に基づいて家具情報に対する光源処理を行う。

ステップＳ２２３において、サーバ２０の家具表面処理モジュール２０３５は、家具データベース２０２１に格納されている家具及び家具の表面の材質、色やテイスト等に基づき、家具情報に対して表面処理として、表面画像処理や質感画像処理を行う。

以上のように、家具画像学習システム１では、あらかじめ格納されている部屋の間取り情報に基づいて光源処理が行われ、あらかじめ格納されている家具の表面の材質、色やテイスト等に基づいて表面処理が行われる。そのため、ユーザが特に指定することなく光源処理や表面処理が行われるので、ユーザにとって煩わしい操作が不要である。これにより、家具の光沢や陰影、材質や模様、質感が表現され、明るさが均一である家具の画像情報をより容易に取得することが可能になる。

＜４ 画面例＞
以下、図７ないし図９を参照しながら、家具画像学習システム１による家具情報の学習処理の画面例について説明する。

図７は、家具情報の学習処理における、端末装置１０に家具情報を表示した画面例を示す図である。図７の画面例は、部屋の間取り情報に仮想的に配置する家具情報を選択するため、家具情報が表示された状態の画面例を示す。図５のステップＳ１１１に相当する。

図７に示すように、端末装置１０のディスプレイ１３２には、ユーザが選択した家具情報である家具情報１０３１ａが表示される。図７の例では、家具情報１０３１ａとして、ソファが表示されている。また、図７の例では、家具情報１０３１ａに隣接して、方向矢印１０３１ｂが設けられている。この画面表示において、家具情報１０３１ａをクリック等することにより選択し、さらに画面上でポインタをドラッグすると、方向矢印１０３１ｂを中心点として家具情報１０３１ａがドラッグした方向へ回転するように家具情報１０３１ａが構成されている。家具情報１０３１ａの回転方向は、水平方向及び垂直方向である。このように構成することで、家具情報１０３１ａをどの方向（上下、左右、前後）からも参照できるようになっている。

図８は、家具情報の学習処理における、端末装置１０に家具情報が配置された部屋の間取り情報を表示した画面例を示す図である。図８の画面例は、部屋の間取り情報に仮想的に家具情報が配置された状態の画面例を示す。図５のステップＳ１１１に相当する。

図８に示すように、端末装置１０のディスプレイ１３２には、図７に示す家具情報１０３１ａと同様の家具情報１０３２ａが、ユーザが選択した部屋の間取り情報である部屋情報１０３２ｂに配置された状態で表示される。なお、図８の例では、家具情報１０３２ａに付随する情報として、クッション等が配置されている。このような付随情報は、ユーザの選択により追加可能に構成してもよい。さらに、部屋情報１０３２ｂには、既に配置されている家具として、観葉植物や、壁に据え付けられた棚、テーブル等が配置されているが、これらの情報は、例えば間取りデータベース２０２２にあらかじめ格納されていてもよく、ユーザの選択により追加／削除可能に構成してもよい。

図９は、家具情報の学習処理における、端末装置１０にレンダリング中の家具情報を表示した画面例を示す図である。図９の画面例は、図８に示す部屋の間取り情報及び家具情報に対して、光源処理及び表面処理が行われ、レンダリング画像情報を取得するために投影する方向（角度）を選択する状態の画面例を示す。図５のステップＳ１１４に相当する。

図９に示すように、端末装置１０のディスプレイ１３２には、図８に示す家具情報１０３２ａと同様の家具情報１０３３ａが、図８に示す部屋情報１０３２ｂに配置された状態と同様に、異なる方向から投影された状謡で表示される。また、図９の例では、画面右上に方向矢印１０３３ｂが設けられている。

図９に示す画面では、家具情報１０３３ａをクリック等することにより選択し、さらに画面上でポインタをドラッグすると、家具情報１０３３ａが部屋の間取り情報と共にドラッグした方向へ回転するように構成されている。このときの回転方向は、図７の例と同様に水平方向及び垂直方向である。ユーザは、家具情報１０３３ａを回転させることで、家具情報１０３３ａのレンダリング処理を行う方向（角度）を選択する。これにより、レンダリング処理を行うために家具情報を投影する方向を、どの方向（上下、左右、前後）からでも決定できるようになっている。

＜小括＞
以上のように、本実施形態によると、ユーザの操作により部屋の間取り情報に家具情報が仮想的に配置され、光源処理及び表面処理が行われ、選択された方向（角度）から投影された二次元画像情報をレンダリング画像情報として取得される。このレンダリング画像情報に基づき、機械学習が行われ、家具情報の種類を識別するモデル情報が生成される。そのため、家具の光沢や陰影、材質や模様、質感が表現され、明るさが均一である家具の画像情報を取得することが可能である。これにより、家具画像情報から家具の種類を識別するためのモデル情報を精度よく生成することが可能になる。

また、選択された方向（角度）から投影された二次元画像情報をレンダリング画像情報として取得されるため、投影する方向に偏りのないレンダリング画像情報を取得することが可能である。これにより、機械学習を行うための教師データとしての家具情報の品質を担保し、特定の方向に偏ることのない家具情報のレンダリング情報に基づく機械学習が可能になる。

＜第２の実施の形態＞
以下、家具画像学習システム１の他の実施の形態について説明する。

＜１ 家具画像学習システム１の全体構成＞
図１０は、実施の形態２の家具画像学習システム１を構成するサーバ２０の機能的な構成を示す図である。第２の実施の形態における家具画像学習システム１の全体の構成、端末装置１０の構成は、第１の実施の形態と同様であるので、繰り返して説明しない。サーバ２０の構成については、図１０に示すように、新たに家具情報生成モジュール２０３８及び間取り情報生成モジュール２０３９の機能を備える以外、第１の実施の形態と同様である。以下、第２の実施の形態における家具情報生成モジュール２０３８及び間取り情報生成モジュール２０３９の機能について説明する。

家具情報生成モジュール２０３８は、家具を撮影した写真等の画像情報に基づき、家具データベース２０２１に格納されている三次元モデル化された家具情報を生成する処理を制御する。家具情報生成モジュール２０３８は、例えば、家具の画像情報に対して、画像データを線画データに変換するベクター変換等を行い、三次元モデル化された家具情報を生成する。家具情報生成モジュール２０３８は、生成した家具情報を家具データベース２０２１へ格納する。このとき、当該家具の種類や色、テイスト等の情報は、自動で入力してもよく、ユーザによる手入力でもよい。

間取り情報生成モジュール２０３９は、部屋の間取り図や外観等のＣＡＤデータや、部屋を撮影した写真等の画像情報に基づき、間取りデータベース２０２２に格納されている三次元モデル化された部屋の間取り情報を生成する処理を制御する。間取り情報生成モジュール２０３９は、例えば、ＣＡＤデータや部屋の画像情報に対して、画像データを線画データに変換するベクター変換等を行い、三次元モデル化された部屋の間取り情報を生成する。間取り情報生成モジュール２０３９は、生成した部屋の間取り情報を間取りデータベース２０２２へ格納する。このとき、当該部屋の種類やテイスト等の情報は、自動で入力してもよく、ユーザによる手入力でもよい。

＜２ データ構造＞
実施の形態２におけるデータ構造は、実施の形態１と同様である。

＜３ 動作＞
家具情報生成モジュール２０３８は、端末装置１０から家具を撮影した写真等の画像情報を受け付けると、三次元モデル化された家具情報を生成する処理を行う。間取り情報生成モジュール２０３９は、端末装置１０から部屋を撮影した写真等の画像情報を受け付けると、三次元モデル化された部屋の間取り情報を生成する処理を行う。それ以降の処理については、実施の形態１と同様である。

＜小括＞
以上のように、本実施形態によると、家具を撮影した家具情報に基づき、三次元モデル化された家具情報が生成される。部屋を撮影した間取り情報に基づき、三次元モデル化された部屋の間取り情報が生成される。これにより、家具等を設計した三次元ＣＡＤデータのような情報だけではなく、実在の情報に基づいて機械学習を行い、モデル情報を生成することが可能になる。

＜第３の実施の形態＞
以下、家具画像学習システム１の他の実施の形態について説明する。

＜１ 家具画像学習システム１の全体構成＞
図１１は、実施の形態３の家具画像学習システム１を構成するサーバ２０の機能的な構成を示す図である。第３の実施の形態における家具画像学習システム１の全体の構成、端末装置１０の構成は、第１の実施の形態と同様であるので、繰り返して説明しない。サーバ２０の構成については、図１１に示すように、新たに家具画像取得モジュール２０４０及び家具種類識別モジュール２０４１の機能を備える以外、第１の実施の形態と同様である。以下、第３の実施の形態における家具画像取得モジュール２０４０及び家具種類識別モジュール２０４１の機能について説明する。

なお、実施の形態３では、家具の外観を撮影した家具画像情報から、撮影されている家具の種類を識別するサービスを利用する者を主なユーザとして説明する。また、ユーザが使用する端末装置１０には、サーバ２０を運営する事業者が提供するアプリがインストールされている。端末装置１０は、当該アプリが起動しているときにサーバ２０に情報送信リクエストを送信し、当該情報送信リクエストに従って、サーバ２０が送信した情報を受信して画面を生成し、表示する。

家具画像取得モジュール２０４０は、家具の外観を撮影した家具画像情報を取得する処理を制御する。家具画像取得モジュール２０４０は、例えば、ユーザが端末装置１０を操作し、端末装置１０のカメラ機能を使用して家具の外観を撮影し、撮影した家具画像情報をサーバ２０へ送信するので、送信された家具画像情報を取得する処理を制御する。また、家具画像取得モジュール２０４０は、取得した家具画像情報に対して、拡大、縮小、ピント補正、色補正等の補正処理が行われてもよい。

家具種類識別モジュール２０４１は、機械学習モジュール２０３７が生成したモデル情報に基づき、家具画像取得モジュール２０４０が取得した家具画像情報に撮影されている家具の種類を識別する処理を制御する。家具種類識別モジュール２０４１は、例えば、家具画像情報を解析して特徴量を抽出し、モデル情報に基づいて家具データベース２０２１に格納されている家具種類への当てはめを行い、家具の種類を識別する。

＜２ データ構造＞
実施の形態３におけるデータ構造は、実施の形態１と同様である。

＜３ 動作＞
以下、図１２を参照しながら、実施の形態３における家具画像学習システム１による家具画像情報の識別処理について説明する。図１２は、実施の形態３の家具画像学習システム１により、家具画像情報の識別処理を行う流れの一例を示すフローチャートである。

ステップＳ３１１において、端末装置１０の入力操作受付部１８１は、ユーザから家具の外観を撮影する操作を受け付ける。例えば、入力操作受付部１８１は、ユーザからカメラ１５０の操作を受け付ける。カメラ１５０は、ユーザの入力操作により撮影対象である家具の撮影を行う。データ処理部１８３は、カメラ１５０が撮影した撮影データである家具画像情報を記憶部１６０に格納する。送受信部１８２は、家具画像情報をサーバ２０へ送信する。

ステップＳ３２１において、サーバ２０の家具画像取得モジュール２０４０は、端末装置１０から送信された家具画像情報を、通信部２０１を介して受け付ける処理を行う。

ステップＳ３２２において、サーバ２０の家具種類識別モジュール２０４１は、図５のステップＳ１２５で生成した家具情報の種類を識別するモデル情報に基づき、ステップＳ３２１で取得した家具画像情報に撮影されている家具の種類を識別する処理を行う。

ステップＳ３２３において、サーバ２０の家具種類識別モジュール２０４１は、ステップＳ３２２で識別した家具の種類の情報をユーザに通知するため、当該ユーザの端末装置１０へ送信する処理を行う。家具種類識別モジュール２０４１は、家具の種類の情報を、ユーザが使用する端末装置１０に対して、通信部２０１を介して送信する。

ステップＳ３１３において、端末装置１０の送受信部１８２は、サーバ２０から送信された家具の種類の情報を受け付ける。通知制御部１８４は、受け付けた家具の種類の情報をディスプレイ１３２に表示させ、当該ユーザに通知する。

＜小括＞
以上のように、本実施形態によると、ユーザが家具の外観を撮影した家具画像情報を受け付けると、モデル情報に基づき、家具画像情報に撮影されている家具の種類を識別する。そのため、家具の外観を撮影した家具画像情報から、撮影されている家具の種類、具体的にはソファ、テーブル、机等の種類を識別することが可能である。これにより、ユーザが使用している家具の情報を取得し、例えばこの家具に類似する家具の情報を提供したり、再購入等の案内をすることが可能になる。

以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。

（付記１）制御部を備える情報処理システムであって、制御部は、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する、情報処理システム。

（付記２）制御部は、家具情報に対して、複数の異なる方向から投影されたレンダリング画像情報を取得するステップと、１の家具情報に対する複数のレンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する、（付記１）に記載の情報処理システム。

（付記３）制御部は、三次元モデル化された部屋の間取り情報に、家具情報を仮想的に配置するステップと、間取り情報に配置された家具情報について、レンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する、（付記１）または（付記２）に記載の情報処理システム。

（付記４）家具情報に対して、部屋の間取り情報に基づく光源処理を行い、レンダリング画像情報を取得するステップを実行する、（付記３）に記載の情報処理システム。

（付記５）制御部は、家具情報と、部屋の間取り情報に基づく部屋の外周情報について、レンダリング画像情報を取得するステップと、家具情報及び部屋の外周情報についてのレンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する、（付記３）または（付記４）に記載の情報処理システム。

（付記６）部屋の外周情報として、部屋の天井、部屋の壁、部屋の床、部屋に既に配置されている家具のうちの１つまたは複数の画像情報を含む、（付記５）に記載の情報処理システム。

（付記７）制御部は、さらに、部屋の画像情報に基づき、部屋の間取り情報を生成するステップを実行する、（付記３）から（付記６）のいずれかに記載の情報処理システム。

（付記８）制御部は、家具情報に対して陰影を表現するシェーディング処理を行い、レンダリング画像情報を取得するステップを実行する、（付記１）から（付記７）のいずれかに記載の情報処理システム。

（付記９）制御部は、家具情報に対して、家具情報の表面の模様を表現する表面画像処理を行い、レンダリング画像情報を取得するステップを実行する、（付記１）から（付記８）のいずれかに記載の情報処理システム。

（付記１０）制御部は、家具情報に対して、家具情報の質感を表現する質感画像処理を行い、レンダリング画像情報を取得するステップを実行する、（付記１）から（付記９）のいずれかに記載の情報処理システム。

（付記１１）制御部は、さらに、家具の画像情報に基づき、家具情報を生成するステップを実行する、（付記１）から（付記１０）のいずれかに記載の情報処理システム。

（付記１２）制御部は、さらに、家具の外観を撮影した家具画像情報を取得するステップと、モデル情報に基づき、家具画像情報に係る家具の種類を識別するステップと、を実行する、（付記１）から（付記１１）のいずれかに記載の情報処理システム。

（付記１３）制御部は、家具画像情報に対する補正処理を行うステップを実行する、（付記１２）に記載の情報処理システム。

（付記１４）プロセッサを備えるコンピュータにより実行されるための方法であって、方法は、プロセッサが、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行する、方法。

（付記１５）プロセッサを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、三次元モデル化された家具情報から投影された、家具情報のレンダリング画像情報を取得するステップと、レンダリング画像情報に基づき、機械学習を行い、家具情報の種類を識別するモデル情報を生成するステップと、を実行させる、プログラム。

１０ 端末装置、２０ サーバ、８０ ネットワーク、１７１ ユーザ情報、２２ 通信ＩＦ、２３ 入出力ＩＦ、２５ メモリ、２６ ストレージ、２９ プロセッサ、２０１ 通信部、２０２ 記憶部、２０２１ 家具データベース、２０２２ 間取りデータベース、２０２３ レンダリングデータベース、２０２４ 家具モデルデータベース、２０３ 制御部

Claims (11)

1. 制御部を備える情報処理システムであって、
   前記制御部は、
   家具の画像情報に基づき、機械学習の対象である、三次元モデル化された家具情報を生成するステップと、
   三次元モデル化された前記家具情報に対して表現するテイストの情報の入力を受け付けるステップと、
   部屋の画像情報に基づき、三次元モデル化された部屋の間取り情報を生成するステップと、
   三次元モデル化された前記部屋の間取り情報のテイストの情報の入力を受け付けるステップと、
   三次元モデル化された前記家具情報を選択する入力情報を受け付け、三次元モデル化された前記部屋の間取り情報に、三次元モデル化された前記家具情報を仮想的に配置するステップと、
   前記間取り情報に配置された前記家具情報に対して、前記家具情報のテイストの情報に基づき、前記家具情報の表面の模様を表現する表面画像処理を行うステップと、
   前記部屋の間取り情報に配置された前記家具情報から投影された、前記家具情報のレンダリング画像情報を取得するステップと、
   前記レンダリング画像情報に基づき、機械学習を行い、前記家具情報の種類を識別するモデル情報を生成するステップと、を実行する、情報処理システム。
2. 前記制御部は、
   前記家具情報に対して、複数の異なる方向から投影された前記レンダリング画像情報を取得するステップと、
   １の前記家具情報に対する複数の前記レンダリング画像情報に基づき、機械学習を行い、前記家具情報の種類を識別するモデル情報を生成するステップと、を実行する、請求項１に記載の情報処理システム。
3. 前記家具情報に対して、前記部屋の間取り情報に基づく光源処理を行い、前記レンダリング画像情報を取得するステップを実行する、請求項１または請求項２に記載の情報処理システム。
4. 前記制御部は、
   前記家具情報と、前記部屋の間取り情報に基づく前記部屋の外周情報について、前記レンダリング画像情報を取得するステップと、
   前記家具情報及び前記部屋の外周情報についての前記レンダリング画像情報に基づき、機械学習を行い、前記家具情報の種類を識別するモデル情報を生成するステップと、を実行する、請求項３に記載の情報処理システム。
5. 前記部屋の外周情報として、前記部屋の天井、前記部屋の壁、前記部屋の床、前記部屋に既に配置されている家具のうちの１つまたは複数の画像情報を含む、請求項４に記載の情報処理システム。
6. 前記制御部は、
   前記家具情報に対して陰影を表現するシェーディング処理を行い、前記レンダリング画像情報を取得するステップを実行する、請求項１から請求項５のいずれか１項に記載の情報処理システム。
7. 前記制御部は、
   前記家具情報に対して、前記家具情報の質感を表現する質感画像処理を行い、前記レンダリング画像情報を取得するステップを実行する、請求項１から請求項６のいずれか１項に記載の情報処理システム。
8. 前記制御部は、さらに、
   家具の外観を撮影した家具画像情報を取得するステップと、
   前記モデル情報に基づき、前記家具画像情報に係る家具の種類を識別するステップと、を実行する、請求項１から請求項７のいずれか１項に記載の情報処理システム。
9. 前記制御部は、
   前記家具画像情報に対する補正処理を行うステップを実行する、請求項８に記載の情報処理システム。
10. プロセッサを備えるコンピュータにより実行されるための方法であって、
    前記方法は、前記プロセッサが、
    家具の画像情報に基づき、機械学習の対象である、三次元モデル化された家具情報を生成するステップと、
    三次元モデル化された前記家具情報に対して表現するテイストの情報の入力を受け付けるステップと、
    部屋の画像情報に基づき、三次元モデル化された部屋の間取り情報を生成するステップと、
    三次元モデル化された前記部屋の間取り情報のテイストの情報の入力を受け付けるステップと、
    三次元モデル化された前記家具情報を選択する入力情報を受け付け、三次元モデル化された前記部屋の間取り情報に、三次元モデル化された前記家具情報を仮想的に配置するステップと、
    前記間取り情報に配置された前記家具情報に対して、前記家具情報のテイストの情報に基づき、前記家具情報の表面の模様を表現する表面画像処理を行うステップと、
    前記部屋の間取り情報に配置された前記家具情報から投影された、前記家具情報のレンダリング画像情報を取得するステップと、
    前記レンダリング画像情報に基づき、機械学習を行い、前記家具情報の種類を識別するモデル情報を生成するステップと、を実行する、方法。
11. プロセッサを備えるコンピュータに実行させるためのプログラムであって、
    前記プログラムは、前記プロセッサに、
    家具の画像情報に基づき、機械学習の対象である、三次元モデル化された家具情報を生成するステップと、
    三次元モデル化された前記家具情報に対して表現するテイストの情報の入力を受け付けるステップと、
    部屋の画像情報に基づき、三次元モデル化された部屋の間取り情報を生成するステップと、
    三次元モデル化された前記部屋の間取り情報のテイストの情報の入力を受け付けるステップと、
    三次元モデル化された前記家具情報を選択する入力情報を受け付け、三次元モデル化された前記部屋の間取り情報に、三次元モデル化された前記家具情報を仮想的に配置するステップと、
    前記間取り情報に配置された前記家具情報に対して、前記家具情報のテイストの情報に基づき、前記家具情報の表面の模様を表現する表面画像処理を行うステップと、
    前記部屋の間取り情報に配置された前記家具情報から投影された、前記家具情報のレンダリング画像情報を取得するステップと、
    前記レンダリング画像情報に基づき、機械学習を行い、前記家具情報の種類を識別するモデル情報を生成するステップと、を実行させる、プログラム。
    

Images