JP7504577B2 - Information processing method, program, and information processing device - Google Patents

Description

本開示は、情報処理方法、プログラム、及び情報処理装置に関する。 This disclosure relates to an information processing method, a program, and an information processing device.

近年、ライブ映像を用いたＥコマースが行われている。例えばライブのＥコマース中に視聴者数を表示したり（例えば特許文献１参照）、ライブ映像に含まれる商品を購入したり（例えば特許文献２参照）することが知られている。 In recent years, e-commerce using live video has become popular. For example, it is known to display the number of viewers during live e-commerce (see, for example, Patent Document 1) and to allow the purchase of products included in the live video (see, for example, Patent Document 2).

特許第６４７２５０５号Patent No. 6472505 特開２０１８－１３６９２５号公報JP 2018-136925 A

しかしながら、従来の電子商取引プラットフォームでは、映像を配信しながら、商品を購入したり、説明したりすることができるが、ユーザは、未出品の商品に対して、映像で商品を映しつつ購入予定者（閲覧者）の反応を見ながら、出品の適否を判断するようなことができなかった。 However, while conventional e-commerce platforms allow users to purchase and explain products while streaming video, they are unable to judge whether or not to list unlisted products by viewing the product video and observing the reactions of potential buyers (viewers).

本開示は、電子商取引プラットフォームにおいて、映像で配信する未出品の商品に対して、出品を可能にする仕組みを提供する情報処理方法、プログラム、及び情報処理装置を提供することを目的の一つとする。 One of the objectives of the present disclosure is to provide an information processing method, a program, and an information processing device that provide a mechanism for enabling listing of unlisted products distributed as video on an e-commerce platform.

本開示の一実施形態に係る情報処理方法は、情報処理装置に含まれる１又は複数のプロセッサが、第１ユーザにより撮影された１又は複数の未出品の商品を含む映像データを取得すること、前記映像データを他のユーザが利用する情報処理装置に配信すること、前記１又は複数の未出品の商品の中から、前記第１ユーザ又は前記他のユーザからの商品特定に関する所定方法に基づき、少なくとも１つの商品を特定すること、特定された商品に対して出品処理を行うこと、を実行する。 In an information processing method according to an embodiment of the present disclosure, one or more processors included in an information processing device acquire video data including one or more unlisted items captured by a first user, distribute the video data to an information processing device used by another user, identify at least one item from the one or more unlisted items based on a predetermined method for identifying an item from the first user or the other user, and perform a listing process for the identified item.

開示の技術によれば、電子商取引プラットフォームにおいて、映像で配信する未出品の商品に対して、出品を可能にする仕組みを提供することができる。 The disclosed technology can provide a mechanism that allows unlisted products that are distributed via video to be listed on an e-commerce platform.

実施形態における情報処理システムの各構成例を示す図である。FIG. 2 is a diagram illustrating an example of each configuration of an information processing system according to an embodiment. 実施形態に係るユーザ端末の一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a user terminal according to an embodiment. 実施形態に係るサーバの一例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of a server according to an embodiment. 実施形態に係るユーザデータの一例を示す図である。FIG. 4 is a diagram illustrating an example of user data according to the embodiment. 実施形態に係る取引データの一例を示す図である。FIG. 4 is a diagram illustrating an example of transaction data according to the embodiment. 実施形態に係る商品データの一例を示す図である。FIG. 4 is a diagram illustrating an example of product data according to the embodiment. 実施形態に係る商品特定の例１を示す図である。FIG. 1 is a diagram showing a first example of product identification according to an embodiment. 実施形態に係る商品特定の例２を示す図である。FIG. 11 is a diagram showing a second example of product identification according to the embodiment. 実施形態に係る出品後の画面の例１を示す図である。FIG. 13 is a diagram showing example 1 of a screen after listing according to the embodiment. 実施形態に係る出品後の画面の例２を示す図である。A figure showing example 2 of a screen after listing in the embodiment. 実施形態に係る出品オファーに関する画面遷移例を示す図である。FIG. 13 is a diagram showing an example of a screen transition regarding a listing offer according to an embodiment. 実施形態に係る情報処理システムのサーバの処理の一例を示すフローチャートである。10 is a flowchart illustrating an example of processing by a server of the information processing system according to the embodiment.

以下、本開示の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。 Embodiments of the present disclosure will be described in detail below with reference to the drawings. Note that identical elements are given the same reference numerals and duplicated descriptions will be omitted.

［実施形態］
実施形態では、第１ユーザ（出品予定者）が、未出品の商品を携帯端末等のカメラで撮影し、撮影された映像を配信することで、第２ユーザ（購入予定者又は閲覧者）がこの映像を視聴し、第１ユーザ又は第２ユーザからの音声やジェスチャなどで商品を特定し、特定された商品に対して出品処理を行う。これにより、電子商取引プラットフォームにおいて、映像で配信する未出品の商品に対して、出品を可能にする仕組みを提供することができる。また、第１ユーザは、購入予定者の反応を知ることができ、その反応に応じて出品するか否かを決めることができる。 [Embodiment]
In the embodiment, a first user (a prospective seller) takes a picture of an unlisted product with a camera of a mobile terminal or the like, and distributes the captured video, so that a second user (a prospective purchaser or viewer) watches the video, identifies the product using voice or gestures from the first or second user, and performs listing processing for the identified product. This provides a mechanism that enables listing of unlisted products distributed as videos on an electronic commerce platform. The first user can also know the reaction of the prospective purchaser, and can decide whether or not to list the product depending on the reaction.

また、ライブ映像を配信する（ライブ中継をする）場合は、第１ユーザは、その場で第２ユーザと交渉し、交渉成立した内容で出品をすることができるため、商品情報等を入力したり、価格を変更したりする必要がない。その結果、電子商取引プラットフォームを管理するサーバ（情報処理装置）は、入力データの削減によりメモリ量を削減し、又は商品情報の変更回数の削減により処理負荷を削減することが可能になる。 In addition, when live video is distributed (live broadcast), the first user can negotiate with the second user on the spot and list the product based on the negotiated terms, eliminating the need to input product information or change the price. As a result, the server (information processing device) that manages the e-commerce platform can reduce memory usage by reducing input data, or reduce processing load by reducing the number of changes to product information.

＜システムの適用例＞
図１は、実施形態における情報処理システム１の各構成例を示す図である。図１に示す例では、各ユーザが利用する各情報処理装置１０Ａ、１０Ｂ、電子商取引プラットフォームを管理するサーバ２０がネットワークＮを介して接続される。なお、情報処理装置１０Ａ、１０Ｂは、任意の数がネットワークＮに接続される。 <System application examples>
Fig. 1 is a diagram showing an example of each configuration of an information processing system 1 according to an embodiment. In the example shown in Fig. 1, information processing devices 10A and 10B used by each user and a server 20 that manages an electronic commerce platform are connected via a network N. Any number of information processing devices 10A and 10B may be connected to the network N.

情報処理装置１０Ａ、１０Ｂは、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ、ＰＤＡ（Personal Digital Assistant）などであり、内蔵又は外付けにより撮像装置を有する。情報処理装置１０Ａ、１０Ｂは、特に区別しない場合は、情報処理装置１０、又はユーザ端末１０とも表記する。 The information processing devices 10A and 10B are, for example, smartphones, mobile phones (feature phones), computers, PDAs (Personal Digital Assistants), etc., and have built-in or external imaging devices. When no particular distinction is made, the information processing devices 10A and 10B are also referred to as information processing devices 10 or user terminals 10.

情報処理装置２０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置２０は、電子商取引プラットフォームを管理し、また、未出品の商品を含む映像を配信することが可能であり、売買取引をリアルタイムに行うことも可能である。以下、情報処理装置２０は、サーバ２０とも表記する。 The information processing device 20 is, for example, a server, and may be composed of one or more devices. The information processing device 20 also manages an e-commerce platform, and is capable of distributing videos including unlisted products, and is also capable of conducting buying and selling transactions in real time. Hereinafter, the information processing device 20 is also referred to as the server 20.

図１に示す例では、ユーザ端末１０Ａは、例えば第１ユーザＵＡが利用する端末であり、カメラ機能を起動し、出品予定（未出品）の商品Ｇを撮影し、撮影された映像データをサーバ２０に送信する。撮影される商品の数は１つに限らず、複数の商品が一画面内に含まれるように撮影されてもよい。 In the example shown in FIG. 1, the user terminal 10A is, for example, a terminal used by a first user UA, which activates a camera function, captures an image of a product G that is to be put up for sale (not yet put up for sale), and transmits the captured video data to the server 20. The number of products captured is not limited to one, and multiple products may be captured so as to be included within one screen.

サーバ２０は、受信した映像データを不特定多数の第２ユーザＵＢに配信する。サーバ２０は、必要に応じて、映像データを商品ごとにメモリに記憶してもよく、メモリに記憶された映像データを配信してもよい。サーバ２０は、商品ごとにメモリを記憶することについて、画像認識等により特定された商品が撮影されている間の映像を分割して個別ファイルとして記憶してもよいし、商品が含まれる映像データの時間を管理するようにしてもよい。 The server 20 distributes the received video data to an unspecified number of second users UB. The server 20 may store the video data for each product in memory as necessary, and may distribute the video data stored in memory. When storing the video data for each product, the server 20 may divide the video during which a product identified by image recognition or the like is shot and store it as an individual file, or may manage the time of the video data that includes the product.

ユーザ端末１０Ｂは、例えば第２ユーザＵＢが利用する端末であり、配信される映像データを画面に表示し、第２ユーザＵＢの操作を受け付ける。例えば、ユーザ端末１０Ｂは、第２ユーザＵＢから商品Ｇを特定する操作を受け付け、出品を申し出る操作を受け付けた場合、特定された商品Ｇ及び出品オファーをサーバ２０に送信する。 The user terminal 10B is, for example, a terminal used by the second user UB, displays the distributed video data on the screen, and accepts operations from the second user UB. For example, when the user terminal 10B accepts an operation from the second user UB to identify a product G and accepts an operation to offer to put the product up for sale, it transmits the identified product G and the offer to put the product up for sale to the server 20.

サーバ２０は、特定された商品Ｇ及び出品オファーをユーザ端末１０Ｂから受信すると、これらの内容を映像データの配信元であるユーザ端末１０Ａに送信する。サーバ２０は、商品Ｇに対して出品を受け付ける通知をユーザ端末１０Ａから受信すると、例えば売買が成立したと判定して、商品Ｇに対して電子商取引プラットフォームにおける通常の処理に従って、その後の処理を実行する。また、サーバ２０は、ユーザ端末１０Ａから出品処理を受け付けた場合に、一度、電子商取引プラットフォームにおける出品処理を実行し、電子商取引プラットフォーム上で、出品オファーをしたユーザに限らず、商品Ｇの購入を受け付けるようにしてもよい。 When the server 20 receives the identified product G and the listing offer from the user terminal 10B, it transmits these contents to the user terminal 10A, which is the source of the video data. When the server 20 receives a notification from the user terminal 10A accepting the listing of the product G, it determines that a sale has been concluded, for example, and executes subsequent processing for the product G in accordance with normal processing on the e-commerce platform. In addition, when the server 20 accepts the listing process from the user terminal 10A, it may execute the listing process on the e-commerce platform once, and accept purchases of the product G on the e-commerce platform from anyone, not limited to the user who made the listing offer.

＜構成の一例＞
図２は、実施形態に係るユーザ端末１０の一例を示すブロック図である。ユーザ端末１０は、１つ又は複数の処理装置（ＣＰＵ）１１０、１つ又は複数のネットワーク又は他のネットワーク通信インタフェース１２０、メモリ１３０、ユーザインタフェース１５０、撮像装置１６０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス１７０を含む。 <Example of configuration>
2 is a block diagram illustrating an example of a user terminal 10 according to an embodiment. The user terminal 10 includes one or more processing units (CPUs) 110, one or more network or other network communication interfaces 120, memory 130, a user interface 150, an imaging device 160, and one or more communication buses 170 for interconnecting these components.

ユーザインタフェース１５０は、例えば、ディスプレイ装置１５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）１５２を備えるユーザインタフェース１５０である。また、ユーザインタフェース１５０は、タッチパネルでもよい。 The user interface 150 is, for example, a user interface 150 including a display device 151 and an input device (such as a keyboard and/or a mouse or some other pointing device) 152. The user interface 150 may also be a touch panel.

メモリ１３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。 Memory 130 may be, for example, a high-speed random access memory such as DRAM, SRAM, DDR RAM, or other random access solid-state storage device, or may be a non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid-state storage devices.

また、メモリ１３０の他の例として、ＣＰＵ１１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ１３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。 Also, another example of memory 130 may be one or more storage devices located remotely from CPU 110. In one embodiment, memory 130 stores the following programs, modules and data structures, or a subset thereof:

オペレーティングシステム１３１は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。 Operating system 131, for example, handles various basic system services and includes procedures for performing tasks using the hardware.

ネットワーク通信モジュール１３２は、例えば、ユーザ端末１０を他のコンピュータに、１つ又は複数のネットワーク通信インタフェース１２０及び、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ又は複数の通信ネットワークを介して接続するために使用され、送受信モジュールとしても使用されうる。 The network communication module 132 may be used, for example, to connect the user terminal 10 to other computers via one or more network communication interfaces 120 and one or more communication networks, such as the Internet, other wide area networks, local area networks, metropolitan area networks, etc., and may also be used as a transceiver module.

アプリデータ１３３は、ユーザが電子商取引プラットフォームを利用する際に処理されるデータを含む。例えば、アプリデータ１３３は、ユーザ情報や、サーバ２０から取得された情報を含む。一例として、視聴中の映像データに含まれる商品の商品情報などがアプリデータ１３３に含まれる。 The application data 133 includes data that is processed when the user uses the e-commerce platform. For example, the application data 133 includes user information and information obtained from the server 20. As an example, the application data 133 includes product information of a product included in the video data being viewed.

取引制御モジュール１３４は、サーバ２０が提供する電子商取引プラットフォームにおける商品の売買などの取引を制御する。例えば、取引制御モジュール１３４は、映像データを用いての出品処理に関する撮影制御モジュール１３５、入力モジュール１３６、認識モジュール１３７、及び出品制御モジュール１３８を少なくとも有する。 The transaction control module 134 controls transactions such as buying and selling of goods on the electronic commerce platform provided by the server 20. For example, the transaction control module 134 has at least a shooting control module 135, an input module 136, a recognition module 137, and a listing control module 138, which are related to the listing process using video data.

撮影制御モジュール１３５は、第１ユーザ等の操作に応じてカメラ機能を起動させ、撮像装置１６０により撮像された映像データを取得し、サーバ２０に送信するよう制御する。映像データは、１又は複数の未出品商品が含まれる。 The image capture control module 135 activates the camera function in response to an operation by the first user, etc., acquires video data captured by the image capture device 160, and controls the transmission of the video data to the server 20. The video data includes one or more unlisted items.

入力モジュール１３６は、第１ユーザ又は第２ユーザからの入力を受け付ける。入力される対象は、映像又はセンサなどにより検出されるユーザの動作、マイクなどから入力される音声データ、入力装置１５２から入力されるテキストやボタン等の操作による指示などのデータである。入力されるデータは、認識モジュール１３７に出力される。 The input module 136 accepts input from the first user or the second user. The input includes data such as user movements detected by video or a sensor, voice data input from a microphone, text input from the input device 152, and instructions input by operating a button, etc. The input data is output to the recognition module 137.

認識モジュール１３７は、入力モジュール１３６により入力されたデータが、所定の条件を満たすか否かを判定する。所定の条件は、ジェスチャについては、商品特定を示す第１ジェスチャ、出品オファーを示す第２ジェスチャ、出品を行うための第３ジェスチャなどを含み、音声については、商品を特定するような用語（例えば、赤い服など）、「出品」という単語などを含み、テキストについては、商品を特定するような文字列（例えば、手に持っている靴など）、「出品」などを含む。認識モジュール１３７は、予め設定された用語等に一致する場合は、所定の条件を満たすと判定する。 The recognition module 137 determines whether the data input by the input module 136 meets a predetermined condition. The predetermined condition includes, for gestures, a first gesture indicating product identification, a second gesture indicating an offer to sell, and a third gesture for selling, for voice, a term that identifies a product (e.g., red clothes) or the word "selling", and for text, a character string that identifies a product (e.g., shoes being held) or "selling". The recognition module 137 determines that the predetermined condition is met if the data matches a preset term, etc.

認識モジュール１３７は、認識結果に応じた処理を実行する。例えば、認識モジュール１３７は、商品を特定するためのジェスチャや、音声等が入力されると、これを認識し、商品を特定する処理を実行する。また、認識モジュール１３７は、出品を示す指示を認識すると、特定された商品に対して出品処理を実行するよう出品制御モジュール１３８に指示する。なお、認識モジュール１３７は、サーバ２０に設けられてもよい。 The recognition module 137 executes processing according to the recognition result. For example, when a gesture, voice, or the like for identifying a product is input, the recognition module 137 recognizes this and executes processing to identify the product. Furthermore, when the recognition module 137 recognizes an instruction to list an item, it instructs the listing control module 138 to execute listing processing for the identified item. The recognition module 137 may be provided in the server 20.

出品制御モジュール１３８は、認識モジュール１３７からの出品指示により、映像データ内の商品を認識し、認識した商品に対して出品制御処理を実行する。商品の認識については、認識モジュール１３７が認識している場合は認識された商品を取得する。出品制御モジュール１３８は、認識された商品に対して出品を行うようサーバ２０に通知する。例えば、通知内容は、認識された商品を特定する情報と、出品リクエストとを含む。 The listing control module 138 recognizes products in the video data in response to listing instructions from the recognition module 137, and executes listing control processing for the recognized products. Regarding product recognition, if the recognition module 137 recognizes a product, it acquires the recognized product. The listing control module 138 notifies the server 20 to list the recognized product. For example, the notification content includes information identifying the recognized product and a listing request.

表示制御モジュール１３９は、撮影中の映像データを表示制御したり、サーバ２０から配信される映像データを表示制御したりする。また、表示制御モジュール１３９は、サーバ２０から送信される画面に関するデータ等（チャット形式のテキストデータなど）を表示制御する。 The display control module 139 controls the display of video data being shot and video data distributed from the server 20. The display control module 139 also controls the display of data related to the screen (such as text data in chat format) transmitted from the server 20.

なお、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０から、必要に応じて各モジュールを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０に格納されているネットワーク通信モジュール１３２を実行することで、通信部を構成してもよい。また、１つ又は複数の処理装置（ＣＰＵ）１１０は、メモリ１３０に格納されている取引制御モジュール１３４、撮影制御モジュール１３５、入力モジュール１３６、認識モジュール１３７、出品制御モジュール１３８、及び表示制御モジュール１３９をそれぞれ実行することで、取引制御部、入力部、認識部、出品制御部、及び表示制御部を構成してもよい。 The one or more processing devices (CPUs) 110 read and execute each module from the memory 130 as necessary. For example, the one or more processing devices (CPUs) 110 may configure a communication unit by executing the network communication module 132 stored in the memory 130. The one or more processing devices (CPUs) 110 may also configure a transaction control unit, an input unit, a recognition unit, an listing control unit, and a display control unit by respectively executing the transaction control module 134, the photography control module 135, the input module 136, the recognition module 137, the listing control module 138, and the display control module 139 stored in the memory 130.

他の実施形態において、取引制御モジュール１３４、撮影制御モジュール１３５、入力モジュール１３６、認識モジュール１３７、出品制御モジュール１３８、及び表示制御モジュール１３９は、ユーザ端末１０のメモリ１３０に格納されるスタンドアロンアプリケーションであってもよい。スタンドアロンアプリケーションとしては、限定はされないが、取引制御アプリケーション、入力アプリケーション、認識アプリケーション、出品制御アプリケーション、表示制御アプリケーションが挙げられる。さらに他の実施形態において、取引制御モジュール１３４、撮影制御モジュール１３５、入力モジュール１３６、認識モジュール１３７、出品制御モジュール１３８、及び表示制御モジュール１３９は別のアプリケーションへのアドオン又はプラグインであってもよい。 In other embodiments, the transaction control module 134, the capture control module 135, the input module 136, the recognition module 137, the listing control module 138, and the display control module 139 may be standalone applications stored in the memory 130 of the user terminal 10. Standalone applications include, but are not limited to, a transaction control application, an input application, a recognition application, a listing control application, and a display control application. In yet other embodiments, the transaction control module 134, the capture control module 135, the input module 136, the recognition module 137, the listing control module 138, and the display control module 139 may be add-ons or plug-ins to another application.

上記に示した要素の各々は、先述の記憶装置の１つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム（すなわち、命令のセット）は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットは様々な実施形態で組み合わされるか、或いは再構成されてもよい。ある実施形態において、メモリ１３０は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ１３０は上述されない追加的なモジュール及びデータ構造を格納し得る。 Each of the elements described above may be stored in one or more of the storage devices described above. Each of the modules described above corresponds to a set of instructions for performing a function described above. The modules or programs (i.e., sets of instructions) described above need not be implemented as separate software programs, procedures, or modules, and thus various subsets of these modules may be combined or reconfigured in various embodiments. In some embodiments, memory 130 may store a subset of the modules and data structures described above. Additionally, memory 130 may store additional modules and data structures not described above.

図３は、実施形態に係るサーバ２０の一例を示すブロック図である。サーバ２０は、１つ又は複数の処理装置（ＣＰＵ）２１０、１つ又は複数のネットワーク又は他のネットワーク通信インタフェース２２０、メモリ２３０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス２７０を含む。 FIG. 3 is a block diagram illustrating an example of a server 20 according to an embodiment. The server 20 includes one or more processing units (CPUs) 210, one or more network or other network communication interfaces 220, memory 230, and one or more communication buses 270 for interconnecting these components.

サーバ２０は、場合によりユーザインタフェース２５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。 The server 20 may optionally include a user interface 250, which may include a display device (not shown) and a keyboard and/or mouse (or some other input device, such as a pointing device, not shown).

メモリ２３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。 Memory 230 may be, for example, a high-speed random access memory such as DRAM, SRAM, DDR RAM, or other random access solid-state storage device, or may be a non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid-state storage devices.

また、メモリ２３０の他の例は、ＣＰＵ２１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ２３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。 Another example of memory 230 may be one or more storage devices located remotely from CPU 210. In one embodiment, memory 230 stores the following programs, modules and data structures, or a subset thereof:

オペレーティングシステム２３１は、例えば、様々な基本的なシステムサービスを処理するとともにハードウェアを用いてタスクを実行するためのプロシージャを含む。 Operating system 231, for example, handles various basic system services and contains procedures for performing tasks using the hardware.

ネットワーク通信モジュール２３２は、例えば、サーバ２０を他のコンピュータに、１つ又は複数のネットワーク通信インタフェース２２０及びインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ又は複数の通信ネットワークを介して接続するために使用され、送受信モジュールとしても使用されうる。 The network communication module 232 may be used, for example, to connect the server 20 to other computers via one or more network communication interfaces 220 and one or more communication networks, such as the Internet, other wide area networks, local area networks, metropolitan area networks, etc., and may also be used as a transceiver module.

ユーザデータ２３３は、電子商取引プラットフォームを利用するユーザの情報を含む。例えば、ユーザデータ２３３は、各ユーザＩＤに関連付けて、ユーザ名称、住所、電話番号、ニックネーム等を含む。ユーザデータ２３３は、図４を用いて後述する。 User data 233 includes information on users who use the e-commerce platform. For example, user data 233 includes a user name, address, telephone number, nickname, etc., associated with each user ID. User data 233 will be described later with reference to FIG. 4.

取引データ２３４は、電子商取引プラットフォームにおける売買取引の情報を含む。例えば、取引データ２３４は、取引ＩＤに関連付けて、商品ＩＤ、買い手のユーザＩＤ、売り手のユーザＩＤ、成約日時などを含む。取引データ２３４は、図５を用いて後述する。 The transaction data 234 includes information on buying and selling transactions on the electronic commerce platform. For example, the transaction data 234 includes, in association with a transaction ID, a product ID, a buyer's user ID, a seller's user ID, and a contract date and time. The transaction data 234 will be described later with reference to FIG. 5.

商品データ２３５は、電子商取引プラットフォームに登録された商品情報を含む。例えば、商品データ２３５は、出品された商品ごとに、商品ＩＤ、画像、価格、サイズ、オファーユーザ、出品期限などを含む。商品データ２３５は、図６を用いて後述する。 Product data 235 includes product information registered in the e-commerce platform. For example, product data 235 includes, for each listed product, a product ID, image, price, size, offering user, and listing deadline. Product data 235 will be described later with reference to FIG. 6.

取引管理モジュール２３６は、電子商取引プラットフォームにおける商品の売買処理を管理する。例えば、取引管理モジュール２３６は、ユーザが映像を用いて未出品の商品を出品することに関して、取得モジュール２３７、配信モジュール２３８、特定モジュール２３９、出品処理モジュール２４０、及びデータ管理モジュール２４１を有する。 The transaction management module 236 manages the buying and selling of products on the e-commerce platform. For example, the transaction management module 236 includes an acquisition module 237, a distribution module 238, a specification module 239, a listing processing module 240, and a data management module 241 in relation to a user listing an unlisted product using video.

取得モジュール２３７は、第１ユーザ（出品予定者）により撮影された１又は複数の未出品の商品を含む映像データを、ユーザ端末１０やメモリ２３０から取得する。例えば、取得モジュール２３７は、ユーザ端末１０からリアルタイムに送信されてきた映像データを取得したり、取得モジュール２３７は、所定の指示に応じて、メモリ２３０に記憶されている、指定された映像データを取得したりする。 The acquisition module 237 acquires video data including one or more unlisted items captured by a first user (a person planning to sell an item) from the user terminal 10 or memory 230. For example, the acquisition module 237 acquires video data transmitted in real time from the user terminal 10, or acquires specified video data stored in the memory 230 in response to a specific instruction.

配信モジュール２３８は、取得された映像データを他のユーザが利用する情報処理装置に配信する。例えば、ユーザ端末１０Ａから映像データを取得した場合に、リアルタイムにユーザ端末１０Ｂ等に映像データを配信し、ライブ中継を行う。なお、映像データを視聴する側は、不特定多数であり、ユーザがライブ中継に参加した時点で、映像データの配信が開始される。 The distribution module 238 distributes the acquired video data to information processing devices used by other users. For example, when video data is acquired from user terminal 10A, the video data is distributed in real time to user terminal 10B, etc., and a live broadcast is performed. Note that the video data is viewed by an unspecified number of people, and distribution of the video data begins at the point when a user joins the live broadcast.

特定モジュール２３９は、１又は複数の未出品の商品の中から、第１ユーザ又は他のユーザからの商品特定に関する所定方法に基づき、少なくとも１つの商品を特定する。例えば、上述したユーザ端末１０の認識モジュール１３７の認識処理を特定モジュール２３９が実行し、映像データ内の所定の商品を認識して特定してもよい。一例として、所定方法は、第１ユーザ又は他のユーザ（第２ユーザ）の音声又はジェスチャの認識結果、あるいは第１ユーザ又は他のユーザにより入力されたテキストに基づいて、少なくとも１の商品を特定する方法を含んでもよい。 The identification module 239 identifies at least one product from one or more unlisted products based on a predetermined method for product identification by the first user or another user. For example, the identification module 239 may execute the recognition process of the recognition module 137 of the user terminal 10 described above to recognize and identify a predetermined product in the video data. As an example, the predetermined method may include a method of identifying at least one product based on the recognition results of the voice or gesture of the first user or another user (second user), or text entered by the first user or another user.

例えば、特定モジュール２３９は、第１ユーザ又は他のユーザにより画面内の商品位置をタップされた場合、このタップされた指示位置を特定し、この指示位置に表示されていた商品画像から商品を特定する。また、特定モジュール２３９は、物体画像を含むＤＢを参照することで物体認識を行い、映像データ内の商品を特定するようにしてもよい。この場合、特定モジュール２３９は、映像データ内に１つ物体が認識されれば、その物体を商品として特定すればよい。 For example, when a product position on the screen is tapped by the first user or another user, the identification module 239 identifies the tapped position and identifies the product from the product image displayed at the indicated position. The identification module 239 may also perform object recognition by referencing a DB that contains object images, and identify the product in the video data. In this case, when an object is recognized in the video data, the identification module 239 may identify the object as a product.

また、特定モジュール２３９は、第１ユーザ又は他のユーザの音声データを取得し、音声認識を行うことで、映像データ内の商品の位置（例えば「手に持っている」、「画面の右」など）や、特徴（例えば色や大きさや商品名やカテゴリ等）を認識し、認識結果に基づいて映像データ内の商品を特定してもよい。 The identification module 239 may also acquire voice data of the first user or another user and perform voice recognition to recognize the position of a product in the video data (e.g., "held in the hand," "to the right of the screen," etc.) and characteristics (e.g., color, size, product name, category, etc.), and identify the product in the video data based on the recognition results.

また、特定モジュール２３９は、映像データを配信中に第１ユーザ又は他のユーザから入力されたテキストデータを取得し、このテキストデータから商品を特定するような文字列を抽出し、抽出された文字列に基づいて商品を特定してもよい。上述したとおり、特定モジュール２３９は、様々な方法により商品を特定することができるため、バリエーション豊富なインタフェースをユーザに対して提供することができる。 The identification module 239 may also acquire text data input by the first user or another user while the video data is being distributed, extract a character string that identifies a product from the text data, and identify the product based on the extracted character string. As described above, the identification module 239 can identify products using various methods, and therefore can provide the user with a wide variety of interfaces.

出品処理モジュール２４０は、特定モジュール２３９により特定された商品に対して出品処理を行う。例えば、出品処理モジュール２４０は、特定された商品に対する所定の商品情報を設定し、電子商取引プラットフォームにおいて、その商品を購入可能な状態にする。所定の商品情報は、人工知能（ＡＩ）などを用いて、電子商取引プラットフォームにおける商品データ２３５から類似する商品を抽出し、類似商品の商品情報を取得することで、自動で設定されるようにしてもよい。 The listing processing module 240 performs listing processing for the product identified by the identification module 239. For example, the listing processing module 240 sets predetermined product information for the identified product and makes the product available for purchase on the e-commerce platform. The predetermined product information may be set automatically by using artificial intelligence (AI) or the like to extract similar products from the product data 235 on the e-commerce platform and obtain product information for the similar products.

これにより、第１ユーザ（出品予定者）は、映像を用いながら未出品の商品を紹介することで、購入予定者の反応に応じて、出品するか否かを決めることができる。これにより、出品されたが購入されない商品を減らすことが可能になり、サーバ側のメモリ削減、処理負荷の軽減に寄与することが可能になる。 This allows the first user (a prospective seller) to introduce an unlisted product using video and decide whether or not to list the product depending on the reaction of prospective buyers. This makes it possible to reduce the number of products that are listed but not purchased, which contributes to reducing memory and processing load on the server side.

また、取引管理モジュール２３６は、取得モジュール２３７により、第１ユーザが利用するユーザ端末１０Ａから映像データを取得することと、配信モジュール２３８により、他のユーザが利用するユーザ端末１０Ｂに映像データを配信することとを、リアルタイムに処理するよう制御してもよい。例えば、配信モジュール２３８は、取得された映像データをリアルタイムに処理して配信することで、ライブ中継を実現することが可能である。 The transaction management module 236 may also control the acquisition module 237 to acquire video data from the user terminal 10A used by the first user, and the distribution module 238 to distribute the video data to the user terminal 10B used by another user in real time. For example, the distribution module 238 can realize a live broadcast by processing and distributing the acquired video data in real time.

これにより、第１ユーザや、他のユーザは、ライブ中継を用いて、商品に対する価格交渉等を行うことができるようになり、交渉が成立した時点で出品を行うことができるようになる。また、第１ユーザである出品予定者は、売買取引が既に成立しているため、商品情報等を入力したり、価格を変更したりする必要がない。その結果、電子商取引プラットフォームを管理するサーバ（情報処理装置）は、入力データの削減によりメモリ量を削減し、又は設定されたデータの変更回数の削減により処理負荷を削減することが可能になる。 This allows the first user and other users to use the live broadcast to negotiate prices for products, and to list the product once negotiations are concluded. Furthermore, the first user, who is the person planning to sell the product, does not need to enter product information or change the price, as the purchase transaction has already been concluded. As a result, the server (information processing device) that manages the e-commerce platform can reduce memory capacity by reducing input data, or reduce processing load by reducing the number of times set data needs to be changed.

また、出品処理モジュール２４０は、出品対象の商品に対して、他のユーザからの入力情報に基づいて商品情報を設定することを含んでもよい。上述したとおり、人工知能を用いて商品情報を入力する以外にも、出品処理モジュール２４０は、出品予定者と購入予定者とのインタラクティブなやりとり（チャット形式）の中で取得したデータを商品情報に設定することが可能である。 The listing processing module 240 may also set product information for the product to be listed based on information input by other users. As described above, in addition to inputting product information using artificial intelligence, the listing processing module 240 can set the product information based on data acquired during interactive exchanges (chat format) between the prospective seller and the prospective purchaser.

これにより、通常、出品者が商品情報を入力するが、この場合、購入者側からの入力情報を用いて商品情報を設定することが可能である。なお、購入者側から入力された商品情報を用いる場合、出品処理モジュール２４０は、出品者に許可されてから設定するようにしてもよい。 Normally, the seller would enter product information, but in this case, it is possible to set the product information using information entered by the purchaser. Note that when using product information entered by the purchaser, the listing processing module 240 may set the information after receiving permission from the seller.

データ管理モジュール２４１は、撮影された商品ごとに映像データをメモリ２３０に記録してもよい。また、データ管理モジュール２４１は、撮影された商品が出品され、販売済みである場合に、この販売済みの商品の映像データをメモリ２３０から消去してもよい。 The data management module 241 may record video data for each photographed product in the memory 230. In addition, if the photographed product has been put up for sale and has already been sold, the data management module 241 may erase the video data of the sold product from the memory 230.

これにより、サーバ２０側で商品ごとの映像データを記憶することで、リアルタイムの配信を見逃したユーザに対して、記憶された映像データを配信することが可能である。また、映像データは、メモリ２３０の記憶容量の観点から、一時的に記憶されるのが好適であるが、既に売買が成立した商品の映像データが削除されることで、メモリ量の削減を図ることができる。 By storing video data for each product on the server 20 side, it is possible to distribute the stored video data to users who miss the real-time distribution. Also, from the viewpoint of the storage capacity of the memory 230, it is preferable to store the video data temporarily, but by deleting the video data of products for which a sale has already been concluded, it is possible to reduce the amount of memory.

また、取引管理モジュール２３６は、出品された商品の売買取引が成立した場合、この商品に関連付けた第１ユーザの住所を含む第１ユーザ情報と、他のユーザの住所を含む第２ユーザ情報とを含む配送指示情報を、配送業者が管理する情報処理装置に送信してもよい。例えば、取引管理モジュール２３６は、出品者及び購入者のユーザＩＤからそれぞれの住所を特定し、商品を特定する情報（商品名等）に対応付けて両者の住所を含む配送指示情報を、配送業者のサーバ等に送信する。なお、配送業者は、出品者の住所を利用して、特定された商品の集荷に行き、購入者の住所に届けるようにする。 Furthermore, when a purchase and sale transaction of a listed item is concluded, the transaction management module 236 may transmit delivery instruction information including first user information including the address of the first user associated with the item and second user information including the address of another user to an information processing device managed by the delivery company. For example, the transaction management module 236 identifies the addresses of the seller and the purchaser from their user IDs, and transmits delivery instruction information including the addresses of both parties in association with information identifying the item (such as the item name) to the delivery company's server, etc. The delivery company will use the seller's address to collect the identified item and deliver it to the purchaser's address.

これにより、出品者及び購入者は、それぞれの情報を知ることなく発送処理を完了させることができ、セキュリティを向上させることができる。 This allows sellers and buyers to complete the shipping process without knowing each other's information, improving security.

また、取引管理モジュール２３６は、所定期間内に出品された商品の売買取引が成立した場合、売買取引が成立した１又は複数の商品を特定する情報を含む集荷依頼情報を、所定の情報処理装置に送信してもよい。例えば、一つのセッション内で売買取引が成立した１又は複数の商品を特定する情報を含む集荷依頼情報を、配送業者や電子商取引プラットフォーム側が指定する者の情報処理装置に送信する。 In addition, when a sale transaction of a product put up for sale within a specified period is concluded, the transaction management module 236 may transmit collection request information including information identifying one or more products for which a sale transaction has been concluded to a specified information processing device. For example, collection request information including information identifying one or more products for which a sale transaction has been concluded within one session may be transmitted to an information processing device of a person designated by a delivery company or an electronic commerce platform.

これにより、出品者は、所定期間内に売買取引が成立した商品を一括して集荷させることが可能になる。集荷先は、例えば、電子商取引プラットフォームの運営側とすることで、運営側は、売買取引の情報やユーザ情報を把握しているため、セキュリティ面での向上を図りつつ、商品ごとに適切な発送処理を行うことができる。 This allows sellers to have all the products that have been traded within a specified period of time collected together. By having the collection destination be, for example, the operator of an e-commerce platform, the operator will be aware of the trading transaction information and user information, allowing for improved security while also carrying out appropriate shipping processing for each product.

なお、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０から、必要に応じて各モジュールを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されているネットワーク通信モジュール２３２を実行することで、通信部を構成してもよい。また、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されている取引管理モジュール２３６、取得モジュール２３７、配信モジュール２３８、特定モジュール２３９、出品処理モジュール２４０、及びデータ管理モジュール２４１をそれぞれ実行することで、取引管理部、取得部、配信部、特定部、出品処理部、及びデータ管理部を構成してもよい。 The one or more processing devices (CPUs) 210 read and execute each module from the memory 230 as necessary. For example, the one or more processing devices (CPUs) 210 may configure a communication unit by executing the network communication module 232 stored in the memory 230. The one or more processing devices (CPUs) 210 may also configure a transaction management unit, an acquisition unit, a distribution unit, an identification unit, an listing processing unit, and a data management unit by respectively executing the transaction management module 236, the acquisition module 237, the distribution module 238, the identification module 239, the listing processing module 240, and the data management module 241 stored in the memory 230.

上記に示した要素の各々は先述される記憶装置の１つ又は複数に格納され得る。上記に示したモジュールの各々は、上述される機能を実行するための命令のセットに対応する。上記に示したモジュール又はプログラム（すなわち、命令のセット）は別個のソフトウェアプログラム、プロシージャ又はモジュールとして実装される必要はないとともに、従ってこれらのモジュールの様々なサブセットが様々な実施形態で組み合わされるか、或いは再構成され得る。ある実施形態において、メモリ２３０は上記に示されるモジュール及びデータ構造のサブセットを格納し得る。さらには、メモリ２３０は上述されない追加的なモジュール及びデータ構造を格納し得る。 Each of the elements described above may be stored in one or more of the storage devices described above. Each of the modules described above corresponds to a set of instructions for performing a function described above. The modules or programs (i.e., sets of instructions) described above need not be implemented as separate software programs, procedures, or modules, and thus various subsets of these modules may be combined or reconfigured in various embodiments. In some embodiments, memory 230 may store a subset of the modules and data structures described above. Additionally, memory 230 may store additional modules and data structures not described above.

図３は「サーバ」を示すが、図３は、本明細書に記載される実施形態の構造的な概略としてよりも、サーバのセットに存在し得る様々な特徴についての説明が意図されている。実際には、当業者により認識されるとおり、別個に示される項目が組み合わされ得るであろうとともに、ある項目が別個にされ得るであろう。例えば、図３において別個に示される項目は単一サーバ上に実装され得るであろうとともに、単一の項目が１台又は複数のサーバにより実装され得るであろう。 Although FIG. 3 shows "servers," FIG. 3 is intended as an illustration of various features that may be present in a set of servers, rather than as a structural overview of the embodiments described herein. In practice, as will be recognized by one of ordinary skill in the art, items shown separately could be combined and certain items could be separated. For example, items shown separately in FIG. 3 could be implemented on a single server and a single item could be implemented by one or more servers.

＜データ構造の一例＞
図４は、実施形態に係るユーザデータ２３３の一例を示す図である。ユーザデータ２３３には、電子商取引プラットフォームを運営、管理する者により作成された各会員ユーザに関する情報が管理される。「ユーザＩＤ」には、サーバ２０がユーザを一意に識別するためのユーザ識別情報（ユーザＩＤ：Identifier）が含められる。「ユーザ情報」には、ユーザのパーソナルな情報である「氏名」、「住所」、「電話番号」などが含められる。なお、ユーザＩＤは、ユーザ情報の一つに含められてもよい。 <Example of data structure>
4 is a diagram showing an example of user data 233 according to an embodiment. The user data 233 manages information about each member user created by a person who operates and manages the e-commerce platform. The "user ID" includes user identification information (user ID: Identifier) that allows the server 20 to uniquely identify the user. The "user information" includes personal information of the user, such as "name,""address," and "telephone number." The user ID may be included as one piece of user information.

図５は、実施形態に係る取引データ２３４の一例を示す図である。取引データ２３４の「取引ＩＤ」には、売買の取引開始に応じて付与される取引ＩＤが含められる。「商品ＩＤ」には、出品された商品の識別情報が含められる。「買い手ユーザＩＤ」には、その商品の買い手であるユーザのユーザＩＤが含められる。「売り手ユーザＩＤ」には、その商品を出品したユーザのユーザＩＤが含められる。「成約日時」には、売買が成立した日時情報が含められる。なお、取引データ２３４は、その他のデータを含んでもよい。 Figure 5 is a diagram showing an example of transaction data 234 according to an embodiment. The "transaction ID" of the transaction data 234 includes a transaction ID that is assigned when a buying and selling transaction begins. The "item ID" includes identification information of the item that has been put up for sale. The "buyer user ID" includes the user ID of the user who is the buyer of the item. The "seller user ID" includes the user ID of the user who put up the item for sale. The "contract date and time" includes information on the date and time when the sale was concluded. The transaction data 234 may also include other data.

図６は、実施形態に係る商品データ２３５の一例を示す図である。「商品ＩＤ」には、出品された商品の識別情報が含められる。「画像」には、その商品の画像データが含まれる。「価格」には、その商品の価格が含められる。「サイズ」には、その商品のサイズ情報が含められる。オファーユーザは、商品のライブ中継中に出品をオファーしたユーザのユーザＩＤが含められる。「出品期限」には、出品された商品の購入依頼を受け付ける期限を示す情報が含められる。なお、商品データ２３５は、商品のカテゴリやブランド、商品名などを含んでもよい。 Figure 6 is a diagram showing an example of product data 235 according to an embodiment. "Product ID" includes identification information of the put up product. "Image" includes image data of the product. "Price" includes the price of the product. "Size" includes size information of the product. "Offering user" includes the user ID of the user who offered to put up the product during a live broadcast of the product. "Listing deadline" includes information indicating the deadline for accepting purchase requests for the put up product. The product data 235 may also include the product category, brand, product name, etc.

上述したデータ構造は、あくまでも一例であって、この例に限られない。また、メモリ２３０には、商品ごとの映像データが記憶されてもよい。 The above-described data structure is merely an example and is not limited to this example. In addition, video data for each product may be stored in memory 230.

＜表示画面の具体例＞
図７～１１は、実施形態に係る表示画面の具体例を説明するための図である。図７は、実施形態に係る商品特定の例１を示す図である。図７に示す例では、購入予定者が、ユーザ端末１０を用いて映像を視聴中に、画面Ａ１内の商品を選択（タップ等）する。次に、選択された商品に対して出品のオファーがなされ、出品予定者によりオファーが許可されると、画面Ａ２に出品がされたことが通知される。この場合、例えば、特定モジュール２３９により物体検出された位置に四角枠が表示され、この四角枠内をユーザが選択することで、ユーザ端末１０は、出品オファーを送信ことができる。 <Example of display screen>
7 to 11 are diagrams for explaining specific examples of display screens according to the embodiment. FIG. 7 is a diagram showing Example 1 of product specification according to the embodiment. In the example shown in FIG. 7, a prospective purchaser selects (tap, etc.) a product on the screen A1 while watching a video using the user terminal 10. Next, an offer to put up for sale is made for the selected product, and when the offer is accepted by the prospective seller, a notice that the product has been put up for sale is displayed on the screen A2. In this case, for example, a square frame is displayed at the position where the object was detected by the specification module 239, and the user can select within this square frame to allow the user terminal 10 to send an offer to put up for sale.

また、図７に示す例において、出品予定者が、ユーザ端末１０を用いて映像を撮影中に、撮影中の商品を画面Ａ１内で選択（タップ等）する。次に、画面Ａ２において、選択された商品の出品が完了したことが通知される。また、同様に、購入予定者が商品を特定するようにしてもよい。すなわち、出品予定者、又は購入予定者側からの指示により、サーバ２０側で商品の出品処理を実行することができる。 In the example shown in FIG. 7, a seller selects (e.g., taps) the product being filmed on screen A1 while shooting video using the user terminal 10. Next, a notification is displayed on screen A2 that the listing of the selected product has been completed. Similarly, a buyer may specify the product. That is, the server 20 may execute the listing process for the product in response to an instruction from the seller or the buyer.

図８は、実施形態に係る商品特定の例２を示す図である。図８に示す例では、出品予定者が、未出品の商品を撮影し、その様子が画面Ａ３に表示される。このとき、出品予定者が、商品を手に持ち、画面Ａ４において、「これを２，５００円で出品しまーす」と発話したとする。ユーザ端末１０は、この音声データを取得し、サーバ２０に映像データとともに送信する。サーバ２０は、音声認識により「出品しまーす」を検出すると、映像データ内に含まれる物体を検出し、この物体を商品として特定して出品処理を実行する。すなわち、サーバ２０は、Ｖｏｉｃｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＶＵＩ）の機能を実装している。 Figure 8 is a diagram showing Example 2 of product identification according to the embodiment. In the example shown in Figure 8, a seller takes a picture of an unlisted product, and the picture is displayed on screen A3. At this time, the seller holds the product in his/her hand and says on screen A4, "I'm listing this for 2,500 yen." The user terminal 10 acquires this voice data and transmits it to the server 20 together with the video data. When the server 20 detects "I'm listing this" through voice recognition, it detects an object contained in the video data, identifies this object as a product, and executes the listing process. In other words, the server 20 implements a Voice User Interface (VUI) function.

図９は、実施形態に係る出品後の画面の例１を示す図である。図９に示す例では、図８に示す商品が出品されると、その映像データを視聴中のユーザには、出品された商品の画像と、価格とが、購入予定者側のユーザ端末１０の画面Ｂ１に表示される。商品の画像について、出品処理モジュール２４０は、映像データの一部を抽出して表示することが可能である。商品の価格について、出品処理モジュール２４０は、音声認識された「２，５００円」を自動的に設定して表示することが可能である。その他、商品情報について、出品処理モジュール２４０は、ＡＩ等を用いて取得して設定してもよいし、映像データの配信中にインタラクティブ通信により取得されたデータを取得して設定してもよい。 FIG. 9 is a diagram showing Example 1 of a screen after listing according to an embodiment. In the example shown in FIG. 9, when the product shown in FIG. 8 is listed, an image of the listed product and the price are displayed on the screen B1 of the user terminal 10 of the prospective purchaser to a user viewing the video data. For the product image, the listing processing module 240 can extract and display a portion of the video data. For the product price, the listing processing module 240 can automatically set and display "2,500 yen" that is voice-recognized. For other product information, the listing processing module 240 may acquire and set it using AI or the like, or may acquire and set data acquired by interactive communication during the distribution of the video data.

図１０は、実施形態に係る出品後の画面の例２を示す図である。図１０に示す例では、映像配信中に出品された商品の一覧が画面Ｂ２に表示される。この場合、出品処理モジュール２４０は、映像配信中に出品された商品を商品データ２３５として管理する際に、映像配信中の出品であることを判別できる情報（判別情報）を付与しておく。これにより、出品処理モジュール２４０は、映像配信中に出品された商品を特定することができ、映像データに出品商品の一覧を重畳することができる。なお、映像が終了した場合には、この判別情報をクリアするとよい。 Figure 10 is a diagram showing example 2 of a screen after listing according to an embodiment. In the example shown in Figure 10, a list of products that were listed during video distribution is displayed on screen B2. In this case, when managing products that were listed during video distribution as product data 235, the listing processing module 240 adds information (discrimination information) that can identify that the products were listed during video distribution. This allows the listing processing module 240 to identify products that were listed during video distribution and superimpose the list of listed products on the video data. Note that when the video ends, it is recommended that this discrimination information be cleared.

図１１は、実施形態に係る出品オファーに関する画面遷移例を示す図である。図１１に示す例では、「Ａ」の符号が付された画面は、出品予定者側の画面を示し、「Ｂ」の符号が付された画面は、購入予定者側の画面を示す。 Figure 11 is a diagram showing an example of screen transitions regarding listing offers according to an embodiment. In the example shown in Figure 11, the screen marked with "A" indicates the screen on the side of the prospective seller, and the screen marked with "B" indicates the screen on the side of the prospective purchaser.

画面Ａ１１において、出品予定者は、自身のユーザ端末１０を用いて商品を撮影し、ユーザ端末１０は、商品を含む映像データをサーバ２０に送信する。このとき、出品予定者は、商品の説明を音声等で行ってもよい。 On screen A11, the seller takes a picture of the product using his/her user terminal 10, and the user terminal 10 transmits video data including the product to the server 20. At this time, the seller may provide a description of the product by voice or the like.

画面Ｂ１１において、購入予定者は、自身のユーザ端末１０を用いて、サーバ２０から配信される映像データを視聴する。このとき、購入予定者が、欲しい商品に対して画面内で選択（例えばタップ）したとする。図１１に示す例では、帽子が選択されたとする。ここで、ユーザ端末１０は、選択された位置にある画像についてサーバ２０に問い合わせ、サーバ２０は、物体認識後に〇〇社の帽子であることを特定した場合、この「〇〇社の帽子」を示す情報をユーザ端末１０に送信する。 On screen B11, the prospective purchaser uses his/her user terminal 10 to view video data distributed from the server 20. At this time, it is assumed that the prospective purchaser selects (e.g., taps) the desired product on the screen. In the example shown in FIG. 11, it is assumed that a hat has been selected. Here, the user terminal 10 queries the server 20 about the image at the selected position, and if the server 20 identifies it as a hat made by Company X after object recognition, it transmits information indicating this "Hat made by Company X" to the user terminal 10.

画面Ｂ１２において、購入予定者は、選択した商品に対して希望金額を入力する。このとき、購入予定者は、金額について、テキスト入力したり音声入力したりすることが可能である。図１１に示す例では、購入予定者は、「７００円」を入力する。 On screen B12, the prospective purchaser inputs the desired price for the selected item. At this time, the prospective purchaser can input the price by text or voice. In the example shown in FIG. 11, the prospective purchaser inputs "700 yen."

画面Ｂ１３において、購入予定者は、入力された金額を確認し、画面内の「オファー」ボタンを押下したとする。このとき、商品「〇〇社の帽子」、希望金額「７００円」を含む出品オファー情報が、サーバ２０に送信される。 On screen B13, the prospective purchaser checks the amount entered and presses the "Offer" button on the screen. At this time, listing offer information including the product "X Company Hat" and the desired amount "700 yen" is sent to the server 20.

画面Ａ１２において、出品予定者は、購入予定者から出品オファーが来たことを通知される。例えば、出品予定者のユーザ端末１０は、サーバ２０から出品オファー情報を受信し、出品オファー情報に含まれる商品情報と、金額情報とを画面に表示する。出品予定者は、出品オファーを許可すると、ユーザ端末１０は、出品リクエストをサーバ２０に通知することで、サーバ２０は、出品処理を実行する。また、出品予定者は、出品オファーを拒否すると、ユーザ端末１０は、拒否通知をサーバ２０に送信し、サーバ２０は、出品オファーが拒否されたことを、出品オファーを送信したユーザ端末１０に通知する。 On screen A12, the prospective seller is notified that a listing offer has been received from a prospective purchaser. For example, the user terminal 10 of the prospective seller receives listing offer information from the server 20, and displays the product information and price information contained in the listing offer information on the screen. If the prospective seller accepts the listing offer, the user terminal 10 notifies the server 20 of a listing request, and the server 20 executes the listing process. If the prospective seller rejects the listing offer, the user terminal 10 transmits a rejection notification to the server 20, and the server 20 notifies the user terminal 10 that sent the listing offer that the listing offer has been rejected.

これにより、映像配信中に、購入予定者側から出品をオファーすることが可能になり、出品予定者は、未出品の商品に対してどれくらい出品オファーがくるかを知ることができる。 This allows potential buyers to offer to sell their items while the video is being streamed, and allows sellers to know how many offers they will receive for their unlisted items.

＜動作説明＞
次に、実施形態に係る情報処理システム１の動作について説明する。図１２は、実施形態に係る情報処理システム１のサーバ２０の処理の一例を示すフローチャートである。 <Operation description>
Next, an operation of the information processing system 1 according to the embodiment will be described below. Fig. 12 is a flowchart showing an example of a process of the server 20 of the information processing system 1 according to the embodiment.

（ステップＳ１０２）
サーバ２０の取得モジュール２３７は、ユーザ端末１０又はメモリ２３０から、未出品の商品を含む映像データを取得したかを判定する。映像データが取得されれば（ステップＳ１０２－ＹＥＳ）、処理はステップＳ１０４に進み、映像データが取得されなければ（ステップＳ１０２－ＮＯ）、処理はステップＳ１０２に戻る。 (Step S102)
The acquisition module 237 of the server 20 determines whether video data including an unlisted product has been acquired from the user terminal 10 or the memory 230. If video data has been acquired (step S102-YES), the process proceeds to step S104, and if video data has not been acquired (step S102-NO), the process returns to step S102.

（ステップＳ１０４）
サーバ２０の配信モジュール２３８は、取得された映像データを不特定多数の購入予定者が利用する各ユーザ端末１０に送信する。映像データの視聴については、サーバ２０にアクセスし、視聴処理を実行することで、誰でも視聴することが可能である。サーバ２０は、基本的にリアルタイムに配信（ライブ中継）を行うが、所定のユーザに対しては、記憶された映像データを配信してもよい。 (Step S104)
The distribution module 238 of the server 20 transmits the acquired video data to each user terminal 10 used by an unspecified number of prospective purchasers. Anyone can view the video data by accessing the server 20 and executing a viewing process. The server 20 basically performs real-time distribution (live broadcast), but may also distribute stored video data to specified users.

（ステップＳ１０６）
サーバ２０の特定モジュール２３９は、出品予定者又は購入予定者からの商品特定に関する所定方法を用いて、少なくとも１つの商品を特定する。所定方法は、ジェスチャ認識や音声認識やテキストデータの文字認識等のうち少なくとも１つが用いられればよい。 (Step S106)
The identification module 239 of the server 20 identifies at least one product using a predetermined method for product identification from a prospective seller or a prospective purchaser. The predetermined method may be at least one of gesture recognition, voice recognition, character recognition of text data, and the like.

（ステップＳ１０８）
サーバ２０の出品処理モジュール２４０は、特定された商品に対して出品処理を行う。出品処理モジュール２４０は、電子商取引プラットフォームにおいて通常の出品処理を行い、購入依頼を受け付ける。 (Step S108)
The listing processing module 240 of the server 20 performs listing processing for the identified product. The listing processing module 240 performs normal listing processing on the electronic commerce platform and accepts a purchase request.

（ステップＳ１１０）
サーバ２０の取引管理モジュール２３６は、出品された商品について、売買取引が成立したか否かを判定する。売買取引が成立したら（ステップＳ１１０－ＹＥＳ）、処理はステップＳ１１２に進み、売買取引が成立しなければ（ステップＳ１１０－ＮＯ）、売買取引が成立するまで出品中のステータスが継続する。なお、商品に対して出品オファーがなされ、許可された場合は、取引管理モジュール２３６は、その出品オファーを出した購入予定者と出品者との間で売買取引が成立したとみなしてもよく、このとき、処理はステップＳ１１２に進む。 (Step S110)
The transaction management module 236 of the server 20 determines whether or not a purchase transaction has been concluded for the put-up item. If the purchase transaction has been concluded (step S110-YES), the process proceeds to step S112. If the purchase transaction has not been concluded (step S110-NO), the status of the item being put up for sale continues until the purchase transaction is concluded. If a put-up offer has been made for the item and has been approved, the transaction management module 236 may consider that a purchase transaction has been concluded between the prospective purchaser who made the put-up offer and the seller, and in this case, the process proceeds to step S112.

（ステップＳ１１２）
サーバ２０の取引管理モジュール２３６は、売買取引が成立した商品に対し、発送手続の処理を実行する。発送手続の処理について、取引管理モジュール２３６は、上述した配送指示情報、又は集荷依頼情報を所定の情報処理装置に送信する。 (Step S112)
The transaction management module 236 of the server 20 executes the process of shipping procedures for the products for which a sales transaction has been concluded. In the process of shipping procedures, the transaction management module 236 transmits the above-mentioned delivery instruction information or collection request information to a predetermined information processing device.

以上の処理により、、電子商取引プラットフォームにおいて、映像で配信する未出品の商品に対して、出品を可能にする仕組みを提供することができる。 By carrying out the above process, it is possible to provide a mechanism for enabling unlisted products that are distributed via video to be listed on an e-commerce platform.

なお、開示技術は、上述した実施形態に限定されるものではなく、開示技術の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。 The disclosed technology is not limited to the above-described embodiment, and can be implemented in various other forms without departing from the spirit of the disclosed technology. Therefore, the above-described embodiment is merely an example in all respects and should not be interpreted in a restrictive manner. For example, the above-described processing steps can be arbitrarily changed in order or executed in parallel as long as no inconsistencies occur in the processing content.

本開示の実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。 記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、限定でなく例として、ソフトウェアプログラムやコンピュータプログラムを含む。 The program of the embodiment of the present disclosure may be provided in a state stored in a computer-readable storage medium. The storage medium can store the program in a "non-transitory tangible medium." The program includes, by way of example and not limitation, a software program or a computer program.

［変形例］
また、上述した実施形態における変形例では、上記実施形態において、サーバ２０は、商品ごとの映像データをメモリ２３０に記憶するが、出品済みの商品であり、未購入の商品に対しても、映像データを記憶するようにしてもよい。これにより、後から購入予定者が出品済みの商品の説明がなされた映像データを確認することができる。また、サーバ２０は、出品予定者と購入予定者とで、金額について交渉するためのユーザインタフェースを提供し、合意が取れたときに出品をするようにしてもよい。また、合意が取れない場合は、サーバ２０は、他の購入予定者からのオファーを受けるようにしてもよい。 [Modification]
In a modified example of the embodiment described above, the server 20 stores video data for each product in the memory 230, but may also store video data for products that have been put up for sale but have not yet been purchased. This allows a prospective purchaser to check video data that explains the put up for sale product at a later date. The server 20 may provide a user interface for negotiating the price between the person who plans to put up the product and the person who plans to buy it, and put the product up for sale when an agreement is reached. If no agreement is reached, the server 20 may accept offers from other prospective purchasers.

１ 情報処理システム
１０、１０Ａ、１０Ｂ 情報処理装置（ユーザ端末）
２０ 情報処理装置（サーバ）
１１０、２１０ 処理装置（ＣＰＵ）
１２０、２２０ ネットワーク通信インタフェース
１３０、２３０ メモリ
１３１、２３１ オペレーティングシステム
１３２、２３２ ネットワーク通信モジュール
１３４ 取引制御モジュール
１３５ 撮影制御モジュール
１３６ 入力モジュール
１３７ 認識モジュール
１３８ 出品制御モジュール
１５０ ユーザインタフェース
１６０ 撮像装置
１７０、２７０ 通信バス
２３６ 取引管理モジュール
２３７ 取得モジュール
２３８ 配信モジュール
２３９ 特定モジュール
２４０ 出品処理モジュール
２４１ データ管理モジュール 1 Information processing system 10, 10A, 10B Information processing device (user terminal)
20 Information processing device (server)
110, 210 Processing unit (CPU)
120, 220 Network communication interface 130, 230 Memory 131, 231 Operating system 132, 232 Network communication module 134 Transaction control module 135 Photography control module 136 Input module 137 Recognition module 138 Listing control module 150 User interface 160 Imaging device 170, 270 Communication bus 236 Transaction management module 237 Acquisition module 238 Distribution module 239 Identification module 240 Listing processing module 241 Data management module

Claims (9)

情報処理装置に含まれる１又は複数のプロセッサが、
第１ユーザにより撮影された１つの未出品の商品を含む映像データを取得すること、
前記１つの未出品の商品を含む前記映像データを他のユーザが利用する情報処理装置に配信すること、
前記第１ユーザ又は前記他のユーザからの商品特定に関する所定方法に基づいて、前記１つの未出品の商品を特定すること、
特定された商品に対して、当該商品の商品情報を設定して出品処理を行うこと、
を実行する情報処理方法。 One or more processors included in the information processing device
Obtaining video data including one unlisted product photographed by a first user;
distributing the video data including the one unlisted product to an information processing device used by another user;
Identifying the one unlisted product based on a predetermined method for product identification from the first user or the other user;
Setting product information for the identified product and carrying out a listing process for the product;
An information processing method for performing the above. 前記第１ユーザが利用する情報処理装置から前記映像データを取得することと、前記他のユーザが利用する情報処理装置に前記映像データを配信することとは、リアルタイムに処理される、
請求項１に記載の情報処理方法。 The acquisition of the video data from the information processing device used by the first user and the distribution of the video data to the information processing device used by the other user are processed in real time.
The information processing method according to claim 1 . 前記所定方法は、前記第１ユーザ又は前記他のユーザの音声又はジェスチャの認識結果、あるいは前記第１ユーザ又は前記他のユーザにより入力されたテキストに基づいて、前記１つの未出品の商品を特定する方法を含む、請求項１又は２に記載の情報処理方法。 The information processing method according to claim 1 or 2, wherein the specified method includes a method of identifying the one unlisted item based on a voice or gesture recognition result of the first user or the other user, or text input by the first user or the other user. 前記出品処理を行うことは、
出品対象の商品に対して、前記他のユーザからの入力情報に基づいて商品情報を設定することを含む、請求項１乃至３のいずれか一項に記載の情報処理方法。 The listing process includes:
The information processing method according to claim 1 , further comprising setting product information for the product to be put up for sale based on input information from the other user. 前記１又は複数のプロセッサが、
撮影された商品ごとに前記映像データをメモリに記録すること、
前記撮影された商品が出品され、販売済みである場合に、当該商品の映像データを前記メモリから消去すること、をさらに実行する請求項１乃至４のいずれか一項に記載の情報処理方法。 the one or more processors:
recording the image data for each photographed product in a memory;
The information processing method according to claim 1 , further comprising the step of: deleting the image data of the photographed product from the memory when the photographed product has been put up for sale and has already been sold. 前記１又は複数のプロセッサが、
出品された商品の売買取引が成立した場合、当該商品に関連付けた前記第１ユーザの住所を含む第１ユーザ情報と、前記他のユーザの住所を含む第２ユーザ情報とを含む配送指示情報を、配送業者が管理する情報処理装置に送信すること、をさらに実行する請求項１乃至５のいずれか一項に記載の情報処理方法。 the one or more processors:
The information processing method according to any one of claims 1 to 5, further comprising the step of: when a purchase and sale transaction of an auctioned item is concluded, sending delivery instruction information including first user information including the address of the first user associated with the item and second user information including the address of the other user to an information processing device managed by a delivery company. 前記１又は複数のプロセッサが、
所定期間内に出品された商品の売買取引が成立した場合、売買取引が成立した１又は複数の商品を特定する情報を含む集荷依頼情報を、所定の情報処理装置に送信すること、をさらに実行する請求項１乃至５のいずれか一項に記載の情報処理方法。 the one or more processors:
The information processing method according to any one of claims 1 to 5, further comprising the step of: when a sales transaction of a product put up for sale within a specified period is concluded, sending collection request information including information identifying one or more products for which a sales transaction has been concluded to a specified information processing device. 情報処理装置に含まれる１又は複数のプロセッサに、
第１ユーザにより撮影された１つの未出品の商品を含む映像データを取得すること、
前記１つの未出品の商品を含む前記映像データを他のユーザが利用する情報処理装置に配信すること、
前記第１ユーザ又は前記他のユーザからの商品特定に関する所定方法に基づいて、前記１つの未出品の商品を特定すること、
特定された商品に対して、当該商品の商品情報を設定して出品処理を行うこと、
を実行させるプログラム。 One or more processors included in the information processing device,
Obtaining video data including one unlisted product photographed by a first user;
distributing the video data including the one unlisted product to an information processing device used by another user;
Identifying the one unlisted product based on a predetermined method for product identification from the first user or the other user;
Setting product information for the identified product and carrying out a listing process for the product;
A program that executes the following. １又は複数のプロセッサを含む情報処理装置であって、
前記１又は複数のプロセッサが、
第１ユーザにより撮影された１つの未出品の商品を含む映像データを取得すること、
前記１つの未出品の商品を含む前記映像データを他のユーザが利用する情報処理装置に配信すること、
前記第１ユーザ又は前記他のユーザからの商品特定に関する所定方法に基づいて、前記１つの未出品の商品を特定すること、
特定された商品に対して、当該商品の商品情報を設定して出品処理を行うこと、
を実行する情報処理装置。 An information processing device including one or more processors,
the one or more processors:
Obtaining video data including one unlisted product photographed by a first user;
distributing the video data including the one unlisted product to an information processing device used by another user;
Identifying the one unlisted product based on a predetermined method for product identification from the first user or the other user;
Setting product information for the identified product and carrying out a listing process for the product;
An information processing device that executes the above.