JP7477235B1

JP7477235B1 - 電子機器、表示制御方法及びアプリケーションプログラム

Info

Publication number: JP7477235B1
Application number: JP2024518695A
Authority: JP
Inventors: 玲央水野
Original assignee: Art Tra
Current assignee: Art Tra
Priority date: 2023-12-25
Filing date: 2023-12-25
Publication date: 2024-05-01
Anticipated expiration: 2043-12-25

Abstract

電子機器は、表示装置と、前記表示装置に、第１のファンクショナルオブジェクトと、前記第１のファンクショナルオブジェクトの周囲に、異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクトとを表示し、１個の第１のメディアオブジェクトが前記第１のファンクショナルオブジェクトに向かう操作がされると、表示されている前記複数の第１のメディアオブジェクトに代えて、前記操作された前記１個の第１のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第１のメディアオブジェクトを前記第１のファンクショナルオブジェクトの周囲に表示するように、表示を切り替える制御回路とを具備する。

Description

本開示は、複数の異なるメディア情報を示す複数のオブジェクトを表示することが可能な電子機器、表示制御方法及びアプリケーションプログラムに関する。

ユーザの興味や嗜好を反映して、複数の異なるメディア情報（静止画像、動画像、音声、テキスト等）を示す複数のオブジェクトを表示する技術が知られている。

特開２００２－１７５３１７号公報特開２００６－０１８８４３号公報特表２００７－５１７３１７号公報特開２００９－００３６３７号公報特開２０１０－１８６２１４号公報

各特許文献のマルチメディア検索システムは、検索クエリが与えられた際に、検索結果として検索クエリと直接的な関連性を持つマルチメディアを出力する。例えばクエリがキーワードであれば、該キーワードを含むマルチメディアを出力し、例えばクエリが画像であれば、該画像に類似した画像特徴を持つ画像や被写体に関する情報を含むマルチメディアを出力する。また、これらの従来のマルチメディア検索システムは、検索クエリを第一にユーザ側から入力することを要求し、明示的に記述された当検索ニーズに一致する検索結果を出すことを目的とする。

このようなマルチメディア検索システムでは、ユーザが検索クエリに対して期待する情報以外の情報をユーザへ提供することが発生し得ない。言い換えると、システムはユーザが期待した範囲の情報しか提供することができない。このような状況は、以下のような問題を包含すると考えられる。

・システムは、検索ニーズをユーザ自身が自覚しており、なおかつそれを自発的に言語で記述できることを前提としている。（画像検索やマルチメディア検索においては、当検索対象の主題と一致するものを示すに過ぎない。つまり主題一致を目的しているという点では同一である。）・結果、システムは明示された検索ニーズを超える情報の広がりを提供することができないため、ユーザの無自覚で言語化できない感覚的な検索ニーズを満たすことができない。

以上のような事情に鑑み、本開示の目的は、検索ニーズにユーザ自身が無自覚でありながらも検索を実行することができ、また、ユーザが想定していない一方で検索対象との関連性は担保されたマルチメディアを検索結果に含めることにより、ユーザに対して、新しい繋がりの発見や探求の広がりを提供することにある。

本開示の一形態に係る電子機器は、
表示装置と、
前記表示装置に、第１のファンクショナルオブジェクトと、前記第１のファンクショナルオブジェクトの周囲に、異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクトとを表示し、
１個の第１のメディアオブジェクトが前記第１のファンクショナルオブジェクトに向かう操作がされると、
表示されている前記複数の第１のメディアオブジェクトに代えて、前記操作された前記１個の第１のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第１のメディアオブジェクトを前記第１のファンクショナルオブジェクトの周囲に表示するように、表示を切り替える
制御回路と
を具備する。

本開示によれば、検索ニーズにユーザ自身が無自覚でありながらも検索を実行することができ、また、ユーザが想定していない一方で検索対象との関連性は担保されたマルチメディアを検索結果に含めることにより、ユーザに対して、新しい繋がりの発見や探求の広がりを提供することを図れる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の一実施形態に係る情報処理システムを示す。電子機器のＧＵＩのトップ画面の一例である。電子機器のＧＵＩの変遷後の画面の一例である（第１のファンクショナルオブジェクトに向かう操作）。電子機器のＧＵＩの変遷後の画面の別の例である（下から上に向かう操作）。電子機器のＧＵＩの変遷後の画面の別の例である（上から下に向かう操作）。電子機器のＧＵＩの変遷後の画面の別の例である（詳細表示）。電子機器のＧＵＩの変遷後の画面の別の例である（第２のファンクショナルオブジェクト）。情報システムの機能的構成を示す。情報処理装置の動作フローを示す。メディア情報データベースを示す。メディア情報解析部の構成を示す。概念データベースを示す。概念関係性データベースを示す。解析情報データベースを示す。概念関係性算出部の構成を示す。アカウント作成部の構成を示す。アカウントデータベースを示す。アカウント利用履歴解析部の構成を示す。起動時レコメンド部の構成を示す。検索時レコメンド部の構成を示す。トップ画面の一例を示す。電子機器のＧＵＩの変遷後の画面の一例である（自動再生）。トップ画面の変形例である。トップ画面の変形例である。トップ画面の変形例である。電子機器のＧＵＩのトップ画面の別の例である。起動時レコメンド部の構成の変形例を示す。検索時レコメンド部の動作の一例を説明するための図である。検索時レコメンド部の動作の一例を説明するための図である。従前の検索と本実施形態の検索の比較を模式的に示す。検索時レコメンド部の構成の変形例を示す。

以下、図面を参照しながら、本開示の実施形態を説明する。

１．情報処理システム

図１は、本開示の一実施形態に係る情報処理システムを示す。

情報処理システム１は、ネットワーク等を介して通信可能に接続された情報処理装置１０と、記憶装置２０と、ウェブサーバ３０とを有する。情報処理装置１０は、バックエンドのコンピューティングサーバとして機能し、演算処理を実行する。記憶装置２０は、サーバサイドのデータベースサーバとして機能する大容量の不揮発性の記憶装置である。情報処理装置１０と記憶装置２０とは独立してネットワーク等を介して接続されてもよいし（図示）、一体的な情報処理装置として構築されてもよい（不図示）。ウェブサーバ３０は、フロントエンドのウェブサーバであり、情報処理装置１０が演算処理して生成し記憶装置２０に記憶されたデータを、クライアントである電子機器４０からの要求に応じて提供する。情報処理装置１０は、電子機器４０に対して複数のメディア情報を選択し、選択した複数のメディア情報を表示するための表示データを、ウェブサーバ３０を介して電子機器４０に供給するよう構成される。

電子機器４０は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、ヘッドマウントディスプレイ、ＶＲグラス等、表示装置４１を有するデバイスであり、エンドユーザにより使用される端末装置である。電子機器４０の制御回路４２は、ウェブサーバ３０と協働してアプリケーションプログラムを実行することにより、表示装置４１に表示されるＧＵＩを変遷させる。アプリケーションプログラムは、ウェブブラウザを介して実行されてもよいし、電子機器４０にインストールされて実行されてもよい。電子機器４０は、アプリケーションプログラムを実行することにより、起動時にはユーザに複数のメディア情報を表示装置４１上でレコメンド表示し、さらに、検索時には複数のメディア情報の中からユーザが表示装置４１上で選択したメディア情報に関連性のある複数の異なるメディア情報をさらにレコメンド表示する。これにより、新しい繋がりの発見や探求の広がりといったユーザエクスペリエンスをユーザに提供することを図る。表示装置４１は、タッチパネル、タッチパネルを含まないディスプレイ、ヘッドマウントディスプレイ、ＶＲグラス内蔵の表示部等でよい。

本実施形態で、メディア情報は、メディア情報は、静止画像、動画像、音楽、テキスト、位置情報、タグ情報等の複数の異なるモダリティ（様式）のうち少なくとも１つで構成される。モダリティの種別はこの例に限定されず如何なる様式でもよい。メディア情報は、ネットワーク上の動画、マガジン、オークション、ＥＣ、美術展、エンサイクロペディア、ＳＮＳ、広告等のウェブページに紐づけられる。メディア情報は、ネットワーク上のデータに限定されず、記憶装置２０に蓄積されたデータでもよい。

２．電子機器のＧＵＩ

以下、電子機器４０の制御回路４２がアプリケーションプログラムを実行することにより表示装置４１に表示するＧＵＩ及びＧＵＩの変遷を説明する。

図２は、電子機器のＧＵＩのトップ画面の一例である。

本実施形態において、電子機器４０はスマートフォンであり、表示装置４１は縦長の長方形である。本実施形態において、長方形、正方形、四角形、多角形等の語は、角が丸い（Ｒがある）が視覚的に当該図形の印象を呈する略長方形、略正方形、略四角形、略多角形等も含むものとする。

電子機器４０の制御回路４２は、表示装置４１に、第１の表示領域４０１と、第２の表示領域４０２とを設定する。

第１の表示領域４０１は、例えば、各辺の長さが３Ｌ以上である正方形である。表示装置４１が例えばスマートフォンのタッチパネルである場合、第１の表示領域４０１の一辺の長さは、表示装置４１の短辺と等しくてもよい又は略等しくてもよい。

第２の表示領域４０２は、第１の辺４０３と第２の辺４０４とを有する長方形である。第１の辺４０３は、第１の表示領域４０１の１辺に隣接し、例えば、長さが３Ｌ以上である。第２の辺４０４は、第１の辺４０３に直交し、例えば、長さがＬ以上である。第２の表示領域４０２の第２の辺４０４の長さは、例えば、Ｌの整数倍でもよい。

電子機器４０の制御回路４２は、表示装置４１に、複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０と、第１のファンクショナルオブジェクト４３０と、アカウントオブジェクト４４０とを含むトップ画面４００を表示する。

第１のファンクショナルオブジェクト４３０は、例えば、各辺の長さがＬである正方形である。第１のファンクショナルオブジェクト４３０は、第１の表示領域４０１（即ち、各辺の長さが３Ｌ以上である正方形）の中央に配置される。

複数（本例では４個）の第１のメディアオブジェクト４１０は、それぞれ、例えば、短辺の長さがＬであり長辺の長さが２Ｌ以上（例えば、２．０２Ｌ）である長方形である。４個の第１のメディアオブジェクト４１０は、第１の表示領域４０１内であって、第１のファンクショナルオブジェクト４３０の周囲に表示される。より具体的には、第１のファンクショナルオブジェクト４３０及び４個の第１のメディアオブジェクト４１０は、各辺の長さが３Ｌ以上である正方形を構成する。即ち、第１のファンクショナルオブジェクト４３０及び４個の第１のメディアオブジェクト４１０は、各辺の長さが３Ｌ以上である正方形第１の表示領域４０１に隙間なく配置される。

複数の第２のメディアオブジェクト４２０は、第２の表示領域４０２に表示される。第２のメディアオブジェクト４２０は、例えば、各辺の長さがＬである正方形である。電子機器４０の制御回路４２は、第１の辺４０３の長さ方向である第１の方向に３個かつ第２の辺４０４の長さ方向である第２の方向に１個以上の第２のメディアオブジェクト４２０を、第１の表示領域４０１に隣接し、かつ、全ての第２のメディアオブジェクト４２０が互いに隣接するようにマトリクス状に表示する。

第１のメディアオブジェクト４１０は、異なるメディア情報をそれぞれ示す。各第１のメディアオブジェクト４１０は、例えば、各辺の長さがＬ以下である正方形の画像４１１と、画像４１１に隣接し各辺の長さがＬである正方形に含まれる画像以外の情報４１２とを含む。例えば、第１のメディアオブジェクト４１０は、画像４１１と、各辺の長さがＬである正方形に含まれるテキスト情報４１２とを含む。画像以外の情報４１２（例えば、テキスト情報）は、画像４１１に付随する情報であり、画像４１１の名称、説明文、リンク情報等である。

第２のメディアオブジェクト４２０は、それぞれ、第１のメディアオブジェクト４１０のメディア情報と異なるメディア情報を示す。例えば、各第２のメディアオブジェクト４２０は、各辺の長さがＬ以下である正方形の画像４２１を含む。

「互いに関係性のある異なるメディア情報」とは、例えば、或るデザイナーがデザインした椅子、当人又は縁のあるデザイナーが、デザインしたテーブル、設計した建築物、その作品が展示されている美術館、訪れたことのある場所、被写体となった静止画や動画、影響を受けた作品、影響を与えた作品などに関するメディア情報であり、相互に直接的又は間接的に関係性があるメディア情報である。関係性は誰もが解るような直接的な一意の関係性でなくてよい。第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０として表示される「互いに関係性のある異なるメディア情報」をどのように選択するかは、後で説明する。

第１のファンクショナルオブジェクト４３０は、検索窓として機能する。第１のファンクショナルオブジェクト４３０は、ファンクショナルボタン４３１を有する。第１のファンクショナルオブジェクト４３０及びファンクショナルボタン４３１の具体的な機能は後で詳細に説明する。

アカウントオブジェクト４４０は、第１の表示領域４０１及び第２の表示領域４０２の外に表示されてよい。

図２６は、電子機器のＧＵＩのトップ画面の別の例である。

変形例として、第１のメディアオブジェクト４１０は、１以上の能動的なアクションボタン４７０を含んでもよい。能動的なアクションボタン４７０は、記事保管（クリップ）、お気に入り、共有等をユーザが能動的に実行するためのボタンである。

次に、ユーザ操作に基づくＧＵＩの変遷について説明する。

図３は、電子機器のＧＵＩの変遷後の画面の一例である（第１のファンクショナルオブジェクトに向かう操作）。

（Ａ）に示す様に、電子機器４０の制御回路４２は、表示装置４１上で、１個の第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が第１のファンクショナルオブジェクト４３０に向かう操作（ユーザが新しい情報を表示するための第１の動作）がユーザによりなされることを検出する。すると、（Ｂ）に示す様に、電子機器４０の制御回路４２は、表示されている複数の第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０に代えて、向かう操作がされた１個の第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０を表示するように、表示を切り替える。なお、「第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が第１のファンクショナルオブジェクト４３０に向かう操作」は、操作子(手指、スタイラスペン、マウス等)によるドラッグ操作、電子機器４０がヘッドマウントディスプレイ、ＶＲグラスの場合には手持ちのコントローラ、人体の一部、視線の移動による操作等でよい。

複数の新しい第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０の配置は、トップ画面４００と変わらない。即ち、複数の新しい第１のメディアオブジェクト４１０は、第１の表示領域４０１内の、第１のファンクショナルオブジェクト４３０の周囲に表示される。複数の新しい第２のメディアオブジェクト４２０は、第２の表示領域４０２に表示される。新しい第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０の選択の方法は後で詳細に説明する。

新たな表示画面では、第１のファンクショナルオブジェクト４３０内に戻るボタン４３２が表示される。ユーザが第１のファンクショナルオブジェクト４３０内の戻るボタン４３２を操作すると、（Ａ）に示す様に、もともと表示されていた第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０がもともとの配置で表示される。この様に、複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０とに表示されるメディア情報は、ユーザの嗜好に合わせて優先付けされ、掲示されるメディア情報を選択する際に利用される。

このように、トップ画面４００のＧＵＩは複数の図形で構成される。画面中央に検索に用いられる第１のファンクショナルオブジェクト４３０が配置され、第１のファンクショナルオブジェクト４３０を取り囲むようにメディア情報を掲示する第１のメディアオブジェクト４１０が配置される。第１のメディアオブジェクト４１０内には、例えば静止画像とテキストなど、複数種のメディア情報を組み合わせて表示させることができ、１以上のメディア情報が表示される。第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が第１のファンクショナルオブジェクト４３０に向かう操作をすることで、検索を実施する。トップ画面４００から遷移すると、第１のファンクショナルオブジェクト４３０は指定位置から変更しないが、第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０内の情報は変更される。

これにより、本実施形態によれば、周囲の第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が中央の第１のファンクショナルオブジェクト４３０に向かう操作をすることで、検索を行うことができる。第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が第１のファンクショナルオブジェクト４３０に向かう操作（例えば、ドラッグアンドドロップ）をするだけで検索が実行されることから、第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０の移動操作（例えば、ドラッグアンドドロップ）後の操作工程が不要であり、ユーザにとっての直感的な操作性が高い。また、操作先の第１のファンクショナルオブジェクト４３０が何れの第１のメディアオブジェクト４１０からも等距離で中央にあることから、移動したい第１のメディアオブジェクト４１０によって移動距離のばらつきが無く、長距離の移動が不要であり直感的な操作性が高い。

変形例として、第１のメディアオブジェクト４１０、第２のメディアオブジェクト４２０及び第１のファンクショナルオブジェクト４３０は、楕円や円、多角形（角を丸くしたものを含む）等でよい。第１のメディアオブジェクト４１０、第２のメディアオブジェクト４２０及び第１のファンクショナルオブジェクト４３０の色は一色以上で構成されてよい。第１のメディアオブジェクト４１０の色は、図形が掲示する情報（掲示情報）に応じて変更してもよい。例えば、メディア情報のカテゴリに応じて色を変更する等でよい。第１のメディアオブジェクト４１０、第２のメディアオブジェクト４２０及び第１のファンクショナルオブジェクト４３０の境界線は明示的である必要はない。第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０を移動操作するためにホールドした際に、効果音の再生、図形の形状の変更、色の変更や図形の揺れ等のアニメーション、電子機器２０の振動等で、第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０をホールドしたことをユーザに知らせてもよい。

図４は、電子機器のＧＵＩの変遷後の画面の別の例である（下から上に向かう操作）。

（Ａ）に示す様に、電子機器４０の制御回路４２は、表示装置４１上で、第２の表示領域４０２から第１の表示領域４０１に向かう方向（下から上への矢印方向）に、ユーザにより操作（ユーザが新しい情報を表示するための第２の動作）されることを検出する。すると、（Ｂ）に示す様に、電子機器４０の制御回路４２は、第１の表示領域４０１に表示されている４個の第１のメディアオブジェクト４１０のうちのＮ個（Ｎは１以上４以下の整数）（本例では３個）の第１のメディアオブジェクト４１０に代えて、第１の表示領域４０１に近いＮ個の第２のメディアオブジェクト４２０が示すメディア情報をそれぞれ示すＮ個の新たな第１のメディアオブジェクト４１０が第１の表示領域４０１に表示する。電子機器４０の制御回路４２は、第２の表示領域４０２に表示されているＮ個（本例では３個）の第２のメディアオブジェクト４２０に代えて、Ｎ個の新たな第１のメディアオブジェクト４１０に関係性のある異なるメディア情報をそれぞれ示すＮ個の新たな第２のメディアオブジェクト４２０が第２の表示領域４０２に表示されるように、表示を切り替える。電子機器４０の制御回路４２は、メディア情報を予めキャッシュしておき、キャッシュしているメディア情報が尽きると、更新マーク（例えば、略円形の矢印）を表示して新規のメディア情報を読み込み新たな第２のメディアオブジェクト４２０として表示すればよい。

図５は、電子機器のＧＵＩの変遷後の画面の別の例である（上から下に向かう操作）。

（Ａ）に示す様に、電子機器４０の制御回路４２は、表示装置４１上で、第１の表示領域４０１から第２の表示領域４０２に向かう方向（上から下への矢印方向）に、ユーザにより操作されることを検出する。すると、（Ｇ）に示す様に、電子機器４０の制御回路４２は、第２の表示領域４０２に表示されている３個以上の第２のメディアオブジェクト４２０のうちのＮ個（Ｎは１以上４以下の整数）（本例では４個）の第２のメディアオブジェクト４２０に代えて、第２の表示領域４０２に近いＮ個の第１のメディアオブジェクト４１０が示すメディア情報をそれぞれ示すＮ個の新たな第２のメディアオブジェクト４２０が第２の表示領域４０２に表示する。電子機器４０の制御回路４２は、第１の表示領域４０１に表示されているＮ個（本例では４個）の第１のメディアオブジェクト４１０に代えて、Ｎ個の新たな第２のメディアオブジェクト４２０に関係性のある異なるメディア情報をそれぞれ示すＮ個の新たな第１のメディアオブジェクト４１０が第１の表示領域４０１に表示されるように、表示を切り替える。電子機器４０の制御回路４２は、メディア情報を予めキャッシュしておき、キャッシュしているメディア情報が尽きると、更新マークを表示して新規のメディア情報を読み込み新たな第１のメディアオブジェクト４１０として表示すればよい。「下から上に向かう操作」及び「上から下に向かう操作」は、操作子(手指、スタイラスペン、マウス等)によるドラッグアンドドロップ操作、電子機器４０がヘッドマウントディスプレイ、ＶＲグラスの場合には手持ちのコントローラ、人体の一部、視線の移動による操作等でよい。

図６は、電子機器のＧＵＩの変遷後の画面の別の例である（詳細表示）。

電子機器４０の制御回路４２は、表示装置４１上で、１個の第１のメディアオブジェクト４１０が移動操作以外の方法（例えば、長押し、タップ等）（１個の第１のメディアオブジェクト又は第２のメディアオブジェクトが示すメディア情報の詳細ページを表示するための第３の動作）で操作されることを検出する。すると、電子機器４０の制御回路４２は、操作された１個の第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が示すメディア情報を詳細に示し、１個の第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０より大きい詳細ページ４５２を表示する。同図に示す様に、詳細ページ４５２のレイアウトは、メディア情報のモダリティ（テキスト、動画、静止画等）により変更してもよい。

第１のファンクショナルオブジェクト４３０に新たに機能を追加してもよい。周囲の第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０が第１のファンクショナルオブジェクト４３０に向かう操作をすることによるメディア情報検索、画像を取り込むことによる画像に基づくメディア情報検索、テキスト入力によるテキストに基づくメディア情報検索などである。検索されたメディア情報の表示方法は変更できる。第１のファンクショナルオブジェクト４３０を取り囲む第１のメディアオブジェクト４１０上へのメディア情報の表示（通常のトップ画面と同一）、同一の図形構成での表示、1以上のメディアが組み合わさったメディア情報の一覧表示、特定のメディアに限定したメディア情報の一覧表示などである。第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０に対して指定の動作を行う（クリック、ダブルクリック、タップなど）ことで、メディア情報の詳細を表示することができる。詳細ページ４５２には、1以上のメディア情報が表示される。

このように、メディア情報は、第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０から詳細ページ４５２へと、表示サイズを変更することができる。拡大された第１のメディアオブジェクト４１０は、画像やテキストを標準サイズの第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０より多い画素数を使って掲示できる。情報掲示の変更方法は、テキストサイズの大きくする、掲示する情報量を増やす、メディア情報の種類を増やす等である。第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０に対して能動的な操作が可能である。能動的な操作は、お気に入り情報の保管（クリップ）、他ＳＮＳへの投稿、メディア情報の共有、コメントの記載などである。これらの能動的な操作機能それぞれを実行するインタフェースは、第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０上または付近に個別または集約した形でアイコンが描画される。集約されている場合は、集約されたアイコンを操作すると能動的な操作が一覧化されたメニューが開く。

詳細ページ４５２上からも、第１のメディアオブジェクト４１０と同様の能動的な操作が可能である。ユーザは各メディア情報にコメントを記載できる。ユーザはコメントを記載元となったメディア情報とともに閲覧することができる。ユーザは、コメントに対して指定のアイコンをクリックやタップすることで、リアクションを付けコメントを評価することができる。記載されたコメントに関してユーザが閲覧可能な情報は、当該コメント記載者の情報、当該コメントの内容、当該コメントの評価などである。ユーザがこれらの閲覧可能な情報の中からコメント記載者を選択すると、コメント記載者のマイページへ画面が遷移してよい。コメント記載者のマイページには、コメント記載者の自由記載欄（自己紹介など）、コメント記載歴、フォローしているユーザ数（フォロー数）、フォローされているユーザの数（フォロワー数）が表示されてよい。ユーザは他のユーザをフォローすることができてよい。ユーザの画面には、そのユーザがフォローしているユーザが記載したコメント、記事投稿、広告などが優先的に表示されてよい。

図７は、電子機器のＧＵＩの変遷後の画面の別の例である（第２のファンクショナルオブジェクト）。

電子機器４０の制御回路４２は、表示装置４１上で、第１のファンクショナルオブジェクト４３０が操作（ユーザが情報のテキスト検索をするための第４の動作）されると、第２のファンクショナルオブジェクト４５１を表示する。第２のファンクショナルオブジェクト４５１はテキスト検索フィールドとして機能する。電子機器４０の制御回路４２は、第２のファンクショナルオブジェクト４５１に入力されたテキストに関係性のあるメディア情報をそれぞれ示す１以上の第３のメディアオブジェクト４５０を表示する。「テキストに関係性のあるメディア情報」は、上述の、第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０として表示される「互いに関係性のある異なるメディア情報」を選択する方法で選択してもよいし、別の方法で選択してもよい。

第２のファンクショナルオブジェクト４５１は、テキスト検索フィールドに加えて、第１のファンクショナルオブジェクト４３０の検索窓と同様の機能を有する。電子機器４０の制御回路４２は、１個の第３のメディアオブジェクト４５０が第２のファンクショナルオブジェクト４５１に向かう操作がされると、向かう操作がされた第３のメディアオブジェクト４５０が示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクト４１０を、トップ画面４００のレイアウトで表示する。

３．情報処理システムの機能的構成

図８は、情報システムの機能的構成を示す。

情報処理装置１０は、制御回路１００のプロセッサが補助記憶装置に記録された各種の情報処理プログラムを主記憶装置にロードして実行することにより、収集部１１０、メディア情報解析部１２０、概念関係性算出部１３０、アカウント作成部１４０、アカウント利用履歴解析部１５０、起動時レコメンド部１６０、検索時レコメンド部１７０として動作する。

記憶装置２０は、メディア情報データベース２１０、概念データベース２２０、概念関係性データベース２３０、解析情報データベース２４０、アカウントデータベース２５０を格納する。

４．情報処理装置の動作

図９は、情報処理装置の動作フローを示す。

収集部１１０は、メディア情報を収集する（ステップＳ１）。メディア情報は、静止画像、動画像、音楽、テキスト、位置情報、タグ情報等の複数の異なるモダリティ（様式）のうち少なくとも１つで構成される。メディア情報は、実世界及び仮想世界上に存在するあらゆるデータに紐づけられる。例えば、ウェブ（インターネット、ネットワークとも称する）上に保存されたデータ、個人のデバイス内に保存されたデータ、実世界上や仮想世界上で所定のセンサー等を用いて計測されたデータ等が対象となる。収集部１１０は、収集したメディア情報をメディア情報データベース２１０に蓄積する。

図１０は、メディア情報データベースを示す。

メディア情報データベース２１０には、複数のメディアデータ２１０Ａが登録される。それぞれのメディアデータ２１０Ａは、メディアＩＤ２１１、タイトル２１２、テキスト２１３、画像識別子２１４、発信者アカウントＩＤ２１５、更新日２１６が互いに関連付けて登録されたものである。

メディアＩＤ２１１は、１つのメディア情報をメディア情報データベース２１０内で一意に識別するシリアルナンバーでよい。タイトル２１２は、収集されたメディア情報に含まれるメタ情報により定義されてよい。テキスト２１３は、収集されたメディア情報に含まれる。画像識別子２１４は、メディア情報に一意に割り当てられたＵＲＬ（リンク先アドレス）でもよいし、実データでもよい。各メディアデータ２１０Ａは、テキスト２１３及び画像識別子２１４の何れか一方を含んでもよいし、両方を含んでもよい。メディア情報が音楽である場合は、テキスト２１３及び画像識別子２１４の両方を含まず、ＵＲＬ又は実データを示す音楽識別子（不図示）を含んでもよい。

発信者アカウントＩＤ２１５は、メディア情報を発信したエンドユーザのアカウントＩＤである。発信者アカウントＩＤ２１５に加えて、当サービスの会員である、ＫＹＣ（ＫｎｏｗＹｏｕｒＣｕｓｔｏｍｅｒ）が行われているなどによって分類される発信者分類がさらに登録されてもよい。更新日２１６は、メディア情報の更新日である。更新日２１６は、更新日が収集日から定められた時間内の発信であるか否かで分類されてもよい。

複数のメディアデータ２１０Ａの種類及び種類数は、どのようなメディアによってメディアデータ２１０Ａが構成及び提供されているか、その種類と数によって分類されてもよい。メディアデータ２１０Ａ毎に個別のアドレスが設定されている場合は（例えば、ＳＮＳ）、当アドレス情報も収集されてもよい。

図１１は、メディア情報解析部の構成を示す。

メディア情報解析部１２０は、ネットワーク上に存在する複数のメディア情報について、各メディア情報の特徴量であるメディア特徴量を、例えば機械学習により学習されたモデルを使って算出する（ステップＳ２）。具体的には、メディア情報は、複数のサブメディア情報Ｍ１、Ｍ２（例えば、テキストＭ１及び画像Ｍ２）を含む。メディア情報解析部１２０は、複数のサブメディア情報Ｍ１、Ｍ２それぞれについてメディア特徴量２４５、２４６を算出する（ステップＳ２１）。即ち、メディア情報は、複数のサブメディア情報Ｍ１、Ｍ２それぞれについての複数のメディア特徴量２４５、２４６を有する。

メディア情報解析部１２０は、各メディア情報の概念を抽出する（ステップＳ３）。具体的には、メディア情報解析部１２０は、概念データベース２２０を参照し、各メディア情報が有する概念を抽出し、抽出した概念を、ドミナント概念２４３及びサブ概念２４４に分解する（ステップＳ２２）。例えば、メディア情報解析部１２０は、１つのメディア情報の中で出現率の高い客体が有する概念をドミナント概念２４３とし、相対的に出現率の低い客体が有する概念をサブ概念２４４に分類してもよい。即ち、メディア情報の概念は、ドミナント概念２４３と、サブ概念２４４とを含む。或るメディア情報が有するドミナント概念２４３と、サブ概念２４４の集合は、そのメディア情報の概念とする。

図１２は、概念データベースを示す。

概念データベース２２０には、複数の概念データ２２０Ａが登録される。それぞれの概念データ２２０Ａは、シリアルＩＤ２２１、概念ＩＤ２２２、概念名２２３が互いに関連付けて登録されたものである。概念データベース２２０に登録される概念データ２２０Ａには、ドミナント概念２４３とサブ概念２４４との区別は無い。例えば、概念データ２２０Ａは、ドミナント概念２４３とサブ概念２４４とを区別するフラグ等を有さない。

図１３は、概念関係性データベースを示す。

概念関係性データベース２３０には、複数の概念関係性データ２３０Ａが登録される。「概念」とは、テキストや画像内のメディア情報内で表現された概念である。それぞれの概念関係性データ２３０Ａは、シリアルＩＤ２３１、概念関係性ＩＤ２３２、概念ｆｒｏｍ２３３、概念ｔｏ２３４、関係性の強さ２３５が互いに関連付けて登録されたものである。関係性の強さ２３５は、方向性を有する繋がりの強さ（結びつきの強さ）を意味する。

例えば、図１２の概念ＩＤ「０」の概念「ｔｏｄａｙ」から概念ＩＤ「１」の概念「ｅｖｅｎｔ」への関係性の強さ２３５は「０．６１」である。また、概念「ｔｏｄａｙ」から概念「ｅｖｅｎｔ」への関係性の強さ２３５が登録されているからと言って、逆方向に、概念「ｅｖｅｎｔ」から概念「ｔｏｄａｙ」への関係性の強さ２３５は必ずしも登録されていなくてもよい。また、概念「ｔｏｄａｙ」から概念「ｅｖｅｎｔ」への関係性の強さ２３５と、逆方向に、概念「ｅｖｅｎｔ」から概念「ｔｏｄａｙ」への関係性の強さ２３５とは、必ずしも一致しない。

メディア情報解析部１２０は、概念データベース２２０及び概念関係性データベース２３０を参照し、抽出したドミナント概念２４３に対して所定の概念関係性の強さ２３５を有する概念を、メディア情報が有する追加的なサブ概念２４４として判断する（ステップＳ２３）。例えば、メディア情報解析部１２０は、抽出したドミナント概念２４３を概念ｆｒｏｍ２３３としたときに、この概念ｆｒｏｍ２３３からの関係性の強さ２３５が所定値以上である概念ｔｏ２３４を、追加的なサブ概念２４４として判断する。メディア情報解析部１２０は、メディア特徴量２４５、２４６、ドミナント概念２４３、サブ概念２４４を解析情報データベース２４０に登録すする。

図１４は、解析情報データベースを示す。

解析情報データベース２４０には、複数の解析情報データ２４０Ａが登録される。それぞれの解析情報データ２４０Ａは、シリアルＩＤ２４１、メディアＩＤ２４２、ドミナント概念集合２４３、サブ概念集合２４４、テキスト特徴量２４５、画像特徴量２４６、他メディア（例えば、音楽）の特徴量２４７が互いに関連付けて登録されたものである。メディアＩＤ２４２は、メディア情報データベース２１０のメディアＩＤ２１１と同じである。ドミナント概念集合２４３は、メディアＩＤ２４２のメディア情報について抽出された全てのドミナント概念の概念ＩＤ２２２（図１２）を含む。サブ概念集合２４４は、メディアＩＤ２４２のメディア情報について抽出された全てのサブ概念の概念ＩＤ２２２（図１２）を含む。テキスト特徴量２４５、画像特徴量２４６、他メディアの特徴量２４７は、メディア情報に含まれる全てのサブメディアの特徴量を含む。テキスト特徴量２４５、画像特徴量２４６、他メディア（例えば、音楽）の特徴量２４７を集合的に「メディア特徴量」と称する。特徴量の形式の一形態はベクトルであるが、如何なる形式でもよい。

図１５は、概念関係性算出部の構成を示す。

概念データベース２２０及び概念関係性データベース２３０は、概念関係性算出部１３０により予め作成され、随時更新される。即ち、概念関係性算出部１３０は、ネットワーク上に存在する複数のメディア情報の概念の概念関係性を算出し、更新する。

具体的には、概念関係性算出部１３０は、メディア情報データベース２１０及び解析情報データベース２４０を読み出す。概念関係性算出部１３０は、メディア情報データベース２１０から、或るメディアＩＤ２１２により特定されるメディアデータ２１０Ａの発信者アカウントＩＤ２１５及び更新日２１６を抽出する。概念関係性算出部１３０は、解析情報データベース２４０から、或るメディアＩＤ２４２により特定される解析情報データ２４０Ａのドミナント概念集合２４３、サブ概念集合２４４、テキスト特徴量２４５、画像特徴量２４６及び他メディアの特徴量２４７を抽出する。概念関係性算出部１３０は、各ドミナント概念集合２４３及びサブ概念集合２４４に対して概念関係性を算出する。概念関係性算出部１３０は、発信者アカウントＩＤ２１５及び更新日２１６と、テキスト特徴量２４５、画像特徴量２４６及び他メディアの特徴量２４７とを、概念関係性の算出に影響させてもよい。概念関係性算出部１３０は、算出結果に基づき、概念データベース２２０及び概念関係性データベース２３０を随時更新する。

図１６は、アカウント作成部の構成を示す。

一方、アカウント作成部１４０は、電子機器４０を使用して情報処理システム１により提供されるサービスにログインするユーザのアカウントを登録する（ステップＳ４）。ユーザは、電子機器４０を使用して、ユーザ情報を入力する（ステップＳ４１）。

ユーザはログインをすることで固有のアカウントを割り当てられ、情報処理システム１により提供される固有のサービスを利用することができる。固有のサービスとは、履歴の管理、メディア情報のタグ付け、タグ付けされたメディア情報の閲覧、コメントの記載、嗜好に合わせたコンテンツの提供、広告の配信などである。ユーザは初回登録時に、氏名（ユーザ名）、メールアドレス、携帯電話番号、ＳＮＳアカウント、個人証明書、決済情報等が必要に応じて求められてもよい。ユーザは初回登録時に、嗜好情報を判断する際の基準とするためのキーワードを１個以上指定してもよい。キーワードを定めるにあたって、簡易な設問によって嗜好情報を区分してもよい。嗜好情報は、ユーザの閲覧したメディア情報、このユーザがフォローする別のユーザ、このユーザがフォロワーである別のユーザ等のネットワーク利用履歴から機械学習により学習されたモデルを使って算出されてもよい。ユーザのログイン時に、登録されている情報に基づき２段階認証を求めてもよい。ユーザがログインした機器情報はサービスを運営するサーバへ登録され、過去に履歴のない機器にてログインを行った場合は２段階認証が求められ求めてもよい。アカウント情報はアカウントデータベース２５０に格納される。

図１７は、アカウントデータベースを示す。

アカウントデータベース２５０には、複数のアカウントデータ２５０Ａが登録される。それぞれのアカウントデータ２５０Ａは、アカウントＩＤ２５１、ユーザ名２５２、嗜好特徴量２５３、閲覧履歴メディアＩＤリスト２５４、フォローアカウントリスト２５５、フォロワーアカウントリスト２５６が互いに関連付けて登録されたものである。

アカウント作成部１４０は、アカウントデータベース２５０に登録された閲覧履歴メディアＩＤリスト２５４、フォローアカウントリスト２５５、フォロワーアカウントリスト２５６、初回登録時の嗜好情報等に基づき、電子機器４０を使用してサービスにログインするユーザの嗜好特徴量２５３を機械学習により学習されたモデルを使って算出し、アカウントデータベース２５０に登録する（ステップＳ４２）。

図１８は、アカウント利用履歴解析部の構成を示す。

アカウント利用履歴解析部１５０は、ユーザがアカウントにログインして情報処理システム１により提供されるサービスを利用すると、ユーザの利用履歴に基づき嗜好特徴量を再計算する（ステップＳ５）。具体的には、アカウント利用履歴解析部１５０は、アカウントデータベース２５０からアカウントＩＤ２５１、嗜好特徴量２５３、閲覧履歴メディアＩＤリスト２５４を読み出し、利用履歴である閲覧履歴メディアＩＤリスト２５４に基づき嗜好特徴量２５３を再計算する（ステップＳ５１）。アカウント利用履歴解析部１５０は、さらにフォローアカウントリスト２５５、フォロワーアカウントリスト２５６に基づき嗜好特徴量２５３を再計算してもよい。アカウント利用履歴解析部１５０は、再計算した嗜好特徴量２５３をアカウントデータベース２５０に登録（更新）する。この様に、ユーザの嗜好は、初期登録時に選択したキーワードおよびサービスの過去の利用履歴に基づき解析される。

図１９は、起動時レコメンド部の構成を示す。

起動時レコメンド部１６０は、嗜好特徴量２５３に対して所定の条件を満足するメディア特徴量をそれぞれ有する複数のメディア情報を、複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０として初期に表示される複数のメディア情報として選択する（ステップＳ６）。具体的には、ユーザが電子機器４０を用いてアプリケーションプログラムを起動すると（ステップＳ６１）、起動時レコメンド部１６０は、アカウントデータベース２５０を読み出す。起動時レコメンド部１６０は、アカウントデータベース２５０から、ログインしたユーザのアカウントＩＤ２５１に関連付けられた嗜好特徴量２５３を読み出す。起動時レコメンド部１６０は、読み出した嗜好特徴量２５３に対して所定の条件を満足するメディア特徴量２４５、２４６、２４７を有する複数の解析情報データ２４０Ａを、解析情報データベース２４０から抽出する。これにより、無自覚な検索ニーズに対する検索を可能にするため、ユーザに対する検索ニーズ候補の推薦方法（嗜好性を基に初期画面を出す）及び表示方法（ＵＩ）を提供することが出来る。

起動時レコメンド部１６０は、抽出した複数の解析情報データ２４０ＡのメディアＩＤ２４２と同じメディアＩＤ２１１の複数のメディアデータ２１０Ａを、メディア情報データベース２１０から抽出する。データ生成部１８０は、抽出した複数のメディアデータ２１０Ａのタイトル２１２、テキスト２１３及び画像識別子２１４に基づき、複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０とを生成する（ステップＳ１０）。複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０とは、ウェブサーバ３０を介して電子機器４０に供給される、選択した複数のメディア情報を表示するための表示データである。データ生成部１８０は、ウェブサーバ３０を介して、電子機器４０の表示装置４１に、複数のメディアデータ２１０Ａに基づく複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０とを含むトップ画面４００を表示させる(ステップＳ６２)。即ち、ウェブサーバ３０は、情報処理装置１０が選択した複数のメディア情報を表示するための表示データを電子機器４０に供給する。

図２７は、起動時レコメンド部の構成の変形例を示す。

さらに、起動時レコメンド部１６０は、解析情報データ２４０Ａを解析情報データベース２４０から抽出するだけでなく、ユーザの嗜好特徴量２５３に合致するメディア情報のデータを生成してもよい（ステップＳ６３）。この場合、データ生成部１８０は、生成されたメディア情報のデータを表示するための第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０を生成すればよい。

ユーザはトップ画面４００を閲覧する（ステップＳ７）。ユーザは、第１のメディアオブジェクト４１０を第１のファンクショナルオブジェクト４３０の上に向かうように操作（例えば、ドラッグアンドドロップ操作）することで、第１のファンクショナルオブジェクト４３０を選択して検索を実施する（ステップＳ８）。トップ画面４００から遷移すると、第１のファンクショナルオブジェクト４３０は指定位置から変更しないが、第１のメディアオブジェクト４１０内の情報は、以下の様に変更される（ステップＳ９）。

図２０は、検索時レコメンド部の構成を示す。図２８及び図２９は、検索時レコメンド部の動作の一例を説明するための図である。

検索時レコメンド部１７０は、１個の第１のメディアオブジェクト４１０が第１のファンクショナルオブジェクト４３０に向かう操作がされたとき、１個の第１のメディアオブジェクト４１０が示すメディア情報の概念に対して所定の概念関係性を有する概念をそれぞれ有する複数のメディア情報を選択する。具体的には、ユーザは、第１のメディアオブジェクト４１０が第１のファンクショナルオブジェクト４３０に向かうように操作する（ステップＳ８１）。図２８の例では、ユーザが操作した第１のメディアオブジェクト４１０が示すメディア情報は、「猫が月に向かってジャンプする動画」であるとする。

検索時レコメンド部１７０は、ユーザにより選択操作された第１のメディアオブジェクト４１０が示すメディアデータ２１０ＡのメディアＩＤ２１１をメディア情報データベース２１０から抽出する。検索時レコメンド部１７０は、抽出したメディアＩＤ２１１と同じメディアＩＤ２４２のドミナント概念２４３及びサブ概念２４４、メディア特徴量２４５、２４６、２４７を解析情報データベース２４０から抽出する。検索時レコメンド部１７０は、抽出したドミナント概念２４３及びサブ概念２４４の概念ＩＤ２２２を概念データベース２２０から抽出する。

検索時レコメンド部１７０は、抽出した概念ＩＤ２２２により特定されるドミナント概念２４３及びサブ概念２４４を概念ｆｒｏｍ２３３としたときに、この概念ｆｒｏｍ２３３からの関係性の強さ２３５が所定の条件（例えば、閾値以上）を満たす概念ｔｏ２３４を、概念関係性データベース２３０から抽出する。検索時レコメンド部１７０は、抽出した概念ｔｏ２３４の概念ＩＤが関連付けられたメディアＩＤ２４２（即ち、概念ｔｏ２３４をドミナント概念２４３又はサブ概念２４４として有するメディア情報のメディアＩＤ２４２）を解析情報データベース２４０から抽出する。検索時レコメンド部１７０は、抽出したメディアＩＤ２４２の解析情報データ２４０Ａを解析情報データベース２４０から抽出する（ステップＳ９１）。これにより、検索時レコメンド部１７０は、ユーザにより選択された第１のメディアオブジェクト４１０が示すメディアデータ２１０Ａに所定の概念関係性を有するメディア（メディアＩＤ２４２により特定されるメディア）を選択することが出来る。

選択されたメディア情報に対する検索対象を広げるプロセスとして、当メディア情報が直接持たない情報（サブ概念）を、概念ｆｒｏｍ２３３及び概念ｔｏ２３４を使って付与することが出来る。このプロセスは１度だけでなく再帰的に何度でも行うことが出来る。例えば、第１の概念（ドミナント概念）から第２の概念（サブ概念）を導き、さらに、第２の概念（サブ概念）から第３の概念（サブ概念）を導くことが出来る。即ち、検索時レコメンド部１７０は、ユーザにより選択されたメディア情報の概念のうち少なくとも一部のドミナント概念２４３及び／又はサブ概念２４４に対して所定の概念関係性を有する少なくとも１個のドミナント概念２４３及び／又はサブ概念２４４を当メディア情報の概念に追加してもよい。これにより、検索時レコメンド部１７０は、ユーザにより選択されたメディア情報の概念と直接的な概念関係性を有さない概念を有するメディアを、選択することが出来る。

図２８及び図２９の例では、検索時レコメンド部１７０は、「猫が月に向かってジャンプする動画」のドミナント概念２４３「猫」（図２９のDominant）及びサブ概念２４４「月明り」及び「ジャンプ」（図２９のSub）を抽出する。検索時レコメンド部１７０は、ドミナント概念２４３「猫」（概念ｆｒｏｍ２３３）と関係性を有するサブ概念２４４（概念ｔｏ２３４）として「猫背」及び「保護猫譲渡会」（図２９のSub1-1）をサブ概念２４４として抽出する。検索時レコメンド部１７０は、サブ概念２４４「猫背」及び「保護猫譲渡会」を有するメディア情報２１０Ａ（例えば、猫背予防体操の動画、保護猫譲渡会の広告）を抽出する。

上述のように、概念「ｔｏｄａｙ」（第１の概念）から概念「ｅｖｅｎｔ」（第２の概念）への関係性の強さ２３５が登録されているからと言って、逆方向に、概念「ｅｖｅｎｔ」から概念「ｔｏｄａｙ」への関係性の強さ２３５は必ずしも登録されていなくてもよい。また、概念「ｔｏｄａｙ」から概念「ｅｖｅｎｔ」への関係性の強さ２３５と、逆方向に、概念「ｅｖｅｎｔ」から概念「ｔｏｄａｙ」への関係性の強さ２３５とは、必ずしも一致しない。このため、例えば、概念「ｔｏｄａｙ」を有するメディア情報からをキーとして概念「ｅｖｅｎｔ」を有するメディア情報が抽出されるとしても、概念「ｅｖｅｎｔ」を有するメディア情報からをキーとして概念「ｔｏｄａｙ」を有するメディア情報が抽出されるわけではない。ここで、ドミナント概念２４３から導かれる直接関係性のあるメディア情報に加えて、サブ概念２４４から導かれる間接関係性のあるメディア情報が選択される。このため、ユーザにとってはパターン化されていない意外性のあるメディア情報が抽出されることになる。

図３０は、従前の検索と本実施形態の検索の比較を模式的に示す。

（Ａ）に示す様に、従前の検索では、検索ニーズをユーザ自身が自覚しており、なおかつそれを自発的に言語で記述できることを前提としている。このため、まず、ユーザの嗜好性が検索ワード等（画像検索やマルチメディア検索も含む）により一義的に特定され、その結果、ユーザの嗜好性（検索ワード）に対して直接関係性を有する情報が検索されていた。このようなマルチメディア検索システムでは、ユーザが検索クエリに対して期待する情報以外の情報をユーザへ提供することが発生し得ない。言い換えると、システムはユーザが期待した範囲の情報しか提供することができない。

これに対して、（Ｂ）に示す様に、本実施形態では、レコメンドされたメディア情報の１つが検索クエリとして利用されるから、ユーザが無自覚に検索クエリを入力することができ、ユーザの一義的な嗜好性ではなく、示唆的な傾向嗜好性が獲得される。検索クエリ（レコメンドされたメディア情報の１つ）に対して、直接関係性を有するメディア情報だけでなく、間接関係性を有するメディア情報も検索結果に含めることが出来る。これにより、検索ニーズにユーザ自身が無自覚でありながらも検索を実行することができ、また、ユーザが想定していない一方で検索対象との関連性は担保されたマルチメディアを検索結果に含めることにより、ユーザに対して、新しい繋がりの発見や探求の広がりを提供することができる。

動作の説明に戻る。検索時レコメンド部１７０は、アカウントデータベース２５０から、ログインしたユーザのアカウントＩＤ２５１に関連付けられた嗜好特徴量２５３を抽出する。検索時レコメンド部１７０は、抽出した嗜好特徴量２５３に基づき、解析情報データ２４０Ａをフィルタリングする（ステップＳ９２）。

検索時レコメンド部１７０は、フィルタリング後の複数の解析情報データ２４０ＡのメディアＩＤ２４２と同じメディアＩＤ２１１の複数のメディアデータ２１０Ａを、メディア情報データベース２１０から抽出する。データ生成部１８０は、抽出した複数のメディアデータ２１０Ａのタイトル２１２、テキスト２１３及び画像識別子２１４に基づき、複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０とを生成する（ステップＳ１０）。データ生成部１８０は、ウェブサーバ３０を介して、電子機器４０の表示装置４１に、複数のメディアデータ２１０Ａに基づく複数の第１のメディアオブジェクト４１０と、複数の第２のメディアオブジェクト４２０とを含むトップ画面４００を表示させる。

図３１は、検索時レコメンド部の構成の変形例を示す。

さらに、検索時レコメンド部１７０は、解析情報データ２４０Ａを解析情報データベース２４０から抽出するだけでなく、ユーザの嗜好特徴量２５３に合致するメディア情報のデータを生成してもよい（ステップＳ９３）。この場合、データ生成部１８０は、生成されたメディア情報のデータを表示するための第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０を生成すればよい。

１度目の検索の実施時には、検索時レコメンド部１７０は、検索対象のメディア情報２１０Ａからドミナント概念２４３とサブ概念２４４を抽出する。事前計算されたものであってもよい。検索時レコメンド部１７０は、この際、各ドミナント概念２４３に対して概念関係性データベース２３０上で関係性が存在する概念を、サブ概念２４４として追加してもよい。検索時レコメンド部１７０は、メディア情報２１０Ａデータベース、解析情報データベース、概念データベース、概念関係性データベース２３０に検索をかけ、検索対象のメディア情報２１０Ａと関連する１つまたは複数のメディア情報２１０Ａおよび特徴量を得る。検索時レコメンド部１７０は、この際、検索対象のメディア情報２１０Ａと共通したドミナント概念２４３またはサブ概念２４４を持つメディア情報２１０Ａだけに検索範囲を絞り込む。検索時レコメンド部１７０は、最後に、表示の優先順位（表示しないも含む）に基づき表示を行う。表示の優先順位および表示の可否は、ユーザの嗜好性、TF-IDF (Term Frequency - Inverse Document Frequency)を用いた概念の重要度、などに基づき決定されてもよい。

ｎ度目の検索の実施時には、検索時レコメンド部１７０は、新たに検索対象とするメディア情報２１０Ａから、ドミナント概念２４３とサブ概念２４４を抽出する。事前計算されたものであってもよい。検索時レコメンド部１７０は、この際、各ドミナント概念２４３に対して概念関係性データベース２３０上で関係性が存在する概念を、サブ概念２４４として追加してもよい。検索時レコメンド部１７０は、メディア情報２１０Ａデータベース、解析情報データベース、概念データベース、概念関係性データベース２３０に検索をかけ、検索対象のメディア情報２１０Ａと関連する１つまたは複数のメディア情報２１０Ａおよび特徴量を得る。検索時レコメンド部１７０は、この際、検索対象のメディア情報２１０Ａと共通したドミナント概念２４３またはサブ概念２４４を持つメディア情報２１０Ａだけに検索範囲を絞り込む。ここで、１度目からｎ－1度目までの全てのまたはいずれかの検索範囲と重複する部分を用いて検索範囲をさらに絞り込んでもよいし、それらの検索範囲を用いて検索範囲を広げてもよい。１度目からｎ－１度目までの検索範囲を使用しなくてもよい。検索時レコメンド部１７０は、最後に、表示の優先順位（表示しないも含む）に基づき表示を行う。表示の優先順位は、ユーザの嗜好性、TF-IDF (Term Frequency - Inverse Document Frequency)を用いた概念の重要度、などに基づき決定されてもよい。

本実施形態によれば、例えば単語の関係性だけでなく、ドミナント概念２４３及びサブ概念２４４の方向性を有する関係性に基づき、ユーザにレコメンドされるメディア情報を選択する。ここで、ドミナント概念２４３から導かれる直接関係性のあるメディア情報に加えて、サブ概念２４４から導かれる間接関係性のあるメディア情報が選択される。このため、ありきたりな関連情報が提示されるのではなく、ユーザにとっては、むしろ意外性のあるメディア情報が提示される。ユーザにとっては、自身が関心のあるトピックに対して、知っていたものの繋がりがあるとは気づいていなかった別のトピックが提示されることもある。このように、本実施形態によれば、ユーザの知的好奇心を刺激し、ユーザに対して、新しい繋がりの発見や探求の広がりを提供することができる。これにより、ユーザがサービスをより利用したくなるというインセンティブが生じる。

本実施形態によれば、さらに、上述の様に、概念関係性算出部１３０は、ネットワーク上に存在する複数のメディア情報の概念の概念関係性を算出し、更新する。アカウント利用履歴解析部１５０は、嗜好特徴量２５３を算出し、更新する。このため、仮に、ネットワーク上に存在する複数のメディア情報が変化（増減）しなくても、複数のメディア情報の関係性の変化、ユーザの嗜好特徴量２５３の変化により、起動時及び検索時ともに、特定のユーザにレコメンドされるメディア情報は動的に変化する。このため、ユーザに対して、常に、新しい繋がりの発見や探求の広がりを提供することができる。

５．その他

（１）アカウント履歴サービス

ログインしたユーザは過去の利用履歴を閲覧することができる。利用履歴は、投稿履歴、検索履歴、詳細情報を閲覧したメディア情報の履歴、閲覧したコメント、記載したコメントなどである。ユーザは履歴の全てまたは一部を削除することができる。ユーザは閲覧する履歴を選択することができる。検索履歴を選択した場合は、選択した時点での検索履歴が表示される。詳細情報を閲覧したメディア情報の履歴を選択した場合は、当該詳細情報が確認できる。各ユーザは自らをフォローしているユーザ、自らがフォローしているユーザを確認できる。これらの確認画面から、それぞれのマイページへ遷移できる。アカウント利用履歴はアカウントデータベース２５０に格納される

（２）インフルエンス機能（広告、フライヤー）

広告掲載を望むログインしたユーザは、メディアオブジェクト４１０、４２０を自らの広告掲示のために利用することができる。広告はユーザに閲覧される。広告をユーザが選択すると既存のウェブブラウザを起動し外部サイトに移動するか、詳細情報を確認できる。ユーザが閲覧する広告は、広告掲載者の選定したキーワードに基づいて選定される。選択したキーワードと掲載広告の関連性及び妥当性は、解析システムによって評価されるキーワードと表示日時と表示場所を掲載枠とし、当掲載枠の表示単価は、広告表示希望者が設定できる。掲載枠に価格については、広告表示希望者が入札することで価格設定をすることができる。広告はキーワードとの関連性解析と単価などに基づき、表示の優先順位が設定される。キーワードの関連性が薄いと解析された広告の掲載の優先順位を低く設定することができる。

（３）投稿機能

ユーザは自らが作成した１以上のメディアで構成されたメディア情報を投稿することができる。投稿されたメディア情報にキーワード設定をすることができる投稿されたメディア情報は投稿時に設定したキーワードと、解析機能によって関連性の高いキーワードが抽出されキーワード群が設定されるキーワード群によって関連性が高く重要性が高いと判断されたメディア情報が、当投稿メディア情報のグループに設定され、当メディア情報を当システムの機能を使って検索された際に表示される。投稿者は関連性が高いと判断されてグループに設定されたメディア情報の全てまたは一部を選択し削除することができる投稿者は関連性が高いと判断されるメディア情報を自らが投稿したメディア情報のグループに入れることができる。

（４）自動再生機能

図２１は、トップ画面の一例を示す。図２２は、電子機器のＧＵＩの変遷後の画面の一例である（自動再生）。

図２１のトップ画面４００において、第１のメディアオブジェクト４１０及び第２のメディアオブジェクト４２０が動画や音声を含むメディア情報を示すとする。（Ａ）に示す様に、ユーザが第１のメディアオブジェクト４１０に対して移動を伴わない操作（タッチ操作等）をすると、第１のメディアオブジェクト４１０内に再生ボタンが表示されてよい。（Ｂ）に示す様に、ユーザが第２のメディアオブジェクト４２０に対して移動を伴わない操作（タッチ操作等）をすると、第２のメディアオブジェクト４２０内に再生ボタンが表示されてよい。
さらに、ユーザが、再生ボタンが表示された第１のメディアオブジェクト４１０又は第２のメディアオブジェクト４２０に対して移動を伴わない操作をすると、詳細ページ(図２２)に遷移し、（Ａ）のスタート画面が表示されてよい。

ユーザは一覧化されたメディア情報を自動再生することができる。自動再生の方法は、一定時間が経過するごとに画面に掲示されるメディア情報が切り替わる自動遷移方法、動画像等の各メディア情報を順次再生する方法、テキストを読み上げる音声情報を順次再生する方法などの内、１以上の方法を組み合わせて行われる。図２２の（Ａ）のスタート画面で、メディア情報である動画の自動遷移の時間と自動再生の再生速度、音声情報の再生速度をユーザが変更できる。（Ｂ）の各種再生時にユーザが画面を操作すると、（Ｃ）の操作画面が表示される。ユーザは操作画面上で、再生速度の調整、再生、再生の停止、一定時間の巻き戻し、一定時間の順送り、１つ前のメディア情報への移動、１つ次のメディア情報への移動などを行うことができる。一方、（Ｄ）に示す様に、静止画が中心のメディアの場合は静止画が大きく表示される。上述のように、メディア情報は、静止画像、動画像、音声、テキスト等の複数の異なるモダリティ（様式）のうち少なくとも１つで構成される。モダリティの種別はこの例に限定されず如何なる様式でもよい。

（５）トップ画面の変形例

図２３、図２４、図２５は、トップ画面の変形例である。

図２３に示す様に、トップ画面４００のレイアウトは、上記実施形態のレイアウトに限定されない。図２４、図２５は、電子機器４０がスマートフォンではなくパーソナルコンピュータのブラウザに表示されたトップ画面４００の例である。図２４は、コミュニティ機能、レコメンド機能、その他機能が、メディア表示機能と一緒に一覧化されたトップ画面４００の例である。図２５は、メディア情報のみ表示するトップ画面４００の一例である。図２５において、第１のメディアオブジェクト４１０及び第１のファンクショナルオブジェクト４３０を含む表示領域４７１のみが表示されてもよい。例えば、ＶＲグラス等、表示可能な領域が狭い場合に表示領域４７１のみ表示するのは有用である。図２３、図２４、図２５の何れにおいても、複数の第１のメディアオブジェクト４１０が第１のファンクショナルオブジェクト４３０の周囲に表示されれば如何なるレイアウトでもよい。

本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１情報処理システム
１０情報処理装置
２０記憶装置
３０ウェブサーバ
４０電子機器
４００トップ画面
４０１第１の表示領域
４０２第２の表示領域
４１表示装置
４１０第１のメディアオブジェクト
４２制御回路
４２０第２のメディアオブジェクト
４３０第１のファンクショナルオブジェクト
４４０アカウントオブジェクト
４５０第３のメディアオブジェクト
４５１第２のファンクショナルオブジェクト
１１０収集部
１２０メディア情報解析部
１３０概念関係性算出部
１４０アカウント作成部
１５０アカウント利用履歴解析部
１６０起動時レコメンド部
１７０検索時レコメンド部
２１０メディア情報データベース
２２０概念データベース
２３０概念関係性データベース
２４０解析情報データベース
２５０アカウントデータベース

Claims

表示装置と、
前記表示装置に、第１のファンクショナルオブジェクトと、前記第１のファンクショナルオブジェクトの周囲に、異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクトとを表示し、
１個の第１のメディアオブジェクトが前記第１のファンクショナルオブジェクトに向かう操作がされると、
表示されている前記複数の第１のメディアオブジェクトに代えて、前記操作された前記１個の第１のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第１のメディアオブジェクトを前記第１のファンクショナルオブジェクトの周囲に表示するように、表示を切り替える
制御回路と
を具備する電子機器。
請求項１に記載の電子機器であって、
前記複数の第１のメディアオブジェクトは、４個の長方形の第１のメディアオブジェクトであり、
前記第１のファンクショナルオブジェクトの周囲に配置された前記４個の第１のメディアオブジェクトは、正方形を構成する
電子機器。
請求項２に記載の電子機器であって、
前記第１のファンクショナルオブジェクトは、前記正方形の中央に配置される
電子機器。
請求項２又は３に記載の電子機器であって、
前記制御回路は、
前記正方形により構成される第１の表示領域と、前記第１の表示領域の１辺に隣接し長さが前記正方形の一辺と等しい第１の辺と前記第１の辺に直交する第２の辺とを有する長方形の第２の表示領域とを、前記表示装置に設定し、
前記第１の表示領域に、前記第１のファンクショナルオブジェクト及び前記４個の第１のメディアオブジェクトを表示し、
前記第２の表示領域に、前記第１の辺の長さ方向である第１の方向に３個以上かつ前記第２の辺の長さ方向である第２の方向に１個以上の正方形の第２のメディアオブジェクトを、前記第１の表示領域に隣接し、かつ、全ての第２のメディアオブジェクトが互いに隣接するようにマトリクス状に表示する
電子機器。
請求項４に記載の電子機器であって、
前記第２のメディアオブジェクトは、それぞれ、前記第１のメディアオブジェクトのメディア情報と異なるメディア情報を示し、
前記制御回路は、
１個の第２のメディアオブジェクトが前記第１のファンクショナルオブジェクトに向かう操作がされると、
表示されている前記複数の第２のメディアオブジェクトに代えて、前記操作された前記１個の第２のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第２のメディアオブジェクトを前記第１のファンクショナルオブジェクトの周囲に表示するように、表示を切り替える
電子機器。
請求項４に記載の電子機器であって、
前記制御回路は、
ユーザが新しい情報を表示するための第１の動作を行った場合、
前記第１の表示領域に表示されている前記４個の第１のメディアオブジェクトのうちのＮ個（Ｎは１以上４以下の整数）の第１のメディアオブジェクトに代えて、前記第１の表示領域に近いＮ個の第２のメディアオブジェクトが示すメディア情報をそれぞれ示すＮ個の新たな第１のメディアオブジェクトが前記第１の表示領域に表示され、
前記第２の表示領域に表示されている前記Ｎ個の第２のメディアオブジェクトに代えて、異なるメディア情報をそれぞれ示すＮ個の新たな第２のメディアオブジェクトが前記第２の表示領域に表示される
ように、表示を切り替える
電子機器。
請求項４に記載の電子機器であって、
前記制御回路は、
ユーザが新しい情報を表示するための第２の動作を行った場合、
前記第２の表示領域に表示されている前記３個以上の第２のメディアオブジェクトのうちのＮ個（Ｎは１以上４以下の整数）の第２のメディアオブジェクトに代えて、前記第２の表示領域に近いＮ個の第１のメディアオブジェクトが示すメディア情報をそれぞれ示すＮ個の新たな第２のメディアオブジェクトが前記第２の表示領域に表示され、
前記第１の表示領域に表示されている前記Ｎ個の第１のメディアオブジェクトに代えて、異なるメディア情報をそれぞれ示すＮ個の新たな第１のメディアオブジェクトが前記第１の表示領域に表示される
ように、表示を切り替える
電子機器。
請求項５に記載の電子機器であって、
前記制御回路は、
１個の第１のメディアオブジェクト又は第２のメディアオブジェクトが示すメディア情報の詳細ページを表示するための第３の動作をユーザが行った場合、
操作された前記１個の第１のメディアオブジェクト又は第２のメディアオブジェクトが示すメディア情報を詳細に示し、前記１個の第１のメディアオブジェクト及び第２のメディアオブジェクトより大きい詳細ページを表示する
電子機器。
請求項１に記載の電子機器であって、
前記制御回路は、
ユーザが情報のテキスト検索をするための第４の動作を行った場合、第２のファンクショナルオブジェクトを表示し、
第２のファンクショナルオブジェクトに入力されたテキストに関係性のあるメディア情報をそれぞれ示す１以上の第３のメディアオブジェクトを表示し、
１個の第３のメディアオブジェクトが前記第２のファンクショナルオブジェクトに向かう操作がされると、
前記操作された前記第３のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクトを表示する
電子機器。
コンピュータによって、
表示装置に、第１のファンクショナルオブジェクトと、前記第１のファンクショナルオブジェクトの周囲に、異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクトとを表示し、
１個の第１のメディアオブジェクトが前記第１のファンクショナルオブジェクトに向かう操作がされると、
表示されている前記複数の第１のメディアオブジェクトに代えて、前記操作された前記１個の第１のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第１のメディアオブジェクトを前記第１のファンクショナルオブジェクトの周囲に表示するように、表示を切り替える
表示制御方法。
電子機器の制御回路を、
表示装置に、第１のファンクショナルオブジェクトと、前記第１のファンクショナルオブジェクトの周囲に、異なるメディア情報をそれぞれ示す複数の第１のメディアオブジェクトとを表示し、
１個の第１のメディアオブジェクトが前記第１のファンクショナルオブジェクトに向かう操作がされると、
表示されている前記複数の第１のメディアオブジェクトに代えて、前記操作された前記１個の第１のメディアオブジェクトが示すメディア情報に関係性のある異なるメディア情報をそれぞれ示す複数の新しい第１のメディアオブジェクトを前記第１のファンクショナルオブジェクトの周囲に表示するように、表示を切り替える
よう動作させるアプリケーションプログラム。