JP2014534500A - 要素に対するグループ反応を知るための方法およびそのモデルの様々な適用例 - Google Patents

Abstract

要素の集合に対するグループの反応を知る方法および当該モデルの多様な適用例。本発明は要素の集合に対するグループ（通常は人。各グループのメンバは異なる反応を示し得る。）の反応（例えば関心）の知見を得るシステムおよび方法を提供する。上記グループは電気的手段（例えばインターネット）によってアクセス可能であり、当該システムは、グループの反応の評価に要するグループのメンバの労力および処理時間を最少化するためのグループの反応のアルゴリズムに基づいている。グループのメンバの労力および処理時間を最少化あるいは減少させるために、上記アルゴリズムは統計手法を用いる。上記グループ反応システムは、グループの反応を予め設定された統計的信頼度で評価する。なお、本発明では特定の場合のための第２アルゴリズムを用いることもできる。

Description

発明の詳細な説明

〔相互参照〕
本出願は、米国予備出願６１／５４４７４９（２０１１年１０月７日出願）、米国予備出願６１／５９１１１２（２０１２年１月２６日出願）、およびスペイン出願Ｐ２０１２３０６４５（２０１２年４月３０日出願）の利益を要求するものであり、これら各出願の全体が参照によって本明細書に組み込まれる。

〔背景技術〕
今日、個人や企業にとって、インターネットやテレビなどの通信システムのない生活水準は想像できない。これらの通信システムは、古い水準から進化しており、現在では、人々が異なる方法で通信することが可能な対話式のツールも存在する。現在の水準では、一人の人物が、事実上無制限の人数に１つのメッセージを送信することができる。

しかしながら、無制限の人数にメッセージを送信した人に対して、それら無制限の人数の人がメッセージを送信することはできない。そのようなバックチャンネルを用いた通信技術は存在しない。ソーシャルネットワーク、電子メール、ＳＭＳ、ビデオ、およびその他の現在の通信ツールは、１対１の通信、および１対多数の通信に有効なツールであるが、多人数のグループがその意思を表現する方法を支援するようなツールは存在しない。図３１は、多人数のグループの写真である。この多人数のグループは、１つのグループとして何かを表現している。このグループが何を表現しているのかを特定する必要性がある。

大規模なソーシャル通信システムのために必要性がある。また、ソーシャル通信メディアが発展するための１つの転機のために必要性がある。

〔発明の概要〕
本明細書に開示するシステムおよび方法は、上記の転機における飛躍に役立つものである。

上述したように、グループの表現の方法およびシステムに必要性がある。どんなに多人数のコミュニティであっても、メッセージ、意思表現、動作を一人の人物の場合と同様に送信することのできるソフトウェアを作り出す必要性がある。それにより、コミュニティが、１人の人物が他の人物と通信するのと同様の方法により、１人の人物あるいは他のコミュニティと通信することができる。

そのような大規模なソーシャル通信システムを完成するためのアプリケーションの新しい類型を構築することを可能にする基本的な原理を理解しやすいように、図３３から図３５に例を示す。なお、これら各図は、上記原理を非常に単純かつ簡潔に示したものである。

図３２は、関心を共有する大きなコミュニティを示している。図３３は、このコミュニティの異なるメンバから複数の提案が発生した状態を示している。現在の技術水準では、コミュニティ全体の関心を最も満たす提案を「瞬時に」知る方法はない。図３４は、本明細書で開示するシステムおよび方法の一例を示している。コンピュータの支援により、異なる提案を評価して好ましい提案に投票する人々のグループを任意に形成できる（層化を用いてもよい）。図３５は、投票数が上位であった提案、すなわち上記コミュニティにとって最も関心がある可能性が高い提案の選択を示している。上記の結果に含まれる提案の数が多すぎる場合や、より正確な結果を望む場合、少数あるいは１つの提案に絞り込まれるまで同じシステムを２回以上実行させてもよい。２回目の実行時に、我々はより多くのメンバが支持する少数のグループを必要としているので、少ない数の提案を評価対象に提示する。これにより、より代表的な評価を行うことができる。その後の実行により、少数あるいは１つの好ましい提案が得られるまで提案を絞り込んでいく。

本発明の一態様にかかるグループ反応評価システムおよび方法は、現在まで知られていないサービスを提案する、アプリケーションの新たな類型を構築することが可能であり、大規模ソーシャル通信システムに大きな衝撃を与えるものである。

図１は、本発明の実施形態にかかる大規模ソーシャル通信システムを示している。

ステップ１〜４は現在の通信インフラを示している。電子メールおよびインターネットは基本インフラを提供する。ウェブおよび情報の増殖は第２ステップを形成する。他の通信ステップは情報の有効性を提供する検索エンジン（例えばグーグル社のページランク（ＰａｇｅＲａｎｋ）など）を含んでいてもよい。ソーシャルネットワークは、個人レベルの関係を有している。

ステップ５：本明細書で提案するグループ反応評価システムが、集団的知識の集約化を提供する。

本明細書では、これらのアプリケーションによって実現されるサービスを例示する。例えば、グループ反応評価システムは、個人および団体が、彼らの潜在的な関心に関するあらゆる主題について、個人のグループの立場への影響を最小限にしてリアルタイムで（あるいは非同期モードで）評価を行うことができる。これは、あらゆる種類の組織あるいは個人（特に限定されるものではないが、例えば、（ｉ）既存の商品あるいは将来の商品に対するクライアントの意見を知りたい企業、（ｉｉ）国民の意見を知りたい政府、（ｉｉｉ）放送中の内容に関する視聴者の意見を知りたいテレビ番組あるいは他のメディア、（ｉｖ）視聴者が積極的に参加することのできるテレビ番組、討論会、スポーツイベント、および／または（ｖ）有権者の意見を知りたい政党など）に有効である。

本明細書に示すシステムおよび方法は、グループ（どんなに大きなグループであってもよい）が、彼らが潜在的な関心を有するあらゆる事項について意見を表現するのに有効である。上記グループの例としては、特に限定されるものではないが、一般的な趣味のコミュニティ、有権者、ブランドの消費者、スポーツチームあるいは人物のファンのコミュニティ、および／または、メディアや他のコンテンツの視聴者などが挙げられる。

本明細書に示すシステムおよび方法は、グループが潜在的な関心を有する主題（要素のセット）に対するグループの状況（反応）を数分で評価することを可能にする特別なアルゴリズム、および、上記アルゴリズムを使わなければ現在まで可能ではなく、また可能にならないと考えられる解決策を与えることのできるアルゴリズムの両方を実現する。

本発明の一態様にかかる方法は、１または複数の選択肢に対するエージェント反応を提示する機会を与えられた複数のエージェントを含むエージェントの集合の反応を、コンピュータを用いて評価する方法であって、複数の選択肢を含む第１選択肢集合を提示する工程と、コンピュータプロセッサを用いて、上記エージェントが上記エージェントの集合から無作為に選択される１または複数のエージェント部分集合に属するように、上記エージェントの集合を複数のエージェント部分集合に分割する工程と、上記選択肢集合を複数の選択肢部分集合に分割する工程と、それぞれのエージェント部分集合に１または複数の異なる選択肢部分集合を割り当てる工程と、割り当てた各選択肢部分集合における全ての選択肢をそれぞれのエージェント部分集合内の各エージェントに提示する工程と、それぞれのエージェント部分集合内の各エージェントからそれぞれの選択肢部分集合における全ての選択肢に対するエージェント反応を取得する工程と、コンピュータのプロセッサが、それぞれのエージェント部分集合における割り当てられた選択肢部分集合に対するエージェント反応の分析に基づいて、上記第１選択肢集合の各選択肢に対する上記エージェントの集合の反応の統計評価を推定する工程とを含む。

なお、上記第１選択肢集合における選択肢の総数の、それぞれのエージェント部分集合に提示された選択肢部分集合の選択肢の数に対する比率が、２：１以上であってもよい。また、上記エージェント反応を用いて実行すべき分析に関する情報を、上記エージェントに反応を提供する機会を与える前に、上記エージェントと共有してもよい。それぞれのエージェント部分集合に提示された各選択肢部分集合における全ての選択肢の評価を、複数のエージェント部分集合について並行して行ってもよい。上記統計評価は信頼区間を含んでいてもよい。

上記選択肢は提案であってもよく、上記統計評価は上記提案に対する上記エージェントの賛成率を含んでいてもよい。上記提案は２以上のコミュニティによって提示されるものであってもよく、上記統計評価は上記提案に対する上記２以上のコミュニティによる賛成率を含んでいてもよい。上記２以上のコミュニティは利害関係が対立するコミュニティであってもよく、当該方法は、１または複数の提案を含む提案の候補リストを上記賛成率に基づいて生成する、交渉技術の一部として用いられてもよい。上記方法は、上記賛成率が所定の閾値を超える場合に、プロセッサが、上記第１選択肢集合から選択される１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程を含んでいてもよい。プロセッサが、上記エージェントの集合によって所定信頼水準以上で最も好まれた所定数の選択肢を含む、上記第１選択肢集合から選択した１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程をさらに含んでいてもよい。プロセッサが、上記エージェントの集合によって所定信頼水準以上で最も好まれた所定数の選択肢を含む、上記第１選択肢集合から選択した１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程をさらに含んでいてもよい。１または複数の上記選択肢は所定数以下の質問を含んでおり、上記次の選択肢は上記所定数以下の質問を含んでいてもよい。上記方法は、所定の目標に到達できない場合に、エージェントの集合の反応に基づいて結論を判定する工程をさらに含んでいてもよい。

また、本発明の一態様にかかる方法は、（ａ）プロセッサが、上記第１選択肢集合から選択される１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程と、（ｂ）プロセッサが、上記エージェントの集合を複数の次のエージェント部分集合に分割する工程であって、上記１または複数の次のエージェント部分集合に属する上記エージェントを無作為に選択する工程と、（ｃ）上記次の選択肢集合を、当該次の選択肢集合を構成する複数の次の選択肢部分集合に分割する工程と、（ｄ）それぞれの上記次のエージェント部分集合に１または複数の異なる次の選択肢部分集合を割り振る工程と、（ｅ）割り振られたそれぞれの上記次の選択肢部分集合における全ての選択肢を、それぞれの上記次のエージェント部分集合内の各エージェントに提示する工程と、（ｆ）それぞれの上記エージェント部分集合内の各エージェントから、上記の割り振られたそれぞれの次の選択肢部分集合における全ての選択肢に対するエージェントの反応を取得する工程と、（ｇ）上記所定の目標が達成できない場合に、上記エージェントの集合の上記反応に基づいて結論を判定する工程とを行うか、あるいは、所定の目標サイズになるまで上記（ａ）〜（ｇ）の工程を繰り返すようにしてもよい。

また、上記結論は所定数以下の選択肢を含み、上記目標は上記所定数以下の選択肢に上記エージェントの集合によって最も好まれた指定された数の選択肢が所定の信頼水準で含まれる場合に達成されてもよい。

また、上記１または複数の選択肢は提示される１または複数の質問であり、上記結論は所定数以下の質問を含み、上記目標は上記所定数以下の質問に上記エージェントの集合によって最も好まれた指定された数の質問が所定の信頼水準で含まれる場合に達成されてもよい。

また、上記結論は、目標の受理および／または上記次の選択肢集合のサイズに基づいて選択される次の選択肢集合を含んでいてもよい。

また、上記第１の複数のエージェント部分集合の数を、上記第１選択肢集合における選択肢の数に基づいて決定してもよい。

また、上記比率は、１０：１以上、１００：１以上、１，０００：１以上、または１０，０００：１以上であってもよい。

本発明の一態様にかかる方法は、質問に対する潜在的な反応を明確化する方法であって、エージェントの集合の部分集合である反応サンプルグループに含まれる複数のエージェントに上記質問を提示する工程と、上記反応サンプルグループに含まれる上記複数のエージェントから上記質問に対する複数の潜在的な反応を取得する工程と、上記複数の潜在的な反応としての複数の選択肢を含む第１選択肢集合を生成する工程と、上述した本発明の態様に基づくいずれかの方法を実行する工程とを含んでいる。

本発明の他の態様にかかる方法を用いて質問を生成してもよい。上記方法は、エージェントの集合に提示する質問の提案をユーザから取得する工程と、エージェントの集合の部分集合である質問サンプルグループ内の複数のエージェントに上記質問を提示する工程と、上記サンプルグループ内の複数のエージェントから上記質問に対するエージェントの反応を取得する工程と、上記質問が上記エージェントの反応に基づく所定の閾値を超えている場合、および上記エージェントの反応が所定の閾値を超えている場合に、プロセッサが、上述した本発明の態様にかかる方法を実行する工程とを含んでいてもよい。

また、上記エージェント反応を用いて行われる上記分析に関する情報を、上記エージェントの反応を取得する前に、上記エージェントの分割に利用可能にしてもよい。また、上記エージェントの集合の上記エージェント部分集合に対する評価を並行して行い、上記評価はそれぞれの上記エージェント部分集合に提示されたそれぞれの選択肢部分集合における全ての選択肢の評価を含んでいてもよい。また、プロセッサが、上記統計評価を用いて、上記第１選択肢集合のうちの１または複数の潜在的な反応を含む次の潜在的な反応の集合を生成する工程を含んでいてもよい。また、上記第１の複数のエージェント部分集合の数を上記第１選択肢集合における潜在的な反応の数に基づいて決定してもよい。

また、上記質問をモバイル端末の表示装置を介して提示してもよい。また、複数の上記潜在的な反応を、上記モバイル端末を介して取得してもよい。また、上記反応サンプルグループおよび上記質問サンプルグループは１または複数の共通のエージェントを含んでいてもよい。また、上記反応サンプルグループおよび上記質問サンプルグループは１または複数の異なるエージェントを含んでいてもよい。また、複数の上記潜在的な反応に重複する反応が存在する場合に、当該反応を複数の上記潜在的な反応から除去するようにしてもよい。また、複数の上記潜在的な反応に異なるエージェントによって提示された重複する反応が存在する場合に、当該潜在的な反応を提示した上記各エージェントを上記潜在的は反応を提示しているエージェントとして評価するようにしてもよい。

本発明の更なる態様にかかる方法は、複数のエージェントを含むコミュニティの選択肢の集合全体についての意見を決定する方法であって、選択肢の集合全体における選択肢の数あるいは選択肢の予想数に基づいてグループの数を設定する工程と、複数のエージェントのそれぞれを上記グループのうちの１つに振り分ける工程と、各グループについて、上記グループ内の各エージェントに選択肢の集合全体に含まれる選択肢の数よりも少ない数の選択肢を評価のために提示する工程と、各グループについて、各エージェントから当該エージェントに提示した各選択肢の評価を取得する工程と、プロセッサが、上記各グループの各エージェントから取得した評価を用いてコミュニティの意見に応じた１または複数の最適選択肢を決定する工程とを含む。

なお、上記エージェントを、統計的サンプリング方法を用いてそれぞれのグループに振り分けてもよい。また、各グループに提示される選択肢の数が同数であってもよい。また、各グループに提示される選択肢の数が、選択肢の集合全体における選択肢の数をグループの数で除算した数と等しくてもよい。また、各グループに提示される選択肢の数が１つであってもよい。また、各グループに振り分けられる上記エージェントの数は、エージェントの数を選択肢の集合全体における選択肢の数で除算した値と等しくてもよい。また、各グループにおいて、当該グループの各エージェントに提示される選択肢が他のグループのエージェントに提示される選択肢と異なっていてもよい。

本発明の一態様にかかる方法の例として、（ａ）各グループにおける各エージェントから取得した評価を用いて最適選択肢候補の集合を決定する工程と、（ｂ）各グループについて、当該グループ内の各エージェントに上記最適選択肢候補の集合のうちの少なくとも１つの選択肢を提示する工程と、（ｃ）各グループについて、各エージェントから、当該エージェントに提示した上記最適選択肢候補の集合のうちの少なくとも１つの上記選択肢の評価を取得する工程とを含むようにしてもよい。

また、上記（ａ）〜（ｃ）の工程を、所定回数、あるいは所望する統計的信頼水準が得られるまで繰り返し行い、上記エージェントを、統計的サンプリング方法を用いてそれぞれのグループに割り当て、上記最適選択肢候補の集合における選択肢の数を上記（ａ）〜（ｃ）の工程を繰り返す毎に低減していくようにしてもよい。

また、上記最適選択肢あるいは上記最適選択肢集合を決定する工程は、選択肢の集合全体の中で最も好ましい評価を取得した１または複数の選択肢を上記各グループ内の各エージェントからの評価に基づいて選択する工程を含んでいてもよい。上記（ａ）の工程において、上記選択肢の集合全体の中で最も好ましい評価を得たｎ個（ｎはｎ＞１かつ上記選択肢の集合全体における選択肢の数よりも小さい値）の選択肢を選択する工程を含む上記最適選択肢集合の候補を決定するようにしてもよい。また、上記選択肢の集合全体の中に複数のエージェントのうちの少なくとも一人から取得した提案が含まれていてもよい。また、上記評価に関する情報の総計を複数のエージェントに利用可能にしてもよい。

本発明の一態様にかかる記録媒体は、コンピュータに複数のエージェントを含むコミュニティの選択肢の集合全体についての意見を決定するための処理を実行させるプログラムを記録したコンピュータ読取可能な記録媒体であって、上記処理は、選択肢の集合全体における選択肢の数あるいは選択肢の予想数に基づいてグループの数を設定する工程と、複数のエージェントのそれぞれを上記グループのうちの１つに振り分ける工程と、各グループについて、上記グループ内の各エージェントに選択肢の集合全体に含まれる選択肢の数よりも少ない数の選択肢を評価のために提示する工程と、各グループについて、各エージェントから当該エージェントに提示した各選択肢の評価を取得する工程と、上記各グループの各エージェントから取得した評価を用いてコミュニティの意見に応じた１または複数の最適選択肢を決定する工程とを含む。

本発明の一態様にかかるコンピュータシステムは、複数のエージェントを含むコミュニティの選択肢の集合全体についての意見を決定するコンピュータシステムであって、上記コンピュータシステムはプログラマブルプロセッサを備えており、上記プログラマブルプロセッサは、選択肢の集合全体における選択肢の数あるいは選択肢の予想数に基づいてグループの数を設定する処理と、複数のエージェントのそれぞれを上記グループのうちの１つに振り分ける処理と、各グループについて、上記グループ内の各エージェントに選択肢の集合全体に含まれる選択肢の数よりも少ない数の選択肢を評価のために提示する処理と、各グループについて、各エージェントから当該エージェントに提示した各選択肢の評価を取得する処理と、プロセッサが、上記各グループの各エージェントから取得した評価を用いてコミュニティの意見に応じた１または複数の最適選択肢を決定する処理と、１または複数の上記最適選択肢を表示装置に表示させる処理とを行う。

本発明の更なる態様および利点は、後述する詳細な説明（当該詳細な説明は本発明の例示にすぎない）により当業者に明らかになるであろう。本発明は、本明細書に開示する以外の実施形態でも実現可能であり、その詳細は本発明から逸脱しない範囲で様々な態様に変更可能である。すなわち、図面および説明は例示に過ぎず、発明の範囲を制限するものではない。

〔参照による編入〕
本明細書において言及する全ての出版物、特許、および特許出願に示されている内容は参照によって本明細書に編入される。

〔図面の簡単な説明〕
本発明の新規な特徴についてより詳細に説明する。本発明の利点および特徴は、以下に示す、本発明の原理を用いた実施例および図面を参照することにより、より理解できるであろう。

図１は、グローバルなソーシャル通信システムに含まれる通信ステップの例を示している。

図２は、本発明に従ったグループ分けの一例を示している。

図３は、新しいタイプのクラウドソーシング（crowd sourcing）を示している。

図４は、本発明の実施例において提供される集団の民主的な理解を示している。

図５は、コミュニティ内の様々な管理方法の例を示している。

図６は、本発明の実施例にかかる質問サイクルについてのユーザインタフェース画面の例を示している。

図７は、様々な選択肢を示すユーザインタフェースの例を示している。

図８は、ユーザが質問サイクルの中から質問を決定するためのユーザインタフェースの例を示している。

図９は、サンプルの一部であるエージェントに質問をコミュニティへの質問として通過させるべきか否かを尋ねるユーザインタフェースの例を示している。

図１０は、投票数が最大であった質問を受信するユーザのユーザインタフェースの例を示している。

図１１は、エージェントが評価対象の質問および回答を受信するユーザインタフェースの例を示している。

図１２は、得票数が最大であった回答が提供されるユーザインタフェースの例を示している。

図１３は、本発明の一実施形態にかかるグループ反応評価システムの例を示す図である。

図１４は、本発明の一実施形態にかかるグループ反応評価システムを示す図である。

図１５〜図３１は、本明細書に示すシステムおよび方法（例えばデモランク）を用いてリーダをそのフォロワのコミュニティに接続するアプリケーションの表示画面を示している。

図１５は、上記アプリケーションのアクセス画面を示している。

図１６は、チャットにアクセスした後にユーザが最初に見る表示画面を示している。

図１７は、「お気に入り」の表示画面を示している。

図１８は、「通知」の表示画面を示している。

図１９は、ユーザがリーダからの質問を見ることができる表示画面を示している。

図２０は、リーダからの回答の提案を見ることができる表示画面を示している。

図２１は、勝利回答、当該勝利回答の得票率、およびその他の情報を示している。

図２２は、リーダからの新たな別の会話を示している。

図２３は、ユーザが投票すべき写真が提示された表示画面を示している。

図２４は、勝利写真、当該勝利写真の得票率、およびユーザに対するその他の情報を示す表示画面を示している。

図２５は、リーダがファンに対して感謝を述べる新しい会話の表示画面を示している。

図２６は、リーダからの新しい会話の表示画面を示している。

図２７は、勝利写真が男性のコミュニティから獲得した得票率とその他の情報とを示す表示画面を示している。

図２８は、得票数が上位であった写真のランキング、当該写真を提案したファン、当該写真の得票数および得票率を示す表示画面を示している。

図２９は、３者間のチャットを示している。

図３０は、３者間のチャットにおける会話を示している。

図３１は、何かを表現している大規模なグループを示している。

図３２〜図３５は、本発明の基本的な機能の例を示している。

図３２は、インターネットを共有する大きなコミュニティを示している。

図３３は、コミュニティにおける異なるメンバから複数の提案が発生した状態を示している。

図３４は、異なる提案を評価する集団のグループを示している。

図３５は、グループによる投票数が最大であった提案の選択を示している。

〔発明の詳細な説明〕
本発明の好ましい実施形態について説明するが、それらの実施形態が単なる実施の一例にすぎないことは当業者にとって明らかであろう。当業者であれば、本発明の概念から逸脱することなく、様々な変形、変更、および代替が可能である。本明細書に示す本発明の実施形態は様々な変更が可能である。

本発明は、グループの反応を評価するためのシステムおよび方法を提供する。本明細書に示す本発明の様々な態様は、以下で示す特定のアプリケーションに適用することができ、他の形態のグループ決定の解析アプリケーションや投票プロセスのアプリケーションなどに適用することもできる。本発明は、スタンドアロンのシステムあるいは方法に適用することができ、また、意思決定プロセスの一部に適用することもできる。本発明の異なる態様を個別のアプリケーションに適用してもよく、集合的なアプリケーションに適用してもよく、それらを組み合わせたアプリケーションに適用してもよい。実施形態では、以下に示す１または複数の用語が用いられる。これらの用語は、例示のために用いられるものであり、限定するためのものではない。
「エージェント」：「エージェント」は、ある要素に晒されたときに反応を示すと想定される人あるいは物（例えば、人、コンピュータ、・・・他のエントリあるいは装置）である。例：ユーザ。
「グループ」：「グループ」は、エージェントの集合あるいは部分集合である。１つのグループに、０，１，２，あるいはそれ以上のエージェントが含まれていてもよい。エージェントの部分集合は、１または複数のエージェントからなるエージェントの集合の部分集合であってもよい。例：ユーザグループ。
「要素」：「要素」は、エージェントの反応を引き起こすもの（例えば、コンテンツ、質問、問題、提案、デザイン、選択肢・・・など）である。要素は、エージェントの反応を引き起こすものであれば、本明細書に記載するいかなるものであってもよく、その他のもの（例えば、コンテンツ、質問、問題、提案、デザイン、あるいは選択肢など）であってもよい。例：グループへの提案。
「要素の集合」：「要素の集合」は、上述したあらゆる要素の集合である。要素の集合に含まれる要素は、エージェントの反応を引き起こすものであれば本明細書に記載するいかなるものであってもよく、その他のもの（例えば、コンテンツ、質問、問題、提案、デザイン、あるいは選択肢など）であってもよい。例：グループに対する全ての提案。
「公開」：「公開」は、エージェントに対する要素の提示である。例：ユーザが提案を読むこと。
「エージェントの反応」：「エージェントの反応」は、エージェントに対して要素を公開した結果である。例：ユーザが提案に対して「はい」と投票すること。
「反応の集合」：「反応の集合」は、エージェントが要素に対して取り得る全ての反応の集まりである。例：｛はい、いいえ、無回答｝。
「グループの反応」：「グループの反応」は、グループの全メンバに要素を公開したときにグループ全体に生じる各タイプの反応の総計である。例：｛はい＝５００、いいえ＝４００、無回答＝１００｝。
「グループの反応の割合」：「グループの反応の割合」は、グループの全メンバに要素を公開したときにグループ全体に生じる各タイプの反応の総計を全タイプの反応で除算した値に１００を乗算した値（すなわちグループの反応をパーセントで示した値）である。例：｛はい＝５０％、いいえ＝４０％、無回答＝１０％｝。
「グループの反応の集合」：「グループの反応の集合」は、要素の集合における全ての要素に対するグループの反応である。
「着目反応」：「着目反応」は、「好ましい反応」あるいは「肯定的（ポジティブ）な反応」である場合がある。例：「はい」を着目反応とする。
「着目反応の割合」：「着目反応の割合」は着目反応についてのグループの反応の割合である。例：｛はい＝５０％｝。
「最適要素」：「最適要素」は、要素の集合のうち着目反応の割合が最も高い要素である。例：グループ全体に投票させたときに「はい」が最大であった要素。
「最適Ｎ要素」：「最適Ｎ要素」は、着目反応に関するグループの反応の割合の上位Ｎ個の要素の集合である。例：グループ全体に投票させたときに「はい」の数が上位であった５個の要素。
「最適候補リスト」：「最適候補リスト」は、ある信頼水準で最適要素を含んでいる要素の集合のリストである。例：１０００個の提案のうち、９９％の信頼水準でグループのメンバによって「はい」が多く投票されたと考えられる上位１０個の提案のリスト。
「最適Ｎ候補リスト」：「最適Ｎ候補リスト」は、ある信頼水準で最適Ｎ要素を含む要素集合の部分集合である。例：９９％の信頼水準でグループのメンバによって「はい」が多く投票されたと考えられる上位５個の提案を含んでいる１，０００個の提案のうちの１３個の提案のリスト。

図１４は、グループ反応評価システムの実施例を示している。本明細書に記載するグループ反応評価システムは、グループの評価、グループの反応、グループの意思決定、あるいは動作評価の任意の形態に関連するものであってもよいが、それに限るものではない。例えば、グループの反応は、評価および／または意思決定のために提供される。本明細書に記載するグループ反応評価システムは、グループ反応システム、グループ意思決定システム、あるいは動作評価システムに適用できるが、それに限るものではない。

上記システムは、複数のユーザ１４５０，１４６０ａ，１４６０ｂ，１４６０ｃ，１４６０ｄ，１４６０ｅ，および１４６０ｆを含んでいる。ユーザは、複数のエージェントの中からランダムに抽出されたサンプルであってもよい。エージェントは、１または複数の装置１４４０ａ，１４４０ｂ，１４４０ｃ，１４４０ｄ，１４４０ｅ，１４４０ｆを介して通信を行うことができる。上記各装置は、１または複数のグループ１４３０ａ，１４３０ｂ，１４３０ｃに分割されていてもよい。エージェントは個人／人間であることが好ましい。エージェントは、装置を介してシステムと対話する個人であってもよい。あるいは、エージェントは装置であってもよく、装置を利用する者であってもよい。エージェントはネットワーク１４２０を介して１または複数のサーバ１４００および／または１または複数の制御装置１４１０と通信を行う。サーバおよび／または制御装置は、分離された装置であってもよく、単一の装置に組み込まれたものであってもよい。システムのユーザ１４５０がネットワーク１４２０を介してシステムと対話するようにしてもよい。

エージェント１４６０ａはユーザ／人間である。エージェントが装置１４４０ａを用いてもよい。あるいは、エージェントが装置であってもよい。通常は、ユーザ１４６０ａはインターネットに接続するために装置１４４０ａを用いる。上記装置は、要素を表示および／または公開する。装置の例としては、特に限定されるものではないが、パーソナルコンピュータ、サーバコンピュータ、ノート型コンピュータ、タブレット、衛星電話、スマートフォン（例えばアイフォン、アンドロイド、ブラックベリー、パーム、シンビアン、ウィンドウズ（登録商標）など）、携帯電話、ＰＤＡ（personal digital assistant）、ブルートゥース装置、ページャー（pager）、固定電話、その他のネットワーク装置などを用いることができる。上記装置はモバイル端末であってもよい。モバイル端末は容易に移動させることができる（例えばタブレット、スマートフォンなど）。また、モバイル端末は、手持ちサイズの装置であってもよい。上記装置は、ネットワークと通信する機能を有している。例えば、上記装置は、ネットワークと無線通信および／または有線通信を行う機能を有していてもよい。上記装置は、プログラマブルプロセッサおよび／またはメモリを備えていてもよい。上記メモリは、１または複数の処理を記述したコード、命令、および／またはロジックを記録した、コンピュータ読み取り可能な実態のある記録媒体であってもよい。上記プログラマブルプロセッサは、上記記録媒体に従って１または複数の処理を実行するものであってもよい。

ネットワーク１４２０は、局所ネットワーク（ＬＡＮ；local area network）あるいはインターネット等の広域ネットワーク（ＷＡＮ；wide area network）からなる。上記ネットワークとしては、例えば、パーソナルエリアネットワーク、電話ネットワークなどのテレコミュニケーションネットワーク、携帯電話ネットワーク、モバイルネットワーク、無線ネットワーク、データ提供ネットワーク、あるいはその他のタイプのネットワークなどを用いることができる。ブルートゥースやＲＴＭ技術などの無線技術を用いて通信を行うようにしてもよい。あるいは、モデムを用いたダイヤルアップ回線接続、ＴＩ，ＩＳＤＮ，あるいはケーブル線などを用いたダイレクトリンクなどを用いてもよい。無線通信として、例えば、携帯電話ネットワーク、衛星ネットワーク、あるいはページャネットワーク、ＧＰＲＳ、あるいはイーサネット（登録商標）やＬＡＮを介したトークンリングなどの局所データ通信システムなどを用いてもよい。また、上記システムは、赤外線通信を用いて無線通信を行うものであってもよい。エージェント１４４０ａは、ほとんどの場合ユーザであるが、メモリおよびプロセッサを有する装置であってもよい。エージェントは、ほとんどの場合ユーザ／人間であるが、メモリおよびプロセッサを有する装置であってもよい。上記メモリは、１または複数の処理を実行させるためのロジック、命令、あるいはコードを含む情報を非一時的に記憶するコンピュータ読取可能な記録媒体であってもよい。上記プロセッサは、上記のコンピュータ読取可能な記録媒体によって提供される１または複数の処理を実行する機能を有していてもよい。上記装置は、表示装置を備えていてもよい。上記表示装置は、ユーザインタフェースを表示するものであってもよい。上記システムのユーザ１４６０が、ユーザインタフェースを介して上記装置と対話するようにしてもよい。上記ユーザは、エージェントユーザであってもよい。ユーザが、ユーザインタフェース装置を介して対話するようにしてもよい。上記ユーザインタフェース装置としては、特に限定されるものではないが、例えば、キーパッド、タッチスクリーン、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、マイクロホン、カメラ、モーションセンサ、赤外線（ＩＲ）センサ、熱センサ、電気的センサ、あるいはその他のユーザ対話装置などを用いることができる。

装置がエージェントであってもよい。あるいは、ユーザ装置を介して要素を提示されるユーザがエージェントであってもよい。ユーザと上記ユーザに要素を提示する装置とが集合的にエージェントを構成してもよい。例えば、装置は、質問等の内容をユーザに表示する。上記ユーザは、上記装置を介して上記質問に回答する。上記内容は、視覚的内容であっても音声的内容であってもよい。また、上記の視覚的内容あるいは音声的内容は、静的および／または動的であってもよい。ユーザが、上記装置を介して上記内容に関して対話するようにしてもよい。上記装置が、表示あるいは音声により、ユーザに対して２つの選択肢（例えばＡまたはＢ）のいずれを選択するかを尋ねるようにしてもよい。ユーザが上記装置のユーザ対話装置を介して選択肢（例えばＡまたはＢ）を選択するようにしてもよい。ユーザが、上記装置を介して複数の選択肢の中から所望する選択肢を選択できるようにしてもよい。あるいは、ユーザが上記装置を介して質問に対して自由な形式で回答できるようにしてもよい。

システム内に複数のエージェントが存在してもよい。複数のエージェントが共同でグループ反応評価システムを提供してもよい。エージェントの数は限定されない。例えば、２以上であってもよく、１０以上であってもよく、１００以上であってもよく、１，０００以上であってもよく、１０，０００以上であってもよく、５０，０００以上であってもよく、１００，０００以上であってもよく、５００，０００以上であってもよく、１，０００，０００以上であってもよく、５，０００，０００以上であってもよく、１０，０００，０００以上であってもよく、５０，０００，０００以上であってもよく、１００，０００，０００以上であってもよく、１，０００，０００，０００以上であってもよく、それ以上であってもよい。また、予め選択したエージェントのグループを用いるようにしてもよい。例えば、好ましい特性あるいは特徴を有するエージェントを選択するようにしてもよい。あるいは、エージェントを母集団のなかから無作為に選択するようにしてもよい。

複数のエージェントがエージェントの集合を形成してもよい。エージェントの集合は、上記システムに接続された集団を含んでいてもよい。エージェントの集合は、上記システムに所定時間あるいは所定期間だけ接続されるものであってもよい。エージェントの集合は、大きなサンプルサイズを用いてもよく、最大化してもよい。エージェントの集合は、１または複数の選択肢に対する反応を供給する機会を与えられる集団を含んでいてもよい。エージェントの集合は、グループの反応を決定するのに重み付けや推定を必要としない、反応を受け取るのに好ましい集団であってもよい。上記のエージェントの集合は、質問あるいは１または複数の選択肢に対する回答を、エージェント全体を代表して上記システムと対話する。エージェントの集合は、質問あるいは１または複数の選択肢を提示されたエージェント全体を代表する。

エージェントを複数のグループ１４３０ａ，１４３０ｂ，１４３０ｃに分割してもよい。グループの数は特に限定されるものではない。例えば、２以上であってもよく、３以上であってもよく、５以上であってもよく、１０以上であってもよく、２０以上であってもよく、５０以上であってもよく、１００以上であってもよく、５００以上であってもよく、１，０００以上であってもよく、５，０００以上であってもよく、１０，０００以上であってもよく、５０，０００以上であってもよく、１００，０００以上であってもよく、５００，０００以上であってもよく、１，０００，０００以上であってもよく、それ以上であってもよい。各グループのサイズは実質的に同サイズであってもよい。あるいは、各グループのサイズが互いに異なっていてもよい。サイズが最大であるグループと最小であるグループとの差を、１倍未満、５倍未満、１０倍未満、あるいは１００倍未満に設定してもよい。グループ内のエージェントは、例えば単純無作為抽出法（ＳＲＳ；simple random sampling）あるいは層化抽出法など、任意のサンプリング方法を用いて選択することができる。グループ内のエージェントを、１または複数の無作為選択あるいは生成アルゴリズムを用いるプロセッサの支援により、例えば単純無作為抽出法（ＳＲＳ）あるいは層化抽出法などの任意のサンプリング方法を用いて選択してもよい。また、グループを、１または複数の基準（例えば、位置、ユーザの人口統計、装置のユーザ履歴、自主選択、あるいは他の基準など）に基づいて選択してもよい。グループ内の装置は同じものであっても異なるものであってもよい。例えば、システムが、モバイル端末１４４０ａを所持するユーザに要素を供給するようにしてもよく、コンピュータ１４４０ｆに供給するようにしてもよい。グループ内のユーザに対して、本明細書で示した各種装置など、任意のタイプの装置を介してコンテンツを提示するようにしてもよい。

本発明の実施形態では、１、２、あるいはそれ以上のサーバ１４００を備えていてもよい。サーバは、メモリおよび／またはプロセッサを備えていてもよい。上記メモリは、要素および／または要素に対する応答を記憶するものであってもよい。上記サーバは、上記装置に対して離れた位置に配置されていても、近接する位置に配置されていてもよい。上記サーバは、ネットワークを介して上記装置と通信を行う。クラウド通信インフラを提供してもよい。本明細書で開示する各種機能を、処理機能および記憶機能を分散させたクラウド通信インフラを用いて実行してもよい。あるいは、上記システムがピアツーピア（peer to peer）構造を用いるようにしてもよい。

１、２、あるいはそれ以上の制御装置１４１０を備えていてもよい。制御装置が、サーバおよび／または装置とネットワークを介して通信を行うようにしてもよい。制御装置は、本明細書に示したどのような装置であってもよい。制御装置は、メモリとプロセッサとを有する装置であってもよい。上記メモリは、１または複数の処理を実行させるためのロジック、命令、あるいはコードを非一時的に記憶する、コンピュータ読取可能な記録媒体の機能を有していてもよい。上記プロセッサは、上記のコンピュータ読取可能な記録媒体によって供給される１または複数の処理を実行する機能を有していてもよい。上記制御装置は、表示装置を備えていてもよい。上記表示装置がユーザインタフェースを表示してもよい。上記システムのユーザ１４５０が、ユーザインタフェースを介して上記制御装置と対話するようにしてもよい。上記ユーザは管理者であってもよい。ユーザが、ユーザインタフェース装置を介して対話するようにしてもよい。上記ユーザインタフェース装置としては、特に限定されるものではないが、例えば、キーパッド、タッチスクリーン、キーボード、マウス、トラックボール、タッチパッド、ジョイスティック、マイクロホン、カメラ、モーションセンサ、赤外線（ＩＲ）センサ、熱センサ、電気的センサ、あるいはその他のユーザ対話装置などを用いることができる。

上記装置は、当該装置のユーザエージェントにコンテンツおよび／または質問を表示するために用いられてもよい。上記ユーザは、グループの集合的な決定、意見、あるいは動作決定を提供するために上記質問に応答してもよい。上記質問は、管理者ユーザが制御装置あるいはサーバを介して決定するようにしてもよい。予め蓄積させたグループ評価のためのコンテンツおよび／または質問をシステムに供給してもよい。例えば、複数のテレビ番組を評価してもよい。

ユーザエージェントおよびそれに対応する装置をグループに分割してもよい。あるグループの各メンバには共通のコンテンツを公開し、異なるグループのメンバには異なるコンテンツを公開するようにしてもよい。例えば、第１グループには第１テレビ番組を公開し、第２グループには第２テレビ番組を公開してもよい。第１グループの各メンバに共通の第１コンテンツを公開し、第２グループの各メンバには通の第２コンテンツを公開してもよい。それぞれのグループのメンバには、上記コンテンツに対応する質問に対する応答機会が与えられる。グループのメンバがテレビ番組に投票（例えばグッド、バッド）するようにしてもよく、テレビ番組に順位付けあるいは評価（例えば１〜５の大きさ）するようにしてもよく、彼らに公開されたテレビ番組に関連する他の質問に応答するようにしてもよい。二者択一、複数の意見からの選択、あるいは自由な形態（ユーザが意見のタイプに限定されることなく、彼の望むように完全に自由に応答できる形態）で応答するようにしてもよい。

ユーザエージェントに対して、彼らに対応する装置あるいは別に設けられた表示装置を介してコンテンツを供給してもよい。例えば、テレビ番組などのコンテンツを、ユーザエージェントのモバイル端末を介してユーザエージェントに直接見せるようにしてもよい。あるいは、様々なユーザエージェントが別の装置に映し出されたものを見るようにしてもよい。上記質問を、ユーザエージェントに対して当該ユーザエージェントの装置（例えばモバイル端末）を介して提供してもよく、あるいは別の装置（例えばテレビ番組を映すスクリーン）を介して提供してもよい。ユーザエージェントの応答を彼らのそれぞれの装置が取得するようにしてもよい。上記応答は、上記装置を介して１または複数のサーバに送信される。上記サーバは、プロセッサを用いて、上記応答に関する１または複数の演算を行う。上記サーバがその後の処理を決定してもよい。管理者ユーザがコンテンツ、質問、および／または応答に関するデータを閲覧するようにしてもよい。管理者ユーザが、提供されるコンテンツ、グループのサイズおよび／または配分、提供される質問、応答に対して行うべき分析、および／または応答に応じてその後に行うべき処理などを決定するための、１または複数のパラメータを設定してもよい。あるいは、１または複数の管理上の機能を、プロセッサが人間の干渉を受けずに実行するようにしてもよい。

図１３は、本発明の一実施形態にかかるグループ反応評価システムを示している。コンテンツに対するグループの応答が決定される。例えば、上記グループ反応評価システムを用いてテレビ番組を評価することができる。

ユーザ１３００は、表示装置１３１０を介してコンテンツを提示される。表示装置は、ユーザにテレビ画像を提供するものであってもよい。例えば、ユーザがテレビ番組の評価を行う場合、ユーザは上記表示装置を介してテレビ番組を閲覧してもよい。上記コンテンツは、映像コンテンツであっても音声コンテンツであってもよい。

表示装置１３１０は、制御装置１３１４と通信を行う。例えば、表示装置と制御装置との間で、データおよび／または図表の通信が行われる。データおよび／または図表の双方向通信を行うようにしてもよい。表示装置から制御装置、および／または制御装置から表示装置に、管理上の情報を提供するようにしてもよい。上記制御装置が、表示装置にどのコンテンツを表示させるかを決定するようにしてもよい。ユーザが提供されるコンテンツを決定するようにしてもよい。あるいは、ソフトウェアプログラムが、提供されるコンテンツを、人の干渉を受けることなく自動的に決定するようにしてもよい。また、ユーザに表示して提示するコンテンツを、ユーザが属するグループに応じて選択するようにしてもよい。

ユーザ１３００が投票アプリケーション１３１２と通信を行うようにしてもよい。投票アプリケーションは、ユーザに提示する質問を提供するとともに、ユーザからの回答を受信する。あるいは、投票アプリケーションが、投票の選択肢を提供し、ユーザによる投票を受信するようにしてもよい。ユーザに提供する質問は、オープン（例えば自由に回答できる質問）であってもよく、半オープン（例えば、ランキング、多数の選択肢、レイティングなどから選択される複数の選択肢）であってもよく、非オープン（例えば、「はい」または「いいえ」の二者択一）であってもよい。

上記投票アプリケーションは、ユーザが対話を行う装置に備えられていてもよい。また、上記投票アプリケーションは、ブラウザに表示されてもよい。上記投票アプリケーションは、上記装置にダウンロードされるプログラムであってもよく、そうでなくてもよい。上記投票アプリケーションは、上記装置に永続的に備えられるメモリに記憶されていてもよく、そうでなくてもよい。ユーザにコンテンツ（例えばテレビ番組など）を提供する表示装置は、同じ装置の一部であってもよく、別体の装置であってもよい。

投票アプリケーション１３１２がサーバ１３１６と通信を行うようにしてもよい。また、上記投票アプリケーションはサーバの一部であってもよい。また、上記サーバが上記投票アプリケーションに命令を供給するようにしてもよい。また、上記サーバが上記投票アプリケーションに質問を供給するようにしてもよい。また、上記サーバが上記投票アプリケーションから応答を受信するようにしてもよい。また、上記サーバが、上記応答に基づいて次の質問を生成するようにしてもよい。また、上記サーバが制御装置１３１４と通信するようにしてもよく、そうでなくてもよい。

本明細書に開示するシステムおよび方法は、グループに対する多数の質問がある場合のグループの反応の評価に有効である。以下に示す例は、多数のグループに対する多数の質問を行うシナリオを示している。質問の数は、特に限定されるものではない（１以上であってもよく、２以上であってもよく、５以上であってもよく、１０以上であってもよく、２０以上であってもよく、５０以上であってもよく、１００以上であってもよく、２００以上であってもよく、５００以上であってもよく、１，０００以上であってもよく、５，０００以上であってもよく、１０，０００以上であってもよく、５０，０００以上であってもよく、１００，０００以上であってもよく、５００，０００以上であってもよく、１，０００，０００以上であってもよく、５，０００，０００以上であってもよく、１０，０００，０００以上であってもよく、５０，０００，０００以上であってもよく、１００，０００，０００以上であってもよい。）
（実施例１）
例えば、１００，０００人のグループに１，０００個の質問をしてもよい（評価のための１，０００個の要素が存在してもよい）。１００％の精度（信頼度）を得るためには、グループの各メンバ（１００，０００人）に１，０００個の質問をする必要がある。すなわち、合計で、１，０００×１００，０００＝１００，０００，０００個の質問、換言すれば各グループのメンバそれぞれに対して１０００個の質問が必要である。

本明細書に開示するシステムおよび方法を用いることにより、１００人のメンバ（このサイズは要求される精度による）のサンプルを１，０００個抽出し、個々のサンプルの全てのメンバに異なる質問（合計で１００，０００，０００個の質問ではなく、１００，０００個の質問）を割り当てることができる。すなわち、各グループのメンバは、１，０００個の質問に回答するのではなく、１個の質問に回答する。

全ての質問に対するグループ全体の反応の評価を、サンプルのサイズに応じて設定された信頼度で得ることができる。

これにより、各グループのメンバの仕事量を大幅に低減するとともに、コミュニティの立場の評価に必要な時間を大幅に低減できる。我々は１００％の信頼度ではなく９８％の信頼度を想定している。実際のほとんどのケースではこれで十分な信頼度が得られる。

上述した例について、より具体的な例を示す。グループ内に人間が含まれているものとする。本明細書に開示するグループ反応評価システムおよび方法は、人間、コンピュータ等の他のエントリ、あるいは他の装置を用いることができる。

ある実施例では、Ｍ人のメンバからなるエージェントの集合にＱ個の質問を行う。ＱおよびＭは任意の正の整数である。エージェントの集合はＱ個のグループに分けられ、各グループにはＭ／Ｑ人のメンバが割り当てられる。Ｍ／Ｑが整数ではない場合、グループの人数はＭ／Ｑに最も近い正の整数（Ｍ／Ｑより大きいかあるいは小さい）であってもよい。例えば、５個の質問が供給され、エージェントの集合が全部で２４人である場合、５個のグループに分けられ、４個のグループには５人のメンバ、１個のグループには４人のメンバが割り当てられる。グループのメンバは無作為に選択されてもよい（例えばエージェントの集合を無作為にＮ個のグループに分けてもよい）。

各グループの各メンバには上記質問の１つが提示される。例えば、上記質問はＱ１，Ｑ２，Ｑ３，・・・ＱＱを含んでおり、Ｑ個のグループがある場合、グループ１の各メンバには質問Ｑ１、グループ２の各メンバには質問Ｑ２、・・・グループＱの各メンバには質問ＱＱが提示される。各質問に対する応答がそれぞれのグループのメンバから収集される。

我々の関心は、要素の集合に対するグループの反応、すなわち各要素についてのグループの反応を知ることにある。

１００％の信頼度が要求される場合、各エージェントに全てのオブジェクト（上述した例では１００，０００，０００個の質問）を提示するしかない。しかしながら、統計評価を代わりに用いることにより、エージェントの労力および処理時間を低減するとともに、高い信頼度を得ることができる。

本明細書に開示するシステムおよび方法によれば、要素の集合における全ての要素に対するグループの全てのエージェントの反応について、最小あるいは可能な限り低減した提示で、予め設定した統計的信頼度で評価することができる。

（グループ反応評価エンジン）
グループ反応評価エンジンが、グループの母集団から個人の任意のグループを形成する複数の無作為サンプルを生成してもよい。各グループは、無作為に選択された個人によって形成される。その後、上記母集団の部分集合が、要素の集合に対するグループの反応を統計的に評価するための重要なサンプルとして用いられる。図２を参照しながら処理を説明する。

図２の左側に示した要素は要素の集合を示している。この要素の集合に対するグループ（大きな円）の反応の評価を行う場合を想定する。エージェントのサンプルは、上記グループの中から任意に選択される（小さな楕円）。各要素は、サンプルのエージェントの反応を決定するために１つのサンプルに割り当てられる。図２の右側には、エージェントのサンプルの反応に応じて並べられた要素の集合が示されている。このように、大きな円の中のエージェントは、複数のグループ（小さな楕円）に無作為に分けられる。上記の小さな楕円は、同じサイズ（同じエージェント数）であっても異なっていてもよい。

例えば、要素の集合は５以上の要素（例えば要素Ａ，Ｂ，Ｃ，Ｄ，Ｅ）を含んでいてもよい。個人のグループを無作為に抽出してもよい。各グループに１つの要素を提示（例えば、グループＡには要素Ａ、グループＢには要素Ｂ、・・・）するようにしてもよい。同じ要素を異なるグループに提示しないようにしてもよい。例えば、要素ＡをグループＡのみに提示してもよい。あるいは、同じ要素を異なるグループに重畳して提示するようにしてもよい。各グループに対して、それぞれ１つの要素のみを提示するようにしてもよい。例えば、グループＡには要素Ａのみが提供されてもよい。あるいは、グループに複数の要素を提示してもよい。グループと提供される要素との間に１対１の関係を与えてもよい。

例えば、グループＡは要素Ａに反応し、グループＢは要素Ｂに応答し、グループＣは要素Ｃに応答するというように、個々のグループが供給された要素に応答する。グループの各メンバから上記要素についての応答を収集する。例えば、グループＡに１００人のメンバが含まれる場合、１００人のメンバのそれぞれが要素Ａに応答する。あるいは、１または複数のメンバが要素Ａに応答するようにしてもよい。１または複数のメンバが要素Ａに応答するようにしてもよい。あるいは、グループの全てのメンバが応答してもよい。

応答の形式は特に限定されず、オープンクエスチョン、レイティング、ランキング、複数の選択肢、二択問題などに対する応答を含んでいてもよい。

着目反応が設定されると、上記要素は着目反応に対する近さに応じて並べられる。例えば、応答の選択肢が「はい」または「いいえ」であり、着目反応が「はい」である場合、上記要素は当該要素の「はい」反応に対する近さに応じて並べられる。例えば、図２に示したように、要素Ｃは「はい」反応を８５％受領しており、「はい」反応が次に高い要素Ｅは「はい」反応を７５％受領している。要素Ｂは「はい」反応が最低の４５％である。このことは、グループＣのメンバの８５％が要素Ｃに「はい」を投票したこと（例えば、グループＣに１０００人のメンバが含まれる場合、８５０人のメンバが「はい」に投票したこと）を意味している。あるいは、要素Ｃに投票した人のうちの８５％の人が「はい」を投票したこと（例えば、グループＣに１０００人のメンバが含まれており、そのうち５００人のみが投票した場合、４２５人のメンバが「はい」を投票したこと）を意味する。

着目反応は必ずしも二択である必要はない。例えば、反応が１から１０まで並べられる場合、着目反応は１０であってもよい。各反応を平均ランキング値に応じて並べてもよい（例えば、要素ＣがグループＣから平均値８．５を取得し、要素ＥがグループＥから平均値７．５を取得した場合、要素Ｃを要素Ｅよりも高い位置に配置するようにしてもよい）。

要素を着目反応に対する近さに応じて並べてもよい。例えば、着目反応は、肯定的な反応あるいは好意的な反応であってもよい。着目反応は肯定的あるいは好意的な要素に対する近さを示してもよい。例えば、要素Ｃの「はい」の割合が要素Ｂよりも高い場合、要素Ｃは要素Ｂよりも好意的と考えられる。着目反応に対する近さは、当該要素が着目反応によって示される資質を有していることを示している。例えば、着目反応が「面白さ」である場合、当該要素を「面白い」と選択したエージェントの数が最も多い要素が最も面白いとみなされる。

各サンプルに１または複数の要素を提示してもよく、各要素を１または複数のサンプルに提示してもよい。例えば、各サンプルに１つの要素のみを提示してもよい。あるいは、サンプルグループに複数の要素を提示してもよい。例えば、サンプルグループに連続した複数の質問を提示してもよい。複数の要素を連続して提示してもよく、同時に提示してもよい。各要素を１つのサンプルグループにのみ提示してもよい。あるいは、１つの要素を、単独あるいは他の要素と組み合わせて、複数のサンプルグループに提示してもよい。

本発明の一態様では、１または複数の選択肢に対するエージェントの反応を提供する、複数のエージェントを含むエージェントの集合の反応を評価するためのコンピュータを用いた方法を提供する。上記方法は、複数の選択肢を含む第１の選択肢集合を提示する工程、コンピュータのプロセッサが、各エージェントがエージェントの集合から無作為に選択される１または複数の個々のエージェント部分集合に属するように、エージェントの集合を第１の複数のエージェント部分集合に分割する工程、上記第１の選択肢集合を複数の選択肢部分集合に分割する工程、それぞれのエージェント部分集合に１または複数の異なる選択肢部分集合を割り当てる工程、割り当てた各選択肢部分集合における全ての選択肢をそれぞれのエージェント部分集合内の各エージェントに提示する工程、およびそれぞれのエージェント部分集合内の各エージェントから提示された各選択肢部分集合における全ての選択肢に対するエージェント反応を取得する工程のうちの１または複数の工程を含む。１または複数のエージェントが１つのエージェント部分集合に属していてもよい。１つの選択肢部分集合に１または複数の選択肢が含まれていてもよい。各選択肢部分集合に少数の選択肢が含まれていてもよい。例えば、各選択肢部分集合に、１以下、２以下、３以下、４以下、５以下、６以下、７以下、１０以下、１５以下、あるいは２０以下の選択肢が含まれていてもよい。上記選択肢に、提案、質問、質問に対する応答、二択２択問題、あるいはレイティングなど、どのような組み合わせが含まれていてもよい。上記選択肢は、１または複数のエージェント、コミュニティ、あるいは他の出所によって提供されるものであってもよい。エージェントの集合におけるエージェント部分集合の間で並行して評価を行ってもよい。上記評価は、それぞれのエージェント部分集合に提示された各選択肢部分集合における全ての選択肢の評価を含んでいてもよい。

上記方法は、コンピュータのプロセッサが、上記第１の選択肢集合における各選択肢に対するエージェントの集合の反応の統計評価を、割り当てられた選択肢部分集合に対するそれぞれのエージェント部分集合のエージェント反応の分析の抜粋に基づいて推測する工程を含んでいてもよい。統計評価の方法は特に限定されず、本明細書に開示するどのような方法を用いてもよい。上記統計評価は、信頼区間を含んでいてもよい。上記統計評価は、提案などの１または複数の選択肢に対するユーザの賛成率を含んでいてもよい。上記の統計評価に基づいて結論を形成してもよい。上記の結論をエージェントの集合の反応に基づいて決定してもよい。上記結論は、予め設定された信頼水準の限られた数の選択肢を含んでいてもよく、エージェントの集合によって選択された最も好ましい数の選択肢に到達した場合に目的が達成されるものであってもよい。上記の最も好ましい選択肢は、着目反応について最も高い賛成率を有する選択肢であってもよい。

第１の選択肢集合における選択肢の総数の、それぞれのエージェントの集合に提示されるように割り当てられる選択肢部分集合における選択肢の数に対する比率は、２：１以上であってもよい。上記比率は、３：１以上であってもよく、４：１以上であってもよく、５：１以上であってもよく、７：１以上であってもよく、１０：１以上であってもよく、５０：１以上であってもよく、１００：１以上であってもよく、５００：１以上であってもよく、１，０００：１以上であってもよく、５，０００：１以上であってもよく、１０，０００：１以上であってもよく、１００，０００：１以上であってもよく、１，０００，０００：１以上であってもよい。上記第１の複数のエージェント部分集合の数は、上記第１の選択肢集合における選択肢の数に基づいて決定してもよい。複数のエージェント部分集合の数を選択肢部分集合の数に応じて決定してもよい。例えば、エージェント部分集合の数は、選択肢部分集合の数と同数であってもよい。

（グループ反応評価システムの出力）
本発明の一態様にかかる反応評価システムおよび方法において、複数のアプリケーションを用いて異なる処理を行ってもよい。基本的に、要素の集合における各要素に対するグループの反応のうちの特定の反応あるいは着目反応に関して３種類の出力を提供することができる。

（１．信頼区間）
各要素に対するグループの立場（反応）を評価してもよい。決定、意見、あるいは動作設定（例えば統計）システムおよび方法は、グループ反応割合の最大値および最小値を我々に与える。各要素についてのグループ反応割合は所定の信頼水準における最小値と最大値との間（信頼区間）に位置する。

例えば、図２の例の場合、要素Ｃの着目反応の値は９９％の信頼水準で７８％から８６％の間である。上記信頼区間は最小値あるいは最大値の固定範囲であってもよく、変化してもよい。上記信頼区間は最小値と最大値の間の選択された範囲で決定されてもよい。

信頼区間を設定するために、無作為サンプルの投票に基づくグループ反応割合を評価することができる方法として、例えば、調整ワルド法（Adjusted Wald method；他の統計手法）などを用いてもよい。

（２．候補リスト）
候補リストは、着目反応に関する高いグループ反応割合（実際に着目反応に十分に近い反応）を得る要素を含む確率が所定値（所定の信頼水準）以上である要素の部分集合である。我々はこれを「候補リスト」と称する。候補リストの一例としては、グループの全てのメンバによる投票数が９９％の信頼水準で上位１０位以内である１０個の提案のリストが挙げられる。

候補リストを生成するために、ベータ二項分布モデル（あるいは他の統計手法）を用いてもよい。例えば、各要素についてのグループ反応割合の分布を推定するために無作為サンプルの投票に基づくベータ二項分布モデルを用いてもよい。この方法により、各要素について、他の全ての要素よりも多く投票された確率を容易に算出できる。要素のリストは、要求される信頼水準以上である可能性の高いＮ個の第１要素を高確率のものから低確率のものの順に並べたものであってもよい。上記Ｎは、１以上の全ての数（例えば１，２，３，４，５，６，７，８，９，１０，・・・）で有り得る。

上記候補リストに含まれるメンバの数は、固定値であってもよく、選択可能であってもよい。例えば、上位Ｎ個（Ｎは選択可能な数）の要素であってもよい。また、上記候補リストは、所定の信頼水準あるいは閾値を満たすメンバを、所定の信頼水準あるいは閾値を満たすメンバの数にかかわらずに含んでいてもよい。例えば、閾値が８０％に設定されている場合、上記候補リストは、指定された信頼水準が上記閾値を満たす全てのメンバを含んでいてもよい。

（３．各要素についての候補リストの全ての要素の中で最も多く投票された確率）
上記確率を算出するために、ベータ二項分布モデル（あるいは他の統計手法）を用いてもよい。

反応評価システムおよび方法の用途に応じて、これらの出力を組み合わせて用いてもよい。我々は、これらのシステムおよび方法の用途を例示する。

本明細書に開示する実施例および方法では統計的手法の公式を用いる。ただし、要素の集合に対するグループの反応の評価のために統計的手法の公式を用いることは必須ではない。発見的方法を用いることもできる。以下に例を示す。

Ｎ１個の選択肢のうちグループのエージェント（例えば人）によって「最も多く投票された」選択肢を評価することが望まれる場合がある。上記の最も多く投票された選択肢は、全てのエージェントに投票を依頼した場合に投票される選択肢であるかもしれない。評価結果は「勝利選択肢」とみなすことができる。

上記システムおよび方法は、グループのエージェント（人）による所定数の意見を受け入れるものであってもよい。

上記システムおよび方法は、意見の集合の部分集合を、投票を行うエージェントの集合（あるいはエージェントのグループ）の部分集合に送信してもよい。

上記システムおよび方法は、エージェントの部分集合による投票数の上位Ｎ２個の選択肢を選択してもよい。Ｎ２は、用途に応じてどのような基準で設定してもよい（例えば、最低得票率（％）、信頼できる選択肢の数、選択肢の数に基づく演算、エージェントの数、投票の繰り返し回数、あるいはその他の基準など）
エージェントの部分集合による投票数の上位Ｎ２個の選択肢に対して、投票を繰り返してもよい。この場合、Ｎ２はＮ１よりも明らかに小さくなる。これにより、エージェントの部分集合は前回の投票よりも多くなり、結果リストに含まれる要素数Ｎ３はより少なくなる。

勝利選択肢が得られるまで、投票を何回行ってもよい。例えば、１回以上行ってもよく、２回以上行ってもよく、３回以上行ってもよく、４回以上行ってもよく、５回以上行ってもよく、６回以上行ってもよく、７回以上行ってもよく、８回以上行ってもよく、９回以上行ってもよく、１０回以上行ってもよい。

本明細書に開示する方法により、異なるタイプの母集団に対する異なるデータモデルを用いたシミュレーションに基づいて、３回未満の投票で勝利選択肢を得ることができる。勝利選択肢は得票数が最大の選択肢であってもよく、得票数が最大である選択肢よりも１％低い賛成率の選択肢（例えば、得票数が最大である選択肢の賛成率が８３％である場合、本発明の方法を用いた場合では賛成率８２％以上の選択肢を勝利選択肢とする）であってもよい。

（単純性と透明性）
単純性と透明性は、本発明の実施形態によって得られる、上記の決定、意見、あるいは動作決定システムおよび方法の２つの利点である。単純なアルゴリズムにより、誰もが手順を理解して使用することができる。本明細書に示すシステムおよび方法はユーザに対する透明性を有していてもよい。このことは、上記の決定、意見、あるいは動作決定システムを用いるアプリケーションの全てのユーザが、コミュニティの各決定をコミュニティの一部として実際に決定しているという事実を認識することを意味する。ユーザが使用されるアルゴリズムあるいは実行される演算のタイプを把握できるようにしてもよい。上記システムは、実行する方法論をユーザに通知する透明性のあるシステムであってもよい。ユーザが、アルゴリズムおよび／または演算の結果を把握できるようにしてもよく、把握できないようにしてもよい。例えば、ユーザが、ユーザのグループ内あるいはエージェントの全体集合内の他のユーザの結果を知ることができるようにしてもよく、知ることができないようにしてもよい。ユーザが応答、要素の順位、あるいは他の結果を知ることができるようにしてもよく、知ることができないようにしてもよい。

エージェントの反応を用いて行われる、選択された分析についての情報を、エージェントに反応の機会を与える前に、エージェントが共有して利用できるようにしてもよい。

グループ反応評価システムおよび方法の異なる利用例を解釈する時には、単純性と透明性が上記システムおよび上記方法の原動力であるから、そのことを覚えておくことが重要である。異なる分野（インターネット、テレビ、・・・）における統計モデルのアプリケーションは複数存在しているが、それらの従来技術はいずれもユーザに対する透明性を有していない。それらは統計演算の主題に対して受動的であり、決定権はなく、得られた決定についての当事者意識も持てなかった。

これに対して、本明細書に示すグループ評価システムは、多人数が彼らに関連する全ての決定（例えば新しい携帯電話あるいは新しい車の特徴、お気に入りのテレビ番組の予定あるいは野球チームの戦略など）に参加することができるツールである。

（同期モードおよび非同期モード）
多くの実施例では、結果および情報を迅速に提供するための統計手法の能力を得るために、同期モードについて説明する。しかしながら、例えば質問に対する回答、調査に対する参加、あるいはその他の事例など、遅延が生じても問題がない場合には、非同期モードに適用してもよい。

グループの反応を短時間で得るようにしてもよい。例えば、１日未満、１２時間未満、６時間未満、３時間未満、２時間未満、１時間未満、３０分未満、１５分未満、１０分未満、５分未満、２分未満、１分未満、３０秒未満、１０秒未満、５秒未満、あるいは１秒未満でグループの形成および／または質問の提示を行ってグループの反応を取得してもよい。グループのメンバが同時にフィードバックを行えるようにしてもよい。例えば、エージェントの集合のメンバが特定の期間内（例えば短時間の期間内）に反応を提示できるようにしてもよい。グループのメンバがコンテンツおよび／または質問を同時に開示されるようにしてもよい。

また、グループの反応を所定期間までに得るようにしてもよい。グループの個々のメンバの反応を短時間の期間内に得るようにしてもよい。例えば、１時間未満、３０分未満、１５分未満、１０分未満、５分未満、２分未満、１分未満、３０秒未満、１０秒未満、５秒未満、あるいは１秒未満でグループを配置するかコンテンツを開示してメンバの反応を取得するようにしてもよい。複数のメンバのそれぞれからの応答を、メンバ毎に異なる時間内（例えば、個々のメンバにコンテンツが開示された時間内、ログオンしている時間内、および／またはグループに提示された異なる時間内）に集めるようにしてもよい。メンバにコンテンツおよび／または質問を所定期間まで開示してもよく、各メンバに同時に開示しなくてもよい。

（グループ反応評価システムの他の適用例：新規なクラウドソーシング）
以下に示す、本発明のシステムおよび方法を用いたアプリケーションは、これまでに知られておらず、上記システムおよび方法を用いなければ不可能であったサービスを提供できる。グループ反応評価システムおよび方法を用いた新規なアプリケーションは、集団の理解能力（例えば図４参照）を著しく促進させる新規なクラウドソーシング（例えば図３参照）になるだろう。

（グループの中央管理）
グループ中間管理モードでは、エージェントに開示する要素を決定する制御センタ（個別あるいはチーム）、すなわちグループの反応の評価方法に従ってある要素に対するグループの反応を評価する管理センタが存在する。上記管理センタは、グループ反応評価システムとの対話能力を有する１または複数の管理者ユーザを含んでいてもよい。

このモードの一例として、テレビ番組の成功に重要な要素についての視聴者の反応を評価することが可能な、グループ反応評価システムを用いるテレビ番組に関するアプリケーションが挙げられる（実施例２参照）。

（実施例２）
１，０００，０００人（エージェント）の集団（グループ）が参加するテレビ番組を想定する。視聴者は、コンテストに参加するために写真（要素）を送ることができる。再考得票数の写真に賞が与えられる。先着１０，０００個の写真がコンテストへの参加を許可される。通常は、最善の写真を決定するために、審査員に１０，０００個の写真を見て最善の写真に投票することが要求されるだろう。従来のシステムでは、各審査員は、１０，０００個の写真を見て思い出しながら最善の写真を決定する必要があるので、現実的ではない。

また、通常は番組を成功させるために視聴者に写真への投票に参加させることが考えられるが、その場合、１００，０００個の写真についてそれぞれ１，０００，０００人に尋ねる必要があり、また、テレビ番組の予定に応じた時間内で視聴者にそれらの写真を開示する必要があるので、それは困難である。

グループ反応評価システムのアルゴリズムでは、視聴者全員を審査員とすることができる。本発明のシステムおよび方法は、視聴者の意見に応じた最善の写真を瞬間的に（例えば短時間で）決定することができる。このことは、上記アルゴリズムの「候補リスト」を用いることで実現できる。

（統計のマジック）
最高得票数の写真を１００％の信頼度で見つける場合、すなわち、１，０００，０００人の視聴者に１０，０００個以上の写真の中から最善の写真に投票させる場合、視聴者の各人に１０，０００個の写真を見せて投票させる必要がある。

これに対して、本発明の方法では、１，０００，０００人の視聴者の中から１０，０００人のサンプルを無作為に抽出する。上記サンプルを無作為に抽出すること（あるいは他の統計的に意味のあるサンプリング方法で抽出すること）は、上記サンプルが視聴者全体を統計的に代表するサンプルであることを意味している。

１つの写真が１０，０００人の無作為サンプルのそれぞれに送信され、そのうち１００人によって投票される（好き／好きではないが投票される）。

得票数の上位Ｎ個の写真が選択される。

得票数の上位Ｎ個の選択肢がエージェントの部分集合によって選択されてもよい。Ｎは利用方法に応じた基準（例えば、投票数の最低パーセンテージ、選択肢の数、選択肢の数に基づく計算、エージェントの数、投票の繰り返し回数、あるいはその他の方法など）に基づいて決定すればよい。

得票数が上位であるそれらＮ個の選択肢を、再投票のためにエージェントの部分集合に提示する。この際、投票可能な選択肢の数を前回の投票時の選択肢の総数よりも少なくし、エージェントの部分集合の数を前回よりも多くして、サンプルを前回よりも統計的に有意にする。

勝利選択肢が得られるまで必要な回数だけ投票を繰り返す。

本発明の方法によれば、異なるタイプの集団に異なるデータモデルを同時に用いることにより、どの選択肢が最高得票数の選択肢であるかの投票を平均で３回行うことで、勝利選択肢、あるいは最高得票数の選択肢よりも１％未満の賛成率である選択肢を決定できる（例えば、最高得票数の選択肢の賛成率が８３％である場合、本発明の方法を用いて決定される勝利選択肢は８２％以上の賛成率を有している）。平均１％の誤差を許容できる場合、１人あたり３回投票するだけでよい。

いくつかの仮定がなされる：当該写真に対する視聴者の意見が全て「良い」である場合には何ら寄与しない。しかし、そのような事例は非常に稀な事例である。この例は、投票率に関するパラメータαについての値が２である有界パレート分布と仮定することができ、通常は有り得ない。

上記グループ反応評価方法が、１００人のメンバからなる１０，０００個の無作為サンプルを自動的に選択し、各写真がサンプルの１００人に割り当てられるように各サンプルに写真を振り分けるアルゴリズムを含んでいてもよい。この例の場合、各メンバは１つの写真に対して好きか嫌いかを投票すればよい（はい／いいえだけではなく多様な回答を受け付けるようにしてもよい）。

グループに含まれるメンバを任意の方法で決定してもよい。プロセッサによって任意のグループを選択してもよい。サーバのプロセッサがグループを生成してもよい。グループの数は要素の数と同数であってもよい。例えば、１０，０００個の提案がある場合、各提案にそれぞれ対応する１０，０００個のグループを設けてもよい。各グループ内のメンバの数は、実質的に同数であってもよく、異なっていてもよい（例えば、１人未満、５人見綿、１０人未満、あるいは１００人未満の範囲で異なっていてもよい）。例えば、グループのメンバの数（例えば１００）は、集団全体の数（例えば１，０００，０００人）を提案の数（例えば１０，０００個）で除算した数であってもよい。集団全体の数を提案の数で除算した値が整数ではない場合、グループのメンバの数が略一致するように一部のグループのメンバの数を上記値から繰り上げまたは繰り下げてもよい。例えば、集団の数が１０，０００人であり、３つの提案がある場合、３つのグループを形成し、第１グループのメンバを３，３３３人、第２グループのメンバを３，３３３人、第３グループのメンバを３，３３４人に設定してもよい。

プロセッサが、９９％の信頼度で勝利写真を含む、７０個の写真の候補リストを取得するための統計分析を自動的に行うアルゴリズムを実行するようにしてもよい。上記候補リストを信頼度（例えば信頼度８０％、信頼度９０％、信頼度９５％、信頼度９９％、信頼度９９．５％、信頼度９９．９％など）に基づいて選択するようにしてもよい。上記信頼度の閾値は、ユーザが設定するパラメータであってもよく、ソフトウェアアプリケーションが設定するパラメータであってもよい。上記候補リストに含まれる提案は、他の提案の中でのランキングの順位（例えば上位１０個の提案、上位１００個の提案、上記１，０００個の提案など）に基づいて選択されてもよく、信頼度とランキングとの組み合わせに基づいて選択してもよい。また、上記アルゴリズムが、上記候補リストにおける各写真について、最高得票数の写真である可能性に関する情報を通知するようにしてもよい。

上記候補リストの各要素の値（投票数）の信頼区間を提示するようにしてもよい。

（２回目、３回目、・・・ｎ回目と実行していくアルゴリズム）
上記アルゴリズムを繰り返し実行してもよい。それにより、候補リストを生成できる。上記アルゴリズムを、視聴者全体によって投票されるのに十分な候補リストが生成されるまで多数回繰り返してもよい。次の選択肢集合を生成するために前回の反復から得られる統計評価を用いてもよい。次の選択肢集合は、前回の選択肢集合から選択される１または複数の選択肢を含む候補リストであってもよい。上記選択肢を、エージェントによる賛成率が所定の閾値を超えた場合あるいは所定の信頼水準を超えた場合に候補リストとして選択するようにしてもよい。候補リストに所定数以下の選択肢が含まれるようにしてもよい。

上記アルゴリズムは、本明細書に開示する任意の工程（例えば上述した任意の工程）を含んでいてもよい。上記工程には、集団全体を無作為に選択した複数のサンプルグループに分割する工程、１または複数の要素を各サンプルグループに提示する工程、および各要素に対する反応を各サンプルグループのメンバから取得する工程が含まれていてもよい。例えば、最初の提案が１０，０００個存在し、上記アルゴリズムを実行した後に７０個のサンプルからなる候補リストが生成されてもよい。

この例では、上記アルゴリズムを２回実行し、それぞれ１４，２８６人のメンバからなる７０個のサンプルを無作為に選択し、候補リストの７０個の写真の１つを上記サンプルの１４，２８６人の各メンバに提示する。サンプルが大きいほど高い精度で４個未満の写真からなる候補リストを得ることができる。また、上記リスト内に勝利写真が含まれている信頼水準として９９％を保証することができる。

リスト上の４個の写真から選択することは容易である。最終投票のために視聴者全体に４個の写真を送信すればよい。

上記の例は、アルゴリズムを２回実行する実施例を示している。他の実施例として、上記アルゴリズムを、所望する信頼水準を得るのに必要な回数だけ実行してもよい。アルゴリズムを１回のみ実行するようにしてもよく、２回実行するようにしてもよく、３回実行するようにしてもよく、４回実行するようにしてもよく、５回実行するようにしてもよく、６回実行するようにしてもよく、７回以上実行するようにしてもよく、所望する信頼水準あるいは他のパラメータに応じた回数実行するようにしてもよい。上記アルゴリズムを実行する毎に、リストにおける提案の数が減少していくようにしてもよい。例えば、アルゴリズムの１回目の実行時には、第１要素集合を集団に提示する。上記アルゴリズムの２回目の実行時には、上記第１要素集合のうちの「候補リスト」が生成される。上記第２要素集合は、第１要素集合よりも少ないメンバを有している。次の要素集合として、前回の要素集合よりも少ないメンバを有する要素集合を生成するようにしてもよい。例えば、第３要素集合は第２要素集合あるいは第１要素集合よりも少ない要素を含み、第４要素集合は第３要素集合よりも少ない要素を含むようにしてもよい。

上記アルゴリズムを所定の信頼水準で単一の出力に絞られるまで実行してもよい。上記アルゴリズムを、所定の信頼水準で許容可能な数（例えば、１０個以下、７個以下、５個以下、４個以下、３個以下、２個以下、１個のみなど、集団全体が投票できる数）の出力に絞られるまで実行してもよい。アルゴリズムの初回実行時の信頼度を、全体に要求される信頼水準よりも多少高く設定してもよい。

上記アルゴリズムを所定の目的が達成されるまで実行するようにしてもよい。所定の目的が達成されていない場合には、上記アルゴリズムを追加で行う。例えば、上記アルゴリズムの実行は、プロセッサが、前回の実行からの統計評価を用いて前回の選択肢集合のうちの１または複数の選択肢を含む次の選択肢集合を生成する処理を含んでいてもよい。上記の前回の選択肢集合は上記第１選択肢集合であってもよい。上記アルゴリズムは、無作為に選択されたエージェントが上記エージェント集合の１または複数の各エージェント部分集合に含まれるようにプロセッサがエージェント集合を複数のエージェント部分集合に分割する処理、次の選択肢集合を複数の次の選択肢部分集合に分割する処理、次のエージェント部分集合のそれぞれに１または複数の異なる次の選択肢部分集合を割り当てる処理、次の選択肢部分集合における全ての選択肢を、次のエージェント部分集合内の各エージェントに提示する処理、および／または、所定の目的が達成された場合にエージェント集合の反応に基づいて結論を決定する処理を含んでいてもよい。上記の所定の目的が得られない場合、上記アルゴリズムを繰り返せばよい。

上述した実施例２は、テレビ番組の主催者がグループ反応評価システムおよび方法を用いて行うことのできる具体的な事例を示している。しかしながら、グループ反応評価システムは、テレビ番組に多くの可能性を与えるものである。例えば、以下に示すような例が考えられる。
−任意の主題についての視聴者の意見を知る。
−視聴者にオープンクエスチョンを提示し、全ての回答を取得して最適な回答を選択する。
−視聴者に５００個のはい／いいえの二択の質問を並行して行う。
−視聴者に彼らが選択可能な複数の選択肢を提示する。
−視聴者が番組内のキャラクタを管理できるようにする。
−番組で最近扱った主題についての視聴者の関心のレベルを知る。
−広告の焦点に対する視聴者の関心についての情報を用いる。
−スポーツイベントにおいて、
○当該イベントを見ているチームのファンの意見を知る。
○観客が作戦や戦略のキャラクタを管理できるようにする。
−視聴者の好みに基づいて番組を管理する。
−オンラインショッピング：瞬間毎の視聴者の好みに応じて提示する商品を調整する。
−討論会：
○参加者についての視聴者の意見をリアルタイムに知る。
○参加者の質問についての視聴者からの意見を受信する（リアルタイムで）。
○参加者からの質問をリアルタイムで視聴者に問いかける。
−新しいタイプの番組の可能性：
○視聴者のリアルタイムの好みに基づいて報道を対話型で発展させる。
○視聴者がキャラクタとして参加できる劇場型の娯楽。

現在のテレビの水準では、テレビ画面とセカンドスクリーンアプリケーションの両方で、グループ反応評価システムを用いるアプリケーションの異なる部分を実行できる。双方向テレビが発展すると、すぐにグループ反応評価システムは未来の統合型テレビの特徴に統合されるかもしれない。

例えば、新製品を売り出す前のマーケティング会社においてグループ中央管理モードを用いてもよい。マーケティング部門は、潜在的な顧客と接触して彼らが関心を持つ新しい特徴をより適切に知ることができる。これは、同期モード（質問が提示されたときにクライアントがオンラインで瞬間的に回答するモード）および非同期モード（選択肢をクライアントが所望するタイミングで選択できるモード）の両方で実施できる。

（組み合わせの設計）
組み合わせの設計は、特殊な特性を有するグループ中央管理モードの一種である。中央管理は、いくつかの範囲でグループ化された異なる選択肢の中から、異なる範囲で制限あるいは条件付けされた選択肢のうちの１つを選択する方法の選択の可能性をグループに提案する。

（実施例３）
新バージョンの携帯電話機の開発に着手する場合、企業は、将来のユーザからどのような特徴により強い関心を持っているのかに関する意見を得ることを望む。グループ評価システムを用いるアプリケーションにより、上記企業は、潜在的なクライアントに選択肢の全体をそれぞれが多数の選択肢を含む複数の範囲に分割して提示する。

上記の互いに異なる範囲は、ある範囲内のある選択肢が選択されると他の範囲の選択肢等が制限されるように関連付けられる。例えば、表示画面が小さい選択肢を選択した場合にはＨＤビデオは表示できなくなり、基本価格のパッケージを選択した場合にはＵＳＢ接続を選択できなくなる。潜在的なクライアントは、本発明のグループ反応評価システムおよび方法を用いて、制限の範囲内で多数の異なる製品を提案でき、それによって最善な選択ができる。

グループのメンバに提示する要素は、単一の特徴（例えば、ＨＤビデオであるか否か、ＵＳＢ接続コネクタを有しているか否か、小さいサイズか大きいサイズかなど）を有していてもよい。例えば、グループＡに提示される要素Ａは選択肢１、グループＢに提示される要素Ｂは選択肢２、グループＣに提示される要素Ｃは選択肢３を含んでいてもよい。

グループのメンバに提示される要素は、選択肢のクラスタ（例えば、小さい表示画面にはＨＤビデオを表示できず、大きい表示画面にはＨＤビデオを表示できるなど））を含んでいてもよい。要素が選択肢のクラスタを含んでいる場合、各要素は選択肢に特有のクラスタをもっていてもよい。例えば、グループＡに提示される要素Ａは選択肢１と選択肢２とを含み、グループＢに提示される要素Ｂは選択肢２と選択肢３とを含み、グループＣに提示される要素Ｃは選択肢１のみを含んでいてもよい。上記選択肢は各要素を特有の方法で束ねたものであってもよい。このような選択肢の特有の組み合わせは各グループに提示され、上記グループは束ねられた選択肢の組み合わせに一まとまりで応答する。

（グループの文書編集）
グループが共同で文章の編集を行えるようにしてもよい。上記文書はグループの人によって生成されてもよい。各人は文あるいは文書に対する編集動作を提案し、グループは提案された文あるいは編集動作を文書に含めるか、変更するか、訂正するか等を決定する。

グループ反応評価システムをマーケティングに用いることの将来性は絶大である。上述した説明とは別に、マーケティング部門が双方向通信を提供するアプリケーションを介して、
−クライアントに新しい特徴の提案を送信する処理、
−クライアントから新しい特徴の提案を受信する処理、
−新バージョンの特徴についての投票、
−現在の特徴の関心についての投票、
−競合品に関するクライアントの意見の投票、
−クライアントの関心について全ての情報を用いて焦点を絞ったマーケティングキャンペーンの開始、
−焦点を絞った広告、
に関する潜在的なクライアントと通信するようにしてもよい。

（コミュニティの自己管理）
グループ反応評価システムおよび方法を用いた他のモデルを構築してもよい。そのようなモデルの一例として、「コミュニティの自己管理」が挙げられる。

このモデルでは、グループ反応評価システムを用いて、要素の集合に対するコミュニティの立場（反応）を評価するだけではなく、各時点で何をすべきかを決定する。

上述した実施例２のグループ中央管理モードでは、テレビ番組の管理者が視聴者との通信のペースをどのように設定するかを示した。上記管理者は番組と視聴者との間の対話を決定し、グループ反応評価システムは上記の対話をリアルタイムで実現することを可能にする。

グループ反応評価システムを用いることにより、グループの意見、考え、関心、およびグループの基本的な意思などをリアルタイムに知ることができ、テレビ番組の管理者、すなわち中央管理者の決定がグループ自身によって得られる。図５は中央管理モードと自己管理モードとを有する２つのタイプの管理方法を示している。

実施例４は、コミュニティが自己管理のためにグループ反応評価システムおよび方法をどのように用いるのかを示している。コミュニティが提供される。コミュニティの１または複数のメンバが集団全体に提示する質問の選択肢を提起する。上記質問を集団全体に提起すべきかどうかを決定するために、まず、上記集団から無作為に選択したサンプルに審査させてもよい。上記審査段階では、所定数の質問（例えば最上位の質問、上位５個の質問、上位１０個の質問など）を選択してもよく、所定の閾値と一致および／または上記閾値を超える数の質問（例えば８５％を超える承認を得た任意の数の質問など）を選択してもよい。審査段階を通過した質問は、集団全体に提示される。上記集団の１または複数のメンバが上記質問に対する応答として１または複数の選択肢を提案してもよい。本発明のシステムおよび方法に基づいて１または複数の応答の選択肢を選択してもよい。その後、本明細書に示したいずれかのシステムおよび方法を用いて集団に応答の選択肢を提示する（例えば、上記集団をグループに分割し、１または複数の応答の選択肢を各グループに提示する）。このように、集団自体が集団に提示する質問を選択し、当該質問に対して応答できるようにすることにより、自己管理を行うようにしてもよい。

（実施例４）
本発明の実施例として、フットボールチームのファンのコミュニティが上記グループ反応評価システムを用いるアプリケーションを介して通信を行うようにしてもよい。例えば、シーズン中のチームの成績が悪い場合、ファンがコーチの変更を提案してもよい。

１人のファンが、上記アプリケーションを介してコーチの変更を提案することができる。上記グループ反応評価システムは、コーチの変更に関する質問をファンのコミュニティ全体に提起すべきか否かを問い合わせるサンプルおよびメンバを無作為に自動的に選択する。上記の無作為サンプルは、人間が介在することなくプロセッサが選択するようにしてもよい。上記のサンプリングは、完全に無作為に行ってもよく、１または複数の基準に基づいて行ってもよい。

上記グループ反応評価システムは、コーチの変更に関して議論することに対するファンのコミュニティの関心の評価を行う。肯定的である場合、ファンは、候補リストを提案し、ファンのコミュニティにそれらを提出し、リストを並べて最終候補に投票するためにグループ反応評価システムを再び用いる。

グループ反応評価システムが、特殊なモードとして、無作為のサンプルユーザに対して、当該ユーザが当該質問への回答を求められているのではなく当該質問をグループ全体に尋ねるべきか否かの投票を求められていることを理解できるように上記質問を提示し、質問および回答のフィルタリングを行うようにしてもよい。グループ全体に尋ねるべきか否かを投票する場合に、当該グループメンバに投票させる場合のインタフェースとは外観や形態の異なるユーザインタフェースをグループのメンバに示すようにしてもよい。

上記グループ反応評価システムは、このモードにおいて、メンバ全員の意見をグループの意見として集約することにより、上記グループを一人の人間のように表現してもよい。

（コミュニティソーシャルネットワーク）
今日、我々は、我々を他の人と接続するソーシャルネットワークをよく使用する。我々は新しい「友人」を我々のネットワークに加えることができ、彼らとアイテムを共有することができ、彼らの意見を知ったり我々の意見を表現したりすることができる。

ソーシャルネットワークでの上記グループ反応評価システムの利用により、我々を個人ではなくコミュニティに接続することができ、それらのコミュニティを個人と同様に扱うことができる。
−新しいコミュニティを我々のソーシャルネットワークに加えることができる。
−コミュニティは他のコミュニティあるいは他の個人との関係を確立することを決定できる。
−コミュニティの一部になることができる。
−コミュニティが、当該コミュニティの意見、考え、提案などをソーシャルネットワーク上の任意の個人あるいはコミュニティに示すことができる。
−コミュニティが写真等のアイテムを個人あるいは他のコミュニティと共有できる。
−コミュニティが個人あるいは他のコミュニティとチャットをすることができる。
−各個人をコミュニティと共に取り扱うことができる。
−コミュニティを他のコミュニティと共に取り扱うことができる（実施例５参照）。
−コミュニティがどのコミュニティに追従するかを決定できる。
−あるグループによって生成された要素（例えばポスト）が上記グループ（上記グループ評価システムによってフィルタリングされたグループ）によって生成された最善であるという関係を構築することができる。

（２つのコミュニティ間の交渉）
以下に、利害を異にするコミュニティ同士が最善の結果を得るための交渉を行う方法の例を示す。上記コミュニティは、利害が直接対立するものであってもよく、そうでなくてもよい。例えば、一方のコミュニティが支持する選択肢と他方のコミュニティが支持する選択肢とが互いに排他的であってもよく、そうでなくてもよい。上記グループ反応評価システムの能力により複雑な要求を解決できる。

選択肢集合に含まれる選択肢が２以上のコミュニティによって提示された提案を含んでいてもよい。本明細書に開示する技術によって決定される統計評価に、上記２以上のコミュニティによる提案に対する賛成率が含まれていてもよい。上記２以上のコミュニティは利害が対立していてもよい。本明細書に開示する方法を交渉技術の一部として用いてもよい。上記技術は、上記候補リストは賛成率に基づいて生成される、１または複数の提案を含む提案の候補リストを含んでいてもよい。

（実施例５）
州当局がゴミ処理場を２つの都市Ａ，Ｂに近い地域に設置することを計画している。都市Ａ，Ｂの市民は、自分たちの都市から遠い地域に設置するように交渉しようとしている。しかしながら、都市Ａの市民の望む結果は都市Ｂの市民が望まないものであり、都市Ｂの市民の望む結果は都市Ａの市民が望まないものである。

上記グループ反応評価システムを用いるアプリケーションにより、上記２つのコミュニティが上記問題について対話することができる。コミュニティのメンバは交渉を提案できる。上記グループ反応評価システムは、両方のコミュニティの世論調査をして交渉すると決定した場合、交渉モードで動作する。

都市Ａおよび都市Ｂの市民が提案を行うと、上記グループ反応評価システムは、両方のサンプルから無作為サンプルを抽出する。これにより、上記反応評価システムは、都市Ａのコミュニティおよび都市Ｂのコミュニティの両方で５０％以上の賛成率が得られ、両コミュニティの賛成率を最大化および／または両コミュニティ間の賛成率の差を最少化する提案を検索する。これらの基準は異なる方法で調整してもよい。グループ反応評価システムの利用により、管理者ユーザのように、両方のコミュニティに受け入れられるパラメータを決定することができる。例えば、最適な結果あるいは望ましい結果を得るために異なる許容基準を加えてもよい。

コミュニティの交渉において、上記グループ反応評価システムが異なるアルゴリズムを用いてもよい。例えば、上記コミュニティのメンバが１または複数の提案を提起してもよい。また、上記各コミュニティのメンバが上記提案を提起してもよい。上記提案は選択肢集合の形態であってもよい。グループ反応評価システムは、上記提案を異なるコミュニティに提示する。グループ反応評価システムが最も賛成された１つの提案を提示してもよい。あるいは、異なるコミュニティ間の交渉のための提案の候補リストを生成してもよい。上記の提案の候補リストをコミュニティの様々な賛成率に基づいて生成してもよい。上記候補リストを、上記提案の賛成率および／または上記候補リストに提示される提案の総数に基づいて選択してもよい。

（スキルの蓄積）
上記グループ反応評価システムは公共アプリケーション（例えば、テレビ番組、コミュニティの対話、あるいはマーケティング会社など）として用いることができる。また、私的アプリケーション（例えば企業内の管理アプリケーション）に用いることもできる。これらのアプリケーションの１つとして、人的資源（HR; Human Resources）の管理が挙げられる。

（実施例６）
上記人的資源部門は、上記グループ反応評価システムを用いるアプリケーションを用いることができる。人的資源部門が、新しい基準や提案のそれぞれについて即座にフィードバックを取得したり、討論会を開催したり、従業員全体の大部分に接触したり、いくつかの部門に別々に接触したりすることにより、従業員の雰囲気に常に触れるようにしてもよい。

上記グループ反応評価システムは、他の興味深い特徴を有していてもよい。例えば、従業員が上記グループ反応評価システムを用いる内部アプリケーションを用いているとすれば、従業員の質問、回答、提案、貢献度、および彼らそれぞれについてのグループ全体の評価を追跡することができる。これにより、異なるグループの意見およびその評価に応じて各従業員のスキルに関する非常に多くの情報を蓄積することができる。顧客と関係のある従業員の場合、彼らに関する顧客の意見を記録して追跡することができる。我々はこれを「スキルの蓄積」と称する。例えば、ある従業員が集団のグループによく選択される提案や計画を提供するということを追跡できる。また、あるグループあるいは部門が所定のタイプの提案（例えばグループに適合することが多い提案、あるいは適合しないことが多い提案）を提供するということを追跡できる。

（グループのメンバ間での候補の選挙）
上記グループ反応評価システムを用いるアプリケーションは、グループ全体に最も投票された候補を大きなリスト（例えば、１０，０００個の候補のそれぞれの１分間の映像）から選択できる。上記グループ反応評価システムが、１分の数分の１で上記の最も投票された候補を評価できる。

上記グループ反応評価システムにより、大規模な候補リストから迅速な選択を行うことができる。例えば、上記グループ反応評価システムが、１時間以内、３０分以内、１０分以内、５分以内、３分以内、２分以内、１分以内、３０秒以内、１０秒以内、５秒以内、あるいは１秒以内で応答を提供してもよい。上記グループ反応評価システムが、１または複数の選択を人間と対話することなく自動的に行うようにしてもよい。大規模なリストからの選択をサーバのプロセッサが行うようにしてもよい。上記の大規模なリストに含まれる候補の数は特に限定されるものではなく、１０、５０、１００、５００、１，０００、５，０００、１０，０００、５０，０００、１００，０００、５００，０００、あるいは１，０００，０００よりも多くても少なくても同数であってもよい。

（グループ反応評価システムを用いるアプリケーションのモデル）
以下に示す例では、本発明の実施例に応じたグループ反応評価システムを用いるアプリケーションの具体例を示す。

（実施例７）
このアプリケーションは、「大衆コミュニティの自己管理」とでも呼ぶべきものであり、コミュニティに彼ら自体を組織化して彼らの目的を達成するのを補助するための提案を行うことができる。このアプリケーションは、パーソナルコンピュータ、携帯電話、タブレット、双方向テレビ、本明細書の他の箇所に示した各種装置、あるいはネットワーク接続の能力を有する装置など、多様な装置で実行できる。

このアプリケーションは、タイムラインモード（時系列モード）で動作してコミュニティの全メンバを統合するものであってもよい。上記アプリケーションは、コミュニティ全体が個人のように表示されたり動作したりするものであってもよい。このアプリケーションを用いることにより、
−意見を表現できる。
−グループの決定をすることができる。
−コミュニティ自体に質問を提示できる。
−動作を決定できる。
−動作を実行できる。
−他のコミュニティと交渉できる。

このアプリケーションは、コミュニティのメンバによって提示された全てのメッセージの中から当該コミュニティによって最も投票されたメッセージがコミュニティ全体に公開される、チャットのようなものであってもよい。

（基本サイクル）
この例では、アプリケーションに接続された個人の大きな集合が存在すると仮定する。

このサイクルを開始する際、コミュニティの個人はメッセージを送信する（多数の人が同時に行うことが好ましい）。

これらのメッセージのそれぞれが無作為のサンプルに送信される。上記サンプルにおける各個人（エージェント）は、上記メッセージを公開すべきか否か（グループ全体に送信すべきか否か）を判定する。異なるサンプルに属する個人が異なるメッセージを受信するようにしてもよい。グループ全体を、各グループが１人、２人、またはそれ以上のメンバを含むようにサンプルグループに分割するようにしてもよい。

「投票」メッセージ、すなわち上記グループ反応評価システムによってグループ全体に通過させるか否かを決定するために無作為サンプルに送信されるメッセージを、グループ全体に公表するメッセージと明確に区別するようにしてもよい（例えば赤色にするなど）。

上記グループ反応評価システムは得票数の多いものから得票数の少ないものの順にメッセージを並べ、得票数の上位「ｎ」個（ｎは調整可能なパラメータ）のメッセージを選択する。各ユーザが、公開リストに載せる得票数の下限値（所定の閾値）を超えているメッセージを見ることができるようにしてもよい。

上記ユーザが上記メッセージを読むと、新たなメッセージあるいは提案について上記サイクルを繰り返す。

それらは多様なメッセージであってもよい。２種類のメッセージを以下に示す。：
（１．基本メッセージ）
−簡単なメッセージ
−アプリケーションの状態を変化させないメッセージ
−サイクルを変化させないメッセージ
−情報的なメッセージ：例えば「税務当局は収入が１５０，０００ＵＳドルを超える人の税金を増税することを計画している」など。この例の場合、上記の個人の収入レベルを有するグループが存在するか否かに応じてコミュニティが関心を持つ場合もあれば持たない場合もある。しかしながら、いずれの場合もアプリケーションの状態に影響を与えたり、サイクルを変更させたりしない。
（２．制御メッセージ）
−動作を引き起こす（例えば公衆の投票を開始させるなど）。その発案が承認されるとアプリケーションの状態の変化を引き起こす。ユーザが読者から投票者に変わる。
−サイクルの変更
（実施例８）
オープンクエスチョン。グループ反応評価システムを用いるアプリケーションを実行しているスマートフォンの表示画面にオープンクエスチョンを循環して表示させる場合の例を示す。なお、表示されるユーザインタフェースは単なる一例にすぎない。また、上記ユーザインタフェースは様々なタイプの表示装置に表示させることができ、モバイル端末であってもそうでなくてもよく、ユーザインタフェースを表示させる表示装置のタイプに応じて書式を変更してもよく変更しなくてもよい。

上記ユーザインタフェースは、メッセージのタイプを識別すること(具体的にはグループ全体が投票すべきメッセージなのかサンプルのメンバが投票すべきメッセージなのかを区別すること)を補助するためのカラーコードを含んでいてもよい。あるいは、色を異ならせなくてもよい。

図６は、本発明の一実施例にかかる、オープンクエスチョンを循環表示するユーザインタフェース画面の一例を示している。通常の循環表示では、赤色の要素は含まれない。文書が表示される。上記文書は説明文あるいは選択肢の記述を含んでいてもよい。選択肢は異なるタイプのメッセージであってもよく、異なる周期で提供されてもよい。例えば、「基本メッセージ」と「複雑なメッセージ」の選択肢が供給される。ユーザは「複雑なメッセージ」のアイコンを選択できる。ユーザインタフェースに対する選択操作の方法は、タッチスクリーン、音声入力、キー操作、あるいはアイコンのクリックなど、いかなる方法を用いてもよい。

図７に示すように、アプリケーションは、複雑なメッセージに関する異なる選択肢のリストをユーザに提示する。ユーザは、１つを選択してそのアイコンをクリックする。選択肢の例として、例えば、投票の開始、オープンクエスチョン、あるいは他の複雑なメッセージなどを含んでいてもよい。例えば、ユーザがオープンクエスチョンの選択肢を選択してもよい。

図８に示すように、ユーザインタフェースが、ユーザが公開を希望する質問の記入および回答数の提示を行う選択肢を提供してもよい。上記ユーザは上記質問文書を記入する。上記ユーザは、上記質問を、オープンクエスチョン、複数選択肢の質問、二択問題など、どのような仕様で作成してもよい。上記ユーザは、また、回答数の選択肢を記入する。回答数はどのように設定してもよい。あるいは、回答数の上限を提供してもよい。送信をクリックすると送信される。

図９は、当該オープンクエスチョンをグループ全体に尋ねるべきか否かを質問されているサンプルの一部のエージェントの表示画面を示している。上記システムは、当該メッセージは回答すべき質問ではなく、公開すべきか否かの投票であることを上記エージェントに明確に警告する。例えば、送信／非送信の選択肢を提示する。送信をクリックすると送信される。

当該質問が最も投票される質問であると仮定した場合、あるいは母集団全体の部分集合サンプルが十分な割合で承認した場合、当該質問は集団全体に提示される。例えば、最も投票された質問のみ、あるいは投票数の上位から順に数個の質問を提示するようにしてもよい。例えば、１個、５個、１０個、５０個、１００個、５００個、１０００個、あるいはそれ以上の数の質問を提示してもよい。また、例えば、所定の承認閾値の質問のみを提示するようにしてもよい。また、例えば、質問の数にかかわらず、承認率が９５％を超える質問、９０％を超える質問、８５％を超える質問、８０％を超える質問、７５％を超える質問、６０％を超える質問、あるいは５０％を超える質問のみを提示するようにしてもよい。また、例えば、質問の組み合わせ数と承認率とを考慮して当該質問を集団全体に提示するか否かを決定するようにしてもよい。

１または複数の重複する質問を提供してもよい。重複する質問を削除してもよい。例えば、その質問が重複する質問であるか否かを評価するために１または複数のアルゴリズムを用いてもよい。例えば、正確な文言が異なっていても実質的に重複する質問であるとみなすようにしてもよい。また、例えば、その質問が重複する質問であるか否かを１または複数のキーワードを用いて評価してもよい。複数のユーザによって重複する質問が提示された場合、それらのユーザを追跡および／または記録するようにしてもよい。

図１０は、最も投票された質問を受信する全てのユーザのユーザインタフェースの表示画面を示している。例えば、母集団の全ユーザが最も投票された１つの質問を見るようにしてもよい。他の実施例として、母集団全体を複数のサンプルグループに分割し、各サンプルグループが母集団全体に提示された質問のうちの互いに異なる質問を閲覧するようにしてもよい。例えば、各サンプルグループに１つの質問を提示してもよく、各サンプルグループに複数の質問を提示してもよい。上記質問を並列で提示してもよく、連続的に提示してもよい。質問の順序は、予め定められていてもよく、予め定められていなくてもよい。

上記質問はどのような形態で提示されてもよい。例えば、ユーザが回答を自由な形態で入力することができるオープンクエスチョン形式で提示してもよい。あるいは、複数の選択肢あるいは二択の選択肢を提示し、ユーザが提示された選択肢から回答を選択するようにしてもよい。ユーザは回答し、クリックによって送信する。例えば、上記質問に対する回答以外に選択肢がないようにしてもよい。当該動作が実行されるまで他の選択肢を選択できないようにしてもよい。この状況は、質問の数が、我々が尋ねることのできる質問の量および各ユーザが行うことのできる評価の数に応じて決まる、当該瞬間に扱うことのできる最大値に達したときに終了する。

図１１。この表示画面では、サンプルのエージェントが質問を受信し、評価のために回答する。ユーザに「はい」または「いいえ」のいずれに同意するかの二択の選択肢を提示し、クリックによって送信されるようにしてもよい。

集団によって提示された複数の回答を評価するようにしてもよい。例えば、最も投票された質問に対する回答において、ユーザによる互いに異なる１００個の回答が提示される場合もある。重複した回答が提示されてもよい。また、重複する回答を１つの回答に統合するようにしてもよい。また、重複する回答については、グループに回答の集合を提示する前に取り除くようにしてもよい。複数のユーザが同じ回答をした場合、当該ユーザを、当該回答を行ったユーザとして記録するようにしてもよい。例えば、複数のユーザが提示した最も順位が高い回答の場合、それら複数のユーザのそれぞれが最も順位が高い回答を行ったユーザとして記録される。

母集団全体をサンプルグループ（例えば１００個の異なるサンプルグループ）に分割してもよい。各サンプルグループが回答に同意するか否かを評価するようにしてもよい。各サンプルグループに異なる回答を提示してもよい。上記サンプルグループに回答に同意するか否かの二択の選択肢を提示してもよい。上記回答を賛成率が高かったものから順位付けしてもよい。得票率が最上位であった回答を上記サンプルにおいて最も投票された回答として選択してもよい。あるいは、上位の回答（例えば上位所定数の回答（例えば上位５個あるいは上記１０個など）、所定の閾値（例えば賛成率が８５％以上の回答、あるいはそれらの組み合わせなど）の候補リストを生成し、さらなるサンプルグループへの分割および評価を行うようにしてもよい。次の回の投票に基づいて、上位の回答を選択してもよく、さらに次の投票を行うようにしてもよい。最終的に、上記サンプルにおいて最も投票された回答が選択される。１または複数のプロセッサ（例えばグループ反応評価システムのサーバのプロセッサなど）が、上記質問に対する最も投票された回答を決定するために、ユーザの回答を計数し、１または複数の連続した工程を実行させるようにしてもよい。

サンプルグループの各メンバが、質問に関するユーザインタフェースを同時に受信および／または閲覧するようにしてもよい。各メンバが短い時間内で上記質問に回答するようにしてもよい。各メンバの表示装置に、上記質問を同時に表示させるようにしてもよい。あるいは、メンバが都合のいい時に閲覧できるようにしてもよい。全てのメンバから回答を集めるのに時間がかかってもよい。予め時間を定めておき、その時間内に回答されたメンバの回答のみを考慮するようにしてもよい。

図１２は、質問およびサンプルにおいて最も投票された回答を表示した表示画面を示している。最も投票された回答を当該回答に投票したユーザに示すようにしてもよい。最も投票された回答をその質問を提示したユーザに示すようにしてもよい。最も投票された質問を当該システムの管理者に示すようにしてもよい。同様の処理は、はい／いいえの質問にも利用可能であり、本明細書に示す他の適用例にも利用可能である。

（初期アルゴリズムおよび第２アルゴリズム）
追加の解決策のために第２アルゴリズムを用いてもよい。この事例は、「エージェントの特性を用いた第２アルゴリズムを実行する処理」とも言える。この例では、グループに提案を送信するか否かを決定する前にグループの反応の評価を行いたい場合を考慮している。多数の提案が提示され、それらの中からいずれの提案が所定の許容閾値を満たすかを知る必要がある場合がある。

上記反応は、２つのタイプ（肯定的あるいは否定的）で有り得る。我々は以下に示す２つのパラメータを設定する。
−着目反応＝「肯定的反応」
−着目閾値８５％（８５％以上の肯定的反応を有する提案のみをグループに送信することを意味する）。
−統計的信頼度９６％。

まず、要素の集合（この実施例では提案の集合）に対するグループの反応を評価するために、当該グループに対して初期グループ反応評価システムアルゴリズムを実行する。上記グループ反応評価システムは、サンプルを無作為に抽出し、当該サンプルのエージェントに上記要素の集合（提案の集合）を提示し、上記サンプルの反応の集合（着目閾値に近接する提案の集合）を取得する。

一例として、８５％以上の肯定的反応が存在しなかった場合について説明する。実際、上記要素は最も高い得点が５５である。我々はこの要素を「要素Ｃ」と称し、それに対応する上記得点を得たサンプルを「サンプルＣ」と称する。

上記エージェントについての情報を予め知っていると仮定すると、肯定的反応を有する上記サンプルＣのエージェントを識別する選別器を仕込める。それにより、我々は、肯定的反応を有する可能性の高いエージェントを識別する方法を得て、上記グループのある程度のエージェントが肯定的反応を有するという仮説を立てることができる。

しかしながら、このような発見的方法では必ずしも十分な信頼性が得られず、不明瞭な評価になってしまう。９６％の統計的に信頼できる評価を得るために、グループ反応評価アルゴリズムを再度実行し、上記選別器を適用する場合に我々に有意なサンプルを与えるのに十分な大きさの新たなサンプルを無作為に抽出する。

この方法により、遠別器の特性を満たすエージェントのサンプルを得ることができる。要素Ｃはそれらのエージェントに再び提示される。これにより、通常は５５％を超える信頼度を得ることができる。

同じ方法を、第２、第３、あるいは肯定的反応の可能性が高い部分集合を得ている順位の追加の要素に適用できる。

（他の調整パラメータ）
グループ反応評価システムおよび方法の明確に調整可能なパラメータ（例えばサンプルのサイズ、写真リストの要素、複数の異なる出力方法からの出力方法の選択など）とは別に、他のパラメータの調整が可能である。以下に、それらの例のリストを示す（これらの例に限るものではない）。

（投票の重み付け）
重み付け技術は、グループ反応評価システムに含めることができる価値のある情報の特殊な例である。上記アプリケーションのユーザが常に質問、回答、提案、寄稿などに関係するとすれば、異なるタイプのユーザを識別し、その実績に応じて「投票」結果に異なる値を与えることができる。高い貢献スコアを有するユーザの投票あるいは提案の質（コミュニティの承認）が高い投票は、貢献スコアが低いユーザの投票よりも高い値を得ることができる。このことは、「投票権」を有する専門家を識別できるコミュニティについて異なる主題が存在する場合に特に有用である。

（「悪い」提案の管理）
グループ反応評価システムおよび方法が、「悪い」提案、すなわちコミュニティの承認の実績が低い個人から来る提案の管理を、上記実績を用いて行うようにしてもよい。グループ反応評価システムが、それらの提案を拒絶してコミュニティへの影響を最小限にするように、それらの提案をより小さな無作為サンプルに割り当てるように調整してもよい。

（チャット機能）
グループ反応評価システムおよび方法は、コミュニティのリーダがコミュニティの読者とチャット（会話）を行う機能を含んでいてもよい。

上記グループ反応評価システムの特定の使用方法として、例えば、リーダ（例えばツイッターやフェイスブックなどのソーシャルネットワーク内のオピニオンリーダ。有名人など）のフォロワが上記リーダとの会話の一部または全部を集積することのできる「チャット」タイプのアプリケーションが挙げられる。

今日、ソーシャルネットワークにおいて多数のフォロワを有する人が存在することは一般的である。ジャーナリスト、政治家、スポーツマンまたはスポーツウーマン、芸術家、有名人、ブログ開設者、財界人などは、ソーシャルネットワークにおいて開示される彼らの意見、生活、イベント、あるいは他の主題に関心を持つ多数（例えば数千人）の人々にフォローされている。

上記グループ反応評価システムの一部または全部の態様を用いるアプリケーションは、上記フォロワ達と彼らのリーダとの会話を集積することができる。上記リーダは、特定のフォロワの反応ではなく、例えば彼らの大多数の反応を表す会話を受信する。

例えば、本明細書に開示するシステムおよび方法は、上記フォロワのコミュニティによって提起された全ての質問のうちの最も投票された質問を上記リーダに尋ねる。これにより、集合的なコミュニティの質問を上記リーダに提示することができる。上記質問は本発明に開示する上記システムおよび上記方法に従って選択すればよい。例えば、大規模な集団には多数の質問を提供してもよい。上記質問の部分集合に対する集団の部分集合の反応に基づいて統計評価を行ってもよい。上記統計評価に基づいて結論を引き出してもよい。上記結論は、リーダに提示する質問あるいは質問の候補リストを含んでいてもよい。

また、本明細書に開示するシステムおよび方法は、フォロワのコミュニティの部分集合（例えばある特定の瞬間に接続されていたフォロワ）によって提案された全ての質問のうち最も投票された質問を上記リーダに尋ねるようにしてもよい。

また、上記システムおよび上記方法は、投票数の上位Ｎ個の質問を上記リーダに送信するようにしてもよい。

システムおよび方法が、提案、質問、回答、あるいは他のリーダの行動についてのフォロワのコミュニティの反応を評価するようにしてもよい。

上述した開示の全部または一部は、上記リーダが上記フォロワとの会話を行う「チャット」タイプのアプリケーションで行われてもよい。

上記リーダは、それ自身を表す、あるいは目的を有する、あるいはその他の、いかなる人であってもよく他の存在であってもよい。上記の他の存在は、公的組織であっても私的組織であってもよく、生物、管理者、コミュニティの管理者グループ等であってもよい。

同じチャットに他のリーダあるいは他のフォロワのコミュニティを組み込み、２つ以上のチャットが参加できるようにしてもよい。例えば、１つのチャットに特定数の参加者が参加できるようにしてもよい。上記チャットは上記リーダの反応に基づいて次の質問あるいは他のコンテンツを当該リーダに提供する対話型であってもよい。例えば、上記リーダによって提供された質問に対するフォロワの集団の反応をリアルタイムで測定するようにしてもよい。上記反応に基づいて、次の質問あるいはコンテンツを生成および／または上記リーダに提示するようにしてもよい。

上記グループ反応評価システムの任意の態様を用いて上記フォロワのグループと上記リーダとの対話を管理することができる。

（チャットタイプの典型的な実施例）
ユーザは、ログイン後、プロフィールの生成および修正を行う表示画面へのアクセス、その時点での最新のチャットへのアクセス、お気に入りのリーダへの接続、新しいチャット（お気に入りの選択肢の中の１つの選択肢）の検索、当該ユーザのフォロワとの接続およびメッセージの閲覧、スケジュール等の同期通信などを行うことができる。通知にアクセスするための赤いボタンがある。このボタンをクリックすることにより、ユーザは、当該ユーザがフォローしているリーダ（お気に入り）が当該ユーザに何らかの通知を行った場合に当該ユーザが見ることができる他の表示画面にアクセスできる。

上記ユーザのお気に入りボタン（当該ユーザがフォローしているリーダ）をクリックすることにより、上記ユーザは異なるタイプのメッセージを表示できる時系列型の表示画面にアクセスできる。

１．基本的な通常のチャットメッセージ。これらのメッセージは、上記リーダあるいは上記フォロワのコミュニティからのメッセージで有り得る。これらは純粋なチャットである。それらは深い関連性があってもなくてもよく、上記リーダから上記コミュニティ、上記コミュニティから上記リーダ、あるいは上記コミュニティから上記コミュニティに送信できる。また、詳細は後述するが、上記コミュニティを２以上の部分コミュニティに分割し、それら部分コミュニティ間でチャットを行えるようにしてもよい。

２．上記リーダから上記コミュニティへの関連性のある会話を含む重要なメッセージ。上記リーダが関連する質問に関する上記コミュニティの注目を得たい場合、上記表示画面に異なるタイプのメッセージを表示させる。このメッセージは、表示画面の異なる領域を用いること、異なる色を用いること、あるいは異なる字体を用いることなどによって識別可能にしてもよい。このようなメッセージが出現した時に、基本的な通常のチャットメッセージを中断させるようにしてもよい。

３．メッセージのフィルタリング。本明細書に示すシステムおよび方法（例えば「デモランク（Demorank）」と呼ばれる）は、グループの意思の統計評価を行うアルゴリズムを用いるものであってもよい。チャットモードのアプリケーションは、上記フォロワのコミュニティから無作為にサンプルを抽出し、各サンプル内のそれぞれの人に当該コミュニティから提案された会話を上記リーダに送信すべきか否かを尋ねる。したがって、ユーザは、「フィルタリング」メッセージ、すなわち上記フォロワから提案された上記リーダへの会話を送信すべきか否かを尋ねるメッセージを随時受信する。このメカニズムは、以下に示す事項のうちの１または複数を含んでいてもよい。

上記フォロワのコミュニティ内のユーザが上記リーダへの会話を提案する。例えば、「あなたの次の公演について議論したい」、（あるいは「はい」、あるいは「私たちはあなたの新しいディスクに異なる曲を含めてほしい」）といった会話を提案する。

システムおよび方法（本明細書では「デモランク」と言う）は、上記フォロワのコミュニティから無作為にサンプルを抽出し、サンプル内のそれぞれの人に「フィルタリング」メッセージ、「この質問（あるいは回答）を送信するべきか否か」をクリック用のアイコンなどの単純かつ図示的な方法で問い合わせるメッセージを送信する。各サンプルにおけるそれぞれの人は各選択肢に投票し、上記システムは最も投票された選択肢を示す。各ユーザの選択肢に生じたより詳細な情報（例えば投票数が上位であった選択肢のリストなど）を上記フォロワに利用可能にしてもよい。

上記「フィルタリング」システムは「関連性のある重要な」メッセージに適用することもできる。上記リーダは上記フォロワのコミュニティに、決定、提案、単純な質問などを行うことができる。同様のフィルタリングシステムを、決定、提案あるいは質問などに用いることができる。

コミュニティが、関連性が高く、当該コミュニティ全体に投票させる必要があると考える場合も有る。上記リーダが上記コミュニティ全体に投票させるべき質問であるか否かを決定することもできる。上記システムが、２回の統計的な「フィルタリング」と１回の「コミュニティ全体の投票」とを行うようにしてもよい。すなわち、上記システムは、最初処理で、最も投票された選択肢のリストを取得する。その後、第２の処理で、上記リストを絞り込む。最終的に、上記コミュニティ全体に少数の選択肢から簡単に選択できるように短いリストを提示する。

また、上記システムを用いるチャットタイプのアプリケーションにおいて、上記フォロワのコミュニティを既知の特性のタイプに応じて異なるグループに細分化することもできる。各部分グループはそれぞれの実体を有しており、上記コミュニティ全体が上記リーダと一人の人間かのように会話する場合と同様の方法で上記リーダあるいは当該部分グループ内の人と会話することができる。

この、上記フォロワの集合の異なるフォロワの部分集合への分割は、異なる目的に用いることができる。後述する「チャットモード」の例では、上記フォロワの集合を男性と女性とに識別して細分化する。これにより、上記リーダは両方の部分集合と独立して会話することができ、両方の部分集合は当該部分集合内の人および上記リーダと他の部分集合と独立して会話することができる。

個人の既知の特性を用いて上記フォロワのグループの細分化を用いる全く異なる方法について説明する。このオプションは、「第２アルゴリズム」に関して既に説明した上記システムの特徴を利用する特殊な事例である。

上記フォロワのコミュニティ（フォロワの集合）を異なるフォロワの部分集合に細分化する際、意見が一致しないという問題を解決するために、各フォロワの部分集合のそれぞれが既知の共通の特性を有するようにしてもよい。

一例として、上記フォロワのコミュニティ（フォロワの集合）と上記リーダとの間の会話において、明確な勝利選択肢が存在しない場合を仮定する。肯定的投票の閾値が５５％に設定されており、２４％にしか到達していない場合を仮定する。上記フォロワについての初期情報が集められている場合、上記フォロワの特性に応じてフォロワを選別する選別器を用いることができる。上記システムおよび／または方法は、各部分集合を構成するフォロワの特性が同じになるように、上記フォロワの集合を上記フォロワの部分集合に自動的に分割する。上記の特性の同一性により、各サブセットの意見の一致度は高くなると考えられる。これらの部分集合に上記システム／方法を再び実行することにより、この仮定が確立され、上記リーダに送信すべき最適な意見の一致度が高いＮ個のフォロワの部分集合が得られる。

その後、上記フォロワのコミュニティから所定の賛成率が得られたＮ個の選択肢が提供される。例えば、上記コミュニティは男性と女性に、この例では５０％ずつに分割される。上記方法（例えばデモランク）を別々に実行したとき、男性の６０％が上記選択肢に投票し、女性の６５％が上記選択肢に投票した。フォロワのコミュニティ全体の選択肢Ａに対する賛成率は３０％であり、選択肢Ｂに対する賛成率は３２．５％であった。

このフォロワの集合の異なる部分集合への分割は、２通りの方法で行うことができる。
ａ．はじめにフォロワの集合を分割してから全ての処理を行う。すなわち、無作為のサンプルの投票を開始する前にフォロワの集合をフォロワの部分集合に分割する。
ｂ．まずフォロワ全体対する処理を実行し、「勝利選択肢」が存在しない場合に、フォロワの集合を分割して上記方法（例えばデモランク）を再度実行する。

（２回の「無作為サンプル」に対する処理と１回のコミュニティ全体に対する処理）
これは、本明細書に示すシステムおよび方法（例えばデモランク）の実施可能な例の１つである。例えば、高精度で意見の一致に到達する保証を有していることが好ましい。上記方法は、無作為に抽出したサンプルを用いて自動的に２回実行され、その結果得られた選択肢の候補のリストについての意見をコミュニティ全体に聞く。

上記グループと上記リーダとの間の対話の管理には、上記システムおよび方法の任意の特徴を用いることができる。

（後援者）：
後援者を有名人のチャットに参加するように招待することができる。例えば、上記リーダの収入、後援者のマーケティング、および上記フォロワの満足（心に残る）の３部門について、上記フォロワからの最善の勝利提案に対して景品を提示できる。また、上記景品を、「勝利者なし」のコミュニティに対して、提案が上位に順位付けされたフォロワほど割引率が大きくなるように割引価格で提供するようにしてもよい。

本明細書に開示するシステムおよび方法の一部または全部の態様を用いるアプリケーションを用いて、上記フォロワのグループと上記リーダとの対話を集計することができる。この方法により、上記リーダが、例えば上記フォロワの大多数の反応を表す対話を受信することができる。

上記フォロワのコミュニティによって提案された全ての質問の集合のうち、最も投票された質問あるいは投票数の上位Ｎ個の質問を上記リーダに尋ねてもよい。

上記フォロワの集合の部分集合（例えばある瞬間に接続されていたフォロワ）によって提案された質問の集合のうち、最も投票された質問あるいは投票数の上位Ｎ個の質問を上記リーダに尋ねてもよい。

上記フォロワのコミュニティによって提案された全ての回答の集合のうち、最も投票された回答あるいは投票数の上位Ｎ個の回答を上記リーダに回答してもよい。

上記フォロワの集合の部分集合（例えばある瞬間に接続されていたフォロワ）によって提案された全ての回答の集合のうち、最も投票された回答あるいは投票数の上位Ｎ個の回答を上記リーダに回答してもよい。

上記フォロワの集合あるいは上記フォロワの集合の部分集合からの全ての提案のうち最も投票された提案あるいは投票数の上位Ｎ個の提案を上記リーダに送信してもよい。

提案、質問、回答、あるいは上記リーダの他の反応に対する上記フォロワの反応を評価してもよい。

上記フォロワのコミュニティによって提案されたコメント、アイデア、あるいは何らかの会話のうち、最も投票されたコメント、アイデア、あるいは会話を上記リーダに送信してもよい。

上記フォロワの集合の部分集合（例えばある瞬間に接続されていたフォロワ）によって提案されたコメント、アイデア、あるいは何らかの会話のうち、最も投票されたコメント、アイデア、あるいは会話を上記リーダに送信してもよい。

上述した全てのことは、リーダがそのフォロワのグループとの対話を行う「チャット」タイプのアプリケーションにおいて行うことができる。

上記リーダは、自分自身の利益あるいは他の実体を表す、どのような人であってもよく、どのような他の存在であってもよい。上記実体は、例えば、私的組織あるいは公的組織、企業、機関の管理者、コミュニティの管理者のグループなどであってもよい。

許諾された場合に、他のリーダあるいはフォロワのコミュニティを「チャット」タイプのアプリケーションに加え、２以上の参加者を含むチャットを生成してもよい。

（リーダがチャットタイプのアプリケーションを運用）
チャットタイプのアプリケーションの一例について説明する。
上述した異なるタイプの対話と複数回の処理とが同時に生じる場合、フォロワとフォロワとの間の対話をリーダとフォロワとの間の対話と同様に行えるようにし、フィルタリング処理を他のフィルタリング処理と同時に行えるようにしてもよい。現在のモデルでは、２方向の対話のみが可能であり、一度に１回のフィルタ処理しか行えない。
上記リーダは常に制御情報を取得し、上記対話はリーダからフォロワ、またはフォロワからリーダのいずれかに行われる。しかしながら、上記リーダは、上記フォロワ間のチャットを許可し、対話を開始させるという選択肢を有している。

このモデルでは、上記リーダは常にタイミングを制御する管理者になることができる。上記システムは、例えば、「質問→投票→回答」あるいは「提案→投票→結果」を基本とする連続した処理を行う。

このアプリケーションのモデルの典型的な表示画面は、簡易モードと拡張モードの「２つの表示画面モード」を有している。簡易モードでは、上記表示画面は質問、回答、およびフィルタリングメッセージ（提案されている質問あるいは回答を開示すべきか否かを上記システムがユーザに問い合わせるメッセージ）を表示させる。拡張モードでは、上記表示画面はさらに多くの情報を表示させる。例えば、現在の質問、前回の質問、得票率に基づく勝利回答、他の提案およびそれらの得票率、ユーザが投票した提案の順位および得票率、あなたの提案の順位および得票率、フィルタリングメッセージなど。

さらに、このモードの表示画面において、上記リーダからの次の質問と予想される質問を、ユーザが回答しやすいように、ティッカーラインで示すようにしてもよい。ユーザが回答したいと思わない場合にはティッカーラインを閉じることができる。

（実施例９）
図１５〜図３１は、本明細書に開示するシステムおよび方法を用いる、リーダをフォロワのコミュニティと接続するアプリケーションの表示画面の例を示している。この具体例では、上記リーダはファンのコミュニティを有するポップスターであり、上記アプリケーションは「チャット」タイプのアプリケーションである。

図１５は、チャットを開始するためにユーザがユーザ名およびパスワードを入力してログインを行う上記アプリケーションのアクセス画面を示している。

図１６は、上記チャットにアクセスした後、最初に見る表示画面の例である。この表示画面では、ユーザは、当該ユーザのプロフィールの生成および編集、その瞬間における最新のチャットへのアクセス、お気に入りのリーダへの接続、新たな選択肢（お気に入りの選択肢に含まれる選択肢）の検索、当該ユーザのフォロワとの接続およびメッセージ、スケジュール、あるいは他のタイプの非同期の通信（封筒アイコン）などの閲覧などを行える。また、通知にアクセスするための赤いボタンがある。

図１７は、「お気に入り」の表示画面の例を示しており、ユーザは当該ユーザの「お気に入り」のリーダを見てそのアイコンをクリックすることで接続することができる。また、ユーザはお気に入りを追加したり削除したりできる。

図１８は、「通知」の表示画面の一例を示している。上記チャットは、上記ユーザに、当該ユーザが２人のリーダから新しい通知があることを示している。上記ユーザは、通知の赤いボタンをクリックすることで上記通知にアクセスすることができる。

図１９は、ユーザが、新しいアルバムの表紙のデザインを補助してもらうためにファンのコミュニティに写真を送付することを要求している、当該ユーザのリーダの１人（例えばレディーガガ）からの質問を見る表示画面の一例を示している。この表示画面はユーザに投稿を促している。上記システムが、その瞬間に接続されているファンのコミュニティのメンバに最も投票された投稿を選択するためのアルゴリズムを用いてもよい。この表示画面はタイムラインタイプ（時系列タイプ）の表示画面であってもよい。新しい通知は表示画面の下部に表示され、古い通知は上方へ移動していく。通知は、新しい順に表示させてもよく、古い順に表示させてもよい。

図２０は、ユーザがリーダへの回答の提案を見ることのできる表示画面である。他のファンがこの回答を提案してもよく、上記システムがこの回答に投票するサンプルをその瞬間に接続しているファンの中から無作為に選択するようにしてもよい。この表示画面は、ユーザが無作為のサンプルのメンバである場合（この回答に投票することを求められている場合）を示している。

図２１は、勝利回答およびその得票数のパーセンテージを示している。また、上記チャットは、上記ユーザに当該ユーザの提案が勝利できなかったが、２５％の得票率を得たことを示している。また、上記ユーザがこれらの結果をフェイスブックやツイッターなどのソーシャルネットワークに公開する可能性を提示している。この表示画面はユーザが回答の提案を行う特殊な事例を示している。このような事例はいつも生じるわけではない。ユーザは、この回答を提案していないが、無作為のサンプルのメンバとして投票を求められる場合がある。

図２２は、リーダ（例えばレディーガガ）からの新しくかつ異なる会話を示している。上記チャットは質問の異なるタイプを示す。上記表示画面は、上述した図ではそれほど重要でないものとして扱われる項目を示している。しかしながら、レディーガガがファンに特別な何かを求めたい特別な場合を示している。彼女は、彼女のファンに上記表紙のための写真のアップロードを要求している。それに応じて、上記アプリケーションは、この種の質問あるいは要求については異なる取り扱いをする。上記メッセージは、表示画面の異なる部分に表示され、提案を送信するための専用の領域を有している。また、提案を送信するための残り時間を示すタイマが表示されている。

図２３は、ユーザに投票される写真が提案されている表示画面の例を示している。何人かのファンがこの写真をアルバムの表紙として提案しており、本明細書に示すシステムおよび方法（デモランク）は、この写真に投票を行わせるためのサンプルをその時点で接続されているファンの中から無作為に選択する。この表示画面では、ユーザがこの写真への投票を求められている無作為サンプルのメンバである場合を示している。

図２４は、勝利写真と当該写真の得票率とを示す表示画面である。また、図２４は、当該ユーザの提案した写真が勝利できなかったこと、および当該ユーザの写真の得票率が３０％であったことを示している。また、上記ユーザがこれらの結果をフェイスブックやツイッターなどのソーシャルネットワークに公開する可能性を提示している。この表示画面はユーザが写真の提案を行う特殊な事例を示している。このような事例はいつも生じるわけではない。ユーザは、この写真を提案していないが、無作為のサンプルのメンバとして投票を求められる場合がある。他の実施例として、ユーザが写真以外の他のタイプの提案に投票するようにしてもよい。

図２５は、リーダ（例えばレディーガガ）からのファンに対する感謝を示す新しい会話の表示画面の例を示している。

図２６は、リーダ（例えばレディーガガ）からの新しい会話を示す表示画面である。この表示画面では、彼女は、勝利写真が弾性から得た得票数および女性から得た得票数の開示をファンのコミュニティに提案している。

図２７は、上記勝利写真が男性のコミュニティから獲得した得票率を示す表示画面の例である。また、この表示画面は、ユーザ（この例では提案を行ったユーザ）に、当該ユーザの提案は男性のコミュニティにおける賛成率が１０％であり、勝利できなかったことを示している。上記チャットは、上記ユーザがお気に入りのフェイスブックやツイッターなどのソーシャルネットワークにこれらの結果を公開する可能性を提示している。同様の表示画面が上記勝利写真に対する女性の投票についても示される。

図２８は、得票数が上位である写真の順位、それらの写真を提案したファン、得票数および得票率を示す表示画面の例を示している。ボタンをクリックすることでグラフを見ることもできる。

図２９は３者のチャットを示している。上記リーダ（例えばレディーガガ）が上記コミュニティを分割（例えば男性と女性とに分割）することを提案したときに、上記チャットアプリケーションがユーザのプロフィール情報を用いて２つのファンのコミュニティを生成するようにしてもよい。本明細書に示すシステムおよび方法と同じアルゴリズムを用いることにより、コミュニティ全体がそれまで行っていた方法と同じ方法で両方のコミュニティを一人の人として表現できる。この例では、両方のコミュニティとレディーガガとが３者でチャットを開始できる。

図３０は３者のチャットを継続している状態を示している。

（テレビ会議や放送の支援）
他の実施例として、本明細書に示すシステムおよび方法（デモランク）の機能性を用いて審査員と大規模な視聴者とを接続することができる。本明細書に示すシステムおよび方法の様々な実施例をインターネット全体に放送することができる既存のテレビ会議システムの１つと組み合わせることで複数の参加者と生の議論を行うことができる。上記の既存のシステムの一例としては、例えばグーグル社のハングアウトエアなどが挙げられる。

例えば８人のグループがテレビ会議システム（例えばグーグル社のハングアウトあるいはその他の既存技術）を用いて議論する場合を考える。この技術が討論会の映像および音声をインターネットでリアルタイムに放送することを可能にすれば、本明細書に示すシステムおよび方法（例えばデモランク）は、無制限の視聴者が同時に接続することを可能にし、討論会における質問、質問への回答、提案、あるいは投票に参加可能にし、任意の議題に対する視聴者全体の立場を単一の実体の場合と同様に表現可能にできる。視聴者は、常に討論者としている個人に投票したり、視聴者から討論者として参加する人を提案したりできる。

（株主総会）
テレビ会議および放送の具体例の１つとして株主総会が挙げられる。

株主総会は、上述した任意の技術（例えばグーグル社のハングアウトエアなど）を統合したシステムを用いて行うことができるが、この例では、上記システムおよび方法（例えばデモランク）が各参加者の持株比率を考慮に入れる。すなわち、各参加者の投票に参加者の持株比率に応じた重み付けを行う。

このことは、株主総会における、より頻繁、柔軟、かつ効果的な様式の非常に強力な道具になる。

（グループの感情表現）
本発明の具体的な使用例として、グループの感情の評価を行うことができる。本発明の特徴の一部または全部を用いるアプリケーションが、感情状態の表現（例えば感情アイコンを用いた表現）の提案を受信し、グループの感情状態の統計評価を行うようにしてもよい。これは、例えばグループの意見の評価の補足として用いることができる。

（階層化）
全体集合内の部分集合が変動する場合、各部分集合（階層）を独立してサンプリングすることが有利な場合がある。エージェントの集合をサンプリング前に同種の部分集合に分割してもよい。上記階層は互いに排他的であってもよい。すなわち、エージェントの集合内の各要素が１つの階層にのみ割り当てられるようにしてもよい。上記階層は集合的に網羅されてもよい。すなわち、集合におけるいずれの要素も除外されないようにしてもよい。その後、各層に、単純な無作為サンプリングあるいは規則的なサンプリングを適用する。これにより、多くの場合、サンプリングのエラーを低減し、サンプルの標特性性を改善できる。これにより、集団の単純無作為サンプルの算術平均よりも変動性が低い加重平均を算出できる。

（重み付けされた階層）
集合の意見を知りたい場合（グループの反応を知りたい場合）、利用可能な集合（例えば接続されている集合）が集合全体と正確に一致しない場合がある。例えば、米国国民のデータを得たいが国民の部分集合にしか接続できないような場合、任意のサンプルから取得したデータに階層の重み付けを行ってもよい。また、集団のメンバのうちの部分集合の関心を評価するために階層を用いることもできる。

（音声および映像）
本明細書に示す特徴の一部または全部を用いるアプリケーションは、音声および映像を多用な方法で利用することができる。例えば、以下のものに利用できる。
（１）並列の映像と音声、あるいは映像の組み合わせ−集団に情報を放送するテレビチャンネル
（２）音声、映像、あるいは統合された音声、−小規模な音声、映像、あるいは音声の組み合わせに提供される映像バックチャンネル−投票対象の映像の一部
（３）音声認識技術を本発明の特徴の全部または一部と組み合わせて投票を行う、
（４）音声認識技術を用いて音声を文書に変換する、および／または、
（５）音声合成を用いて、一致レベルに応じたコミュニティ回答の異なるレベルの「確信」を表現する。

（コンピューティングスケールアウト）
また、本発明のグループ反応評価システムおよび方法は、大規模な処理の過負荷を防止するために用いることができる。ユーザの無作為の部分集合を、集団全体に対して同様の処理を行う複数のサーバに分散させることができる。上記サーバは情報の蓄積および／または処理を並行して行えるようにしてもよい。例えば、クラウドコンピューティングのインフラを用いてもよい。本明細書に示した上記システムおよび方法は、参照によってその全体が組み込まれる、ＵＳ予備出願６１／５４４，７４９、ＵＳ予備出願６１／５９１，１１２、ＵＳ特許公報２０１１／０２３１７７９、ＵＳ特許７，３７７，４３１、および国際出願公報ＷＯ２００３／０８３６１５に示した１または複数の要素、特性、特徴、あるいは処理ステップを用いることができる。

具体例について図示および説明したが、それらに対して様々な変更が可能である。また、本発明は本明細書内に示した特定の実施例に限定されるものではない。本発明について具体例を示して説明したが、好ましい実施例の説明および図示は限定的に解釈されるべきではない。さらに、本発明の全ての態様は、条件と種々の変数に依存して本明細書に記載された特定の描写、構成または相対的な比率に限定されるものではない。本発明の実施例の詳細や形態は様々な改変が可能であることは当業者に明らかである。したがって、本発明は、そのような任意の修正、変更および等価物を含むことを意図している。

グローバルなソーシャル通信システムに含まれる通信ステップの例を示している。 本発明に従ったグループ分けの一例を示している。 新しいタイプのクラウドソーシング（crowd sourcing）を示している。 本発明の実施例において提供される集団の民主的な理解を示している。 コミュニティ内の様々な管理方法の例を示している。 本発明の実施例にかかる質問サイクルについてのユーザインタフェース画面の例を示している。 様々な選択肢を示すユーザインタフェースの例を示している。 ユーザが質問サイクルの中から質問を決定するためのユーザインタフェースの例を示している。 サンプルの一部であるエージェントに質問をコミュニティへの質問として通過させるべきか否かを尋ねるユーザインタフェースの例を示している。 投票数が最大であった質問を受信するユーザのユーザインタフェースの例を示している。 エージェントが評価対象の質問および回答を受信するユーザインタフェースの例を示している。 得票数が最大であった回答が提供されるユーザインタフェースの例を示している。 本発明の一実施形態にかかるグループ反応評価システムの例を示している。 本発明の一実施形態にかかるグループ反応評価システムを示している。 上記アプリケーションのアクセス画面を示している。 チャットにアクセスした後にユーザが最初に見る表示画面を示している。 「お気に入り」の表示画面を示している。 「通知」の表示画面を示している。 ユーザがリーダからの質問を見ることができる表示画面を示している。 リーダからの回答の提案を見ることができる表示画面を示している。 勝利回答、当該勝利回答の得票率、およびその他の情報を示している。 リーダからの新たな別の会話を示している。 ユーザが投票すべき写真が提示された表示画面を示している。 勝利写真、当該勝利写真の得票率、およびユーザに対するその他の情報を示す表示画面を示している。 リーダがファンに対して感謝を述べる新しい会話の表示画面を示している。 リーダからの新しい会話の表示画面を示している。 勝利写真が男性のコミュニティから獲得した得票率とその他の情報とを示す表示画面を示している。 得票数が上位であった写真のランキング、当該写真を提案したファン、当該写真の得票数および得票率を示す表示画面を示している。 ３者間のチャットを示している。 ３者間のチャットにおける会話を示している。 何かを表現している大規模なグループを示している。 インターネットを共有する大きなコミュニティを示している。 コミュニティにおける異なるメンバから複数の提案が発生した状態を示している。 異なる提案を評価する集団のグループを示している。 グループによる投票数が最大であった提案の選択を示している。

Claims (47)

1. １または複数の選択肢に対して反応を示す複数のエージェントを含むエージェントの集合の反応を、コンピュータを用いて評価する方法であって、
   複数の選択肢を含む第１選択肢集合を設定する工程と、
   コンピュータのプロセッサが、上記エージェントが上記エージェントの集合から無作為に選択される１または複数のエージェント部分集合に属するように、上記エージェントの集合を第１の複数のエージェント部分集合に分割する工程と、
   上記第１選択肢集合を複数の選択肢部分集合に分割する工程と、
   それぞれのエージェント部分集合に１または複数の異なる選択肢部分集合を割り当てる工程と、
   割り当てた各選択肢部分集合における全ての選択肢をそれぞれのエージェント部分集合内の各エージェントに提示する工程と、
   それぞれのエージェント部分集合内の各エージェントからそれぞれの選択肢部分集合における全ての選択肢に対するエージェント反応を取得する工程と、
   コンピュータのプロセッサが、それぞれのエージェント部分集合における割り当てられた選択肢部分集合に対するエージェント反応の分析に基づいて、上記第１選択肢集合の各選択肢に対する上記エージェントの集合の反応の統計評価を推定する工程とを含み、
   上記第１選択肢集合における選択肢の総数の、それぞれのエージェント部分集合に提示された選択肢部分集合の選択肢の数に対する比率が、２：１以上であることを特徴とする方法。
2. 上記エージェント反応を用いて実行すべき分析に関する情報を、上記エージェントに反応を提供する機会を与える前に、上記エージェントと共有することを特徴とする請求項１に記載の方法。
3. それぞれのエージェント部分集合に提示された各選択肢部分集合における全ての選択肢の評価を、複数のエージェント部分集合について並行して行うことを特徴とする請求項１に記載の方法。
4. 上記統計評価は、信頼区間を含んでいることを特徴とする請求項１に記載の方法。
5. 上記選択肢は提案であり、上記統計評価は上記エージェントによる上記提案に対する賛成率を含んでいることを特徴とする請求項１に記載の方法。
6. 上記提案は２以上のコミュニティによって提示され、上記統計評価は上記提案に対する上記２以上のコミュニティによる賛成率を含むことを特徴とする請求項５に記載の方法。
7. 上記２以上のコミュニティは利害関係が対立するコミュニティであり、当該方法は、１または複数の提案を含む提案の候補リストを上記賛成率に基づいて生成する、交渉技術の一部として用いられることを特徴とする請求項６に記載の方法。
8. 上記賛成率が所定の閾値を超える場合に、プロセッサが、上記第１選択肢集合から選択される１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程をさらに含むことを特徴とする請求項５に記載の方法。
9. プロセッサが、上記エージェントの集合によって所定の信頼水準で最も好まれた選択肢を含む、上記第１選択肢集合から選択される１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程をさらに含むことを特徴とする請求項１に記載の方法。
10. プロセッサが、上記エージェントの集合によって所定信頼水準以上で最も好まれた所定数の選択肢を含む、上記第１選択肢集合から選択した１または複数の選択肢を含む次の選択肢集合を、上記統計評価を用いて生成する工程をさらに含むことを特徴とする請求項１に記載の方法。
11. １または複数の上記選択肢は所定数以下の質問を含んでおり、上記次の選択肢は上記所定数以下の質問を含んでいることを特徴とする請求項１０に記載の方法。
12. 所定の目標に到達できない場合に、エージェントの集合の反応に基づいて結論を判定する工程をさらに含むことを特徴とする請求項１に記載の方法。
13. 所定の目標に到達できない場合に、
    （ａ）プロセッサが、上記統計評価を用いて、上記第１選択肢集合から選択される１または複数の選択肢を含む次の選択肢集合を生成する工程と、
    （ｂ）プロセッサが、上記エージェントの集合を複数の次のエージェント部分集合に分割する工程であって、上記１または複数の次のエージェント部分集合に属するエージェントを無作為に選択する工程と、
    （ｃ）上記次の選択肢集合を、当該次の選択肢集合を構成する複数の次の選択肢部分集合に分割する工程と、
    （ｄ）１または複数の異なる次の選択肢部分集合をそれぞれの上記次のエージェント部分集合に割り振る工程と、
    （ｅ）割り振られたそれぞれの上記次の選択肢部分集合における全ての選択肢を、それぞれの上記次のエージェント部分集合内の各エージェントに提示する工程と、
    （ｆ）それぞれの上記エージェント部分集合内の各エージェントから、割り振られたそれぞれの次の選択肢部分集合における全ての選択肢に対するエージェントの反応を取得する工程と、
    （ｇ）上記所定の目標が達成できない場合に、上記エージェントの集合の上記反応に基づいて結論を判定する工程とを行うか、あるいは、所定の目標サイズになるまで上記（ａ）〜（ｇ）の工程を繰り返すことを特徴とする請求項１２に記載の方法。
14. 上記結論は所定数以下の選択肢を含み、上記目標は上記所定数以下の選択肢に上記エージェントの集合によって最も好まれた所定数の選択肢が所定の信頼水準で含まれる場合に達成されることを特徴とする請求項１２または１３に記載の方法。
15. 上記１または複数の選択肢は提示される１または複数の質問であり、上記結論は所定数以下の質問を含み、上記目標は上記所定数以下の質問に上記エージェントの集合によって最も好まれた所定数の質問が所定の信頼水準で含まれる場合に達成されることを特徴とする請求項１２または１３に記載の方法。
16. 上記結論は、目標の受理および／または上記次の選択肢集合のサイズに基づいて選択される次の選択肢集合を含むことを特徴とする請求項１３に記載の方法。
17. 上記第１の複数のエージェント部分集合の数は、上記第１選択肢集合における選択肢の数に基づいて決定されることを特徴とする請求項１に記載の方法。
18. 上記比率が、１０：１以上、１００：１以上、１，０００：１以上、または１０，０００：１以上であることを特徴とする請求項１に記載の方法。
19. 各選択肢部分集合が、１個、２個、３個、４個、または５個の選択肢のみを含んでいることを特徴とする請求項１に記載の方法。
20. 上記エージェント反応を、モバイル端末を介してユーザから取得することを特徴とする請求項１に記載の方法。
21. 質問に対する潜在的な反応を明確化する方法であって、
    エージェントの集合の部分集合である反応サンプルグループに含まれる複数のエージェントに上記質問を提示する工程と、
    上記反応サンプルグループに含まれる上記複数のエージェントから上記質問に対する複数の潜在的な反応を取得する工程と、
    上記複数の潜在的な反応としての複数の選択肢を含む第１選択肢集合を生成する工程と、
    上記請求項１に記載の方法を実行する工程とを含むことを特徴とする方法。
22. 質問を作成する方法であって、
    ユーザからエージェントの集合に提示する質問の提案を取得する工程と、
    エージェントの集合の部分集合である質問サンプルグループ内の複数のエージェントに上記質問を提示する工程と、
    上記質問サンプルグループ内の複数のエージェントから上記質問に対するエージェントの反応を取得する工程と、
    上記質問が上記エージェントの反応に基づく所定の閾値を超えている場合、および上記エージェントの反応が所定の閾値を超えている場合に、プロセッサが請求項２１に記載の方法を実行する工程とを含むことを特徴とする方法。
23. 上記エージェント反応を用いて行われる上記分析に関する情報を、上記エージェントの反応を取得する前に、上記エージェントの分割に利用可能にすることを特徴とする請求項２１に記載の方法。
24. 上記エージェントの集合の上記エージェント部分集合に対する評価を並行して行い、上記評価はそれぞれの上記エージェント部分集合に提示されたそれぞれの選択肢部分集合における全ての選択肢の評価を含むことを特徴とする請求項２１に記載の方法。
25. プロセッサが、上記統計評価を用いて、上記第１選択肢集合のうちの１または複数の潜在的な反応を含む次の潜在的な反応の集合を生成する工程を含むことを特徴とする請求項２１に記載の方法。
26. 上記第１の複数のエージェント部分集合の数を上記第１選択肢集合における潜在的な反応の数に基づいて決定することを特徴とする請求項２１に記載の方法。
27. 上記質問をモバイル端末の表示装置を介して提示することを特徴とする請求項２１に記載の方法。
28. 複数の上記潜在的な反応を、上記モバイル端末を介して取得することを特徴とする請求項２７に記載の方法。
29. 上記反応サンプルグループおよび上記質問サンプルグループは１または複数の共通のエージェントを含むことを特徴とする請求項２２に記載の方法。
30. 上記反応サンプルグループおよび上記質問サンプルグループは１または複数の異なるエージェントを含むことを特徴とする請求項２２に記載の方法。
31. 複数の上記潜在的な反応に重複する反応が存在する場合に、当該反応を複数の上記潜在的な反応から除去することを特徴とする請求項２１に記載の方法。
32. 複数の上記潜在的な反応に異なるエージェントによって提示された重複する反応が存在する場合に、当該潜在的な反応を提示した上記エージェントを上記潜在的は反応を提示しているエージェントとして評価することを特徴とする請求項３１に記載の方法。
33. 複数のエージェントを含むコミュニティの選択肢の集合全体についての意見を決定する方法であって、
    選択肢の集合全体における選択肢の数あるいは選択肢の予想数に基づいてグループの数を設定する工程と、
    複数のエージェントのそれぞれを上記グループのうちの１つに振り分ける工程と、
    各グループについて、上記グループ内の各エージェントに選択肢の集合全体に含まれる選択肢の数よりも少ない数の選択肢を評価のために提示する工程と、
    各グループについて、各エージェントから当該エージェントに提示した各選択肢の評価を取得する工程と、
    プロセッサが、上記各グループの各エージェントから取得した評価を用いてコミュニティの意見に応じた１または複数の最適選択肢を決定する工程とを含むことを特徴とする方法。
34. 上記エージェントを、統計的サンプリング方法を用いてそれぞれのグループに振り分けることを特徴とする請求項３３に記載の方法。
35. 各グループに提示される選択肢の数が同数であることを特徴とする請求項３３に記載の方法。
36. 各グループに提示される選択肢の数が、選択肢の集合全体における選択肢の数をグループの数で除算した数と等しいことを特徴とする請求項３３に記載の方法。
37. 各グループに提示される選択肢の数が１つであることを特徴とすることを特徴とする請求項３３に記載の方法。
38. 各グループに振り分けられる上記エージェントの数は、エージェントの数を選択肢の集合全体における選択肢の数で除算した値と等しいことを特徴とする請求項３３に記載の方法。
39. 各グループにおいて、当該グループの各エージェントに提示される選択肢が他のグループのエージェントに提示される選択肢と異なることを特徴とする請求項３３に記載の方法。
40. （ａ）各グループにおける各エージェントから取得した評価を用いて最適選択肢候補の集合を決定する工程と、
    （ｂ）各グループについて、当該グループ内の各エージェントに上記最適選択肢候補の集合のうちの少なくとも１つの選択肢を提示する工程と、
    （ｃ）各グループについて、各エージェントから、当該エージェントに提示した上記最適選択肢候補の集合のうちの少なくとも１つの上記選択肢の評価を取得する工程とを含むことを特徴とする請求項３３に記載の方法。
41. 上記（ａ）〜（ｃ）の工程を、所定回数、あるいは所望する統計的信頼水準が得られるまで繰り返し行い、
    上記エージェントを、統計的サンプリング方法を用いてそれぞれのグループに割り当て、上記最適選択肢候補の集合における選択肢の数を上記（ａ）〜（ｃ）の工程を繰り返す毎に低減していくことを特徴とする請求項４０に記載の方法。
42. 上記最適選択肢あるいは上記最適選択肢の集合を決定する工程は、選択肢の集合全体の中で最も好ましい評価を取得した１または複数の選択肢を上記各グループ内の各エージェントからの評価に基づいて選択する工程を含むことを特徴とする請求項３３に記載の方法。
43. 上記（ａ）の工程は、上記選択肢の集合全体の中で最も好ましい評価を得たｎ個（ｎはｎ＞１かつ上記選択肢の集合全体における選択肢の数よりも小さい値）の選択肢を選択する処理により上記最適選択肢候補の集合を決定する工程を含むことを特徴とする請求項４０の記載の方法。
44. 上記選択肢の集合全体の中に複数のエージェントのうちの少なくとも一人から取得した提案が含まれていることを特徴とする請求項３３に記載の方法。
45. 上記評価に関する情報の総計を複数のエージェントに利用可能にすることを特徴とする請求項３３に記載の方法。
46. コンピュータに複数のエージェントを含むコミュニティの選択肢の集合全体についての意見を決定するための処理を実行させるプログラムを記録したコンピュータ読取可能な記録媒体であって、
    上記処理は、
    選択肢の集合全体における選択肢の数あるいは選択肢の予想数に基づいてグループの数を設定する工程と、
    複数のエージェントのそれぞれを上記グループのうちの１つに振り分ける工程と、
    各グループについて、上記グループ内の各エージェントに選択肢の集合全体に含まれる選択肢の数よりも少ない数の選択肢を評価のために提示する工程と、
    各グループについて、各エージェントから当該エージェントに提示した各選択肢の評価を取得する工程と、
    上記各グループの各エージェントから取得した評価を用いてコミュニティの意見に応じた１または複数の最適選択肢を決定する工程とを含むことを特徴とする記録媒体。
47. 複数のエージェントを含むコミュニティの選択肢の集合全体についての意見を決定するコンピュータシステムであって、
    上記コンピュータシステムはプログラマブルプロセッサを備えており、
    上記プログラマブルプロセッサは、
    選択肢の集合全体における選択肢の数あるいは選択肢の予想数に基づいてグループの数を設定する処理と、
    複数のエージェントのそれぞれを上記グループのうちの１つに振り分ける処理と、
    各グループについて、上記グループ内の各エージェントに選択肢の集合全体に含まれる選択肢の数よりも少ない数の選択肢を評価のために提示する処理と、
    各グループについて、各エージェントから当該エージェントに提示した各選択肢の評価を取得する処理と、
    プロセッサが、上記各グループの各エージェントから取得した評価を用いてコミュニティの意見に応じた１または複数の最適選択肢を決定する処理と、
    １または複数の最適選択肢を表示装置に表示させる処理とを行うことを特徴とするコンピュータシステム。

Images