JP4994243B2 - クエリの自動的カテゴリ化による検索処理 - Google Patents

Description

発明の背景
この発明は一般的にネットワークおよびインターネット検索ならびにインターフェイスシステムに関し、より特定的には、検索クエリが１つ以上の分類法に従って自動的にカテゴリ化され、分類法が過去のクエリおよび／またはクエリに関するユーザの行為から自動的に生成され得る機能を含む、増強された検索機能を提供する検索システムに関する。

インターネットならびにワールドワイドウェブ（ウェブ）上でユーザに利用可能である多数のウェブページおよび媒体コンテンツの到来によって、ウェブをフィルタして所望の情報を得るための能率化されたアプローチをユーザに与える必要が出てきた。所望の情報を得るというユーザの必要を満たすため、検索システムおよびプロセスが開発されている。そのような技術の例は、ヤフー（Yahoo!）、グーグル（Google）および他のサイトを通してアクセスすることができる。典型的には、ユーザが１つのクエリを入力すると、検索プロセスが（ウェブ探索の場合）１つ以上のリンク、文書、および／または（異なる検索コーパスの場合）クエリと関連する参照を返す。返されたリンクはユーザが実際に捜していたものと密接に関連しているかもしれず、または全く無関係かもしれない。クエリ結果の「関連性」は、ある部分において、入力された実際のクエリの関数（function）であり得るのと同様に、用いられる検索システム（基礎となる収集システム）のロバスト性の関数（function）でもあり得る。関連性は、ユーザによって主観的に判断されても、またはユーザが捜していたであろうものにより客観的に判断されてもよい。

ユーザが入力するクエリは、典型的には１つ以上の単語でできている。例えば、「ハワイ（hawaii）」はクエリであり、「ニューヨーク市（new york city）」も、「ニューヨーク市の法執行（new york city law enforcement）」もクエリである。このように、クエリは全体として人間の脳に欠かせないものではない。換言すれば、人間は当然にはクエリでは考えない。クエリは、ある部分において、検索エンジンに問合せたりライブラリカタログを調べたりする必要に迫られて押付けられた、人為的な構成体である。人間はまた、当然には１つのみの単語でも考えない。人間の考え方は自然な概念である。例えば、「ハワイ」および「ニューヨーク市」は、単語の数によって測定された長さにおいて大いに異なるクエリであるが、それらは１つの重要な特性を共有する。それらは各々１つの概念から構成される。しかしながら「ニューヨーク市の法執行」は違う。なぜならそれは２つの別個の概念「ニューヨーク市」および「法執行」から構成されるからである。

人間はまた、概念間の論理関係によっても考える。例えば、警察が法執行の重要な機関であるので、「法執行」と「警察」とは関連のある概念である。これらの概念のうち一方を入力するユーザは、他方の概念に関連するサイトがたとえユーザがたまたま入力した特定の単語または句を含まないサイトであったとしても、そのサイトに興味を持つかもしれない。このような思考パターンの結果、人間は生来、単にさまざまな長さの単一の単語の連続ではなく、１つ以上の自然な概念を入力することによってクエリを構築する。そして一般にクエリは、ユーザが認識しているであろう関連概念のすべてを含んでいるわけではない。また、ユーザの意図はクエリの個々の単語に必ずしも反映されていない。例えば、「法執行」は１つの概念である一方で、別個の単語「法」および「執行」は、それらの単語が組み合わされた場合と同じユーザの意図を、個々に伝えるわけではない。

検索プロバイダによって用いられる現在の技術は、人間がクエリを作成するのと同じやり方でクエリを理解するわけではない。例えば、既存の検索エンジンは一般にユーザが入力した単語または句そのままを検索するのであって、ユーザが実際に思い描いていた、根底にある自然な概念または関連概念を検索するのではない。これは恐らく、検索プロバイダがユーザの意図を識別し、最適な検索結果およびコンテンツを与えるのを妨げる、最も重要な理由である。

これからわかるように、ユーザが興味を持っているであろう実際の概念により合致した結果とユーザのよりよい経験とをもたらすことを支援する、改良された検索およびインターフェイス技術が必要とされている。

発明の概要
本発明の実施例は検索要求を処理するためのシステムおよび方法を提供し、処理には、探される情報のより洗練された理解を得るために、受取ったクエリを分析することを含む。クエリをユニットに構文解析し、たとえばクエリに一緒に現れるユニットのパターンに基づいて、ユニット間のさまざまな関係を定義することにより、概念ネットワークがクエリの組から生成される。（たとえば異なった期間または異なった地理的領域を表わす）異なった組のクエリに対応する、いくつかの異なった概念ネットワークが生成され得る。これらの概念ネットワークから、クエリは自動的にカテゴリ化され得るか、またはより一般的には、分類法の１つ以上のノードに関連付けられ得る。カテゴリ化は、検索結果または結果のユーザに対する提示を変更するために用いられ得る。

検索結果または提示を変更することの例として、提示は関連する検索クエリ項目に対する「提案」のリストを含み得る。他の例として、検索されたコーパスはカテゴリに依存して変化するか、または、ユーザに提示するための結果の順序付けもしくは選択は、カテゴリに依存して変化し得る。

ある実施例においては、カテゴリ化は学習されたクエリ−ノード対の組を用いて行なわれ、対が特定のクエリを分類法における特定のノードにマッピングする。学習された組は、どのクエリがどのノードに行くかという手動の表示から初期化され、さらに検索が行なわれるにつれて増強され得る。増強する１つの方法は、クエリ後のクリック活動を追跡してクエリのカテゴリ推定が、クエリ後クリック活動、たとえばクエリの後にユーザが選択した検索結果の特定のヒット、のカテゴリによって証明される、そのクエリの実際のカテゴリからどのようにばらついたかを識別することを含む。

ある実施例においては、いくつかのユニットまたは概念についてカテゴリが既知であって、クエリは既知もしくは未知である、またはそのクエリの異なった部分に対する異なったカテゴリは既知であるユニットまたは概念を含む。これらの場合には、クエリ全体に対するカテゴリは、クエリの部分の１つのまたは複数のカテゴリから推論され得る。

以下の詳細な説明は、添付の図面と併せて、本発明の性質および利点についてのよりよい理解をもたらすであろう。

発明の詳細な説明
Ｉ．概観
Ａ．ネットワーク実現例
図１は、本発明の実施例に従ったクライアントシステム２０を含む、情報検索および通信ネットワーク１０の総括的概観を示す。コンピュータネットワーク１０では、クライア
ントシステム２０は、インターネット４０または他の通信ネットワークを介して、例えば任意のローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）接続をわたって、任意の数のサーバシステム５０_１−５０_Ｎに結合される。本願明細書に記載されるように、クライアントシステム２０は、サーバシステム５０_１−５０_Ｎのいずれかと通信するように、例えば媒体コンテンツおよびウェブページなどの他の情報にアクセスし、受け取り、検索し、表示するように、本発明に従って構成される。

図１に示されるシステムのいくつかの要素は、本願明細書に詳細に説明される必要のない従来の周知の要素を含む。例えば、クライアントシステム２０は、デスクトップパーソナルコンピュータ、ワークステーション、ラップトップ、携帯情報端末（ＰＤＡ）、携帯電話もしくは任意のＷＡＰ対応装置、またはインターネットに直接もしくは間接にインターフェイスすることができる他の計算装置を含み得る。典型的にはクライアントシステム２０が、ブラウジングプログラム、例えばマイクロソフトのインターネットエクスプローラ（登録商標）ブラウザ、ネットスケープナビゲータ（登録商標）ブラウザ、モジラ（登録商標）ブラウザ、オペラ（登録商標）ブラウザ、または携帯電話の場合はＷＡＰ対応ブラウザ、ＰＤＡまたは他の無線装置などを実行することにより、クライアントシステム２０のユーザは、インターネット４０を介してサーバシステム５０_１−５０_Ｎから利用可能な情報およびページのアクセス、処理および閲覧ができる。クライアントシステム２０はまた、典型的にはキーボード、マウス、タッチスクリーン、ペンなどの１つ以上のユーザインターフェイス装置２２を含み、サーバシステム５０_１−５０_Ｎまたは他のサーバによって与えられるページ、フォームおよび他の情報に関連してブラウザによって表示（例えばモニタ画面、ＬＣＤ表示など）上に与えられるグラフィカルユーザインターフェイス（ＧＵＩ）と対話する。本発明は、ネットワークのうち特定のグローバルインターネットワークを指すインターネットでの使用に適する。しかしながら、例えばイントラネット、エクストラネット、仮想プライベートネットワーク（ＶＰＮ）、非ＴＣＰ／ＩＰベースのネットワーク、任意のＬＡＮまたはＷＡＮなどの他のネットワークを、インターネットの代わりに、またはインターネットに加えて用い得ることが理解されよう。

一実施例に従うと、クライアントシステム２０およびそのすべての構成要素は、インテルペンティアム（登録商標）（Intel Pentium（登録商標））プロセッサ、ＡＭＤアスロン（Athlon）（登録商標）プロセッサなどの中央処理装置または複数のプロセッサを用いて実行されるコンピュータコードを含むアプリケーションを用いてオペレータ構成可能である。本願明細書に記載されるように、データおよび媒体コンテンツを通信し、処理し、表示するようにクライアントシステム２０を動作し構成するためのコンピュータコードは、好ましくはダウンロードされ、ハードディスクに記憶されるが、そのプログラムコード全体または部分はＲＯＭまたはＲＡＭなどとして周知である任意の他の揮発性もしくは不揮発性メモリ媒体または装置に記憶されてもよく、または、コンパクトディスク（ＣＤ）媒体、デジタル多機能ディスク（ＤＶＤ）媒体、フロッピー（登録商標）ディスクなどのプログラムコードを記憶することができる任意の媒体で与えられてもよい。さらに、プログラムコード全体または部分は、ソフトウェアソース、例えばサーバシステム５０_１−５０_Ｎの１つからクライアントシステム２０にインターネットを通じて送信されダウンロードされてもよく、またはいずれの通信媒体およびプロトコル（例えばＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、イーサネット（登録商標）または他の従来の媒体およびプロトコル）を用いて他のネットワーク接続（例えばエクストラネット、ＶＰＮ、ＬＡＮまたは他の従来のネットワーク）を通じて送信されてもよい。

本発明の局面を実現するためのコンピュータコードは、Ｃ、Ｃ＋＋、ＨＴＭＬ、ＸＭＬ、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔなどのコード、または他の適切なスクリプト言語（例えば、ＶＢＳｃｒｉｐｔ）、または他の適切なプログラミング言語であってクライアントシステム２０上で実行することができるか、クライアントシス
テム２０上で実行するためにコンパイルすることができるコードであり得ることが認識されるべきである。いくつかの実施例では、コードはクライアントシステム２０にダウンロードされず、必要なコードはサーバによって実行されるか、またはクライアントシステム２０に既にあるコードが実行される。

Ｂ．検索システム
図２は、本発明の実施例に従った、媒体コンテンツを通信するための別の情報検索および通信ネットワーク１１０を示す。示されるように、ネットワーク１１０は、クライアントシステム１２０、１つ以上のコンテンツサーバシステム１５０、および検索サーバシステム１６０を含む。ネットワーク１１０では、クライアントシステム１２０は、インターネット１４０または他の通信ネットワークを通じてサーバシステム１５０および１６０に通信可能に結合される。上述のように、クライアントシステム１２０およびその構成要素は、インターネット１４０または他の通信ネットワークを通じてサーバシステム１５０および１６０、ならびに他のサーバシステムと通信するよう構成される。

一実施例に従うと、クライアントシステム１２０上で実行するクライアントアプリケーション（モジュール１２５として表わされる）は、サーバシステム１５０および１６０と通信し、かつそこから受け取ったデータコンテンツを処理し表示するように、クライアントシステム１２０およびその構成要素を制御する命令を含む。クライアントアプリケーションモジュール１２５は、上述のようにフロッピー（登録商標）ディスク、ＣＤ、ＤＶＤなどの任意のソフトウェア記憶媒体に与えられてもよいが、クライアントアプリケーション１２５は、リモートサーバシステム（例えばサーバシステム１５０、サーバシステム１６０または他のリモートサーバシステム）などのソフトウェアソースからクライアントシステム１２０に送信され、ダウンロードされてもよい。例えば、１つの局面では、クライアントアプリケーションモジュール１２５は、以下に説明するような、データを操作し、かつデータをさまざまなオブジェクト、フレームおよびウインドウに図示するための、例えば埋込型Ｊａｖａ（登録商標）ＳｃｒｉｐｔまたはアクティブＸ制御などの様々な制御を含むＨＴＭＬラッパ（wrapper）で、インターネット１４０を通じてクライアントシステム１２０に与えられてもよい。

さらに、クライアントアプリケーションモジュール１２５は、検索リクエストおよび検索結果データを処理するための専門化された検索モジュール１２６などのデータおよび媒体コンテンツの処理のための様々なソフトウェアモジュールと、データおよび媒体コンテンツをテキスト、データフレーム、ならびにブラウザウィンドウおよびダイアログボックスなどのアクティブウィンドウに図示するためのユーザインターフェイスモジュール１２７と、クライアント１２０上で実行する様々なアプリケーションとインターフェイスし通信するためのアプリケーションインターフェイスモジュール１２８とを含む。アプリケーションインターフェイスモジュール１２８が本発明の１つの局面によってインターフェイスするよう好ましくは構成される、クライアントシステム１２０上で実行する様々なアプリケーションの例としては、様々な電子メールアプリケーション、インスタントメッセージング（ＩＭ）アプリケーション、ブラウザアプリケーション、文書管理アプリケーションなどを含む。さらに、インターフェイスモジュール１２７は、クライアントシステム１２０または異なるブラウザ上に構成されるデフォルトブラウザなどのブラウザを含んでもよい。いくつかの実施例では、クライアントアプリケーションモジュール１２５は、Kapur IVに記載の汎用検索インターフェイスの特徴を提供する。

一実施例に従うと、サーバシステム１６０は、クライアントシステム１２０に検索結果データおよび媒体コンテンツを与えるよう構成され、サーバシステム１５０は、ウェブページなどのデータおよび媒体コンテンツを、例えばサーバシステム１６０によって与えられる検索結果ページにおいて選択されたリンクに応答して、クライアントシステム１２０
に与えるよう構成される。以下により詳細に説明するように、一実施例におけるサーバシステム１６０は、１つ以上のインデックスに、たとえばページおよびページへのリンクなどを投入（populating）するためのさまざまな収集技術を参照する。そのような収集技術は、自動ウェブクローラおよびスパイダなど、ならびに、ウェブページをカテゴリ化または分類し、かつウェブページを分類法のような階層構造内で格付けするための手動または半自動のカテゴリ化プロセスおよびインターフェイスを含む。ある局面では、検索サーバシステム１６０はまた、ウェブページを処理し格付けするための検索関連アルゴリズムでも構成される。検索サーバシステム１６０はまた好ましくは、送信されたクエリ、それらがいつ送信されたか、誰がそれらを送信したか、および送信者が検索結果を受取った後に何を行なったかのような、クエリログファイルの形式でユーザクエリ活動を記録するようにも構成される。

一実施例における検索サーバシステム１６０は、たとえばページ、ページへのリンク、インデックスを付けられたページのコンテンツを表わすデータを投入されるさまざまなページインデックス１７０を参照する。ページインデックスは、自動ウェブクローラおよびスパイダなど、ならびに、ウェブページをカテゴリ化または分類し、ウェブページを階層構造内で格付けするための手動または半自動のカテゴリ化プロセスおよびインターフェイスを含むさまざまな収集技術によって生成され得る。これらの技術は検索サーバシステム１６０において実現されても、またはページインデックス１７０を生成しそれを検索サーバシステム１６０にとって利用可能にする別個のシステム（図示せず）において実現されてもよい。

ページインデックス１７０におけるエントリ１６２は、検索用語と、その用語が現れるページへのリンク（または他の符号化識別子）と、そのページに対するコンテキスト識別子とを含む。検索結果を得るための検索サーバシステムのさらなる詳細は、Kapur IVに提供される。

ここに説明する検索システムは例示的なものであって、変形および修正が可能であることが認識されるであろう。コンテンツサーバおよび検索サーバシステムは、ヤフー社（Yahoo! Inc.）によりユーザに提供されるような分散サーバシステムなどの単一組織の一部であるか、または異種の組織の一部であってもよい。各サーバシステムは、一般的に少なくとも１つのサーバおよび関連付けられたデータベースシステムを含むが、複数のサーバおよび関連付けられたデータベースシステムを含んでもよく、かつ、単一のブロックとして示されるが地理的に分散されていてもよい。例えば、検索サーバシステムのサーバのすべてが互いの近傍に（例えば単一の建物またはキャンパスに設置されるサーバファーム内）に設置されてもよく、互いから遠い場所（例えば、Ａ市にある１つ以上のサーバおよびＢ市にある１つ以上のサーバ）に分散されていてもよい。こうして、ここで用いられる場合、「サーバシステム」は典型的には、局所的にまたは１つ以上の地理的場所にわたって分散される、論理的および／または物理的に接続された１つ以上のサーバを含む。用語「サーバ」と用語「サーバシステム」とは、入替え可能に用いられる。

検索サーバシステムは、１つ以上のページインデックスと、クライアントシステムから受取った検索クエリに応答して、そのページインデックスにアクセスして検索結果をユーザに提供するためのアルゴリズムとで構成されてもよい。検索サーバシステムは、ページインデックスを自分で生成するか、ページインデックスを別のソース（たとえば別個のサーバシステム）から受取るか、またはページインデックスを別のソースから受取ってそのさらなる処理を行なってもよい（たとえば、コンテキスト識別子の追加または更新）。

この発明の好ましい局面においては、クエリを処理してクエリを構成ユニットに分解するようクエリ処理エンジンが設けられる。この発明のクエリ処理エンジンによって、概念
発見および分析処理、コンテキスト分析、曖昧性の除去、および検索クエリに応答してユーザに返される結果の品質を向上させるであろう他の多くの処理を、システムが実現することが可能になる。この発明に従ったクエリ処理エンジンは、スタンドアローンの装置で実現されても、またはネットワークに接続したシステムで、たとえばここで説明するさまざまなクエリ処理および分析アルゴリズムならびに処理を実行するコンピュータシステムで実現されてもよく、またはサーバシステム１６０ような検索サーバ、もしくは他のサーバシステムの一部として含まれてもよい。

Ｃ．概念ネットワーク
いくつかの実施例においては、クエリ内の概念は既知の概念（または「ユニット」）のリストを含むユニット辞書１７２を参照することにより有利に検出される。ユニット辞書１７２は、いくつかの数（好ましくは大きな数、たとえば、少なくとも数十万）の以前のクエリに基づく概念発見処理によって有利に生成される。概念発見は、クエリを分析して概念ネットワークを生成することを含み、検索サーバ１６０によって行なわれても別のサーバ（図示せず）によって行なわれてもよい。

図３は、クエリ処理エンジンを含むシステムを示す。図示されたエンジン３００は、インターネットをわたって、またはさまざまなネットワーク接続、たとえばＬＡＮ、ＷＡＮ、直接リンク、配布媒体（たとえばＣＤ、ＤＶＤ、フロッピー（登録商標））などを介して、さまざまなソースからクエリログファイル（または実際のクエリ）を受取る。クエリログファイル（クエリログ）は情報理論または相互情報量のような概念において用いられるような統計学的方法を用いてクエリエンジン３００によって処理される。好ましい局面においては、日別のクエリログが用いられるが、たとえば時間、週などのような異なった期間に対するログをも希望に応じて用い得る。クエリログは典型的にはユーザによって送信された実際のクエリを含み、ある場合には、クエリを送信するユーザの地理的場所、タイムスタンプ、クライアントシステムのＩＰアドレス、クッキー、クライアントのタイプ（たとえばブラウザタイプ）などのようなさらなる有用な情報を含む。クエリ処理エンジン３００はさまざまなクエリログを処理し、そこからユニットを生成する。ユニットと、発生頻度のような関連付けられた統計とは、メモリまたはデータベースファイル３１０に記憶される。

クエリおよびクエリログを処理してユニットを生成し、ユニットに基づき提案を生成するための方法論を含むクエリ処理エンジンの局面の例は、Kapur IIに記載される。サーバ１６０はシステム１８０から受取ったユニットおよび何らかの統計を処理して、ユーザのクエリに応答する結果を、提案および他の情報とともにユーザに返す。ある局面においては、提案は、ユーザを検索システムとの連続的なダイアログにかかわらせるための方法である。提案は、ユニットならびにそれらの敷衍および関連付けに捉えられたユーザの必要性についての高度に洗練された理解に基づく、ユーザが次に探索したいかもしれないものについてのヒントおよび助言である。

一局面においては、ユニット辞書３１０は、実際の検索結果に加えてまたはそれに代えてユーザに提示する提案を生成するために、有利に用いられる。たとえば、検索サーバ１６０または他の検索知能は、ユニット辞書を制御する専門化されたサーバ、たとえば図４のサーバ１８０、にクエリを送ってもよく、またはユニット辞書のインスタンスが検索サーバ１６０に記憶されてもよい。たとえば、ユニットを生成するための上述の擬似コードに定義される敷衍および関連付けを用いた、一実施例に従った提案を生成するための方法論の例は、Kapur IIに見出すことができる。

好ましい局面においては、契約している会社のサーバ、たとえばサーバ１５０で実行するよう構成される処理が、サーバ１６０と通信するために、（たとえば、コンピュータ読
取可能媒体におけるコードとして、またはネットワーク接続をわたって送信されて）契約している企業に与えられる。そのような処理は、好ましくはバックグラウンドで常に実行しており、インデックスによって参照されるページおよびまたは製品を識別するサーバ１６０からのクエリに応答して、または個々の検索の結果として、所望の情報を提供する。手動の情報更新もまた実現されてもよく、この場合企業のオペレータが特定の時間に、またはサーバ１６０からの要求に応じて、所望の情報を提供する。

ユニットおよびクラスタ化
図５は、ユニットジェネレータの簡略化されたブロック図である。図示されるように、ユニットパーサ５００は、入力としてクエリストリング（またはクエリストリングとクエリに付属の他のデータもしくはメタデータとを含むクエリ記録）を受取り、概念ネットワーク５０２を調べ、クエリストリングが向けられる概念を表わす１つ以上のユニットを出力する。ユニットジェネレータの動作のさらなる詳細は、Kapur IIに記載される。ユニットは、検索を行なうため、関連する検索に対する提案を生成するため、ログを取るため、および他のさまざまな目的のために用いることができる。

ユニットの１つの用途は、クエリをわたって用いられる用語のグループを定義するようにユーザクエリをクラスタ化することである。たとえば、ユニットはそれらが「類似の」関連付けられる単語を有する場合にクラスタ化されることができる。たとえば、単語「歌詞」「ｍｐ３」、「ギタータブ」、「ディスコグラフィー」などは、特定のギタリストの名前での大きなクエリ組の中に同時に発生し得る。ユーザが別の歌手についてクエリを送信する場合に類似の単語が用いられるであろう。これにより、検索システムが関連付けられる単語に基づき高い精度でクラスタを形成することが可能になる。

類似性はいくつかのやり方で定義され得る。１つの方策においては、２つのユニット間の類似性は、そのユニットにおける単語の重複の程度に基づく。これに対し、重複の程度を測定するためにさまざまなアルゴリズムを用い得る。

たとえば、各々がそれに関連付けられる単語を有し、かつクエリの収集から決定される２つのユニット間の重複は、以下の要因のうちの１つ以上を参酌することにより測定することができる。

ａ） 両方のユニットに見出される関連付けられる単語の数。
ｂ） 関連付けられる単語の発生頻度および関連付けられる単語の数。
ｃ） ユニットに関連付けられる提案のリスト内の、関連付けられる単語の格付け（頻度により分類される）における差に従っていくらかの一致度が割引かれた、関連付けられる単語の数。
ｄ） 関連付けられる単語の相対頻度における差に従っていくらかの一致度が割引かれた、関連付けられる単語の数。
ｅ） 関連付けられる単語がユニットのいずれかにおいて発生する回数と、これらの単語が他のユニットにおいて同時発生する回数の合計数とを比較して測定される、関連付けられる単語の妥当性。

いくつかの経験的テストにおいて、要因ａ）および要因ｅ）は良好な結果を生じさせる。さらなるクラスタ処理は、コンテキストに基づくクラスタ化を含み得る。たとえば、表１に示される値を有するユニット「sony」に対するクラスタを取り上げる。

クエリにおける「sony」は多くの種類の電子製品のうちの１つに頻繁に関連するので、クエリがコンピュータ／デスクトップ／ラップトップに実際に関連する場合には、システムは、他のいずれかの企業が書くコンテキストにおいて「sony」を用いて結果を絞込む／並べ替えることができる。たとえば、「compaq」のコンテキストにおいて、表１の結果は表２の結果に変化する。

そのようなコンテキストに基づくクラスタ化に対し、１つの方策は所与のユニットの関連付けられる単語のインターセクションを用いて、上に列挙した要因ａ−ｅのうちの１つ以上に与えられる擬似ユニットを作成することである。クラスタ化のさらなる例および説明はKapur IIIに記載される。

ユニット−クラスタを用いたキーワードカテゴリ化
キーワードカテゴリ化は手動で行なわれ得る。そのような方策においては、ユーザクエリは、人間のエディタによって手動でカテゴリツリーにカテゴリ化または分類される。エディタは、クエリを適切にカテゴリ化するためには、そのクエリの安定した知識を有する必要がある。手動の分類は常に一貫しているわけではなく、非常に主観的になり得る。これらの問題を回避するために、検索サポートシステムは、エディタが容易にかつ一貫して正しいカテゴリを選択する支援を行なってもよい。検索サポートシステムはまた、手動ではカテゴリ化されないクエリを扱うために、自動化されたカテゴリ化をも必要とする可能性がある。

ここで説明される方策においては、システムが、カテゴリ化されたクエリの組にはまだ存在しないクエリを受取ると、そのカテゴリ化されていないクエリはユニットに分割され
る。これらのユニットがカテゴリ化されると、それらのカテゴリを、そのカテゴリ化されていないクエリを分類するために用いることができる。

そのカテゴリ化されていないクエリがそれ自体ユニットであって分割できない場合には、類似のユニットおよびそれらのカテゴリを見出すために、ここに説明されるようなクラスタ化プロセスが適用され得る。たとえば、所与の分類されていない単語が分類されていないテレビのブランド名であるが、クラスタ化によってそれが他のテレビのブランドと類似していると識別されれば、ユニットを分類することができる。そのような分類は、要因の１つであり得る、一意の類似性尺度で行なわれるＫ−最近傍分類であってもよい。

この方策は、ミススペルおよび変形体を分類する助けにもなり得る。なぜならばそのような変形体のすべてに対する関連付けられる単語は類似し得るので、それらは正しいスペルと同じクラスタに入るからである。

自動的クエリカテゴライザ
図６は、ユニットジェネレータによって決定されたユニットを用いて、クエリが関連付けられるべき分類法における１つ以上のノードを決定し得る、自動的クエリカテゴライザの実施例のブロック図である。図示されるように、カテゴライザ６００は、クエリを入力として、おそらくはクエリ記録として受取り、クエリ−ノード対の組を調べる。ある場合には、カテゴライザ６００は、手動で生成されるか、または他の何らかのソースから検索システムに提供される初期の組６０２を調べる。たとえば、初期の組６０２は、数百検索クエリおよびその検索クエリが関連付けられる分類法ノード（カテゴリを表わす）を含み得る。こうして、ユーザが初期の組の中の１つに一致するクエリを送信すると、そのクエリは直接的な態様で、その対に対して列挙されたノードにカテゴリ化されることができる。しかしながら、膨大な数の異なったクエリであり得る、システムにおけるほとんどのクエリであるかもしれない、初期の組の中の１つに一致しないクエリに対しては、他の方策が必要になる。

学習された組６０４は、クエリ−ノード対の記録を含み、また、おそらくは重みのような対に対するメタデータをも含み、学習された組６０４には、初期の組が投入され、次いで、クエリが検索システムに送信され、カテゴリがクエリ後クリック活動のような外部イベントによって示されると、調整される。一実施例においては、図示されるように、クエリ後アナライザ６１０が入力としてクエリ（またはクエリ記録）と、クエリに関連付けられるクエリ後活動（ユーザがそのクエリに対して提示された検索結果から選択した１つまたは複数のページの表示など）と、カテゴライザ６００によって決定されたクエリのカテゴリの推定とを受取る。これらの入力から、クエリ後アナライザ６１０は、学習された組６０４に対する更新を計算する。

ある実施例においては、クエリ後アナライザ６１０はニューラルネットワークに対するフィードバックループとして動作する。この態様で、カテゴライザ６００がクエリが関連付けられるべき１つまたは複数のカテゴリの推定を改良できるように、学習された組は改良される。他の実施例においては、クエリ後アナライザ６１０は他の学習システムを用いてカテゴリの推定を改良する。

一旦分類法における１つ以上のノードに対する、クエリのカテゴリ化がわかると、その情報を検索処理を変更するために用いることができる。

カテゴリ化されたクエリを用いた検索エンジン
図７は、クエリ記録とそのクエリに対するカテゴリの表示とに従って検索する検索エンジンを含む、情報検索および通信システムのブロック図である。図示されるように、検索
エンジン７００は、入力としてクエリ（またはクエリ記録）とそのクエリが関連付けられるべきカテゴリ（おそらくは推定）とを受取り、検索エンジン７００はそれに従って検索結果を出力する。

クエリ（またはクエリ記録）およびカテゴリは、提案エンジン７０２にも入力され、提案エンジン７０２は、クエリの１つまたは複数のカテゴリに従って用いられるべき関連する検索クエリのような提案を生成する。たとえば、クエリが「ニューヨークのホテルを見つける」である場合、関連するカテゴリは「場所／ＵＳＡ／ニューヨーク州／ニューヨーク市」および「旅行／宿泊施設／ホテル」であり得る。これらのカテゴリから、提案エンジンは「ニューヨーク宿所」、「ニューヨーク旅行」、「ニューヨークの天気」のような関連の検索を提案し得るが、なぜならばそれらはオリジナルの検索クエリと同じノード、またはその近傍のノードに関連付けられる検索であるからである。

図８は、クエリのカテゴリ化に従って１つ以上の検索エンジンにクエリを向けることにより別の態様に検索処理を変更するクエリディレクタを含む、情報検索および通信システムのブロック図である。図示されるように、クエリ記録がデマルチプレクサ８００に与えられ、デマルチプレクサ８００はクエリ記録を、デマルチプレクサ８００に入力されたカテゴリに基づき１つ以上の可能な検索エンジン８０２に向ける。たとえば、クエリに対するカテゴリが「健康／薬情報」である場合、クエリは薬検索エンジンに向けられ得る。２つの検索エンジンしか示されないが、２つより多くの検索エンジンが含まれ得ることがこの開示から明らかであろう。クエリが１つよりも多い検索エンジンに与えられる場合、ミクサ８０４が各検索エンジンからの結果を組合せて包括的な結果を形成し得る。ある例においては、ミクサ８０４は結果の位置付けにおいて各検索エンジンに対する重みを参酌し得る。

図９は、プリプロセッサがクエリ記録において参照されたクエリのカテゴリ化に従ってクエリ記録を修正して、修正されたクエリ記録を形成し、その修正されたクエリ記録が検索エンジンに送信される、さらなる変形例を含む情報検索および通信システムのブロック図である。特に、プリプロセッサ９００はクエリ記録に示されるクエリに対して推定されたカテゴリにおけるクエリ記録をその入力として有する。プリプロセッサ９００は修正されたクエリ記録を出力し、この出力は次いで検索エンジン９０２に送信され、結果がその検索エンジンから取得される。好ましくは、クエリに対して行なわれた修正は、クエリストリングにおいて単語を追加、修正または削除するか、または検索エンジン９０２の動作を導くためにメタデータを組入れるかのいずれかにより、カテゴリの情報コンテンツを組入れる。

図１０は、自動カテゴリ化システムへのユーザインターフェイス１０００の一実施例の図である。このユーザインターフェイスを用いて、（クエリとして用いられ得る）キーワードまたはキーワードの組がフォームフィールド１００２に入力され、自動カテゴリ化システムは、１つまたは複数のキーワードに対するオリジナルのカテゴリと、新規のあり得るカテゴリと、新規のあり得るカテゴリの各々に対する信頼値とを示すテーブル１００４を返す。

図１１は、検索を入力し結果を提供するためのユーザインターフェイス１１００の一実施例の図である。この例において、検索が「quotes」であって、検索エンジンは、検索に対するカテゴリの示唆と、関連する検索とを提供し、関連する検索のリストは、入力された検索についてのカテゴリ化情報を用いて導出され得る。カテゴリリストと関連する検索リストとに加えて、結果は、やはりカテゴリ化情報を用いて導出され得る検索結果をも含む。

さらなる例
自動カテゴリ化のためのシステムの１つの例において、別の目的のための別のシステムからの手動のカテゴリ化が「シード組」として用いられ得る。たとえば、膨大な数のクエリのクエリログはしばしば、比較的少量の非常に共通するクエリと、長く連なるあまり共通しないクエリとを含む。評価基準が発生頻度である場合、しきい値回数以上全く同様に出現するクエリは（たとえば１日当たり１００回、１日当たり２００回など）手動カテゴリ化がシード組を提供することを正当化するかもしれない。この態様で、「最多検索」単語は容易にカテゴリ化され、（少ないヒット数の）長い単語の連なりは自動カテゴリ化される。検索単語のカテゴリ化を自動化することにより、相当により多くのキーワードがカテゴリ化されることができ、より優れた検索と他の目的のための有用なデータ組とを提供する。

キーワードのカテゴリ化はさまざまな研究および分析プログラムによって用いられ得るので、カテゴリ化の精度は非常に重用である。シード組に依拠する自動カテゴリ化処理は非常に良好に機能し得るが、それでも不良な入力により失敗するので、シード組を生成するために用いられる手動のカテゴリ化の品質もまた重要である。

単一の単語からなるクエリは、多数の単語からなるクエリには単語の組合せがより多いというだけの理由で、多数の単語からなるクエリよりも多く出現することが予測される。「ロック・コンサート」のような多数の単語からなる単一の概念のクエリがいくつか存在するが、多くの実世界システムにおけるほとんどのクエリは１つ以上の概念からなる。たとえば「ニューヨークにおけるホテル」は２つの概念を有する。「ホテル」（または「におけるホテル」）および「ニューヨーク」である（「新しい（new）」または「ヨーク」という単語が存在していても、クエリはこれらの単語とは無関係であることに留意されたい）。多数概念の組合せが単一の単語よりも多いので、所与の多数概念クエリよりも所与の単一単語クエリがより多く生じることが予測される。したがって、最多頻度のクエリに対して手動のカテゴリ化が行なわれると、カテゴリ化されていないクエリの合計数および一意のカテゴリ化されていないクエリの数が、多数概念クエリに有利になる可能性が高い。たとえば、「スポーツ」は、「ニューヨークにおけるホテル」、「ボストンにおけるホテル」などよりも頻繁に検索システムにおけるクエリとして出現し得る。その結果、自動カテゴリ化システムは頑健なデータ組を提供するのであれば多数概念クエリを正確にカテゴリ化することに対処しなければならない。

カテゴリ化に対する１つの方策は、（用いられる単語の数の意味で）最も長い概念か、または同じ長さの場合には最も長いもののうちの１つを識別して、それを全クエリに対する「優勢な」概念として標識付けすることである。上述の例においては、「ホテル」は優勢な概念であろう。優勢な概念は、全クエリをカテゴリ化するために用いられ得る。一実施例においては、全クエリのカテゴリは、優勢な概念のカテゴリに設定される。

最も優勢な概念を決定するために、最多検索概念および他の何らかの法則のようなさまざまなヒューリスティックを用い得る。もちろん、概念がカテゴリ化されていない全く新しいクエリを異なった態様で行なってもよいが、上述の方策が自動的にすべてのクエリのうちの大部分を確保するであろう。

さらに優れたカテゴリ化率が必要な場合、基本的な自動カテゴリ化にいくつかの方策を加えてもよい。たとえば、シード組に１組の法則が適用されてもよい。

法則の例として、「ロンドンにおけるホテル」というクエリは、クエリにおける優勢な単語（この場合「ホテル」）に基づいて、「旅行および交通機関／ホテルおよび宿所」の下に自動カテゴリ化され得る。調整的な法則としては、一方の概念が「旅行および交通機
関／ホテルおよび宿所」に属し、他方の概念が「国際・世界カテゴリ」に属する場合、クエリの両部分のカテゴリを選択することであろう。この法則を適用した後で、クエリ「ロンドンにおけるホテル」は、たとえば「旅行および交通機関／ホテルおよび宿所」、「国際・世界／国際・ヨーロッパ／国際・ＵＫＩＥ／ロンドン、旅行および交通機関／ＵＳ以外」の下にカテゴリ化されるであろう。この場合、カテゴリ化はすべての概念が参酌されたという点で完全になろう。

１組の法則の例を説明する。これらの「追加の」法則に加えて、不適切なカテゴリ割当の削除を支援するために「削除の法則」をも用い得る。これらの法則のいくつかが、法則によって用いられるカテゴリ対のリストに従って実行する。

１．連合の法則
連合の法則では、関係のテーブルが考慮される。所与のクエリにおける優勢な単語／単語の群が関係対における２つのカテゴリのうちの一方に属し、クエリにおける他方の単語が関係対の他方のカテゴリに属するのであれば、クエリをカテゴリ化するときに両方のカテゴリが含まれる。関係対の例は以下のとおりである。

（エンターテイメント／音楽、インターネット／ＭＰ３）
（祝日および行事、オンライングリーティング）
たとえば「バレンタインデー（valentines day） ｅカード」というクエリは、その優勢概念として「ｅカード」を有し得るので、優勢クエリカテゴリ化はそのクエリをカテゴリ「オンライングリーティング」に入れる。しかしながら、連合の法則においては、カテゴリ「祝日および行事／バレンタインデー（Valentine's day）」もが含まれる（概念ネットワークを用いてスペルの誤りに対処し得ることに留意されたい）。これらの２つのカテゴリで、そのクエリに対する自動カテゴリ化が完全になる。

２．カテゴリカップル法則
優勢な単語または優勢な単語の群がカテゴリカップル対のうちの第１のカテゴリに属するのであれば、カテゴリカップル対のうちの第２のカテゴリが、クエリを自動カテゴリ化する間に含まれる。この法則は、シード組における手動のカテゴリ化が、優勢な単語または優勢な単語の群が第２のカテゴリを含むクエリの例を含まない場合に助けとなる。カテゴリカップル対の例は以下のとおりである。

（高級品／衣料／紳士用、衣料／紳士用）
（高級品／衣料／婦人用、衣料／婦人用）
たとえば、クエリが「BrandX.com」であって、「BrandX」がカテゴリ「オンラインコミュニティ／ｅメール」に手動でカテゴリ化されていた、なぜならば手動カテゴリ化が行なわれたときにカテゴリ「サービス／ｅメール／BrandX」が存在しなかったからである、と仮定する。カテゴリ化カップル法則によって、「BrandX.com」のカテゴリ化が完全になる。

３．優勢カテゴリ
クエリが、別個のカテゴリに属する２つの単語または単語の群を含み、両方のカテゴリが優勢なカテゴリ対に出現し、その対の第２のカテゴリが他の態様では優勢なカテゴリであれば、クエリの自動カテゴリ化を行なうときに、その対の第１のカテゴリを第２のカテゴリよりも優勢なカテゴリにし、第２のカテゴリを除外する。優勢カテゴリ対の例は以下のとおりである。

（玩具／ゲーム、旅行および交通機関／地図）
（オンラインコミュニティ／ゲーム、旅行および交通機関／地図）
（スポーツ、教育／カレッジおよびユニバーシティ）
この例において、通常、クエリ「カレッジフットボール」は優勢概念である「カレッジ」によって構文解析されるので、カテゴリ「教育／カレッジおよびユニバーシティ」に割当てられる。概念「フットボール」が「スポーツ」の下にカテゴリ化され得る一方、これは優勢概念ではない。しかしながら、追加された優勢カテゴリの法則では、優勢カテゴリ対（スポーツ、教育／カレッジおよびユニバーシティ）が存在するので、クエリは「スポーツ」に関連するクエリとしてカテゴリ化される。優勢カテゴリの法則は、２つの概念が存在して、一方が優勢であるが、特定のカテゴリ対に入るある概念対に対しては、優勢であるべきカテゴリは非優勢概念に関連するほうのカテゴリである場合に、有用である。

４．単語置き換えの法則
特定の目的のために用いられるあるカテゴリが存在する。単語置き換えの法則もまた、対のテーブル上で機能する。優勢概念が、対のうちの第１のカテゴリで識別される特定のカテゴリに属するのであれば、優勢概念に対応する単語をその対における第２の項目の単語で置き換える。

５．単一カテゴリ置き換えの法則
単一カテゴリ置き換えの法則は、対のテーブルに従ってカテゴリを置き換えるよう機能する。優勢概念が対のうちの第１のカテゴリで識別される特定のカテゴリに属するのであれば、第１のカテゴリを対のうちの第２のカテゴリで置き換える。たとえば、クエリ「テネシー 対戦相手 オンライン」に対して、概念「テネシー 対戦相手」は「カスタム・フュージョン／カレッジフットボール」のカテゴリを有するであろう。そのカテゴリを、その新しいクエリを自動カテゴリ化する間に「スポーツ／フットボール」カテゴリで置き換える。この法則に対する対のテーブルにおけるエントリの例は以下のとおりである。

（カスタム・フュージョン／カレッジフットボール、スポーツ／フットボール）
（カスタム・フュージョン／ボブディラン、エンターテイメント／音楽／ロック）
（カスタム・フュージョン／口コミ／出会い、セックスおよび恋愛／出会い）
６．絞込みの法則
絞込みの法則では、第１のレベルの自動カテゴリ化の後で、絞込み法則テーブルにおいて列挙される三つ組みのうちの１つの中の、最初の２つのカテゴリである２つのカテゴリをクエリが有する場合、その三つ組みの中の第２のカテゴリを第３のカテゴリで置き換える。たとえば、次の絞込み法則のテーブルエントリを考察する。

（エンターテイメント／映画、エンターテイメント／音楽、エンターテイメント／音楽／ショーおよび映画）
クエリ「フィルム 音楽」によって、概念「フィルム」は「エンターテイメント／映画」にカテゴリ化され、概念「音楽」は「エンターテイメント／音楽」にカテゴリ化される。絞込みの法則を適用して、最初の２つのカテゴリは絞込み法則テーブルエントリにおいて対にされているのが見出され（上に示す）、よってカテゴリ「エンターテイメント／音楽」（三つ組みのうちの第２の項目）は「エンターテイメント／音楽／ショーおよび映画」によって置き換えられ、それにより、法則を適用した後で、クエリ「フィルム 音楽」は「エンターテイメント／映画」および「エンターテイメント／音楽／ショーおよび映画」にカテゴリ化される。

結果を変化させるために、必要に応じてこれらの法則ファイルにさらに法則を追加することができる。１つよりも多い分類法が用いられる場合、法則および法則テーブルは用いられるすべての分類法に対して包括的であってもよく、または異なった分類法に対して別々の法則および法則テーブルが提示されてもよい。ある実施例においては、法則および／または法則テーブルは、カテゴリ化処理または精度を向上させるために、クエリログにお
けるクエリを処理することなどによって、半自動的に生成され得る。

優勢概念
クエリから抽出される多数の概念のうちから優勢概念を識別するために、さまざまな方法を用い得る。概念はユニットであってもよく、ある場合には、ユニットの収集であり得る。ここで、収集は既知のカテゴリのものであるが、個々のユニットのカテゴリは未知である。たとえば、クエリ「マイアミの高級家具」を考察する。ユニット「家具」に対するカテゴリが既知であって、ユニット「マイアミ」に対するカテゴリも既知であると仮定する。さらに、「高級家具」がユニットであるがそのカテゴリは未知であると仮定する。この場合、ユニット「高級家具」は既知の概念ではないと見なすことができ、カテゴリ化は他方の単語を概念として進行する。ユニットをカテゴリ化するのにシード組が用いられる場合、カテゴライザに対するシード組としてユニット対カテゴリマッピングを用い得る。

優勢ユニットを自動的に判断するためのいくつかの法則は、ストップワードを除去すること、ユニット頻度およびクエリ頻度を考慮すること、曖昧性測定法を考慮すること、ならびに優勢概念を判断するためのカテゴリに基づく法則を適用することを含み得る。

ストップワードは、それらが通常クエリにおいて優勢概念であってはならないので、優勢概念を判断する前にクエリから除去されてもよい。

ユニット頻度は、単独のユニットとしてまたは他のユニットとの組合せとして、ユニットがクエリに生じる頻度である。所与のユニットに対するクエリ頻度は、クエリの唯一のユニットとして生じる所与のユニットの頻度である。これらの比を評価することにより、優勢概念が発見され得る。

直感的に、１つの単語が過度に頻繁に他の単語とともに用いられる場合、その単語はおそらくは独立の概念ではなく、典型的にはその意味を明確にするために絞込みが必要である。この例は、クエリ「安価な家具」である。単語「安価な」および「家具」は概念であり得るが、「安価な」のユニット頻度に対するクエリ頻度の比は低い、なぜならば、それは単独ではクエリにそれほど頻繁には現れないからである。「安価」についての比よりも高いことが予測される「家具」のクエリ／ユニット頻度と比較すると、「家具」は優勢概念と見なされるであろう。

ユニットと概念とが同義ではない場合など、クエリ／ユニット比が利用可能でない場合、システムは単に、２つまたはそれ以上のユニットのクエリ頻度を比較して、より頻度の高い（ユニットではない）概念に対して優勢概念ステータスを割当てる。

曖昧性測定法もまた参酌され得る。概念の曖昧性は、シード組から判断され得る。たとえば、カテゴリ化された２００，０００キーワードおよびクエリのシード組を考察する。クエリは、その中のユニットを識別するために処理され得る。ユニットごとに、システムは、いくつの異なったカテゴリにそのユニットが割当てられたかを調べることができる。すると曖昧性は、異なったカテゴリの数の測定値となり得るが、なぜならばシード組におけるより多くのカテゴリにより多くの曖昧なユニットが現れるであろうからである。たとえば、シード組において「ジャガー 車」および「ジャガー 動物」が２つのカテゴリ化されたクエリであれば、それらのカテゴリは異なっている。すなわち、それぞれ「自動車」および「動物」である。これら２つのクエリにおけるユニットが「ジャガー」、「車」および「動物」である場合、「ジャガー」は２つの異なったカテゴリに現れ、各々１つのカテゴリを有する「車」および「動物」と比較してより曖昧であると考えられる。より曖昧なユニットは優勢度がより低いであろう。

カテゴリに基づく法則もまた用い得る。たとえば、あるカテゴリからの概念は、他にカテゴリ化された概念がない場合以外は、優勢とは見なされない法則を用い得る。たとえば、場所は典型的には検索を狭めるために用いられ、たとえば２つのクエリ「マイアミの家具」および「マイアミのアトラクション」の場合、「マイアミ」は単語を限定するドメインとして用いられ、クエリ全体の実際のカテゴリは他方の概念に依存する（クエリにおける「アトラクション」および「家具」）。こうして、場所としてカテゴリ化される概念または他のドメインを限定する概念は、唯一の概念でない限り、優勢概念とはならない法則が用いられ得る。

絞込み
クエリのどのユニットもカテゴリ化されていない場合、上述の曖昧性測定法の使用に類似した手法を用いて、未知のユニット／クエリを動的にカテゴリ化し得る。たとえば、ユニットＡは独立してカテゴリ化されていないが、カテゴリＣに属するカテゴリ化されたクエリにおいてほぼ生じている場合、ＡをカテゴリＣに割当てることができる。ある変形例においては、ある特定のカテゴリにおいてユニットが生じた回数に依存する信頼度要因が参酌され得る。

ある変形例においては、シード組の全体またはその一部が手動ではなく自動的に生成され得る。以下に２つの例を説明するが、シード組を自動的に生成する他の方法をも用い得ることを理解されたい。

第１の例においては、複数のエントリポイントにわたってクエリログが調べられる。ポータルは、そのポータルが複数のプロパティに組織化されていて、そのプロパティの各々に関連付けられるページが検索インターフェイスを有する場合、複数のエントリポイントを有し得る。たとえば、これに限定されるものではないが、ヤフーポータルは、ヤフーマップ、ヤフースポーツ、ヤフートラベル、ヤフーショッピングなどの複数のプロパティに対するアクセスを提供する。これらのプロパティの各々は、プロパティページにおける検索ボックスによって提供されるような検索能力を有し得る。

シード組の生成において、ある長さの期間または他のグループ化についてクエリが収集されて、そのクエリが入力されたエントリポイントが記録される。たとえば、もし「ニューヨーク」がヤフートラベルページにおける検索ボックスにクエリとして入力された場合、それが記録されて、「ニューヨーク」に対する検索が旅行に関連付けられ、「ニューヨーク」がヤフースポーツページにおける検索ボックスに入力された場合、その検索はスポーツに関連付けられるであろう。いくつかのプロパティは検索を入力し得る多数のページを有する可能性があり、各エントリポイントは別々に扱われても、あるプロパティに対するすべてのエントリポイントが区別なしにともにグループ化されても、またはそれらの２つの間に何らかの変化が設けられてもよい。いずれにせよ、エントリポイントのすべて（または少なくともほとんど）について、カテゴリが既知である。たとえば、エントリポイントがユーザが選択した株券およびそれらの現在の相場を示すページにあれば、そのエントリポイントに対するカテゴリは明確に決定され得る。いずれにせよ、エントリポイントに対するカテゴリがまだ未知である場合、それは手動で割当てることができる。なぜならば、大きなポータルであっても精々数百のエントリポイントしか存在しないことが予測されるからであり、これは数百万のクエリを手動でカテゴリ化することよりも管理しやすいからである。

概念ネットワークは、ここに、または関連の特許出願に、またはさらに他の技術に記載される技術を用いて、さまざまなエントリポイントについて生成される。概念ネットワークによって、すべてのエントリポイントをわたって生成されるユニットの連合を、ユニットによって分析することができる。ｉ番目のユニットがｕ［ｉ］によって表わされ、エン
トリポイントがｅ１、ｅ２、ｅ３、…、によって表わされる場合、ｆ（ｕ［ｉ］，ｅ［ｊ］）が、分析されるクエリの組に対するエントリポイントｅ［ｊ］でのｕ［ｉ］の頻度である。たとえば、１日分のクエリが分析されるか、またはある時点から最初の２千万クエリが分析され得る。ｊ番目のエントリポイントに関連付けられる、分析されるクエリの組におけるクエリの合計数がＱ（ｅ［ｊ］）であると仮定する。

ユニットとエントリポイントとの組合せごとに、式１に示すように正規化された重みが計算されてもよい。重みのスケールおよび精度は、数の操作、閲覧および記憶を容易にするために、１，０００，０００、または、典型的には分析されるクエリの組におけるクエリの数に対応するスケール係数を乗算することなどで、調整可能である。

クエリの組における所与のエントリポイントにユニットが何ら見出されなかった場合、その重みは０に設定され得る。各エントリポイントにおける所与のユニットに対する重みを用いて、エントリポイントは、ユニットに対する重みの降順に格付けされ得る。この、すべてのエントリポイントをわたるユニットの連合およびそれらの計算された重みを含む並べられた組は、シード組として機能し得る。

別の方策においては、クエリはエントリポイント情報を伴ってまたはそれなしでログを取られるが、ログは、ユーザが次に取る行動の表示を含む。考えられる次の行動が判断され、それらのカテゴリ化が既知であるかまたは自動的に判断できるのであれば、これらをシード組として用い得る。たとえば、ポータルが検索結果とともにディレクトリ一致を示せば、ディレクトリ一致のうちの１つをクリックするというユーザの行動は、そのディレクトリエントリをクエリに関連付けさせる。

たとえば、ユーザが検索クエリＱを入力し、検索結果およびディレクトリカテゴリ一致の組が表示されたと仮定する。各ディレクトリカテゴリがカテゴリスペース識別子ｃｓ１、ｃｓ２、ｃｓ３などで識別される。ディレクトリにおいて存在するウェブサイトはサイトスペース識別子ｓｓ１、ｓｓ２、ｓｓ３などで識別される。ユーザがカテゴリスペース識別子またはサイトスペース識別子をクリックすると、その行動のログが取られる。すると、これらの「クリックログ」はクエリをディレクトリカテゴリにマッピングするのに用いられ得る。これらの識別子の組の両方とも、必ずしも非空ではない。たとえば、サイトスペース識別子が用いられないか、またはカテゴリスペース識別子が用いられなくてもよい。

クエリＱに対して、そのクエリをクエリするユーザがカテゴリスペース識別子ｃｓ１をクリックし、かつそのカテゴリスペース識別子がカテゴリｃ１に属することが既知であれば、クエリＱはカテゴリｃ１にマッピングされ得る。やはりクエリＱを用いる他のユーザがサイトスペース識別子ｓｓ２をクリックし得る。そのスペース識別子がカテゴリｃ２のディレクトリの子であれば（すなわちそこにファイルされていれば）、クエリＱはカテゴリｃ２にマッピングされ得る。カテゴリへのクエリのマッピングの各々は、それに対して関連付けられる重みを有し得る。このクエリＱおよびカテゴリＣに対する重みは、Ｑのクエリの後で、カテゴリＣまたはカテゴリＣに関連付けられた子エントリのうちの１つに関連付けられた、カテゴリスペース識別子をクリックするユーザの数に比例し得る。この態様で、クエリＱは、重みによって示される信頼性で自動的にカテゴリ化され得る。このマッピングの組は、シード組として用いられ得る。

信頼性測定値は、カテゴリ化に対する信頼性測定値がシード組に依存する場合に参酌され得る。シード組がカテゴリに関連付けられた信頼性測定値を有するのであれば、信頼性はカテゴリ化されたクエリの各々に割当てられることができる。手動で生成されたシード組については、信頼性は自動的に生成されたシード組に対するものよりも高いかもしれないが、必ずしもそうとは限らない。精度を高めるために、システムは低い信頼性レベルを有する何らかの自動的にカテゴリ化されたクエリを無視することを決定し得る。

本発明は具体的な実施例に関して記載されているが、当業者は多くの変形が可能であることを認識するだろう。ある実施例においては、１つ以上の概念ネットワークに対する概念ネットワークデータが実質的にリアルタイムに更新されるように、クエリが受け取られるとすぐにクエリが処理されてもよい。本願明細書に記載された自動化されたシステムおよび方法は、ユニット、関係、分類法などを含む、結果として生じるユニット辞書のすべてまたは部分について人間が検討することで増大され、補足されてもよい。

本願明細書に記載された実施例は、ウェブサイト、リンク、および、ワールドワイドウェブ（またはそのサブセット）が検索コーパスとして機能する場合に特有の他の専門用語を参照することができる。本願明細書に記載されたシステムおよびプロセスは、異なる検索コーパス（電子データベースまたはドキュメントリポジトリなど）とともに使用するために適合されることができ、結果はコンテンツおよびコンテンツが見つかるかもしれない場所へのリンクまたは参照をも含み得ることを理解されたい。

このように、本発明は具体的な実施例に関して記載されているが、本発明が添付の請求項の範囲内のすべての修正および等価物を包含するよう意図されることが認識される。

この発明の実施例に従った、情報検索および通信システムの簡略化された高レベルのブロック図である。 この発明の実施例に従った、媒体コンテンツを通信するための情報検索および通信ネットワークの簡略化されたブロック図である。 この発明の実施例に従った概念ネットワークの図式表現である。 この発明の実施例に従ったクエリ処理エンジンの簡略化されたブロック図である。 ユニットジェネレータの簡略化されたブロック図である。 自動的クエリカテゴライザの実施例のブロック図である。 クエリ記録およびそのクエリに対するカテゴリの示唆に従って検索を行なう検索エンジンを含む情報検索および通信システムのブロック図である。 クエリのカテゴリ化に従ってクエリを１つ以上の検索エンジンに向けるクエリディレクタを含む情報検索および通信システムのブロック図である。 クエリ記録において参照されたクエリのカテゴリ化に従ってクエリ記録を修正し、修正されたクエリ記録を生成するプリプロセッサを含む、情報検索および通信システムのブロック図である。 自動カテゴリ化システムに対するユーザインターフェイスの一実施例を示す図である。 検索を入力し結果を提示するためのユーザインターフェイスの一実施例を示す図である。

Claims (5)

1. 現在のクエリを分類する方法であって、
   ２つ以上の用語を含む現在のクエリを受信するステップと、
   前記現在のクエリの中の前記２つ以上の用語のいずれもが１つの前に送信されたクエリの用語に一致しないことを決定することによって、前記現在のクエリが、前に送信されたクエリの組の中の、前に送信されたクエリのいかなる１つにも一致しないかどうかを判断するステップと、
   もし、前記現在のクエリが、前に送信されたクエリの前記組の中の前に送信されたクエリのいかなる１つにも一致しない場合に、
   前記現在のクエリを２つ以上のユニットに分割すること、
   前記２つ以上のユニットと複数のカテゴリ化されたユニットとの比較を実行すること、
   前記比較に基づいて前記現在のクエリのための２つ以上のカテゴリを決定すること、
   前記比較に基づいて前記現在のクエリのための前記２つ以上のカテゴリを決定したことに応答して、前記２つ以上のカテゴリの結びとして新しいカテゴリを生成し、前記現在のクエリのために決定された前記新しいカテゴリを示すデータを揮発性メモリー及び不揮発性メモリーの内の１つに記憶すること、
   を実行するステップと、を含み、
   １つ以上の計算装置によって実行されることを特徴とする方法。
2. 前記１つ以上のカテゴリ及び前記新しいカテゴリに少なくとも部分的に基づいて前記現在のクエリのための検索結果を決定するステップをさらに含む請求項１に記載の方法。
3. 前記１つ以上のユニットは、前記現在のクエリと関連する分類法であって、前記分類法からのいずれのノードも１つのカテゴリを表わすような分類法からのノードを前記１つ以上のユニットと関連付けるユニットジェネレータによって決定されることを特徴とする請求項１に記載の方法。
4. 前記１つ以上のユニットの前記関連は、ユニットのノードへのマッピングを含み、前記ユニットは前記１つ以上のユニットからのものであり、前記ノードは前記分類法からのものであることを特徴とする請求項３に記載の方法。
5. 実行されたときに、１つ以上のプロセッサに請求項１から４のいずれかに記載の方法を実行させる命令を記憶したコンピュータ読取可能記録媒体。

Images