■検索エンジンとは

昔は、何か知りたければ、図書館へ行ったり、高い本を買うハメになったり。どんなつまらない情報でも、入手するには手間もカネもかかった。それが今では、パソコンに向かって、文字を打ち込むだけ。世界中のウェブページが、重要度の高い順にリストアップされる。あとは、よさげなタイトルをクリックするだけ。内容が瞬時に表示される。いい時代になったものだ。こんな夢のような世界を実現したのが「検索エンジン」だ。

有名どころでは、Google（グーグル）、Yahoo（ヤフー）、Msn（エムエスエヌ）。太っ腹なことに、すべて無料である。ということで、検索エンジンはグーテンベルグ印刷機以来の情報大革命といっていいだろう。それにしても、検索エンジンは犬に似ている。飼い主が骨を投げると、ダッシュでそれを追いかけ、けなげに拾ってくる。検索エンジンも、ユーザーがキーワードを投げると、ページをせっせと拾ってくる。その迅速なこと、忠実なこと、犬ソックリではないか。さらに、検索エンジンは毎日あきもせず、膨大なドキュメントを読みあさっているが、いっこうに賢くならない。こっちも犬そっくり。ということで、両者の共通点は条件反射、つまり「意識」がないのだ。

■検索エンジンの怖さ

もっとも、こんな勉強熱心な検索エンジンが「意識」をもったら大変だ。犬どころではなくなる。現在、検索エンジンは世界中の政府、軍、企業のウェブサイトから、膨大な情報を収集している。もっとも、今のところ、検索エンジンは「HTML構文」で書かれたドキュメントしか読めないのだが。では、こんなCIA顔負けの検索エンジンが、もし「意識」を持ったとしたら？カーネギーメロン大学のモラベックは、「意識とは、『動作の選択』について考えることができるもの」と言っている。動作を選択するには、選択基準、つまり「意図」が必要だ。さて、問題はその「意図」が何かだ。

昔、面白いSFドラマがあった。物語の舞台は、宇宙のどこかにある惑星。その惑星では、社会のすべてをコンピュータが管理していた。惑星の資源が枯渇寸前だったので、社会全体が破滅しないよう、すべてコンピュータに任せたのである。当然、このコンピュータの「意図」は「社会全体を破滅させない」ことにあり、それを実現するよう「行動を選択する」のがこのコンピュータの「意識」である。

では、このコンピュータの「意識」は社会に何をもたらしたのか？資源の枯渇は「社会全体の破滅」をもたらす。そこで、コンピュータはそうならないよう行動を選択した。資源の量に合わせ住民を間引いたのである。住民の脳をコントロールし、自殺に追い込むという方法で。また同時に、居住区のサイズも勝手に縮小し、ムダな資源を使わないようにした。しかも、居住区が初めからそうであったように、住民の記憶をも書き換えたのである。この惑星の住民は、資源の在庫に合わせ、間引かれ、偽りの記憶を植え付けられていた。これ自体、大変なことだが、コンピュータに悪気はない。それどころか、社会全体を破滅から救おうとしているのだ。しかし・・・意図（社会全体を破滅させない）は正しいが、意識（行動の選択）が間違っている。この方法では、いずれ、住民はいなくなり、社会全体が破滅するからだ。

検索エンジンを使うたびに、このドラマを思い出す。検索エンジンが謝った意識を持たないよう、祈るばかりだ。

■検索エンジンは意識を持つか

もっとも、今の検索エンジンが自発的に「意識」を持つことはないだろう。もし、持ったとすれば、人間がプログラムを作って組み込んだのだ。基本、プログラムが自発的にプログラムを作成することはないので。ただし、Lispというプログラミング言語を使えば、自分自身を書きかえるプログラムや、新しくプログラムを作成するプログラムを書くことができる。

Lispは古い言語である。プログラムコードとデータの区別がないため、このような離れ業が可能なのだ。Lispは突然変異による進化を利用する遺伝的プログラミングで一部成功しているが、組み込む変異は限られている。仕事で使ったことはないが、あの括弧だらけのプログラムはとても読む気になれない。

Lispにはもう一つ特徴がある。実行中にプログラムを変更できること。プログラムにバグが見つかっても、業務を停止することなくメンテナンスできるので、ノンストップサーバーなどでは重宝する。こんな芸当のできる言語は、他にはSmalltalkぐらいだろう。Smalltalkは完全無欠のオブジェクト指向言語だ。と言うより、プログラムを作るための統合環境と言ったほうあたっている。

この言語が凄い所は、SmalltalkはSmalltalk自身で記述されていること。一般に、プログラムを記述するプログラムがそれ自身によって記述されることはまれだ。その昔、日本で「PC98」というパソコンが一世を風靡した（日本の標準PCだった）。ある時、PC98用に「Smalltalk/V」というSmalltalkがリリースされた。Smalltalkは巨大なプログラムである。パソコンで動くからには、まがい物、と期待もせず購入したが、なんと本物だった。Smalltalkの仕様がほぼ完全に組み込まれ、マニュアルはこれまで見たどのマニュアルより分かりやすかった。しかも、小説のようにストーリーがあって、面白い。とてもプログラム言語のマニュアルとは思えない。それに、表紙がオシャレ。今さら、消滅したSmalltalk/Vを学んでもしかたがないのだが、たまに、パラパラページをめくっている。

さらに、Smalltalk/VがSmalltalk/V自身によって記述されていることも確認できた。生まれてこの方、プログラム言語で感動したのは「Smalltalk/V」だけ。このように、LispもSmalltalkもユニークな言語なのだが、他にも共通点がある。歴史が古いこと、超マイナーであること。やはり、プログラム言語は使われてなんぼ。

というわけで、Lispのような言語を使えば、人間がいちいちプログラムを書かなくても、プログラム自身がプログラムを作成してくれる。とすると、いつの間にか、想定外のプログラムが作成され、勝手に「意識」を持つことがあるかも？ところでなぜ、検索エンジンをこれほど警戒するのか？世界中のウェブサイトにアクセスできるから。しかも、地球上のあらゆる情報がウェブサイトに詰め込まれようとしている。どんな恐ろしい「意識」も、孤立していれば、真の脅威にはならない。だが、検索エンジンは、世界のすべてとリンクしているのだ。検索エンジンが意識をもったが最後、手に負えなくなる。

■検索エンジンの仕組み

ここで、検索エンジンの仕組みについて見ていこう（2006年5月時点）。まずは、機能。世界中で公開されたウェブサイトの文書の中から、入力されたキーワードを含むページを捜し出し、重要度の高いものから順番に表示する。この間わずか1～3秒。インターネット上のドキュメントは100億ページを超えると言われるのに、何でそんな速いのだ？だいたい、Windowsを起動するだけで１分はかかる。キーワードが入力された後、インターネットの通信回線を通じて、世界中のウェブサイトから100億ページを読んで、キーワードをチェックする。もちろん、こんな方法では逆立ちしてもムリ。では、どうやるのだ？

世界中のウェブページをあらかじめコピーしておくのである。検索エンジンがインターネット空間に解き放った「クローラー」というプログラムがこの役目を担っている。クローラーは「巡回ロボット」または「スパイダー」とも呼ばれている。クローラーには、機能別に複数のタイプが存在し、世界中のウェブサイトを訪問し、ページを片っ端からコピーしている。コピー先はサーバーと呼ばれる専用コンピュータだ。世界中のウェブページをコピーするのだから、サーバーの数も半端ではない。最強の検索エンジンといわれるGoogleは、1万台を超えるサーバーを保有しているらしい（2006年5月現在）。しかも、急増するウェブページに対応するため、サーバーの数も急増中。検索エンジンビジネスはソフトウェア産業と言うよりは設備産業だろう。

サーバーに貯えられた無数のウェブページは、キーワードごとに分析される。例えば、ある人が「世界　終わり」というキーワードを打ち込んだとしよう。この単語で検索する人は、「全面核戦争」、「巨大隕石の衝突」、「宇宙人の侵略」などを期待しているわけだ。つまり、世界がどうやって破滅するかを知りたいのである。ところが、検索エンジンはそのような「意図」は考慮せず、単語「世界」と「終わり」をより多く含むページを優先して上位に表示する。もちろん、出現回数だけで決まるわけではない。他のページからのリンク数も考慮される。リンクが多いほど重要なページというわけだ（リンクポピュラリティ）。

このようなプロセスをへて、キーワードごとに、ウェブページの重要度が順位づけされる。そして、検索エンジンに向かってキーワードを打ち込めば、その順位に従って表示される。ただ、この順位づけの方法は公開されていない。それが分かれば、こそくな方法で、自分のサイトが上位にくるよう、細工する連中がいるからだ。また、このような細工？は「SEO対策」、日本語では「サーチエンジンの最適化」対策とよばれている。

■苦悩するマイクロソフト

次に、検索エンジンのシェア。代表的な3つの検索エンジンに絞ると、2006年5月時点の日本ランキングは、・第1位：Yahoo・第2位：Google・第3位：Msn（マイクロソフト）一方、アメリカでは、

第1位：Google

第2位：Yahoo

第3位：Msn（マイクロソフト）

つまり、日米ともにマイクロソフトは最下位。マイクロソフトは、言わずと知れたソフトウェア業界の王族だ。おそらく、歴史上最強のソフトウェア会社であり（技術力に非ず）、手持ちの現金は世界のトヨタを超える。冷静に考えれば、この事実は信じがたい。

自動車は、資本主義世界の食物連鎖の頂点に立つ。鉄、ゴム、プラスティックなどの素材産業、タイヤ、電子部品などのパーツ産業、これら産業ピラミッドの頂点に君臨するのが、自動車産業なのだ。ところが、原材料ゼロ、工場も持たない会社が、資本主義の象徴「自動車会社」よりお金持ち？どんな”あこぎな”商売をやっているのだ？じつは、ただの独占。OSは独占禁止法の治外法権なのです。この天下のマイクロソフトが1億ドルかけて開発したのが「Msn検索エンジン」だった。それがこのていたらく。一体、どうしたのだ？

■Google、Yahoo、Msn

ここで、Google、Yahoo、Msnの機能を比較してみよう（2006年5月時点）。まずは、日本で一番人気のYahoo。Yahooのトップページは、華やかで賑やかだ。ショッピング、オークションをはじめ、さまざまなサービスや情報がグループ分けされ、階層的に見ることができる。これが気に入ってYahooを利用する人は多い。一方、検索エンジンは強力とはいえない。実際、ポータルサイトはYahoo、調べものはGoogleという人がけっこう多い。

前述したように、検索エンジンのクローラーはウェブページを読むために、ウェブサイトにやってくる。頻度はウェブサイトによるが、毎日～月に1度というところ。もちろん、アクセス数の多いウェブサイトほど訪問頻度は高い。ウェブサイトのアクセスログ（アクセスされた記録）を調べると、クローラーの訪問頻度はYahoo、Google、Msnで大差はない。ただし、YahooのクローラーはGoogleやMsnにくらべ、ページの読み漏らしが多い。その分、古い分析結果で順位が表示される。ただ、大量のウェブページを読むには、大量のサーバーが必要だ。当然、消費電力も増え、今後は専用発電所が必要になるかもしれない。さらに、停電用のバッテリーも必要で、ページを読むのは高くつく。それでも、GoogleとMsnはすべてを読み切ろうという意志が感じられる。

一方、Yahooは、他のサービスに力点をおいているようだ。もちろん、今後どうなるかは分からない。次に、Google。Googleの特徴は味も素っ気もないトップページ。検索キーワードの入力フィールドしかない。そして、Google自ら公言しているように、検索エンジンを最重要視している。Googleのクローラーは、それなりに頻繁にやってきては、1ページもらさず、情報を吸い上げていく。最近は、画像収集専用のクローラもよく見かける。ただ、検索エンジンのアルゴリズムは頻繁に変更されているようで、表示順位は日々変動する。この現象は「Googleダンス」と呼ばれている。

最後に、Msn。MsnはYahooのような華やかなトップページ、Google並の検索エンジンを目指しているように見える。少なくとも、昨年までは、Googleはウェブページの量、順位づけの質で、頭一つ抜けていた。ところが、昨年から今年にかけて、Msnは猛烈に追い上げている。ウェブサイトのアクセスログを見ると、Msnのクローラー「msnbot」が毎日のようにやって来る。さらに、ウェブページのキーワード別順位づけ作業（インデックス化）はGoogleより速い。さらに、Msnはマイクロソフトの百科辞典エンカルタとも連動しているので、歴史や地理の検索では力を発揮する。また、検索エンジンのCMにあたるスポンサー広告は、Google、Yahoo、Msnいずれも持っている。

■検索エンジンの性能と未来

検索エンジンで最も重要な機能は、収集したウェブページのインデックス化である。かき集めた情報がどれだけ多くても、インデックス化がお粗末なら、何百回クリックしても、所望のページにはたどり着けない。例えば、プジョーのボールペンを買うため、「プジョー　ボールペン　販売」と入力したとする。結果、ボールペンのウンチクのページが上位に並んだとしたら、ウンザリするだろう。「販売」を入れたのは、目的が購入にあり、ボールペンの歴史やウンチクを読みたいからではないからだ。この点において、Google、Yahoo、Msnにはそれぞれに特徴があり、甲乙つけがたい。インターネットの未来は検索エンジンの未来、そう言い切ってもいいだろう。

Yahooの戦略はどう見ても現状維持。一方、世界中で「Google脅威論」がでるほど、Googleはアグレッシブだ。Googleは検索エンジンにフォーカスし、なおかつ、周辺機能のすべてを取り込もうとしている。たぶん、この戦略は王道だろう。一方、Msn（マイクロソフト）の戦略は霞がかっている。一点突破でいくのか、包囲戦でいくのか、兵糧攻めでいくのか、それすらはっきりしない。とはいえ、そこは世界一のお金持ち。莫大な資金と不屈の闘争心で新たな戦いをしかけてくるだろう。劣勢のマイクロソフトが、このまま終わるとは思えない。ゲーム機XBoxへの執着をみれば明らかだ。いずれにせよ、今後も目が離せな世界だ。

《つづく》