この記事によると、グーグルが登場した1998年には2600万ページが既に存在、2000年には「one billion(10億)」へ、そして８年で１兆ページでした。1998年は私にとってもINTERNET WATCHでの連載を止めて、独立メールマガジンと独自ウェブを始めた年です。ネットの成長は本当にもの凄い勢いでしたね。現在でも毎日、数十億のページが生まれているとも伝えています。
グーグルはこの膨大なページの相互リンク関係を記憶してページの重要度をはじき出し、検索結果を出力する順番を決めています。１兆とまでなると、言うは易くして、実際に行うのはとんでも無いことのように思えます。グーグルの記憶装置はハードディスクではなくキャッシュでしたよね。メモリー群がどんな風に実装されているのか、その巨大さが想像できかねますし、「a link graph with many trillions of connections」をどう管理すればよいのか、見当がつきかねます。最近、開設の「サイエンスネット.jp」に圧倒的に多く収集にやってくるのも「googlebot」ですし、グーグルを凌ぐ大変さを改めて感じます。
