搜索蜘蛛的基本原理大家應(yīng)該都知道，搜索引擎的蜘蛛一般分為兩類，這第一類的主要工作就是收集網(wǎng)頁的中有效的URL。它們的任務(wù)是一刻不停地掃描Internet資源，以隨時更新其搜索引擎龐大的url列表以供它的第二類蜘蛛使用。也就是說，當(dāng)這一類蜘蛛訪問我們網(wǎng)頁的時候，并不在于索引我們的網(wǎng)頁，而是在尋找網(wǎng)頁中的所有有效鏈接。

1.工具功能：可以模擬蜘蛛抓取指定網(wǎng)頁，包括Text、Link、Keywords及Description信息等。

2.查詢網(wǎng)址：http://www.webconfs.com/search-engine-spider-simulator.php

3.說明：這是國外的一個網(wǎng)站，對GB版的網(wǎng)頁中文支持不好，但我們大概能看出蜘蛛在我們網(wǎng)頁查找的信息。

---