模拟搜索引擎(蜘蛛)抓取页面

本工具使用Google推荐的lynx浏览器做为模拟搜索引擎(蜘蛛)抓取页面的工具。
使用诸如 Lynx 的文本浏览器来检查您的网站，因为大多数搜索引擎信息采集软件查看您网站的方式与 Lynx 几乎一样。如果诸如 Javascript、Cookie、会话 ID、框架、DHTML 或 Flash 等复杂功能造成您无法在文本浏览器中看到整个网站，则搜索引擎信息采集软件在抓取您的网站时可能会遇到问题。

http://lynx.itlearner.com/

标签：,
分享到：