这里说的蜘蛛不是一般意义上的节肢动物蜘蛛，而是指自动抓取网页内容的机器人Robots，搜索引擎蜘蛛的简称。搜索引擎蜘蛛即Search Engine Spider，是一个很形象的名字。把互联网比喻成一张...