楼(lóu )上说的很多,我补充(chōng )一下(xià ),正(zhèng )确(què )的(de )应该(gāi )叫网络蜘蛛(zhū ),又(yòu )称爬(pá )虫,本质(zhì )是搜索引(yǐn )擎派出的(de )一个执行抓取任(rèn )务(wù )的(de )程序蜘蛛池的(de )本质是(shì )大量的网(wǎng )站(zhàn )互相链接(jiē ),每(měi )个站单独产(chǎn )生大量的内容吸引蜘(zhī )蛛(zhū )来爬,几千个网站互(hù )链时(shí ),可以想(xiǎng )象蜘蛛的链接
Copyright © 2008-2018