对于采集者,一直很敬畏,是又尊敬又害怕,本身我也是一个爬虫爱好者,对于不考虑别人死活,只想着自己的采集者,那么就屏蔽掉它吧！下面分享一下自己的一些方法！...

研究采集多年,感觉网络爬虫技术实现起来并不是太复杂,只要有足够的硬件,都可以做到分布式,整个爬虫环节,感觉最难也是最复杂的，还是数据库的设计.......