千万级网络爬虫设计狂想曲

千万级网络爬虫设计狂想曲

研究采集多年,感觉网络爬虫技术实现起来并不是太复杂,只要有足够的硬件,都可以做到分布式,整个爬虫环节,感觉最难也是最复杂的,还是数据库的设计.......