关于爬虫的若干问题

最近想利用爬虫去获取较为大量的数据，但是在爬的过程中遇到了若干问题，所以来和各位大神讨教一下，如能解答，感激不尽。 1. 对于网页链接数量较多的时候，用什么方式去爬能提升效率？ 我现在是将所有的子页链接存到一个数组里面，在对数组链接map操作，然后去获取每一页的数据。但是我现在所爬到的子页链接有上万个，爬取这些链接需要很长的时间，获取链接之后的请求页面获取数据也要很久的时间。所以我想知道，有没有更好的方式能够提高爬虫的效率的。 2. 获取数据和存储数据应该怎么处理 我在请求子页面获取数据之后，会将数据存储到mongodb里面，但是事实证明，这种写法让我的爬虫存储效率低下，而且经常出现堆栈溢出的情况。所以我想了解一下大神们获取到数据之后是怎么存储数据的，我听过读写分离，但是不知道这具体是怎样的一个概念，有大神讲解下么~ 3. 对于爬到错误数据的处理 有些时候，所爬到页面的数据，是不符合存储标准的，但是我不知道这部分的数据是应该放过，还是重新请求页面重新获取一次。我现在是如果请求到的数据不合格，就会换个ip重新请求页面，知道数据符合为止。但是这样很有可能造成死循环，所以想知道大神们对这种状况的处理方式。 4. 用mongo存储数据的问题 从昨晚到今天，总共有将近7w个子链接，但是我的mongodb里只多了5k条数据。所以我想了解一下，关于mongodb，有没有什么可参考数据之类的，可以让我了解一下它的真实性能。顺便如果有大神肯分享一些mongo使用技巧和心得的话，那就更感谢了。。。 小菜鸟新入门，如果有犯低级错误的地方，欢迎各位大神指正。