使用node 爬取百度新闻Rss
如何爬取百度新闻Rss
最近再研究关于nodeJs的一些问题, 看到知乎上starkwang 爬了知乎关系网,某女生自学python爬了淘宝的购物链,所以就想用nodeJS爬点东西玩玩,新手扫盲项目,大牛喷轻点~
和大家分享一下自己的经验和爬过的坑,**欢迎star **
2 回复
nodejs开发爬虫,request + cheerio(解析html) / xml2js(解析xml) 足够了
解析xml我选择的是 feedparser 使用 superAgent 代替request 很方便 转码选择iconv-lite (不可避免)
我认为此项目没有多余的模块依赖