http.get 抓取时如果内容太长的话,会被自动截断
有什么解决办法吗? 是不是应该启用压缩,有什么解压gzip编码的模块?
2 回复
同问,用request抓取内容时有时候会断线文件传输中断,我是直接pipe到硬盘上,on error又抓取不到错误信息,有点奇怪 目前考虑用node-curl这类库或者直接调用wget来用了
你是要抓网页还是下载文件?
有什么解决办法吗? 是不是应该启用压缩,有什么解压gzip编码的模块?
同问,用request抓取内容时有时候会断线文件传输中断,我是直接pipe到硬盘上,on error又抓取不到错误信息,有点奇怪 目前考虑用node-curl这类库或者直接调用wget来用了
你是要抓网页还是下载文件?