node foreach循环插入数据库时如何跳过数据库中已有的重复数据（去重）
在循环过程中如何跳过数据库中已有的重复数据？ 如何剔除本次循环中的重复数据？
10 回复
underscore 里有 uniq 函数可以选出不重复的数组内容
uniq_.uniq(array, [isSorted], [iteratee]) Alias: unique
Produces a duplicate-free version of the array, using === to test object equality. If you know in advance that the array is sorted, passing true for isSorted will run a much faster algorithm. If you want to compute unique items based on a transformation, pass an iteratee function.
_.uniq([1, 2, 1, 3, 1, 4]);
=> [1, 2, 3, 4]
针对网mongodb中插入重复数据，我所使用的笨方法是使用update函数代替insert，设置upsert属性为true，这样遇到不存在的数据则插入，遇到已经存在的数据则更新。
就看你想不想覆盖库中的重复数据了。
- 如果想覆盖的话，参照 4L 的做法。 @RanHuang
- 如果不想覆盖的话，保存之前用唯一字段去 $in 查询一次，然后排除现有数据中哪些重复的，再存储。
