淘宝IP地址库采集经验
发布于 10 年前 作者 shishuo365 9663 次浏览 最后一次编辑是 6 年前 来自 分享

作者:阿宝  更新:2016-08-31  来源:彩色世界(https://blog.hz601.org/2016/08/31/taobao-ip-sniffer/index.html)

当初选择做这么一个项目,不是为了拷贝一份库自己做服务,也不是为了其他目的,只是单纯的熟悉关于http和mysql方面的知识。 下面言归正传。

1、淘宝IP地址库简介 此地址库可以根据用户提供的IP地址,快速查询出该IP地址所在的地理信息和地理相关的信息,包括国家、省、市和运营商。 用户也可以主动提交信息来纠错。 主要优势表现为: (1)地域 覆盖度:94.54% 精确到市级 准确度:96.5% 精确到市级 (2)运营商 覆盖度:93.8% 准确度:暂无统计数据 (3)查询速度 10qps 注:阿里同机房内网,实测速度为4qps左右。 (4)接口 符合REST规范,方便扩展; 使用JSON作为数据格式,方便使用;

2、基础数据 下面介绍一下,需要使用到的一些基础数据项,以及来源。 首先,我们来分析一下淘宝IP地址库的返回数据, { “code” : 0, // 请求成功/失败 "data" : { “country” : “\u4e2d\u56fd”, // 国家 "country_id" : “CN”, // 国家代码 "area" : “\u534e\u5317”, // 地区 "area_id" : “100000”, // 地区代码 "region" : “\u5317\u4eac\u5e02”, // 省(自治区、直辖市、特别行政区) “region_id” : “110000”, // 省代码 "city" : “\u5317\u4eac\u5e02”, // 市(地区、自治州、盟及国家直辖市所属市辖区和县) “city_id” : “110000”, // 市代码 "county" : “”, // 县(市辖区、县级市、旗) “county_id” : “-1”, // 县代码 "isp" : “\u4e2d\u56fd\u79d1\u6280\u7f51”, // 运营商 "isp_id" : “1000114”, // 运营商代码 "ip" : “210.75.225.254” // ipv4/ipv6 } } 其中: 国家与国家代码,由联合国统计局统一制定。详见:http://zh.wikipedia.org/wiki/ISO_3166-1 地区、省、市、县以及相应的代码,由中华人民共和国国家统计局统一制定,详见:http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116_501070.html 运营商与运营商代码,由国际电联电信标准化部门统一制定,不过已经很久没有维护,不可用。到目前为止,本人也没有找到一份完整的编码表,希望知晓者告知。暂且就以淘宝IP地址库中编码为准。 国家IP地址段,由互联网IP地址分配中心统一管理,在此附上中文版的地址段信息,详见程默的博客,在此表示感谢:http://ipblock.chacuo.net/

3、数据库设计 (1)数据项及命名 国家 country 地区 region 省(自治区、直辖市、特别行政区) province 市(地区、自治州、盟及国家直辖市所属市辖区和县) city 县(市辖区、县级市、旗) county 镇(乡、城镇) town 村(村庄) village 运营商 isp IP ip

(2)IP表 国家代码 2个字节 CHAR(2) 县代码 6位整形 UINT(20) 村代码 12位整形 UINT(40) 运营商代码 7位整形 UINT(24) IP地址 4个字节 UINT(32)

(3)国家表 二位字母 2个字节 CHAR(2) 三位字母 3个字节 CHAR(3) 三位数字 3位整形 UINT(10) ISO英文用名 48个字节 CHAR(48) 中文用名 48个字节 CHAR(48)

(4)地区表 代码 1位整形 UINT(4) 名称 4个字节 CHAR(4)

(5)县(市辖区、县级市、旗)表 代码 6位整形 UINT(20) 名称 48个字节 CHAR(48)

(6)村(村庄)表 代码 12位整形 UINT(40) 名称 48个字节 CHAR(48)

(7)运营商表 代码 7位整形 UINT(24) 名称 48个字节 CHAR(48)

4、数据采集 IP运营商信息来源于各个运营商,IP所属地域信息来源于CNNIC,不过这些信息不太容易拿到完整的。 所以,此处就以淘宝IP地址库为来源。

5、实现方案 使用 nodejs + python 实现,nodejs主要实现网络交互集中的部分,python主要实现网页抓取。数据库使用常见的 mysql。 (1)国家代码抓取 使用 python 实现从 http://zh.wikipedia.org/wiki/ISO_3166-1 地址抓取代码信息,并保存文本country.txt。当然,也可以直接手动拷贝粘贴到文本中。 使用 nodejs 按行读取上一步抓取到的文本,做处理,使用 node-mysql 写入数据库。

(2)县代码抓取 使用 python 实现从 http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116_501070.html 地址抓取代码信息,并保存文本cncounty.txt。当然,也可以直接手动拷贝粘贴到文本中。 使用 nodejs 按行读取上一步抓取到的文本,做处理,使用 node-mysql 写入数据库。

(3)国内IP段抓取 使用 python 实现从 http://ipblock.chacuo.net/ 地址抓取IP段信息,并保存文本cnip.txt。当然,也可以直接手动拷贝粘贴到文本中。

(4)IP地址信息查询 使用 nodejs 读取 cnip.txt 文本,每次解析10000个IP,使用 http 模块从淘宝IP地址库查询结果,并使用 node-mysql 写入数据库。 由于在 nodejs 中 http 处理和 mysql 处理都是异步操作,所以,增加一个缓冲区,保存http请求结果。笔者使用了经典的生产者消费者模型来处理这个问题。

6、结果 为了保证请求的稳定,使用阿里云服务器运行此系统。 实际运行时,每秒可以稳定的请求到5个IP信息,中国目前(截止2014年1月)拥有3.3亿IP,完成全部请求大约需要2.98天。 完成全部存储,数据库大小为22.3GB。

7 回复

CNNIC的数据通过whois命令就能全部查询到, 不过不准, 基本省内的IP查询到的都是省会. 一般使用, 其实纯真的数据库精度也够了.

QQwry.dat,nodejs 自动更新,自动解析省市区,自动保存到库,只有40多万记录,非常好用,而且更新迅速,几年下来最好的方案如此,仅供楼主参考。

作者你好,小弟愚昧,请教个问题: 每秒可以稳定的请求到5个IP信息,中国目前(截止2014年1月)拥有3.3亿IP,完成全部请求大约需要2.98天,这是怎么计算的? 我的理解是一天可以收集的IP个数是: 56060*24=432000个; 那3.3亿的IP应该需要: 330000000/432000=763天左右。 希望得到作者的指点

@netfreeperson 可以用云搭集群做平行查询吧

@leapon 这个应该可以吧

@netfreeperson 实际上国内IP地址的分配是以256为最小单位进行的,所以发送请求时,每256个IP只请求一次就可以了,你计算的结果除以256就是实际时间了。

回到顶部