用NodeJS实现HTTP/HTTPS代理
发布于 13 年前 作者 longbill 42398 次浏览 最后一次编辑是 8 年前

身在天朝,难免会用到代理的时候。 比如在学校内网用代理免费上外网,在墙内用代理上404网站等。 <br/> <br/>现在使用的代理大部分为HTTP和Socket代理。 Socket代理更底层,需要本地解析域名,而HTTP代理则是基于HTTP协议之上的,不需要本地解析域名。下面我讲讲HTTP(S)代理的设计思路以及NodeJS代码实现。 <br/> <br/><strong>HTTP协议</strong> <br/> <br/>HTTP协议简单说来就是浏览器把一串字符串发送到目标服务器,然后把目标服务器返回回来的一串字符串显示给用户。 <br/> <br/>浏览器发送的这串字符主要分为两个部分,一部分是头,里面包含目标服务器域名,当前请求的文件路径等信息。另一部分是正文,一般的GET请求没有正文。 <br/> <br/>服务器返回来的字符串也分为头和正文。 <br/> <br/><strong>HTTP代理原理</strong> <br/> <br/>HTTP代理需要做的事情就是接收浏览器发来的请求字符串,再从请求字符串的头部分找出浏览器请求的目标主机,然后直接把这串请求字符串发给目标主机,再把目标主机返回的数据发给浏览器。 “什么?就这么简单?” “呃。。是啊,但这还没完。。” <br/> <br/>现代浏览器一般都是默认采用HTTP/1.1版本,并且默认会发送Connection: keep-alive请求。 这些信息是写在请求的头部的,意思是通知目标服务器采用keep-alive技术继续处理后续的请求。 但是我们做的代理程序要想支持keep-alive是比较麻烦的。所以干脆就把这个篡改成Connection: close。 这样就可以保证浏览器请求的每个文件都会单独发送一个HTTP请求。 <br/> <br/><strong>下面是NodeJS代码实现</strong> <br/><pre escaped=“true” lang=“javascript”>var net = require(‘net’); <br/>var local_port = 8893; <br/> <br/>//在本地创建一个server监听本地local_port端口 <br/>net.createServer(function (client) <br/>{ <br/> <br/> //首先监听浏览器的数据发送事件,直到收到的数据包含完整的http请求头 <br/> var buffer = new Buffer(0); <br/> client.on(‘data’,function(data) <br/> { <br/> buffer = buffer_add(buffer,data); <br/> if (buffer_find_body(buffer) == -1) return; <br/> var req = parse_request(buffer); <br/> if (req === false) return; <br/> client.removeAllListeners(‘data’); <br/> relay_connection(req); <br/> }); <br/> <br/> //从http请求头部取得请求信息后,继续监听浏览器发送数据,同时连接目标服务器,并把目标服务器的数据传给浏览器 <br/> function relay_connection(req) <br/> { <br/> console.log(req.method+’ ‘+req.host+’:’+req.port); <br/> <br/> //如果请求不是CONNECT方法(GET, POST),那么替换掉头部的一些东西 <br/> if (req.method != ‘CONNECT’) <br/> { <br/> //先从buffer中取出头部 <br/> var _body_pos = buffer_find_body(buffer); <br/> if (_body_pos < 0) _body_pos = buffer.length; <br/> var header = buffer.slice(0,_body_pos).toString(‘utf8’); <br/> //替换connection头 <br/> header = header.replace(/(proxy-)?connection:.+\r\n/ig,’’) <br/> .replace(/Keep-Alive:.+\r\n/i,’’) <br/> .replace("\r\n",’\r\nConnection: close\r\n’); <br/> //替换网址格式(去掉域名部分) <br/> if (req.httpVersion == ‘1.1’) <br/> { <br/> var url = req.path.replace(/http://[^/]+/,’’); <br/> if (url.path != url) header = header.replace(req.path,url); <br/> } <br/> buffer = buffer_add(new Buffer(header,‘utf8’),buffer.slice(_body_pos)); <br/> } <br/> <br/> //建立到目标服务器的连接 <br/> var server = net.createConnection(req.port,req.host); <br/> //交换服务器与浏览器的数据 <br/> client.on(“data”, function(data){ server.write(data); }); <br/> server.on(“data”, function(data){ client.write(data); }); <br/> <br/> if (req.method == ‘CONNECT’) <br/> client.write(new Buffer(“HTTP/1.1 200 Connection established\r\nConnection: close\r\n\r\n”)); <br/> else <br/> server.write(buffer); <br/> } <br/>}).listen(local_port); <br/> <br/>console.log(‘Proxy server running at localhost:’+local_port); <br/> <br/>//处理各种错误 <br/>process.on(‘uncaughtException’, function(err) <br/>{ <br/> console.log("\nError!!!"); <br/> console.log(err); <br/>}); <br/> <br/>/** <br/>* 从请求头部取得请求详细信息 <br/>* 如果是 CONNECT 方法,那么会返回 { method,host,port,httpVersion} <br/>* 如果是 GET/POST 方法,那么返回 { metod,host,port,path,httpVersion} <br/>/ <br/>function parse_request(buffer) <br/>{ <br/> var s = buffer.toString(‘utf8’); <br/> var method = s.split(’\n’)[0].match(/^([A-Z]+)\s/)[1]; <br/> if (method == ‘CONNECT’) <br/> { <br/> var arr = s.match(/^([A-Z]+)\s([^:\s]+):(\d+)\sHTTP/(\d.\d)/); <br/> if (arr && arr[1] && arr[2] && arr[3] && arr[4]) <br/> return { method: arr[1], host:arr[2], port:arr[3],httpVersion:arr[4] }; <br/> } <br/> else <br/> { <br/> var arr = s.match(/^([A-Z]+)\s([^\s]+)\sHTTP/(\d.\d)/); <br/> if (arr && arr[1] && arr[2] && arr[3]) <br/> { <br/> var host = s.match(/Host:\s+([^\n\s\r]+)/)[1]; <br/> if (host) <br/> { <br/> var _p = host.split(’:’,2); <br/> return { method: arr[1], host:_p[0], port:_p[1]?_p[1]:80, path: arr[2],httpVersion:arr[3] }; <br/> } <br/> } <br/> } <br/> return false; <br/>} <br/> <br/>/* <br/>* 两个buffer对象加起来 <br/>/ <br/>function buffer_add(buf1,buf2) <br/>{ <br/> var re = new Buffer(buf1.length + buf2.length); <br/> buf1.copy(re); <br/> buf2.copy(re,buf1.length); <br/> return re; <br/>} <br/> <br/>/* <br/>* 从缓存中找到头部结束标记("\r\n\r\n")的位置 <br/>*/ <br/>function buffer_find_body(b) <br/>{ <br/> for(var i=0,len=b.length-3;i < len;i++) <br/> { <br/> if (b[i] == 0x0d && b[i+1] == 0x0a && b[i+2] == 0x0d && b[i+3] == 0x0a) <br/> { <br/> return i+4; <br/> } <br/> } <br/> return -1; <br/>}</pre> <br/>另外,可以用 “nohup node some.js > /dev/null &” 命令让nodejs程序在后台运行。

6 回复

可以试一试 http://nowall.be/here ,这也是nodejs开发的

测试好用^_^

应该不行吧,这个貌似没有做加密的,所以我把这个代码部署到us服务器上还是不能访问404页面的(facebook)

话说,这个能代理https? 不行吧。。。。

如访问的是超大文件,要等到node.js 缓冲整个文件后,向客户端转发么?

为何日志显示没有post请求?

回到顶部