Zoomla!逐浪CMS官网

最新版本号[免费下载]
逐浪软件

使用NodeJS打造静态文件服务器


作者:本站编辑 发布时间:2015-11-24 来源:本站原创 点击数:

前言


在《The Node Beginner Book》的中文版发布之后,获得国内的好评。也有同学觉得这本书略薄,没有包含进阶式的例子。@otakustay同学说:“确实,我的想法是在这之上补一个简单的MVC框架和一个StaticFile+Mimetype+CacheControl机制,可以成为一个更全面的教程”。正巧的是目前我手里的V5项目有一些特殊性:

  1. 项目大多数的文件都是属于静态文件,只有数据部分存在动态请求

  2. 数据部分的请求都呈现为RESTful的特性

那么我之前写的Node_CI框架跟V5搭配起来感觉就有那么一点点怪怪的。所以我决定改造Node_CI框架,使之更适合V5前端的使用。原有的Node_CI项目继续保留着,新开项目为V5Node,同时在改造这个框架的过程完成@otakustay 同学提到的几点进阶部分,也算是对我自己学习Node的总结。
这个项目主要包含的两个部分就是静态服务器和RESTful服务器。


第一部分 静态文件服务器


既是一个新的项目,那么创建v5node目录是应该的。既是一个Node应用,创建一个app.js文件也是应该的。
如果你有认真读完《The Node Beginner Book》或是看到过Nodejs官方网站上的那段经典代码,那么你对下面这段代码应当是非常不陌生的:

var http = require("http");
http.createServer(function(request, response) {
  response.writeHead(200, {"Content-Type": "text/plain"});
  response.write("Hello World");
  response.end();
}).listen(8888);
那么我们的app.js文件里的结构也很明确了。
var PORT = 8000;
var http = require(‘http‘);
var server = http.createServer(function(request, response) {
// TODO
});
server.listen(PORT);
console.log("Server runing at port: " + PORT + ".");


因为当前要实现的功能是静态文件服务器,那么以Apache为例,让我们回忆一下静态文件服务器都有哪些功能。
浏览器发送URL,服务端解析URL,对应到硬盘上的文件。如果文件存在,返回200状态码,并发送文件到浏览器端;如果文件不存在,返回404状态码,发送一个404的文件到浏览器端。
以下两图是Apache经典的两种状态:

现在cases已经明了,那么我们开始实现吧。


实现路由


路由部分的实现在《The Node Beginner Book》已经被描述过,此处不例外。
添加url模块是必要的。然后解析pathname。

var url = require("url");
var pathname = url.parse(request.url).pathname;
以下是实现代码:
var server = http.createServer(function(request, response) {
    var pathname = url.parse(request.url).pathname;
    response.write(pathname);
    response.end();
});


现在的代码是向浏览器端输出请求的路径,类似一个echo服务器。接下来我们为其添加输出对应文件的功能。


读取静态文件


为了不让用户在浏览器端通过请求/app.js查看到我们的代码,我们设定用户只能请求assets目录下的文件。服务器会将路径信息映射到assets目录。
涉及到了文件读取的这部分,自然不能避开fs(file system)这个模块。那么引入fs模块吧。

var fs = require("fs");
同样,涉及到了路径处理,path模块也是需要的。
var path = require("path");
我们通过path模块的path.exists方法来判断静态文件是否存在磁盘上。不存在我们直接响应给客户端404错误。
如果文件存在则调用fs.readFile方法读取文件。如果发生错误,我们响应给客户端500错误,表明存在内部错误。正常状态下则发送读取到的文件给客户端,表明200状态。
var server = http.createServer(function(request, response) {
    var pathname = url.parse(request.url).pathname;
    var realPath = "assets" + pathname;
 
    path.exists(realPath, function (exists) {
        if (!exists) {
            response.writeHead(404, {‘Content-Type‘: ‘text/plain‘});
            response.write("This request URL " + pathname + " was not found on this server.");
            response.end();
        } else {
            fs.readFile(realPath, "binary", function(err, file) {
                if (err) {
                    response.writeHead(500, {‘Content-Type‘:‘text/plain‘});
                    response.end(err);
                } else {
                    response.writeHead(200, {‘Content-Type‘:‘text/html‘});
                    response.write(file, "binary");
                    response.end();
                }
             });
          }
      });
});


以上这段简单的代码加上一个assets目录,就构成了我们最基本的静态文件服务器。
那么眼尖的你且看看,这个最基本的静态文件服务器存在哪些问题呢?答案是MIME类型支持。因为我们的服务器同时要存放html, css, js, png, gif, jpg等等文件。并非每一种文件的MIME类型都是text/html的。


MIME类型支持


像其他服务器一样,支持MIME的话,就得一张映射表。

exports.types = {
  "css": "text/css",
  "gif": "image/gif",
  "html": "text/html",
  "ico": "image/x-icon",
  "jpeg": "image/jpeg",
  "jpg": "image/jpeg",
  "js": "text/javascript",
  "json": "application/json",
  "pdf": "application/pdf",
  "png": "image/png",
  "svg": "image/svg+xml",
  "swf": "application/x-shockwave-flash",
  "tiff": "image/tiff",
  "txt": "text/plain",
  "wav": "audio/x-wav",
  "wma": "audio/x-ms-wma",
  "wmv": "video/x-ms-wmv",
  "xml": "text/xml"
};
以上代码另存在mime.js文件中。该文件仅仅只列举了一些常用的MIME类型,以文件后缀作为key,MIME类型为value。那么引入mime.js文件吧。
var mime = require("./mime").types;
我们通过path.extname来获取文件的后缀名。由于extname返回值包含”.”,所以通过slice方法来剔除掉”.”,对于没有后缀名的文件,我们一律认为是unknown。
var ext = path.extname(realPath);
ext = ext ? ext.slice(1) : ‘unknown‘;
接下来我们很容易得到真正的MIME类型了。
var ext = path.extname(realPath);
ext = ext ? ext.slice(1) : ‘unknown‘;
var contentType = mime[ext] || "text/plain";
response.writeHead(200, {‘Content-Type‘: contentType});
response.write(file, "binary");
response.end();


对于未知的类型,我们一律返回text/plain类型。


缓存支持/控制


在MIME支持之后,静态文件服务器看起来已经很完美了。任何静态文件只要丢进assets目录之后就可以万事大吉不管了。看起来已经达到了Apache作为静态文件服务器的相同效果了。我们实现这样的服务器用的代码只有这么多行而已。是不是很简单呢?
但是,我们发现用户在每次请求的时候,服务器每次都要调用fs.readFile方法去读取硬盘上的文件的。当服务器的请求量一上涨,硬盘IO会吃不消的。
在解决这个问题之前,我们有必要了解一番前端浏览器缓存的一些机制和提高性能的方案。

  1. Gzip压缩文件可以减少响应的大小,能够达到节省带宽的目的。

  2. 浏览器缓存中存有文件副本的时候,不能确定有效的时候,会生成一个条件get请求

    1. 浏览器会判断Expires头,直到制定的日期过期,才会发起新的请求。

    2. 另一个可以达到相同目的的方法是返回Cache-Control: max-age=xxxx。

    3. 在请求的头中会包含 If-Modified-Since

    4. 如果服务器端文件在这个时间后发生过修改,则发送整个文件给前端。

    5. 如果没有修改,则返回304状态码。并不发送整个文件给前端。

    6. 另外一种判断机制是ETag。在此并不讨论。

    7. 如果副本有效,这个get请求都会省掉。判断有效的最主要的方法是服务端响应的时候带上Expires的头。

欲了解更多缓存机制,请参见Steve Sounders著作的《高性能网站建设指南》。

为了简化问题,我们只做如下这几件事情:

  1. 为指定几种后缀的文件,在响应时添加Expires头和Cache-Control: max-age头。超时日期设置为1年。

  2. 由于这是静态文件服务器,为所有请求,响应时返回Last-Modified头。

  3. 为带If-Modified-Since的请求头,做日期检查,如果没有修改,则返回304。若修改,则返回文件。

对于以上的静态文件服务器,Node给的响应头是十分简单的:

Connection: keep-alive
Content-Type: text/html
Transfer-Encoding:  chunked
对于指定后缀文件和过期日期,为了保证可配置,那么建立一个config.js文件是应该的。
exports.Expires = {
    fileMatch: /^(gif|png|jpg|js|css)$/ig,
    maxAge: 60*60*24*365
};
引入config.js文件:
var config = require("./config");
我们在相应之前判断后缀名是否符合我们要添加过期时间头的条件。
var ext = path.extname(realPath);
ext = ext ? ext.slice(1) : ‘unknown‘;
if (ext.match(config.Expires.fileMatch)) {
    var expires = new Date();
    expires.setTime(expires.getTime() + config.Expires.maxAge * 1000);
    response.setHeader("Expires", expires.toUTCString());
    response.setHeader("Cache-Control", "max-age=" +config.Expires.maxAge);
}
这次的响应头中多了两个header。
Cache-Control: max-age=31536000
Connection: keep-alive
Content-Type: image/png
Expires: Fri, 09 Nov 2012 12:55:41 GMT
Transfer-Encoding: chunked



浏览器在发送请求之前由于检测到Cache-Control和Expires(Cache-Control的优先级高于Expires,但有的浏览器不支持Cache-Control,这时采用Expires),如果没有过期,则不会发送请求,而直接从缓存中读取文件。
接下来我们为所有请求的响应都添加Last-Modified头。

fs.stat(realPath, function (err, stat) {
    var lastModified = stat.mtime.toUTCString();
    response.setHeader("Last-Modified", lastModified);
});
我们同时也要检测浏览器是否发送了If-Modified-Since请求头。如果发送而且跟文件的修改时间相同的话,我们返回304状态。
if (request.headers[ifModifiedSince] && lastModified ==request.headers[ifModifiedSince]) {
    response.writeHead(304, "Not Modified");
    response.end();
}
如果没有发送或者跟磁盘上的文件修改时间不相符合,则发送回磁盘上的最新文件。
此时的代码大致如下:
var server = http.createServer(function(request, response) {
    var pathname = url.parse(request.url).pathname;console.log(pathname);
    var realPath = path.join("assets", pathname);
    path.exists(realPath, function (exists) {
        if (!exists) {
            response.writeHead(404, "Not Found", {‘Content-Type‘:‘text/plain‘});
            response.write("This request URL " + pathname + " was not found on this server.");
            response.end();
        } else {
            var ext = path.extname(realPath);
            ext = ext ? ext.slice(1) : ‘unknown‘;
            var contentType = mime[ext] || "text/plain";
            response.setHeader("Content-Type", contentType);
            fs.stat(realPath, function (err, stat) {
                var lastModified = stat.mtime.toUTCString();
                var ifModifiedSince = "If-Modified-Since".toLowerCase();
                response.setHeader("Last-Modified", lastModified);
                if (ext.match(config.Expires.fileMatch)) {
                    var expires = new Date();
                    expires.setTime(expires.getTime() +config.Expires.maxAge * 1000);
                    response.setHeader("Expires", expires.toUTCString());
                    response.setHeader("Cache-Control", "max-age=" +config.Expires.maxAge);
                }
                if (request.headers[ifModifiedSince] && lastModified ==request.headers[ifModifiedSince]) {
                    response.writeHead(304, "Not Modified");
                    response.end();
                } else {
                    fs.readFile(realPath, "binary", function(err, file) {
                        if (err) {
                            response.writeHead(500, "Internal Server Error", {‘Content-Type‘: ‘text/plain‘});
                            response.end(err);
                        } else {
                            response.writeHead(200, "Ok");
                            response.write(file, "binary");
                            response.end();
                        }
                    });
                }
            });
        }
    });
});


通过Expires和Last-Modified两个方案以及与浏览器之间的通力合作,会节省相当大的一部分网络流量,同时也会降低部分硬盘IO的请求。如果在这之前还存在CDN的话,整个solution就比较完美了。


本文责任编辑:  加入会员收藏夹 点此参与评论>>
当前网址:
复制本网址-发给QQ/微信上的朋友
下一篇文章:Node.JS的编译过程

+什么是CMS

CMS(Content Management System)是网站内容管理系统简称, 互联网上每个网站(无论大小门户)其后台都由专业CMS系统支撑- Zoomla!逐浪CMS作为国内高端CMS与WEB应用典范,首创第3代CMS理念,专注底层核心技术研发,以云技术、创新精神构建行业新成就,提供从网站内核到电商、办公、移动一体化的开发体验!

7×24小时服务热线 021-50391046 技术支持:13177777714
©Copyright 2003- 逐浪软件z01.com版权所有 All rights reserved
经营许可证号:工商3601002021063 沪ICP备09077823号 沪公网安备31011502000316号
本网站基于®Zoomla!逐浪CMS内核开发

ISO9001国际认证企业 CSDN外包TOP资质 鉴赏MTV电广视告 7×24小时全天候贴心服务 社会征信网