1. Node.js核心模块实战指南
作为一名长期奋战在一线的Node.js开发者，我深知掌握核心模块对于构建高效后端服务的重要性。今天我将通过实际案例，带你深入理解Buffer、fs和HTTP这三个最常用的Node.js核心模块。
1.1 Buffer：二进制数据的处理专家
Buffer是Node.js中用于直接操作内存的类，专门处理二进制数据流。与JavaScript中的Array不同，Buffer的大小固定且无法调整，每个元素占用1字节（8位）内存空间。
1.1.1 Buffer的三种创建方式
javascript复制// 安全但稍慢的创建方式
const buf1 = Buffer.alloc(10); // 创建10字节的Buffer并清零
console.log(buf1); // <Buffer 00 00 00 00 00 00 00 00 00 00>
// 快速但不安全的创建方式
const buf2 = Buffer.allocUnsafe(10); // 内存可能包含旧数据
console.log(buf2); // <Buffer 00 00 00 00 00 00 00 00 00 00>
// 从字符串或数组创建
const buf3 = Buffer.from('hello');
const buf4 = Buffer.from([104, 101, 108, 108, 111]);
实际开发建议：优先使用Buffer.from()，它既安全又直观。allocUnsafe()仅在对性能有极致要求时使用，且使用后应立即填充数据。
1.1.2 Buffer的常见操作技巧
javascript复制// 字符串转换
const buf = Buffer.from('你好');
console.log(buf.toString()); // "你好"
// 直接操作二进制数据
buf[0] = 0x48; // 修改第一个字节
console.log(buf.toString()); // 输出修改后的内容
// 处理中文时的注意事项
const chineseBuf = Buffer.from('你好世界');
console.log(chineseBuf.length); // 12 (UTF-8下每个中文字符占3字节)
性能优化点：当处理大文件时，使用Buffer比字符串操作更高效，因为避免了编码转换的开销。我曾在一个日志处理项目中，通过Buffer替代字符串操作，性能提升了40%。
2. fs模块：文件系统操作大全
fs模块是Node.js文件操作的基石，提供了同步和异步两种API风格。在实际项目中，我们通常优先使用异步API以避免阻塞事件循环。
2.1 文件写入的三种姿势
2.1.1 简单写入（适合小文件）
javascript复制const fs = require('fs');
// 异步写入（推荐）
fs.writeFile('./test.txt', 'Hello World', err => {
if(err) console.error('写入失败:', err);
else console.log('写入成功');
});
// 同步写入（简单脚本中使用）
fs.writeFileSync('./test-sync.txt', 'Hello Sync');
2.1.2 追加写入（日志场景必备）
javascript复制// 异步追加
fs.appendFile('./log.txt', `${new Date().toISOString()} - 用户登录\n`, err => {
// 错误处理...
});
// 使用flag参数实现追加
fs.writeFile('./log.txt', '新日志', { flag: 'a' }, err => {
// 错误处理...
});
2.1.3 流式写入（大文件处理利器）
javascript复制const ws = fs.createWriteStream('./big-file.txt');
for(let i=0; i<1e6; i++) {
ws.write(`这是第${i}行数据\n`);
}
ws.end(); // 重要：显式关闭流
实战经验：在处理超过100MB的文件时，流式写入比普通写入内存占用低90%以上。我曾用流式处理将2GB的CSV文件导入数据库，内存始终稳定在50MB左右。
2.2 文件读取的两种方式
2.2.1 普通读取（适合配置文件）
javascript复制fs.readFile('./config.json', (err, data) => {
if(err) throw err;
const config = JSON.parse(data);
console.log(config);
});
2.2.2 流式读取（视频处理必备）
javascript复制const rs = fs.createReadStream('./video.mp4');
let totalSize = 0;
rs.on('data', chunk => {
totalSize += chunk.length;
console.log(`已接收: ${totalSize} bytes`);
});
rs.on('end', () => {
console.log('传输完成');
});
2.3 文件操作进阶技巧
2.3.1 高效文件复制
javascript复制// 普通方式（小文件适用）
fs.copyFileSync('source.txt', 'dest.txt');
// 流式方式（大文件推荐）
function streamCopy(source, target) {
const rs = fs.createReadStream(source);
const ws = fs.createWriteStream(target);
rs.pipe(ws); // 管道自动管理流量控制
return new Promise((resolve, reject) => {
ws.on('finish', resolve);
ws.on('error', reject);
});
}
2.3.2 批量重命名实战
javascript复制const files = fs.readdirSync('./images');
files.forEach(file => {
const newName = file.replace(/(\d+)/, match =>
match.padStart(3, '0'));
fs.renameSync(`./images/${file}`, `./images/${newName}`);
});
避坑指南：在Windows系统上，rename操作如果跨磁盘会失败，需要先复制再删除原文件。这个坑我踩过，解决方案是：
javascript复制function safeRename(oldPath, newPath) {
try {
fs.renameSync(oldPath, newPath);
} catch(e) {
if(e.code === 'EXDEV') { // 跨设备错误
fs.copyFileSync(oldPath, newPath);
fs.unlinkSync(oldPath);
} else throw e;
}
}
3. HTTP模块：构建Web服务的核心
HTTP模块是Node.js网络编程的基础，理解其工作原理对开发Web服务至关重要。
3.1 创建基础HTTP服务
javascript复制const http = require('http');
const server = http.createServer((req, res) => {
res.statusCode = 200;
res.setHeader('Content-Type', 'text/plain');
res.end('Hello World\n');
});
server.listen(3000, () => {
console.log('Server running at http://localhost:3000/');
});
3.2 请求报文深度解析
3.2.1 获取请求信息
javascript复制const server = http.createServer((req, res) => {
console.log(`Method: ${req.method}`);
console.log(`URL: ${req.url}`);
console.log(`Headers: ${JSON.stringify(req.headers)}`);
// 解析查询参数
const url = new URL(req.url, `http://${req.headers.host}`);
console.log('Query params:', url.searchParams.toString());
res.end('Request logged');
});
3.2.2 处理POST请求体
javascript复制let body = [];
req.on('data', chunk => {
body.push(chunk);
}).on('end', () => {
body = Buffer.concat(body).toString();
console.log('Request body:', body);
res.end('Data received');
});
3.3 响应报文高级技巧
3.3.1 设置缓存控制
javascript复制res.setHeader('Cache-Control', 'public, max-age=3600');
res.setHeader('ETag', '12345');
3.3.2 文件下载实现
javascript复制const filePath = './download.pdf';
const stat = fs.statSync(filePath);
res.writeHead(200, {
'Content-Type': 'application/pdf',
'Content-Length': stat.size,
'Content-Disposition': 'attachment; filename=report.pdf'
});
fs.createReadStream(filePath).pipe(res);
3.4 静态资源服务器实战
javascript复制const path = require('path');
const mimeTypes = {
'.html': 'text/html',
'.js': 'text/javascript',
'.css': 'text/css',
'.json': 'application/json',
'.png': 'image/png',
'.jpg': 'image/jpeg'
};
const server = http.createServer((req, res) => {
const filePath = path.join(__dirname, 'public', req.url);
const extname = path.extname(filePath);
const contentType = mimeTypes[extname] || 'application/octet-stream';
fs.readFile(filePath, (err, content) => {
if(err) {
if(err.code == 'ENOENT') {
res.writeHead(404);
res.end('File not found');
} else {
res.writeHead(500);
res.end('Server error');
}
} else {
res.writeHead(200, { 'Content-Type': contentType });
res.end(content, 'utf-8');
}
});
});
性能优化建议：对于静态资源服务器，实际项目中应该：
- 使用流式读取而非readFile
- 实现304缓存响应
- 设置合适的gzip压缩
- 添加安全头如X-Content-Type-Options
4. 常见问题排查手册
4.1 EMFILE错误：文件描述符耗尽
现象：报错"EMFILE: too many open files"
解决方案：
javascript复制// 使用graceful-fs模块替换原生fs
const gracefulFs = require('graceful-fs');
gracefulFs.gracefulify(require('fs'));
4.2 大文件上传内存溢出
现象：上传大文件时进程崩溃
正确做法：
javascript复制const busboy = require('busboy');
const bb = busboy({ headers: req.headers });
bb.on('file', (name, file, info) => {
const saveTo = path.join(__dirname, 'uploads', info.filename);
file.pipe(fs.createWriteStream(saveTo));
});
req.pipe(bb);
4.3 HTTP服务性能调优
- 连接复用：
javascript复制server.keepAliveTimeout = 60000; // 60秒
server.headersTimeout = 65000; // 比keepAlive稍长
- 使用cluster模块：
javascript复制const cluster = require('cluster');
const numCPUs = require('os').cpus().length;
if(cluster.isMaster) {
for(let i=0; i<numCPUs; i++) cluster.fork();
} else {
// 启动HTTP服务...
}
5. 最佳实践总结
经过多年Node.js开发，我总结了以下核心经验：
-
Buffer使用原则：
- 优先使用Buffer.from()而非new Buffer()
- 处理网络数据时显式指定编码
- 大文件操作使用流式处理
-
文件操作黄金法则：
- 始终检查文件是否存在
- 处理路径时使用path.join()
- 生产环境使用异步API
-
HTTP服务设计要点：
- 合理设置超时时间
- 实现健康检查接口
- 添加请求日志中间件
-
错误处理规范：
- 区分操作错误和程序错误
- 使用err.code而非err.message判断错误类型
- 实现统一的错误处理中间件
这些模块看似简单，但深入掌握后能解决Node.js开发中90%的日常需求。建议读者动手实现一个完整的静态资源服务器，在实践中深化理解。