1. Linux文件系统基础概念
在Linux系统中，一切皆文件的设计哲学决定了IO操作的核心地位。当我们谈论基础IO时，实际上是在讨论程序与各种设备、存储介质之间的数据交换机制。与Windows系统不同，Linux将所有硬件设备都抽象为文件，这种统一接口的设计极大简化了系统编程的复杂度。
文件描述符（File Descriptor）是理解Linux IO的关键概念。它是一个非负整数，本质上是内核为每个进程维护的打开文件表的索引。当程序打开一个文件时，内核会返回一个文件描述符，后续所有操作都通过这个数字来引用对应的文件。标准输入（stdin）、标准输出（stdout）和标准错误（stderr）分别对应着文件描述符0、1和2，这也是为什么新打开的文件通常从3开始编号。
2. 文件操作的系统调用
2.1 打开和关闭文件
open()系统调用是文件操作的起点，其原型如下：
c复制#include <fcntl.h>
int open(const char *pathname, int flags, mode_t mode);
flags参数决定了文件的打开方式，常见组合包括：
- O_RDONLY：只读模式
- O_WRONLY：只写模式
- O_RDWR：读写模式
- O_CREAT：文件不存在时创建
- O_APPEND：追加模式
- O_TRUNC：清空文件
mode参数指定了文件权限，通常用八进制表示，如0644表示所有者可读写，组用户和其他用户只读。实际操作中需要注意umask的影响，它会导致实际权限比指定的要严格。
close()用于关闭文件描述符，释放系统资源。忘记关闭文件描述符是常见的资源泄漏原因，特别是在长时间运行的服务程序中。
2.2 读写操作
read()和write()是最基本的IO函数：
c复制ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);
这两个函数都返回实际读写的字节数，可能小于请求的count值。对于普通文件，这通常意味着到达了文件末尾；而对于网络套接字等非可靠传输，则需要循环读写直到完成所有数据传输。
重要提示：永远不要假设一次read或write调用就能完成所有数据传输。正确处理部分读写的情况是编写健壮IO代码的基础。
3. 文件指针与流缓冲
3.1 标准IO库函数
除了系统调用，C标准库提供了一套更高级的IO函数（如fopen、fread、fprintf等），它们基于FILE结构体工作，内部维护着文件位置指针和缓冲区。这些函数的主要优势在于：
- 缓冲机制减少了系统调用次数，提高了IO效率
- 提供了更丰富的格式化输入输出功能
- 跨平台兼容性更好
典型的文件打开操作：
c复制FILE *fp = fopen("example.txt", "r");
if (fp == NULL) {
perror("fopen failed");
exit(EXIT_FAILURE);
}
3.2 缓冲策略
标准IO库提供了三种缓冲模式：
- 全缓冲（_IOFBF）：缓冲区满时才进行实际IO操作
- 行缓冲（_IOLBF）：遇到换行符或缓冲区满时刷新
- 无缓冲（_IONBF）：直接进行IO操作
设置缓冲模式的函数：
c复制void setbuf(FILE *stream, char *buf);
int setvbuf(FILE *stream, char *buf, int mode, size_t size);
在交互式程序中，stdout通常设置为行缓冲，这使得printf的输出能够及时显示；而文件操作默认使用全缓冲以获得最佳性能。
4. 文件元数据与目录操作
4.1 文件状态信息
stat()系列函数可以获取文件的元数据：
c复制#include <sys/stat.h>
int stat(const char *pathname, struct stat *statbuf);
struct stat包含了文件类型、权限、大小、时间戳等信息。判断文件类型的常用宏包括：
- S_ISREG(): 普通文件
- S_ISDIR(): 目录
- S_ISCHR(): 字符设备
- S_ISBLK(): 块设备
- S_ISFIFO(): 管道
- S_ISLNK(): 符号链接
- S_ISSOCK(): 套接字
4.2 目录遍历
opendir()、readdir()和closedir()函数用于目录操作：
c复制DIR *opendir(const char *name);
struct dirent *readdir(DIR *dirp);
int closedir(DIR *dirp);
遍历目录的典型模式：
c复制DIR *dir = opendir(".");
if (dir == NULL) {
perror("opendir failed");
return;
}
struct dirent *entry;
while ((entry = readdir(dir)) != NULL) {
printf("%s\n", entry->d_name);
}
closedir(dir);
需要注意的是，readdir()返回的条目包括"."和".."，在实际应用中通常需要过滤掉这些特殊条目。
5. 高级IO技术
5.1 文件内存映射
mmap()系统调用可以将文件直接映射到进程地址空间：
c复制void *mmap(void *addr, size_t length, int prot, int flags,
int fd, off_t offset);
这种技术特别适合处理大文件，因为它避免了在用户空间和内核空间之间复制数据。典型的应用场景包括：
- 数据库系统
- 高性能日志处理
- 共享内存通信
5.2 非阻塞IO与IO多路复用
对于需要同时处理多个IO通道的程序（如网络服务器），传统的阻塞IO模型效率低下。Linux提供了几种解决方案：
- select()/poll(): 传统的多路复用接口
- epoll(): Linux特有的高性能接口
- io_uring: 最新的异步IO接口
epoll的使用模式：
c复制int epfd = epoll_create1(0);
struct epoll_event event;
event.events = EPOLLIN;
event.data.fd = sockfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &event);
struct epoll_event events[MAX_EVENTS];
int nfds = epoll_wait(epfd, events, MAX_EVENTS, -1);
for (int i = 0; i < nfds; i++) {
if (events[i].data.fd == sockfd) {
// 处理IO事件
}
}
6. 性能优化与常见问题
6.1 IO性能考量
影响IO性能的主要因素包括：
- 系统调用开销：尽量减少频繁的小IO操作
- 缓冲策略：选择适合应用场景的缓冲大小
- 磁盘调度算法：了解不同存储设备的特性
- 文件系统特性：如ext4的延迟分配机制
6.2 常见错误处理
- 检查所有系统调用的返回值
- 正确处理EINTR错误（系统调用被信号中断）
- 注意资源泄漏（文件描述符、内存等）
- 处理部分读写的情况
- 考虑并发访问时的同步问题
经验之谈：在Linux系统编程中，大约80%的IO相关问题都可以通过仔细检查错误处理和资源管理来解决。养成检查每个可能失败的函数调用的习惯，可以节省大量调试时间。
7. 实际应用案例
7.1 实现一个简单的文件复制工具
结合前面介绍的知识，我们可以实现一个高效的文件复制程序：
c复制#define BUF_SIZE 4096
int copy_file(const char *src, const char *dst)
{
int in_fd = open(src, O_RDONLY);
if (in_fd == -1) {
perror("open source file failed");
return -1;
}
int out_fd = open(dst, O_WRONLY | O_CREAT | O_TRUNC, 0644);
if (out_fd == -1) {
perror("open destination file failed");
close(in_fd);
return -1;
}
char buf[BUF_SIZE];
ssize_t nread;
while ((nread = read(in_fd, buf, BUF_SIZE)) > 0) {
ssize_t nwritten = write(out_fd, buf, nread);
if (nwritten != nread) {
perror("write error");
close(in_fd);
close(out_fd);
return -1;
}
}
if (nread == -1) {
perror("read error");
}
close(in_fd);
close(out_fd);
return nread == 0 ? 0 : -1;
}
这个例子展示了如何正确处理文件描述符、错误检查和部分读写的情况。在实际应用中，还可以考虑使用sendfile()系统调用来进一步优化性能，特别是当源文件和目标文件都在同一文件系统上时。
7.2 实现目录树遍历
另一个常见需求是递归遍历目录树：
c复制void traverse_dir(const char *path)
{
DIR *dir = opendir(path);
if (!dir) {
perror("opendir failed");
return;
}
struct dirent *entry;
while ((entry = readdir(dir)) != NULL) {
if (strcmp(entry->d_name, ".") == 0 ||
strcmp(entry->d_name, "..") == 0) {
continue;
}
char fullpath[PATH_MAX];
snprintf(fullpath, sizeof(fullpath), "%s/%s", path, entry->d_name);
struct stat st;
if (lstat(fullpath, &st) == -1) {
perror("lstat failed");
continue;
}
if (S_ISDIR(st.st_mode)) {
traverse_dir(fullpath); // 递归处理子目录
} else {
printf("File: %s\n", fullpath);
}
}
closedir(dir);
}
这个例子展示了如何结合目录操作和文件状态检查来实现复杂的文件系统操作。需要注意的是，在实际应用中应该添加对符号链接的特殊处理，并考虑路径名长度的限制。