Linux学习：I/O多路复用
1.概念
I/O多路复用又称I/O多路转接，该技术使得程序能够同时监听多个文件描述符，提高程序的性能，Linux下实现I/O多路复用的系统调用主要有select、poll和epoll
BIO模型：Blocking I/O模型是一种同步阻塞的I/O模型，它的特点是在进行网络通信时，应用程序会一直等待直到数据准备好，然后才会进行读取或写操作。这种模型的缺点是在高并发场景下，性能会受到很大的影响，因为每个线程都需要等待I/O操作完成后才能够继续执行
NIO模型：Non-Blocking I/O模型是一种同步非阻塞模型，它的特点是在进行网络通信时，应用程序可以在等待数据准备的同时，继续执行其他任务。当数据准备好时，应用程序会得到通知，然后再进行读取或者写入操作。这种模型的优点是可以在单个线程中处理多个并发连接，从而提高系统的并发能力和吞吐量。
2.select
主旨思想：
（1）首先要构造一个关于文件描述符的列表，将要监听的文件描述符添加到该列表中
（2）调用一个系统函数，监听列表中的文件描述符，直到这些描述符中的一个或者多个进行了I/O操作时，该函数才返回
---这个函数是阻塞的
---函数对文件描述符的检测是由内核完成的（高效）
（3）在返回时，它会告诉进程有多少（哪些）描述符需要进行I/O操作。
select代收员比较懒，只会告诉你有几个快递到了，但是是哪几个快递，你需要挨个遍历一遍
特点：
用户态设定的描述符集合被拷贝到内核态中---->内核通过遍历集合的方式检查事件产生---->再把整个文件描述符集合拷贝回用户态中---->用户态还需要通过遍历的方式找到可读可写的Socket再对其处理
所以对于select这种方式，需要进行两次遍历文件描述符集合，一次在内核态、一次在用户态；而且还发生两次拷贝文件描述符集合
缺点：
（1）每次调用select，都需要把集合进行两次拷贝，开销很大
（2）尽管内核遍历的速度很快，但用户态还需要一次遍历fd集合，在fd比较多的情况下开销很大
（3）select支持的文件描述符的数量太小了，默认是1024
（4）fds集合不能重用，每次都需要重置
// sizeof(fd_set) = 128 1024
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>
//select通过三个文件描述符集合可以同时监听三种I/O状态变化
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
- 参数：
- nfds : 委托内核检测的最大文件描述符的值 + 1
- readfds : 要检测的文件描述符的读的集合，委托内核检测哪些文件描述符的读的属性
- 一般检测读操作
- 对应的是对方发送过来的数据，因为读是被动的接收数据，检测的就是读缓冲区
- 是一个传入传出参数
- writefds : 要检测的文件描述符的写的集合，委托内核检测哪些文件描述符的写的属性
- 委托内核检测写缓冲区是不是还可以写数据（不满的就可以写）
- exceptfds : 检测发生异常的文件描述符的集合
- timeout : 设置的超时时间
struct timeval {
long tv_sec; /* seconds */
long tv_usec; /* microseconds */
};
- NULL : 永久阻塞，直到检测到了文件描述符有变化
- tv_sec = 0 tv_usec = 0， 不阻塞
- tv_sec > 0 tv_usec > 0， 阻塞对应的时间
- 返回值 :
- -1 : 失败
- >0(n) : 检测的集合中有n个文件描述符发生了变化
// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);
// 判断fd对应的标志位是0还是1， 返回值 ： fd对应的标志位的值，0，返回0， 1，返回1
int FD_ISSET(int fd, fd_set *set);
// 将参数文件描述符fd 对应的标志位，设置为1
void FD_SET(int fd, fd_set *set);
// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);
使用select实现服务器端：
比如有ABCD四个对应fd为3、4、5、6的待监听文件描述符，初始化他们都设置为1。系统循环检测到AB发生了数据变化，则3、4仍然设置为1, 描述符5、6则被设置为0，拷贝返回至用户态，遍历处理为1的socket通信。然后重置fds表
#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/select.h>
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 创建一个fd_set的集合，存放的是需要检测的文件描述符
// tmp用来在内核态中拷贝一份rdset的副本
fd_set rdset, tmp;
FD_ZERO(&rdset);
FD_SET(lfd, &rdset);
//文件描述符除了读写和异常为0、1、2外，其他是按顺序分配的，此时是maxfd就是监听socket的下标
int maxfd = lfd;
while(1) {
tmp = rdset;
// 调用select系统函数，让内核帮检测哪些文件描述符有数据
int ret = select(maxfd + 1, &tmp, NULL, NULL, NULL);
if(ret == -1) {
perror("select");
exit(-1);
} else if(ret == 0) {
continue;
} else if(ret > 0) {
// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
if(FD_ISSET(lfd, &tmp)) {
// 表示有新的客户端连接进来了
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 将新的文件描述符加入到集合中
FD_SET(cfd, &rdset);
// 更新最大的文件描述符下标
maxfd = maxfd > cfd ? maxfd : cfd;
}
for(int i = lfd + 1; i <= maxfd; i++) {
if(FD_ISSET(i, &tmp)) {
// 说明这个文件描述符对应的客户端发来了数据
char buf[1024] = {0};
int len = read(i, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
close(i);
FD_CLR(i, &rdset);//处理完成，将其置为0
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(i, buf, strlen(buf) + 1);
}
}
}
}
}
close(lfd);
return 0;
}
3.poll
相比于select的改进
select使用一个最大值为1024的数组存储文件描述符，而poll没有这样的限制，可以监听任意数量的文件描述符
select每次调用需要将fd_set复制到内核中，而poll只需要将pollfd数组从用户空间传递到内核空间一次
两者共同的缺点
（1）都是使⽤「线性结构」存储进程关注的 Socket 集合，因此都需要遍历⽂件描述符集合来找到可读或可写的 Socket，时间复杂度为 O(n)，
（2）需要在⽤户态与内核态之间拷⻉⽂件描述符集合，这种⽅式随着并发数上来，性能的损耗会呈指数级增⻓
（3）select和poll都是轮询的方式，需要遍历所有的文件描述符检查事件是否发生。
#include <poll.h>
struct pollfd {
int fd; /* 委托内核检测的文件描述符 */
short events; /* 委托内核检测文件描述符的什么事件 */
short revents; /* 文件描述符实际发生的事件 */
};
struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT;
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
- 参数：
- fds : 是一个struct pollfd 结构体数组，这是一个需要检测的文件描述符的集合
- nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1
- timeout : 阻塞时长
0 : 不阻塞
-1 : 阻塞，当检测到需要检测的文件描述符有变化，解除阻塞
>0 : 阻塞的时长
- 返回值：
-1 : 失败
>0（n） : 成功,n表示检测到集合中有n个文件描述符发生变化
这些定义好的常量都是short类型的，进行位运算
使用poll实现服务器端
#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <poll.h>
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 初始化检测的文件描述符数组
struct pollfd fds[1024];
for(int i = 0; i < 1024; i++) {
fds[i].fd = -1;
fds[i].events = POLLIN;
}
fds[0].fd = lfd;
//最后一个有效元素的下标是0
int nfds = 0;
while(1) {
// 调用poll系统函数，让内核帮检测哪些文件描述符有数据，-1为阻塞
int ret = poll(fds, nfds + 1, -1);
if(ret == -1) {
perror("poll");
exit(-1);
} else if(ret == 0) {
continue;
} else if(ret > 0) {
// 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
// 注意这里用&而不是==，因为可能有多种事件类型被检测到，比如系统检测到POLLIN|POLLOUT，我们用==很明显是不等的
// 对于监听fd，revents事件确实只能是POLLIN，但是使用==是不严谨的
if(fds[0].revents & POLLIN) {
// 表示有新的客户端连接进来了
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 找一个空位，将新的文件描述符加入到集合中，并且设置它的待检测event
for(int i = 1; i < 1024; i++) {
if(fds[i].fd == -1) {
fds[i].fd = cfd;
fds[i].events = POLLIN;
break;
}
}
// 更新最大的文件描述符的索引
nfds = nfds > cfd ? nfds : cfd;
}
for(int i = 1; i <= nfds; i++) {
if(fds[i].revents & POLLIN) {
// 说明这个文件描述符对应的客户端发来了数据
char buf[1024] = {0};
int len = read(fds[i].fd, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
close(fds[i].fd);
fds[i].fd = -1;
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(fds[i].fd, buf, strlen(buf) + 1);
}
}
}
}
}
close(lfd);
return 0;
}
4.epoll
epoll的优点
epoll通过两个方面，很好地解决了select/poll的问题
（1）epoll在内核中使用红黑树来跟踪进程所有待检测的文件描述字，把需要监控的socket通过epoll_ctl()函数加入到内核中的红黑树中，红黑树是高效的数据结构，增删查的时间复杂度是O(logn)，通过对这棵红黑树进行操作，这样就不需要像select和poll一样每次操作时都传入整个socket集合，只需要传入一个待检测的socket即可
（2）与前两者的轮训机制不同，epoll使用的是事件驱动的机制，内核中维护了一个链表来记录就绪事件，当某个socket有事件发生时，通过回调函数内核会将其加入到这个就绪事件列表中，当用户调用epoll_wait()函数时，只会返回有事件发生的文件描述符的个数，不需要像select和poll那样进行轮询，大大提高了检测的效率
#include <sys/epoll.h>
// 创建一个新的epoll实例。在内核中创建了一个数据，这个数据中有两个比较重要的数据，一个是需要检测的文件描述符的信息（红黑树），还有一个是就绪列表，存放检测到数据发送改变的文件描述符信息（双向链表）。
int epoll_create(int size);
- 参数：
size : 目前没有意义了。随便写一个数，必须大于0
- 返回值：
-1 : 失败
> 0 : 返回操作epoll实例的文件描述符
typedef union epoll_data {
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
struct epoll_event {
uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
常见的Epoll检测事件（event）：
- EPOLLIN
- EPOLLOUT
- EPOLLERR
// 对epoll实例进行管理：添加文件描述符信息，删除信息，修改信息
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
- 参数：
- epfd : epoll实例对应的文件描述符
- op : 要进行什么操作
EPOLL_CTL_ADD: 添加
EPOLL_CTL_MOD: 修改
EPOLL_CTL_DEL: 删除
- fd : 要检测的文件描述符
- event : 检测文件描述符什么事情
// 检测函数
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int
timeout);
- 参数：
- epfd : epoll实例对应的文件描述符
- events : 传出参数，保存了发送了变化的文件描述符的信息
- maxevents : 第二个参数结构体数组的大小
- timeout : 阻塞时间
- 0 : 不阻塞
- -1 : 阻塞，直到检测到fd数据发生变化，解除阻塞
- > 0 : 阻塞的时长（毫秒）
- 返回值：
- 成功，返回发送变化的文件描述符的个数 > 0
- 失败 -1
epoll的工作模式
（1）LT（level-triggered）（水平触发）工作模式
假设委托内核检测读事件--->检测fd的读缓冲区
如果读缓冲区有数据--->epoll检测出会给用户通知
case1：用户不读数据，数据一直在缓冲区，epoll会一直通知
case2：用户只读了一部分数据，缓冲区残留数据，epoll会一直通知
case3：缓冲区的数据读完了，不进行通知
LT是缺省（默认）的工作方式，并且同时支持block和non-block的socket。在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行I/O操作。不进行操作或者进行地不彻底，内核会一直通知
（2）ET（edge-triggered）（边沿触发）工作模式
假设委托内核检测读事件--->检测fd的读缓冲区
如果读缓冲区有数据--->epoll检测出会给用户通知
case1：用户不读数据，数据一直在缓冲区中，epoll下次检测就不通知了
case2：用户只读了一部分数据，epoll不通知
case3：缓冲区的数据读完了，不进行通知
ET是高速工作模式，他只支持no-block的socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告知。然后它会假设用户已经知道哪些文件描述符就绪，不再为那个文件描述符做更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态，那么下次由未就绪向就绪态转变时，epoll会进行通知。
ET模式在很大程度上减少了epoll事件被重复触发的次数，因此效率要比LT高。epoll工作在ET模式时，必须使用非阻塞的接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。程序会一直执行I/O操作，直到系统调用（如read和write函数）返回错误，错误类型为EAGAIN或者EWOULDBLOCK
EAGAIN：表示资源暂时不可用，需要重试操作。例如读取一个非阻塞套接字上的数据，但是没有可用的数据可供读取。 EWOULDBLOCK：与EAGAIN含义相同，多用于WINDOWS 总的来说，他们都表示操作暂时无法完成，需要稍后重试
使用epoll实现服务器端
#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/epoll.h>
int main() {
// 创建socket
int lfd = socket(PF_INET, SOCK_STREAM, 0);
struct sockaddr_in saddr;
saddr.sin_port = htons(9999);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;
// 绑定
bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));
// 监听
listen(lfd, 8);
// 调用epoll_create()创建一个epoll实例
int epfd = epoll_create(100);
// 将监听的文件描述符相关的检测信息添加到epoll实例中
struct epoll_event epev;
epev.events = EPOLLIN;
epev.data.fd = lfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev);
struct epoll_event epevs[1024];
while(1) {
int ret = epoll_wait(epfd, epevs, 1024, -1);
if(ret == -1) {
perror("epoll_wait");
exit(-1);
}
printf("ret = %d\n", ret);
// 有ret个文件描述符产生了EPOLLIN
// 序号从0到ret-1
for(int i = 0; i < ret; i++) {
int curfd = epevs[i].data.fd;
if(curfd == lfd) {
// 监听的文件描述符有数据达到，有客户端连接
struct sockaddr_in cliaddr;
int len = sizeof(cliaddr);
int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);
// 等价于 int cfd = accept(curfd, (struct sockaddr *)&cliaddr, &len);
// 设置属性并加入到epoll实例中
epev.events = EPOLLIN|EPOLLOUT;
epev.data.fd = cfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev);
} else {
if(epevs[i].events & EPOLLOUT) {//监测到EPOLLOUT我们先不管
continue;
}
// 处理监测到EPOLLIN的文件描述符
// 有数据到达，需要通信
char buf[1024] = {0};
int len = read(curfd, buf, sizeof(buf));
if(len == -1) {
perror("read");
exit(-1);
} else if(len == 0) {
printf("client closed...\n");
//客户端关闭，就把对应的文件描述符从epoll实例中移除
epoll_ctl(epfd, EPOLL_CTL_DEL, curfd, NULL);
close(curfd);
} else if(len > 0) {
printf("read buf = %s\n", buf);
write(curfd, buf, strlen(buf) + 1);
}
}
}
}
close(lfd);
close(epfd);
return 0;
}
