1. 消息队列 消息队列的通信模式可以解决通信效率低的问题 消息队列是保存在内核中的消息链表 如果进程从消息队列中读取了消息体，内核就会把这个消息体删除 不足通信不及时附件也有⼤⼩限制消息队列通信过程中，存在⽤户态与内核态之间的数据拷⻉开销2. 共享内存 共享内存没有消息的拷贝 机制：拿出⼀块虚拟地址空间来，映射到相同的物理内存中 需要结合信号量来实现修改共享数据3. 信号量 信号量就是实现了进程间共享内存的保护机制 信号量其实是⼀个整型的计数器，主要⽤于实现进程间的互斥与同步，⽽不是⽤于缓存进程间通信的数据 信号量初始值为1，代表互斥信号量 信号初始化为 0 ，就代表着...

1. 进程 运⾏中的程序，就被称为「进程」 进程的状态挂起状态：描述进程没有占⽤实际的物理内存空间的情况阻塞挂起状态：进程在外存（硬盘）并等待某个事件的出现就绪挂起状态：进程在外存（硬盘），但只要进⼊内存，即刻⽴刻运⾏ 通常会把阻塞状态的进程的物理内存空间换出到硬盘，等需要再次运⾏的时候，再从硬盘换⼊到物理内存2. 进程的控制结构（PCB） 进程描述信息 (进程唯一标识符、用户标识符) 进程控制和管理信息记录进程状态，如 new、 ready、 running、 waiting 或 blocked 等进程优先级：进程抢占 CPU 时的优先级 资源分配清单 CPU 相关信息 每个...

1. Stream 概述Stream是Redis5.0新增数据结构Stream是一个新的强大的支持多播的可持久化的消息队列首次使用xadd指令时，自动创建每个Stream都支持多个消费组，每个消费组会有一个游标last_delivered_id在Stream数组上往前移动同一个消费组可以挂多个消费者，消费者之间是竞争关系消费者内部会记录一个状态变量pending_ids，官方称之为PEL。用来确保客户端至少消费了一次消息id形式是timestampInmMilis-sequence消息内容：就是各种k-v数据结构 指令xadd：追加消息xdel：从Stream中删除消息，但是只是标志删除，...

1. Redis持久化 快照（RDB）概述：快照是全量备份；存储格式是二进制序列化数据，非常紧凑快照原理redis使用操作系统的多进程COW（copy on write）机制来实现快照持久化 AOF日志概述：AOF日志是连续的增量备份。记录的是redis指令。长期运行过程AOF日志会变得异常巨大，需要定期进行AOF重写AOF原理AOF执行顺序：①参数校验、执行逻辑②存储到AOFAOF重写开辟一个子进程对内存进行遍历，并转换成一系列的redis操作指令，序列化到一个新的AOF文件中序列化完毕后再将操作期间发生的增量AOF日志追加到新的AOF文件中追加完毕后就立即替代旧的AOF日志文件AOF的...

1. 基本数据类型 string在 Redis 中字符串类型的 Value 最多可以容纳的数据长度是 512M操作：set操作get操作setnx（set if not exist）操作exists 操作mset 操作（原子性）setex (set with expire) 设置过期时间incr、decr、decrby、incrby、range等等用途：计数单一值缓存 list操作：rpush、lpushlpop、rpoplrange、llen、lindex、lrem等等用途：队列栈 set特性只能保存 2^32-1 个元素可以求交集、并集、差集。可以利用此特性完成一些应用上的需求操作...

1. undo日志 日志整体图片解读 简介： 事务id事务id分配事务id维护 undo日志的格式存放位置insert类型对应undo日志undo no日志信息roll_pointer指针delete操作对应的undo日志阶段一阶段二（也叫purge操作）后续插入数据到该页delete undo日志格式delete undo日志文件参数记录该条记录的trx_id和roll_pointer记录索引列的信息同一条记录的undo版本链update undo日志文件就地更新（不更新主键）先删除再插入（不更新主键）更新主键将旧记录进行delete mark操作（MVCC）新创建值，插入聚簇索引增...

1. InnoDB存储结构 InnoDB一个页的大小 InnoDB行格式（四种）COMPACT变长字段占用字节数排序及原因NULL值列表：逆序二进制位对应真实数据添加主要列：row_id、trx_id、roll_pointerCHAR(M)类型存储：编码实际存储长度，变长列表记录REDUNDANT(非紧凑)变长列表替换为字段长度偏移列表（每个字段）NULL值会在偏移量中使用一个位标识DYNAMICCOMPRESSED2. InnoDB数据页结构 页大小、页类型、存储数据的页 页主要参数每条数据主要参数next_record按照主键大小的下一条记录在记录的位置，对应变长列表的顺序删除的数...

1. 查看文件内容 catcat -n test.txt | head -n 20 | tail -n 10：查看10~20行，并带行号 lesspageUp、pageDown翻页 headhead -n 999 test.txt：查看前999行head -n 20 test.txt | trail 10：查看10~20行head -n 10 test.txt | grep 'xxx'：查看前十行中带xxx的行 trailtrail -n 10 test.txt：查看倒数第10行

1. 网络协议栈即应用层数据在各层的封装格式传输层，给应⽤数据前⾯增加了TCP头⽹络层，给TCP数据包前⾯增加了IP头⽹络接⼝层，给IP数据包前后分别增加了帧头和帧尾 每⼀层都增加了各⾃的协议头，⽹络包的⼤⼩就增⼤ 网络协议栈结构应⽤程序需要通过系统调⽤，来跟 Socket 层进⾏数据交互Socket 层的下⾯就是传输层（TCP/UDP）、⽹络层(IP)和⽹络接⼝层(ARP)最下⾯的⼀层，则是⽹卡驱动程序和硬件⽹卡设备2. Linux接收网络包流程当⽹卡接收到⼀个⽹络包后，会通过 DMA 技术，将⽹络包放⼊到 Ring Buffer，这个是⼀个环形缓冲区 Linux 内核引⼊了 NAPI...

1. 什么是文件系统 ⽂件系统是操作系统中负责管理持久数据的⼦系统 「⼀切皆⽂件」，不仅普通的⽂件和⽬录，就连块设备、管道、 socket 等，也都是统⼀交给⽂件系统管理的 Linux ⽂件系统会为每个⽂件分配两个数据结构： 索引节点和⽬录项索引节点（文件的唯一标识）⽬录项⽬录项和索引节点的关系是多对⼀2. 虚拟文件系统（VFS） ⽂件系统的种类众多，⽽操作系统希望对⽤户提供⼀个统⼀的接⼝，即虚拟文件系统这个中间层3. 文件IO IO过程数据准备的过程数据从内核空间拷⻉到⽤户进程缓冲区的过程 同步IO⾮阻塞 I/O 和基于⾮阻塞 I/O 的多路复⽤只会阻塞在「过程2」，所以这三个都...

今年求职数据分析师的你是不是觉得很卷？还有的同学说数据分析师怎么什么都考，又考运营又考技术，我会这些我还投数据分析师干嘛这里想跟大家说，数据分析师是分为技术型的数据分析师和业务型的数据分析师，你需要明确你的求职目标，你到底是想求职技术型的还是业务型的，如果都求职，那肯定就既要懂技术又要懂业务了，当然，两个都懂就是王炸组合！而且这两者其实不冲突一、不同数据分析师都考察什么1、如果求职技术型数据分析师：就对标算法工程师去准备，会偏重对技术的考察，包括：计算机基础，包括数据结构与算法、计算机网络、操作系统、数据库等；机器学习算法，如SVM、线性回归等；编程语言，如JAVA、Python等；数据处理与...

面试高频题1： 题目：网页的生成 牛客网的某个网页基本已经写好了，最后一步为了适应手机的尺寸，需要将高度增加一倍。为了适用于多个网页，牛牛希望你能将这个功能定义为一个函数，函数输入网页高度h，输出增加后的结果。 输入描述： 输入两个整数，表示两个网页的高度，以空格间隔。 输出描述： 分别两行输出两个高度调用函数增加高度后的结果。 示例1 输入： 100 200 复制 输出： 200 400 ...

面试高频题1： 题目：处理噪声数据方法 答案解析： 1、分箱分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据（某列属性值）按照一定的规则放进一些箱子中，考察每一个箱子中的数据，采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时，需要确定的两个主要问题就是：如何分箱以及如何对每个箱子中的数据进行平滑处理。分箱的方法：有4种：等深分箱法、等宽分箱法、最小熵法和用户自定义区间法。（1）统一权重也称等深分箱法，将数据集按记录...

面试高频题11： 题目：辛普森悖论，以及如何避免这种现象 答案解析： ⾟普森悖论指在某个条件下的两组数据，分别讨论时都会满⾜某种性质，可是⼀旦合并考虑却可能导致相反的结论。为了避免⾟普森悖论导致我们得出两个相反的结论，我们需要选择将数据分组或将 它们聚合在⼀起。其中我们要学会思考因果关系：数据如何⽣成，基于此，哪些因素会影响我们未展示的结果？例如美国加州大学研究生录取数据的分析中，目的是探究伯利克里分校研究生录取是否存在性别歧视。即性别与录取率的关系。但是性别会导致兴趣的不同，而兴趣会决定专业的不同，不同专业的录取率也会不同。总体上，我们只看到了性别和录取率的关系，但是却忽略了专业这个内...