高并发面试:线程池的七大参数?手写一个线程池?
线程池
1. Callable接口的使用
package com.yuxue.juc.threadPool; import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.FutureTask; /** * 多线程中,第三种获得多线程的方式 * */ public class CallableTest { public static void main(String[] args) throws ExecutionException, InterruptedException { //FutureTask(Callable<V> callable) FutureTask<Integer> futureTask = new FutureTask<>(new myThread()); new Thread(futureTask, "AAA").start(); //new Thread(futureTask, "BBB").start();//复用,直接取值,不要重启两个线程 int a = 100; int b = 0; //b = futureTask.get();//要求获得Callable线程的计算结果,如果没有计算完成就要去强求,会导致堵塞,直到计算完成 while (!futureTask.isDone()) { ////当futureTask完成后取值 b = futureTask.get(); } System.out.println("===Result is:" + (a + b)); } } class myThread implements Callable<Integer> { @Override public Integer call() throws Exception { System.out.println(Thread.currentThread().getName() + "\tget in the callable"); Thread.sleep(5000); return 1024; } }
两者区别:
-
Callable:有返回值,抛异常
-
Runnable:无返回值,不抛出异常
2. 为什么要使用线程池
-
线程池做的工作主要是控制运行的线程的数量,处理过程中将任务放入队列,然后在线程创建后启动给这些任务,如果线程数量超过了最大数量,超出数量的线程排队等候,等其他线程执行完毕,再从队列中取出任务来执行
-
主要特点线程复用、控制最大并发数、管理线程减少创建和销毁线程上所花的时间以及系统资源的开销 => 减少内存开销,创建线程占用内存,创建线程需要时间,会延迟处理的请求;降低资源消耗,通过重复利用已创建的线程降低线程创建和销毁造成的消耗提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行提高线程的客观理性。线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控(根据系统承受能力,达到运行的最佳效果) => 避免无限创建线程引起的OutOfMemoryError【简称OOM】
3. 线程池如何使用?
-
架构说明Java中的线程池是通过Executor框架实现的,该框架中用到了 :Executor,Executors,ExecutorService,ThreadPoolExecutor
-
编码实现实现有五种,Executors.newScheduledThreadPool()是带时间调度的,java8新推出Executors.newWorkStealingPool(int),使用目前机器上可用的处理器作为他的并行级别重点有三种Executors.newFixedThreadPool(int)执行长期的任务,性能好很多创建一个定长线程池,可控制线程最大并发数,超出的线程回在队列中等待newFixedThreadPool创建的线程池corePoolSize和maximumPoolSize值是相等的,它使用的是 LinkedBlockingQueue底层源码:Executors.newSingleThreadExecutor()一个任务一个任务执行的场景创建一个单线程话的线程池,他只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序执行newSingleThreadExecutor将corePoolSize和maximumPoolSize都设置为1,使用LinkedBlockingQueue源码:Executors.newCachedThreadPool()执行很多短期异步的小程序或负载较轻的服务器创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲县城,若无可回收,则新建线程newCachedThreadPool将corePoolSize设置为0,将maximumPoolSize设置为Integer.MAX_VALUE,使用 的SynchronousQueue,也就是说来了任务就创建线程运行,当县城空闲超过60s,就销毁线程源码:我们可以看到底层的代码都是由ThreadPoolExecutor这个类的构造方法创建的,只是传入的参数不同,那么研究一下这个类以及这些参数就很有必要,下节我们将介绍这些参数的使用
-
ThreadPoolExecutor
4. 线程池的几个重要参数
核心执行代码为:
public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue) { this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue, Executors.defaultThreadFactory(), defaultHandler); }
那么我们再点进this方法可以看到其全参数的构造方法为:
public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueue<Runnable> workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler)
简单介绍一下:
-
corePoolSize: 线程池中常驻核心线程数在创建了线程池后,当有请求任务来之后,就会安排池中的线程去执行请求任务当线程池的线程数达到corePoolSize后,就会把到达的任务放到缓存队列当中
-
maximumPoolSize: 线程池能够容纳同时执行的最大线程数,必须大于等于1
-
keepAliveTime: 多余的空闲线程的存活时间当前线程池数量超过corePoolSize时,档口空闲时间达到keepAliveTime值时,多余空闲线程会被销毁到只剩下corePoolSize个线程为止
-
unit: keepAliveTime的单位
-
workQueue: 任务队列,被提交但尚未被执行的任务任务队列底层是BlockingQueue阻塞队列!不清楚阻塞队列的参考这篇文章:用阻塞队列实现一个生产者消费者模型?
-
threadFactory:表示生成线程池中工作线程的线程工厂,用于创建线程一般用默认的即可
-
handler: 拒绝策略,表示当队列满了并且工作线程大于等于线程池的最大线程数(maximumPoolSize)时如 何来拒绝请求执行的runable的策略
5. 线程池的底层工作原理以及过程
如上图所属,其流程为:
-
在创建了线程池之后,等待提交过来的任务请求
-
当调用execute()方法添加一个请求任务时,线程池会做出如下判断:2.1 如果正在运行的线程数量小于corePoolSize,那么马上创建线程运行这个任务;2.2 如果正在运行的线程数量大于或等于corePoolSize,那么将这个任务放入队列;2.3 如果此时队列满了且运行的线程数小于maximumPoolSize,那么还是要创建非核心线程立刻运行此任务;2.4 如果队列满了且正在运行的线程数量大于或等于maxmumPoolSize,那么启动饱和拒绝策略来执行
-
当一个线程完成任务时,他会从队列中取出下一个任务来执行
-
当一个线程无事可做超过一定的时间(keepAliveTime)时,线程池会判断:如果当前运行的线程数大于corePoolSize,那么这个线程会被停掉;所以线程池的所有任务完成后他最大会收 缩到corePoolSize的大小
5. 实际工作中如何设置合理参数
5.1 线程池的拒绝策略
-
什么是线程的拒绝策略
-
等待队列也已经排满了,再也塞不下新任务了,同时线程池中的max线程也达到了,无法继续为新任务服务。这时我们就需要拒绝策略机制合理的处理这个问题
-
JDK内置的拒绝策略
-
AbortPolicy(默认):如果满了会直接抛出RejectedExecutionException异常阻止系统正常运行
-
CallerRunsPolicy:”调用者运行“一种调节机制,该策略既不会抛弃任务,也不会抛出异常,而是将某些任务回退到调用者, 从而降低新任务的流量
-
DiscardOldestPolicy:抛弃队列中等待最久的任务,然后把当前任务加入队列中尝试再次提交当前任务
-
DiscardPolicy:直接丢弃任务,不予任何处理也不抛异常。如果允许任务丢失,这是最好的一种方案
-
均实现了RejectedExecutionHandler接口
5.2 你在工作中单一的/固定数的/可变的三种创建线程池的方法,用哪个多?
回答:一个都不用,我们生产上只能使用自定义的!!!!
为什么?
线程池不允许使用Executors创建,试试通过ThreadPoolExecutor的方式,规避资源耗尽风险
阿里巴巴规范手册当中提到:
-
FixedThreadPool和SingleThreadPool允许请求队列长度为Integer.MAX_VALUE,可能会堆积大量请求,导致OOM;
-
CachedThreadPool和ScheduledThreadPool允许的创建线程数量为Integer.MAX_VALUE,可能会创建大量线程,导致OOM
5.3 你在工作中时如何使用线程池的,是否自定义过线程池?
上代码:
package com.yuxue.juc.threadPool; import java.util.concurrent.Executors; import java.util.concurrent.LinkedBlockingQueue; import java.util.concurrent.ThreadPoolExecutor; import java.util.concurrent.TimeUnit; public class MyThreadPoolDemo { public static void main(String[] args) { ThreadPoolExecutor threadPoolExecutor = new ThreadPoolExecutor( //corePoolSize:常驻核心线程数 2, //maximumPoolSize:最大的可容纳线程数 5, //存活时间设置为1s 1L, TimeUnit.SECONDS, //这里用LinkedBlockingQueue,且容量为3,意味着等候区最大容量三个任务 new LinkedBlockingQueue<>(3), //默认的defaultThreadFactory即可 Executors.defaultThreadFactory(), //丢弃方法使用AbortPolicy() new ThreadPoolExecutor.AbortPolicy()); //这里用来做任务的处理执行 for (int i = 0; i < 5; i++) { threadPoolExecutor.execute(()->{ System.out.println(Thread.currentThread().getName()+"\t 办理业务;"); }); } threadPoolExecutor.shutdown(); } }
我们运行结果为:
pool-1-thread-2 办理业务; pool-1-thread-1 办理业务; pool-1-thread-2 办理业务; pool-1-thread-1 办理业务; pool-1-thread-2 办理业务; //可以看到当我们任务书为5且处理速度非常快时,我们就用核心的corePoolSize就可以满足任务需求
当任务数量变多或者任务变重时:如将我们的任务数量调整为20时,此时运行结果为:
pool-1-thread-1 办理业务; pool-1-thread-3 办理业务; pool-1-thread-2 办理业务; pool-1-thread-3 办理业务; pool-1-thread-1 办理业务; pool-1-thread-4 办理业务; pool-1-thread-1 办理业务; pool-1-thread-3 办理业务; pool-1-thread-2 办理业务; pool-1-thread-5 办理业务; pool-1-thread-4 办理业务; pool-1-thread-1 办理业务; pool-1-thread-3 办理业务; pool-1-thread-1 办理业务; pool-1-thread-2 办理业务; Exception in thread "main" java.util.concurrent.RejectedExecutionException: Task com.yuxue.juc.threadPool.MyThreadPoolDemo$$Lambda$1/558638686@6d03e736 rejected from java.util.concurrent.ThreadPoolExecutor@568db2f2[Running, pool size = 5, active threads = 0, queued tasks = 0, completed tasks = 15] at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063) at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830) at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1379) at com.yuxue.juc.threadPool.MyThreadPoolDemo.main(MyThreadPoolDemo.java:27)
发生了异常,且任务只执行完了15个,我们可以看到其中active threads = 0, queued tasks = 0也就是说我的阻塞队列已经满了,且没有空闲的线程了,此时再申请任务我就会抛出异常,这是线程池handler参数的拒绝策略,当我们更改策略为ThreadPoolExecutor.CallerRunsPolicy()时,运行结果当中存在main 办理业务;语句,也就意味着线程池将某些任务回退到了调用者,另外的两个拒绝策略在此就不演示
5.4 合理配置线程池你是如何考虑的?
-
CPU密集型:CPU密集的意思是该任务需要大量的运算,而没有阻塞,CPU一直全速运行CPU密集任务只有在真正多核CPU上才可能得到加速(通过多线程) 而在单核CPU上,无论你开几个模拟的多线程该任务都不可能得到加速,因为CPU总的运算能力就那些CPU密集型任务配置尽可能少的线程数量一般公式:CPU核数+1个线程的线程池
-
IO密集型由于IO密集型任务线程并不是一直在执行任务,则应配置经可能多的线程,如CPU核数 * 2IO密集型,即该任务需要大量的IO,即大量的阻塞。在单线程上运行IO密集型的任务会导致浪费大量的 CPU运算能力浪费在等待。所以在IO密集型任务中使用多线程可以大大的加速程序运行,即使在单核CPU上,这种加速主要就是利用 了被浪费掉的阻塞时间。IO密集型时,大部分线程都阻塞,故需要多配置线程数:参考公式:CPU核数/(1-阻塞系数) 阻塞系数在0.8~0.9之间
例如八核CPU:,利用公式,约为:8/(1-0,9)=80个线程
想要了解更多,欢迎提问哦!