dataframe用.cache()或者.persist()进行缓存 1、df.cache()等同于df.persist()或df.persist(storageLevel=pyspark.StorageLevel.MEMORY_AND_DISK) table用.catalog.cacheTable进行缓存

将长文本按空格进行划分 A dataframe clauses_df with 100 rows is provided. It has a column clause and a row id. Each clause is a string containing one or more words separated by spaces.Split the clause column into a column called words, containing an array of individual words. split_df = clauses_df.select(split(...

spark.sql(query).show() 显示SQL表格 query = """ SELECT ROW_NUMBER() OVER (ORDER BY time) AS row, train_id, station, time, LEAD(time,1) OVER (ORDER BY time) AS time_next FROM schedule """ spark.sql(query).show() aggregation聚合 获取单组聚合值，一二两行输出一样的结果： # Give the identical re...

参考https://zhuanlan.zhihu.com/p/92654574 窗口函数有什么用？ 例如，对公司内各个部门内的员工，按业绩排名，又或者找出每个部门排名前N的员工进行奖励。这种情况不是把公司里所有员工放在一起排名，而是把不同部门的员工分开排名，就需要用到窗口函数。 窗口函数是什么？ 可以用于对数据集进行实时分析处理语法如下： <窗口函数> over (partition by <用于分组的列名> order by <用于排序的列名>)<窗口函数>的位置，可以放以下两种函数：1） 专用窗口函数，包括后面...

参考https://www.jianshu.com/p/f212527d76ff 关于exist EXISTS(包括 NOT EXISTS )子句的返回值是一个boolean值。 EXISTS内部有一个子查询语句(SELECT ... FROM...),我将其称为EXIST的内查询语句。其内查询语句返回一个结果集, EXISTS子句根据其内查询语句的结果集空或者非空，返回一个布尔值。 in和exist的查询过程 in和exist分别对应两种查询方式： select * from A where id in (select id from B); select * from A where ex...

1、SQL题 涉及关联子查询：百米赛跑，表结构id，name，class，耗时time，找每个班级最快的同学的id，name，耗时2、算法题：股票投资3、算法题：0010011001001010110 寻找最长的0和1个数相等的连续子串，返回其长度 我的方法：用list记录前缀和，从头开始逐个遍历；头尾双指针往里收缩，双重循环，找到符合条件的，记录其长度，求所有的长度记录中的最大值。（双重循环这一块可以再优化）3、机器学习基础题 boosting和bagging的区别，归一化有哪些方法有什么缺点，决策树相关。。。4、概率论 一种疾病的发病率是万分之一，实验室做出了一种试剂，可以判断一个...

参考https://blog.csdn.net/maray/article/details/36871503 为什么要用子查询？ 在MySQL中虽然可以通过连接查询实现多表数据查询，但是却不建议使用。因为连接查询的性能较差，因此出现了子查询来替代连接查询。 子查询的结构 我们可以在一个 SQL 语句中放入另一个 SQL 语句。当我们在 WHERE 子句或 HAVING 子句中插入另一个 SQL 语句时，我们就有一个 subquery 的架构。 Subquery 的作用是什么呢？第一，它可以被用来连接表格。另外，有的时候 subquery 是唯一能够连接两个表格的方式。其语法结构如下： SELE...

参考https://zhuanlan.zhihu.com/p/35356992 L1正则化和L2正则化： L1正则化：在loss function后边所加正则项为L1范数，加上L1范数容易得到稀疏解（0比较多）。非平滑，求导困难，需要寻求凸优化方法来求解：proximal operatorL2正则化：loss function后边所加正则项为L2范数的平方，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。

1、topkPython中的堆为小顶堆，要实现大顶堆的话需要把原值取相反数 def getLeastNumbers(self, arr: List[int], k: int) -> List[int]: if k==0: return [] arrheap=[-i for i in arr[:k]] heapq.heapify(arrheap) for j in range(k,len(arr)): if arr[j]<=-arrheap[0]: ...

1、Linux用的咋样2、管道pipeline了解吗3、写代码：循环链表的增删操作 详细解答参考https://www.cxyxiaowu.com/9515.html4、写代码：二叉树的层次遍历5、项目相关问题 业务范围：百度acg智能云 toG 意图识别、策略、python可以的、Hadoop、spark也会有，政务云大数据

参考https://juejin.cn/post/6844904130813640711 快排优化小结 对快速排序的优化主要体现在基准值选取、数据集分割、递归子序列选取、其他排序算法混合等方面，换句话说就是让每次的分区尽量均匀且没有重复被处理的元素，这样才能保证每次递归都是高效简洁的。 影响快排性能的情况： 分区不均匀 所选的基准值是序列的首元素且是序列中的最大值或最小值，导致其他元素都在基准值的一侧，另一侧没有；这种情况下每次划分子区间后只有一个指针在动，复杂度为O(n2) 对于已经排序或者近乎有序的数据集合来说就可能出现这种极端情况。 解决方法：保证每次分割子序列的时候都足够均匀，比...

深挖了生物电流时序分析的项目数据是什么样的？你的这个方案跟别的方案相比优势在哪儿？这个项目的难度在哪儿？f1 socre评价指标怎么定义的？为什么用random forest预分类的作用在哪儿？调参怎么调的？消息通道计数：计数器与消息队列的分配， 分时复用、带限制的优先级排列、映射表 项目在精不在多，建议花点时间来保证项目的亮点和深度，同时你需要对你项目的每一个细节都十分熟悉。这些项目中的难点和亮点就是你面试中必须要问的。还有一点必须要注意的是，项目中所有用到的中间件或设计模式等，都必须有足够的依据，千万不要“为了用而用”。

堆排序和快速排序的比较 堆排序比较和交换次数比快速排序多，所以平均而言比快速排序慢，也就是常数因子比快速排序大，如果你需要的是“排序”，那么绝大多数场合都应该用快速排序而不是其它的O(nlogn)算法。 但有时候你要的不是“排序”，而是另外一些与排序相关的东西，比如最大/小的元素，topK之类，这时候堆排序的优势就出来了。用堆排序可以在N个元素中找到top K，时间复杂度是O(N log K)，空间复杂的是O(K)，而快速排序的空间复杂度是O(N)，也就是说，如果你要在很多元素中找很少几个top K的元素，或者在一个巨大的数据流里找到top K，快速排序是不合适的，堆排序更省地方。 另外一个适...

交换机具有自学习能力，学习的是交换表的内容，交换表中存储着 MAC 地址到接口的映射。 因为交换机接口有缓存，他会存着，而一般的碰撞是因在接收方一个帧正在传输（链路进入站的时候）另一个帧也来了，但站一般没有缓存来存后面的帧，那么后来的帧大概率会丢弃，就像路由器排队一样，但交换机接口有缓存，他会看接收方是否处理完当前的帧再发给他后面的