mounike - 个人主页动态

2020-07-13 21:38

Exception in thread "main" java.sql.SQLException: null,  message from server: "Host '192.168.1.121' is not allowed to connect to this MySQL server" 报错原因：mysql服务器不允许远程连接 经查找资料，解决方式如下： 登录mysql数据库： mysql -uroot -p 执行 use mysql； show tables； 查看：select host from user; 修改：update u...

0 点赞评论收藏

2020-07-13 21:37

华南理工大学大数据开发工程师

Vmware 打不开vmx文件

问题介绍： 这几天在vmware上操作Linux系统，不知怎么的就开不了机器，开机按钮都是灰色的，点击vmx文件也没有任何提示和反应，截图如下： 在选中右边机器名称，右键如图： 在继续找到vmx文件，点击vmware打开依旧没什么反应，很恼火。 不可取的的解决方式: 1 卸载重新安装vmware，没有用，我已经走过这个坑了 2 重新安装Linux系统，我没走，我觉的除了问题的解决问题，这个是个极端，不能走 3 我将系统拷贝到其他电脑上测试，发现系统可以正常打开，同版本的vmware运行正常，所以根本不是Vmware和安装的Linux系 统的问题，所以只能从其他方面考虑了。...

0 点赞评论收藏

2020-07-13 21:37

已编辑

华南理工大学大数据开发工程师

Hive学习笔记(一)——原理和体系架构

目录 一 hive是什么？ 二 为什么会出现hive？ 三 hive 为什么适合数据仓库应用程序？ 四 hive与传统关系型数据库的比较 五 hive的体系架构 hive体系架构的组成部分： 1 用户接口 2 跨语言服务 thrift server 3 Driver （底层） 4 元数据存储系统  六 hive的执行流程 一 hive是什么？ 1：hive是构建在hdfs上的一个数据仓库（Data Warehouse） 2：hive是sql解析引擎，将sql语句转化为MR Job，然后在hadoop平台上运行 3：hive中的表是纯逻辑表，就只是表的定义，也就是...

0 点赞评论收藏

2020-07-13 21:37

华南理工大学大数据开发工程师

Hive学习笔记（二）——数据模型

一 hive 的五种数据模型 1 内部表 1）创建内部表 相当于MySQL的表 默认存储为的HDFS的目录 /user/hive/warehouse create table emp (empno int, ename string, job string, mgr int, hiredate string, sal int, comm int, deptno int )row format delimited fields terminated by ','; 2）导入数据 load data inpath '/scott/e...

0 点赞评论收藏

2020-07-13 21:36

已编辑

华南理工大学大数据开发工程师

Hive学习笔记（三）——shell命令行

1 hive与非交互式模式命令行 hive -e：从命令行执行指定的HQL，不需要分号： hive -e ‘select * from dumy limit 100’ >a.txt hive -f :执行HQL脚 hive -f /home/my/hive-script.sql 3） hive -i ：进入Hive交互Shell时候先执行脚本中的HQL语句 hive -i /home/my/hive-init.sql 4）hive -v ：冗余verbose，额外打印出执行的HQL语句； 5) hive -S：静默Slient模式，不显示转化MR...

0 点赞评论收藏

2020-07-13 21:36

华南理工大学大数据开发工程师

Hive学习笔记（四）——优化篇1

HiveQL的调优对于经常使用HQL做数据开发的弟兄来书是很有必要去了解的，学习hive背后的实现细节，如何更加高效的使用hive，我想这也是很有必要了解的。无论是在面试中还是在开发过程中都会起到很大的作用。 此处使用的hive版本为：2.3.0 1 使用EXPLAIN explain可以打印出hive的执行计划，它可以帮助我们了解hive是如何将查询语句转化为MapReduce任务的。 使用方法：在hql语句前面加上explain explain select sum(num) from bucket_num; 执行结果： STAGE DEPENDENCIES: Stage...

0 点赞评论收藏

2020-07-13 21:36

华南理工大学大数据开发工程师

yarn运行原理

yarn运行的基本原理（yarn2.0） 客户端向yarn提交运行程序。 ResourceManager向NodeManager分配一个container,在container中启动ApplicationMaster。 AppMaster向RM申请运行程序的资源（cpu，core，memory） APPMaster拿到资源后向NM通信，申请运行task任务 运行的各个任务向APPMaster报告运行状况 等任务全部运行完毕，AppMaster向RM申请注销自己。

0 点赞评论收藏

2020-07-13 21:35

华南理工大学大数据开发工程师

Hive学习笔记（五）——优化篇2

七 JOIN优化 大小表优化 大小表优化指的是在2张或2张以上的表进行join的时候，要保证连续查询中的表的大小从左到右依次是增加的。这样hive会将小表保存到内存中，Hive 可以在map端执行连接的过程，与内存中的小表进行逐一篇匹配，从而省略掉常规操作所需的的reduce过程。 第一种写法是按大小表位置来写，即小表写在前，大表写在后 divedends为小表 ；stocks为大表 SELECT s.ymd, s.symbol,s.price_close,d,dividend FROM divedends d JOIN stocks s ON s.ymd = d.ymd AND s....

0 点赞评论收藏

2020-07-13 21:35

已编辑

华南理工大学大数据开发工程师

SparkStreaming中WAL容错机制

1 什么是WAL？ wal（write ahead logging）预写日志系统。就是提前备份元数据信息和数据。 总体上来看： WAL系统是一个存储系统，它可以存储和接受数据。 有时间属性和索引属性。 看源码介绍: 在sparkstreaming中冷备应用图示介绍 表示接受数据，接受器把数据流打包成块，存储在Excutor内存中，如果开启了WAL，将会把数据写入到处在容错文件系统的日志文件中 表示提醒Driver将接受到的数据块的元信息发送给Driver中的StreamingContext，这些元数据信息包括Executor内存中的数据块的引用ID和日志文件中数据块的偏移信...

0 点赞评论收藏

2020-07-13 21:35

华南理工大学大数据开发工程师

spark远程运行找不到winutils

错误如下图所示： 下载呢对应hadoop版本的地址： https://github.com/4ttty/winutils 改错：将hadoop添加进windows系统的环境变量 如果还是报错，记得添加这句代码： System.setProperty("hadoop.home.dir","D:\\apps\\winutils-master\\hadoop-2.8.3")

0 点赞评论收藏

2020-07-13 21:34

华南理工大学大数据开发工程师

shell批量启动脚本之zookeeper

@zookeeper批量启动脚本 1 #!bin/bash 2 for host in master slave1 slave2 3 do 4 #输出当前服务器的zookeeper启动情况 5 echo "{$host}:{$1}ing..." 6 #启动zookeeper，根据自己安装路径不同修改 7 ssh $host "source /etc/profile;/usr/src/zookeeper-3.4.10/bin/zkServer.sh $1" 8 done 9 10 sleep 2 11 12...

0 点赞评论收藏

2020-07-13 21:34

华南理工大学大数据开发工程师

spark如何将数据一步步封装成RDD的

对于spark的研究离不开RDD，但是spark如何将磁盘文件一步步封装成RDD的计算模型的？记录一下这个问题： 梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。 随后将为这些输入分...

0 点赞评论收藏

2020-07-13 21:34

华南理工大学大数据开发工程师

Spark与MapReduce的区别是什么？

Spark和MapReduce都是可以处理海量数据，但是在处理方式和处理速度上存在着差异，总结如下： 1.spark处理数据是基于内存的，而MapReduce是基于磁盘处理数据的。   MapReduce是将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能。   Spark是将计算的中间结果保存到内存中，可以反复利用，提高了处理数据的性能。   2.Spark在处理数据时构建了DAG有向无环图，减少了shuffle和数据落地磁盘的次数   Spark 计算比 MapReduce 快的根本原因在于 DAG 计算模型。一般而言，DAG 相比MapReduce 在大多数情况下可以减少 ...

0 点赞评论收藏

2020-07-13 21:33

已编辑

华南理工大学大数据开发工程师

hadoop中小文件的处理思路

1 小文件的出现原因      hadoop存储数据是按block存储的，现在默认是128M问一个文件块，一个文件块对应一个maptask。但是，读取的文件如果是200M等非128的倍数的文件块，客户端切分数据必然会产生小的数据块。 2小文件造成的问题      这些小的数据块的元数据信息（位置，大小，名称）等都要保存到namenode中，若大量的小文件快信息保存在namnode中会占用很大的服务器内存，如果服务器在此启动要重新加载这些元数据信息到内存中必然要花费很长时间。     同时maptask要处理大量的小块文件，产生大量的task任务，严重影响集群运行效率，产生IO瓶颈。 ...

0 点赞评论收藏

2020-07-13 21:33

华南理工大学大数据开发工程师

hdfs如何保证数据一致性？

1 namenode和SecondaryNamenode（周期性的保存namenode上的元数据信息）元数据一致性。 2 namenode和datanode心跳机制保证副本的重新创建，如果DataNode死了，原来保存在这个机器上的副本就的重新再别的机器    上创建了。 3 DataNode与DataNode副本创建数据是否一致性（网络传输校验和的问题） 4 租约机制，就是保证一个文件中只允许被一个用户写入数据，租约是由NameNode发放给客户端。 5 回滚机制，主要体现在hadoop升级的过程中，如果失败，可以恢复到原来的状态。

0 点赞评论收藏

创作者周榜

关注他的用户也关注了：