Spark的懒惰机制
输入以下语句并不会看到有结果输出:
>>> textFile = sc.textFile('file:///usr/local/spark/mycode/wordcount/word.txt')
Spark采用惰性机制,只有遇到“行动”类型的操作,才会从头到尾执行所有操作。所以,下面我们执行一条“行动”类型的语句,就可以看到结果:
>>> textFile.first()
first()是一个“行动”(Action)类型的操作,会启动真正的计算过程,从文件中加载数据到变量textFile中,并取出第一行文本。