[完结23章]大数据硬核技能进阶 Spark3实战智能物业运营系统

 一、Spark3.0.0运行环境安装 Spark常见部署模式： Local模式：在本地部署单个Spark服务 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。 在IDEA中运行代码的环境称之为开发环境，和Local模式还是有区别的。 Standalone模式：Spark自带的任务调度模式。（国内常用） YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） Windows模式：为了方便在学习测试spark程序，Spark提供了可以在windows系统下启动本地集群的方式，这样，在不使用虚拟机或服务器的情况下，也能满足Spark的基本使用。 Mesos & K8S模式：（了解）。 Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核,在Twitter得到广泛使用,管理着Twitter超过30,0000台服务器上的应用部署，但是在国内，依然使用着传统的Hadoop大数据框架，所以国内使用Mesos框架的并不多，但是原理都差不多。 容器化部署是目前业界很流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（k8s），而Spark也在最近的版本中支持了k8s部署模式。 1、配置java jdk1.8 环境变量配置路径：电脑→属性→高级系统设置→环境变量 path中加入：%JAVA_HOME%/bin。 注：jdk版本不宜过高。 2、配置scala2.12.0 下载scala安装包，选择对应版本，这里我选择的是scala2.12.0版本。