SparkContext 主导应用执行Cluster Manager 节点管理器把算子RDD发送给 Worker NodeCache : Worker Node 之间共享信息、通信Executor 虚拟机 容器启动 接任务 Task(core数 一次处理一个RDD分区)Driver 注册了一些 Executor后，就可以开始正式执行 spark 应用程序了。第一步是创建 RDD,读取数据源;HD

我们不管是基于 Hadoop 的数据仓库（如 Hive ），还是基于传统 MPP 架构的数据仓库（如Teradata ），抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库，其实都面临如下问题：怎么组织数据仓库中的数据？怎么组织才能使得数据的使用最为方便和便捷？怎么组织才能使得数据仓库具有良好的可扩展性和可维护性？Ralph Kimball 维度建模理