独码侠

摘要： 一、简介 为了方便的统计和管理一些共同信息，Spark中定义了两种共享变量——Broadcast（广播变量）和 Accumulator（累加器），可以方便的把一些变量或数据共享给集群各个节点，今天来看看Accumulator。 Accumulator是由Driver端总体维护的，读取当前值也是在Dr 阅读全文

摘要： 在Spark作业中使用AccumulatorV2自定义了一个字符串累加器，但是累加器在作业执行中不生效。 问题可能原因： 1、累加器本身定义的有问题； 2、Spark作业执行流程的原因； 问题排查情况： 1、通过一个自定义累加器类单测，只能证明了累加器自身类定义的正确性，但还不能证明累加器进入Spa 阅读全文

摘要： 为了增强容错性和高可用，避免上游RDD被重复计算的大量时间开销，Spark RDD设计了包含多种存储级别的缓存和持久化机制，主要有三个概念：Cache、Persist、Checkout。 1、存储级别介绍（StorageLevel） 存储级别以一个枚举类StorageLevel定义，分为以下12种： 阅读全文

摘要： SparkContext（Spark上下文） /** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used 阅读全文

摘要： Spark组件是基于分布式资源引擎层（Yarn等）和分布式存储层（HDFS等）之上的一个组件，Spark本质上是一个计算引擎，负责计算的，根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块，这些模块各自处理适合各自特点的计算场景。Spark Core作为Spark技 阅读全文

摘要： （1）控制台Yarn（Cluster模式）打印的异常日志： client token: N/A diagnostics: Application application_1584359355781_0002 failed 2 times due to AM Container for appatte 阅读全文

摘要： 目的与背景： 目的：对外暴露DBA Service必要的RESTful API，形成规整的API文档 背景：DBA Service后端采用Spring-boot，属于Spring家族，故生成API的工具采用基于Swagger2实现的SpringFox-Swagger2 一、API在线生成配置 1、通 阅读全文

摘要： Docker Commit 1、在IDEA中通过maven package得到watchman-1.5.0-SNAPSHOT.jar，将其scp到baisheng1本地； 2、查看dbaservice2所在的pod kubectl get po -owide | grep dbaservice2 结 阅读全文

摘要： 1、前期准备： sudo apt-get update sudo apt-get install -y curl openssh-server ca-certificates sudo apt-get install -y postfix 2、信任 GitLab 的 GPG 公钥: curl htt 阅读全文

摘要： 在Hive中，Derby数据库只能起一个实例，不能在多个终端同时运行，这就产生了许多禁锢，因此对于元数据的存储，采用开源的mysql数据库，因此就需要在主节点上安装mysql相关服务。 0、首先，通过yum list | grep mysql命令来查找yum源中是否有MySQL，我的查询结果如下; 阅读全文