大卫小东（Sheldon）

2021年12月13日

摘要：通过DF，Spark可以跟大量各型的数据源（文件/数据库/大数据）进行交互。前面我们已经看到DF可以生成视图，这就是一个非常使用的功能。简单的读写流程如下：通过read方法拿到DataFrameReader对象，与之类似的就有DataFrameWriter对象，通过DF的write方法拿到，通过阅读全文

posted @ 2021-12-13 11:21 大卫小东（Sheldon）阅读(574) 评论(0) 推荐(0)

2021年12月3日

Spark3学习【基于Java】3. Spark-Sql常用API

摘要：学习一门开源技术一般有两种入门方法，一种是去看官网文档，比如Getting Started - Spark 3.2.0 Documentation (apache.org)，另一种是去看官网的例子，也就是%SPARK_HOME%\examples下面的代码。打开IDEA，选择File-Open... 阅读全文

posted @ 2021-12-03 19:02 大卫小东（Sheldon）阅读(872) 评论(0) 推荐(0)

Spark3学习【基于Java】2. Spark-Sql核心概念

摘要： SparkSession 从Spark2开始，Spark-SQL引入了SparkSession这个核心类，它是处理DataSet等结构数据的入口。在2.0之前，使用的是spark-core里的SparkContext。从前面的例子里也可以看到，程序一上来就要先创建SparkSession对象： Sp 阅读全文

posted @ 2021-12-03 12:29 大卫小东（Sheldon）阅读(368) 评论(0) 推荐(0)

Spark3学习【基于Java】1. Spark-Sql入门程序

摘要： spark-sql是用来处理结构化数据的模块，是入门spark的首要模块。技术的学习无非就是去了解它的API，但是Spark有点难，因为它的例子和网上能搜到的基本都是Scala写的。我们这里使用Java。入门例子数据处理的第一个例子通常都是word count，就是统计一个文件里每个单词出现了阅读全文

posted @ 2021-12-03 11:29 大卫小东（Sheldon）阅读(885) 评论(0) 推荐(0)

Spark3学习入门【基于Java】

摘要： Spark 是离线数据处理的一种大数据技术，和Flick相比数据处理要延后，因为Flick是实时数据处理，而Spark需要先读取数据到内存。 Spark的库是基于Scala写的，虽然Scala也是运行在jvm上的，但是Spark提供的Java api的能力和原生api并不完全相同，据说执行效率也有微阅读全文

posted @ 2021-12-03 11:08 大卫小东（Sheldon）阅读(3460) 评论(0) 推荐(0)

2021年11月10日

关于全栈岗位及其成员轮岗问题的思考

摘要：公司招聘了一批新人。为什么是一批？因为是校招生，大家都是一起入职的。他们的title都是“全栈工程师”，因为公司想让他们有能力做前端也有能力做服务端。我是没有做过“全栈工程师”的，虽然我工作这些年也偶尔写写前端：从刚毕业时候的jQuery、ext，到后面的react，到现在vue也略懂一些。之前阅读全文

posted @ 2021-11-10 09:20 大卫小东（Sheldon）阅读(190) 评论(0) 推荐(0)

2021年11月3日

Spring WebFlux 简单业务代码及其Swagger文档

摘要：上一篇文章《Spring 5 中函数式webmvc开发中的swagger文档》中讲了如何给传统MVC开发模式中的RouterFunction增加swagger文档。这一篇讲一下如何给函数式WebFlux开发增加Swagger文档。类似于MVC的webflux开发（基于Controller实现）的s 阅读全文

posted @ 2021-11-03 11:38 大卫小东（Sheldon）阅读(1568) 评论(0) 推荐(0)

2021年10月27日

Spring 5 中函数式webmvc开发中的swagger文档

摘要： Spring 5 中一个非常重要的更新就是增加了响应式web开发WebFlux，并且推荐使用函数式风格（RouterFunction和 HandlerFunction）来开发WebFlux。对于之前主流的MVC开发模式，Spring也顺道给它提供了和WebFlux函数式开发几乎一致的方式（见上文《S 阅读全文

posted @ 2021-10-27 21:02 大卫小东（Sheldon）阅读(1063) 评论(0) 推荐(0)

Spring 5 MVC 中的 Router Function 使用

摘要： Spring 5 发行已经好几年了，里面提出了好几个新点子。其中一个就是 RouterFunction，这是个什么东西呢？ Spring框架给我们提供了两种http端点暴露方式来隐藏servlet原理，一种就是这多年大家都在使用的基于注解的形式@Controller或@RestController 阅读全文

posted @ 2021-10-27 14:46 大卫小东（Sheldon）阅读(4479) 评论(2) 推荐(0)

2021年2月26日

创建基于kotlin开发环境的spring项目入门

摘要： kotlin是idea所属公司开发的一门jvm语言，如果你不了解估计也不会看这里，所以我就不多说了。这里简单说一下如何新建一个小的kotlin spring项目。kotlin和idea是一家公司，所以Idea天然是支持kotlin语言的，现在spring也完全支持了kotlin。新建项目，类型是阅读全文

posted @ 2021-02-26 09:59 大卫小东（Sheldon）阅读(1522) 评论(0) 推荐(0)

公告