让世界没有难用的数据

摘要： 众所周知，vibe coding（氛围编程）是这两年流行的编程方式，指的是利用大模型工具，处理用户的自然语言指令，自动生成代码。 今年开始，公司重点发力AI建设，由于大模型生成代码能力突飞猛进，日异月新，于是领导启动了各类基于大模型的智能编程项目。作为数据工程师，虽然也早就听说了国外流行的氛围编程， 阅读全文

摘要： 作为数据工程师，对数据进行处理分析时，时常遇到基于SQL实现分组内的文字列的排序聚合是非常常见的场景，比如按照价格高低进行各类别下商品的汇总、按照成绩进行各班的学生的排名等。当下，支持SQL的数据库生态百花齐放，SQL方言也是多种多样，为了方便记忆，以下总结了常见的几类数据产品或者平台的支持情况（代 阅读全文

摘要： 代码无bug，SQL跑的快！ 阅读全文

摘要： 一、场景案例 在数据开发类项目中，常常会遇到需要将字符串进行切割并展开成表格的场景，如以下两种常见的案例： 标签类型数据：如将员工标签类型的数据 - 技能：Java、Spring、微服务、项目管理 - 项目经验：电商、金融、教育- 工作风格：#执行力强 #跨部门协作 #数据驱动 分类层级数据：如将组 阅读全文

摘要： 上一篇介绍了项目中使用到的各类BI报表及可视化分析类工具，并分析了这些工具的部署架构。接下来分析这些工具的一些功能特性及调优相关的特点，最后列举几个实际中的使用场景。 一、功能特性 1、跨数据源关联支持：一般来说，企业中的各类系统的数据会存放在各类不同的数据库中，在没有数据仓库等集中存储的系统时，B 阅读全文

摘要： 作为数据工程师，必定会在日常工作中会频繁的使用到BI报表及可视化分析类工具。这些工具可以帮助领导或者一线业务人员快速的查看数据，发现数据规律，探查数据背后的业务价值。以下是基于十多年的工作经历中实际的使用经验，对这类工具进行的经验总结。 一、工具列表 以下是深度参与开发或者运维的工具（按照使用时间的 阅读全文

摘要： 一、背景： 作为IT系统值班人员，可能会出现如下工作场景： 每日早晨定时（如早晨6点）检查某系统是否运行正常或者某夜间任务运行是否运行成功。 若系统正常或成功执行，则给某微信群发送“系统运行成功“类似字样的消息，这样群里的领导和同事就能看到当日系统的状态。 若系统异常或执行失败，则排查问题并尝试解决 阅读全文

摘要： 最近因为整理数据类的管理工具和平台，想起来上半年曾经测试使用过的Chat2db。这个工具最早就是因为博客园的推广看到的。上半年deepseek火了之后，大家都开始关注AI的应用了。作为数据工程师，首先想到就是AI在数据上的应用。在关注学习ChatBI类的工具时，偶然间发现了Chat2DB这个工具，于 阅读全文

摘要： 作为数据架构师/工程师，查看、修改各类系统中的数据（尤其是结构化数据）是日常高频操作。以下是根据工作中使用过的工具及平台进行的汇总。 一、客户端 客户端工具需要在本机进行安装，访问远程或本地的数据库。常用的有以下类型： 通用型： 通用性客户端工具可适配市场多种主流数据库，可集中进行管理多种类型数据源 阅读全文

摘要： OneID是指将分布在不同系统中的同一个实体用同一个ID进行标识，这是在数据治理领域经常出现的一个概念。由于企业中存在大量的数据孤岛（业务源系统各自为战），因此作为下游数据仓库的架构及开发人员，迫切的需要将不同系统中同一个实体信息进行拉通，这样在后续的报表、驾驶舱等应用中，指标的口径才能准确有效。O 阅读全文