技术虫

摘要： 1. 建表要有分区、分桶键，分区建议是按照天分区，分桶建议是离散度大的字段（如用户id,订单编号等） 还有设置合理的key值，查询经常用到的字段，放到key值里（前缀索引） 查询的时候，按照最左原则，先带上分区键和前缀索引键。 2. 如果有频繁的聚合操作，并且耗费时间，可以单独建立一个物化视图（异步 阅读全文

摘要： 1. 三种表模型：明细模型、聚合模型、唯一模型 明细模型建表语句： CREATE TABLE IF NOT EXISTS example_db.detail_log ( `user_id` INT NOT NULL COMMENT "用户ID", `event_time` DATETIME NOT 阅读全文

摘要： 1.pom.xml引入 <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>2.9.2</version> </dependency> <dependenc 阅读全文

摘要： 背景：有个数百万的数据，需要尽快入库，使用了多线程处理，先查询数据库是否存在，存在则更新；否则插入； 问题：数据库相同key的数据，有时候插入多条。 解决办法： String lockKey =getLockKey(t); //根据md5算法，将多个列，生成一个md5Value synchroniz 阅读全文

摘要： 1.mybatis-plus Wrappers相关Api 获取count和list QueryWrapper<Test111> time = Wrappers.<Test111>query().ge("time","2025-11-04 00:00:00"); long count = this.c 阅读全文

摘要： 现场数据库报警，CPU一直居高不下，后来抓取数据库慢sql，发现主要有两种，1是大量的插入操作；2是触发器里的查询操作。 分析原因： 一般大量插入操作不会导致CPU居高不下，而触发器是相同表的插入之前触发，查询另外一张维表进行字段增强，所以导致插入超时；同时插入的表数据量很大（近7天，8个G的数据量 阅读全文

摘要： 第三方调用(认证方式时效限制5分钟)该 postman 调用 url 为样例 url请求头: AuthorizationBasicMTIzOmRjOTg0ZDY4NzJjNWZkYWFkZDllZDg4ZGE5ZmU5ZDYwZDc40TkxMzA0NWFmNjhkMjNiMzE4NzUzZTRhY 阅读全文

摘要： 现场Namenode和JournalNode挂掉，影响整个hadoop集群稳定，写个健康检查的脚本，将节点拉起，任务重启。 #!/bin/bash # Hadoop进程健康检查脚本# 用法：通过cron定时调用此脚本进行检查 LOG_FILE="/tmp/hadoop-monitor.log" # 阅读全文

摘要： 1. 某天现场发现问题，数据库服务器CPU一直居高不下，后来和研发一起按照如下步骤排查问题。 2. 收集现场任务日志。从任务日志中，发现 日志中： 解决办法： 在数据库连接串的url中 增加sockettimeout=30000解决 3. CPU还是居高不下，后来在对应数据库的客户端，执行一下sql 阅读全文

摘要： 1、不充分的SQL参数验证（代码注入） 详细描述：攻击者可以在输入中注入恶意代码，没有对用户输入进行充分的验证，导致恶意输入可以绕过安全机制，从而执行未经授权的操作 举例说明： SELECT * FROM users WHERE username = '输入的用户名' AND password = 阅读全文