技术虫

摘要： 现场Namenode和JournalNode挂掉，影响整个hadoop集群稳定，写个健康检查的脚本，将节点拉起，任务重启。 #!/bin/bash # Hadoop进程健康检查脚本# 用法：通过cron定时调用此脚本进行检查 LOG_FILE="/tmp/hadoop-monitor.log" # 阅读全文

摘要： 1. 某天现场发现问题，数据库服务器CPU一直居高不下，后来和研发一起按照如下步骤排查问题。 2. 收集现场任务日志。从任务日志中，发现 日志中： 解决办法： 在数据库连接串的url中 增加sockettimeout=30000解决 3. CPU还是居高不下，后来在对应数据库的客户端，执行一下sql 阅读全文

摘要： 1、不充分的SQL参数验证（代码注入） 详细描述：攻击者可以在输入中注入恶意代码，没有对用户输入进行充分的验证，导致恶意输入可以绕过安全机制，从而执行未经授权的操作 举例说明： SELECT * FROM users WHERE username = '输入的用户名' AND password = 阅读全文

摘要： 1. 搭建好hive环境，并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav 阅读全文

摘要： 1.问题复现 数据库新建一个test表，里面包含id，和name字段 然后分别开两个窗口，分别开启事务，然后update name字段，不提交， 然后查看一下三个表，看是否出现锁表情况 innodb_trx ## 当前运行的所有事务innodb_locks ## 当前出现的锁innodb_lock_ 阅读全文

摘要： 什么是FLink watermark? Flink watermark是一种用于时间和事件处理的机制，它为事件流中的每个事件都分配了一个时间戳，以便将其与其他事件进行排序和分组。Watermark还为每个事件流提供了一个智能定界框架，使Flink能够有效地控制事件流的处理方式。Watermark可以 阅读全文

摘要： 什么是 Stream？ Stream（流）是一个来自数据源的元素队列并支持聚合操作 <strong元素队列< strong="">元素是特定类型的对象，形成一个队列。 Java中的Stream并不会存储元素，而是按需计算。 数据源 流的来源。 可以是集合，数组，I/O channel， 产生器gen 阅读全文

摘要： 前些天参加了阿里巴巴信息平台事业部的面试，将自己以及和别人交流的到的面试题做一个总结，方便以后查阅： 1. hash碰撞冲突是什么？如何解决碰撞问题！ 原因： 在我们对对象进行hash运算时，会调用hashcode()方法，他会返回一个hash值，当两个对象 计算值一样时，这就发生了碰撞冲突。 解决 阅读全文

摘要： 定位性能瓶颈 可以从以下几个方面衡量系统的性能： 应用层面 系统层面 a.系统层面指标有CPU、内存、磁盘、网络等 有一个强大的工具，可以实时监控cpu、磁盘、网络、io、内存等使用情况。 dstat -lcdngym yum install -y dstat 或者top -c 命令 b. 磁盘 d 阅读全文

摘要： 其他1. 什么是幂等？什么情况下需要考虑幂等？你怎么解决幂等的问题？编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。 Java1. 多个线程同时读写，读线程的数量远远大于写线程，你认为应该如何解决并发的问题？你会选择加什么样的锁？ 引入读写锁 ReadWriteLock 阅读全文