摘要： 1. 完成的场景 在很多大数据场景下，要求数据形成数据流的形式进行计算和存储。上篇博客介绍了Flink消费Kafka数据实现Wordcount计算，这篇博客需要完成的是将实时计算的结果写到redis。当kafka从其他端获取数据立刻到Flink计算，Flink计算完后结果写到Redis，整个过程就像 阅读全文

摘要： 1. Flink Flink介绍： Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理， 阅读全文

摘要： 1. 了解各个组件的作用 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据Logstash是 阅读全文

摘要： 阅读目录 一、创建资源使用PUT还是POST 二、异常处理的HTTP响应状态码 三、返回数据是否需要包装 四、URI的设计层级是否超过两层 五、参考资料 阅读目录 一、创建资源使用PUT还是POST 二、异常处理的HTTP响应状态码 三、返回数据是否需要包装 四、URI的设计层级是否超过两层 五、参 阅读全文

摘要： 阅读目录 一、Dubbo 二、Tars 三、gRPC 四、Motan 五、Spring Cloud 阅读目录 一、Dubbo 二、Tars 三、gRPC 四、Motan 五、Spring Cloud 阅读目录 微服务架构到底应该如何选择？ 阅读目录 微服务架构到底应该如何选择？ 回到目录 微服务架构 阅读全文

摘要： _filefmt=os.path.join("logs","%Y-%m-%d.log") class MyLoggerHandler(logging.Handler): def __init__(self,filefmt=None): self.filefmt=filefmt if filefmt 阅读全文

摘要： 一 简介：讲讲如何优化mongo配置文件二 常规参数 port= //端口 fork=true//守护进程方式启动mongo logpath=shard.log //mongo日志存放路径 journal= true//redo log开启 nohttpinterface = true //关闭ht 阅读全文

摘要： 这里总结下这段时间使用mongo的心得，列出了几个需要注意的地方。 1. 系统参数及mongo参数设置 mongo参数主要是storageEngine和directoryperdb，这两个参数一开始不选定后续就无法再更改。 directoryperdb主要是将数据库分文件夹存放，方便后续的备份及数据 阅读全文

摘要： innodb_flush_log_at_trx_commit和sync_binlog 两个参数是控制MySQL 磁盘写入策略以及数据安全性的关键参数。本文从参数含义，性能，安全角度阐述两个参数为不同的值时对db 性能,数据的影响. 1. 参数意义 1.1 innodb_flush_log_at_tr 阅读全文

摘要： 关于innodb_flush_log_at_trx_commit的描述，看了mysql手册中的解释，感觉都不够清晰明了，下面试图以最简单直白的方式解释一下innodb_flush_log_at_trx_commit的含义。 首先需要大致了解一下mysql日志操作步骤： log_buff mysql写 阅读全文