mengrennwpu

摘要： 1. 概念 location是根据uri进行不同的定位。在虚拟主机的配置中，是必不可少的。location可以将网站的不同部分，定位到不同的处理方式上。 location语法格式如下： 其中： (1) 当[]中的内容均不填写时，表示一般匹配 (2) "="表示精准匹配 (3) "~"表示正则匹配 2 阅读全文

摘要： 1. 安装 (1) Nginx下载地址：https://nginx.org/download/nginx-1.14.0.tar.gz (2) 安装时可能出现依赖库不存在，比如prec包，可以使用yum install pcre pcre-devel进行安装。安装的整体命令如下： 2. 启动 (1) 阅读全文

摘要： 1. Es-Hadoop异常： org.elasticsearch.hadoop.EsHadoopException: Could not write all entries [615/300864] (maybe ES was overloaded?). Bailing out... at org 阅读全文

摘要： 1. 背景 近日在一个Hadoop项目中使用MultipleInputs增加多输入文件时，发现相同路径仅会加载一次，导致后续的统计任务严重失真。本博文旨在记录异常的排查及解决方案。 2. 情景重现 (1) 准备简版的输入文件test，文件内容为"i am ws"，输入的HDFS路径为/work/ju 阅读全文

摘要： 1. Spring Aware Spring的依赖注入的最大亮点就是你所有的Bean对Spring容器的存在是没有意识的。即你可以将你的容器替换成别的容器。 实际项目中，不可避免地会用到Spring容器本身的功能资源，这时的Bean必须意识到Spring容器的存在，才能调用Spring所提供的资源， 阅读全文

摘要： 1. Bean的Scope scope描述Spring容器如何新建Bean的实例。通过注解@Scope实现，取值有： a. Singleton：一个Spring容器中只有一个Bean的实例。此为Spring的默认配置，全容器共享一个实例。 b. Prototype：每次调用新建一个Bean的实例 c 阅读全文

摘要： 1. Spring基础配置 Spring框架本身有四大原则： 1) 使用POJO进行轻量级和最小侵入式开发 2) 通过依赖注入和基于接口编程实现松耦合 3) 通过AOP和默认习惯进行声明式编程 4) 使用AOP和模板(template)减少模式化代码 所谓依赖注入指的是容器负责创建对象和维护对象间的 阅读全文

摘要： 1. Reactor简介 Reactor 是 Spring 社区发布的基于事件驱动的异步框架，不仅解耦了程序之间的强调用关系，而且有效提升了系统的多线程并发处理能力。 2. Spring Boot集成Reactor的pom.xml 1 <?xml version="1.0" encoding="UT 阅读全文

摘要： 1. GridFS简介 GridFS是Mongo的一个子模块,使用GridFS可以基于MongoDB来持久存储文件。并且支持分布式应用(文件分布存储和读取)。作为MongoDB中二进制数据存储在数据库中的解决方案，通常用来处理大文件，对于MongoDB的BSON格式的数据(文档)存储有尺寸限制，最大 阅读全文

摘要： 1. 背景 近日帮外部门的同事处理一个小需求，就是将HDFS中2018年至今所有存储的sequence序列化文件读取出来，重新保存成文本格式，以便于他后续进行处理。由于同事主要做机器学习方向，对hadoop或spark方面不了解，所以我就想着这么小的需求，简单支持下即可，花个几分钟写了一个脚本提供给 阅读全文