软件心理学工程师

语言需要不断改进以跟进硬件的更新或满足程序员的期待。所以java也需要演变，不然就会不适应IT产业的发展从而被别的语言淘汰，java语言现在更新到java12，不过业界主流应该还是java7或java8。 Java8中的主要变化反映了它开始远离常侧重改变现有值的经典面向对象思想，而向函数式编程领域转 Read More

一个ES索引最大可以支持多少个shard？理论上无限扩展，我推测最大应该是java array的最大长度：Integer.MAX_VALUE。通常业务为了保证查询效率，往往会限制data node上shards的总个数(cluster.routing.allocation.total_shards_ Read More

最近做的某个feature需要在很短的时间内上千万次请求其他部门的web服务，为了减少请求次数和提升系统响应速度决定采用cache来缓存数据。 说到cache最出名的就是memcached和redis了，因为目前公司内用redis的项目用的更多，有专门的集群和运维工程师，就果断选了redis。一言以 Read More

最近在做ES搜索调优，看了一些lucene搜索的文档和代码，本文用于总结调优过程中学到的知识和自己的思考。 在抓到ES慢查询之后，会通过profile或者kibana的Search Profiler console查看具体慢在了哪里。一般在执行profile search之前，需要稍微改变query Read More

最近把搜索后端从AWS cloudsearch迁到了AWS ES和自建ES集群。测试发现search latency高于之前的benchmark，可见模拟数据远不如真实数据来的实在。这次在产线的backup ES上直接进行测试和优化，通过本文记录search调优的主要过程。 问题1：发现AWS ES Read More

日常工作中用到的ES相关基础知识和总结。不足之处请指正，会持续更新。 1.集群的健康状况为 yellow 则表示全部主分片都正常运行（集群可以正常服务所有请求），但是 副本 分片没有全部处在正常状态。 2.主分片的数目在索引创建时就已经确定了下来。但是，读操作——搜索和返回数据——可以同时被主分片  Read More

cluster.name: 指定node所属的cluster。 node.name: 本机的hostname。 node.master: 是否可以被选举为master节点。(true or false) node.data: 是否为data node。(true or false) node.att Read More

今天老大提醒我产线kafka自身的log文件积累了好几个月了，我才发现原来kafka的log4j并删除old log。 第一反应是采用linux自带的logrotate功能，在/etc/logrotate.d下面建一个文件写入： /opt/kafka_2.11-0.9.0.0/logs/*.log* Read More

最近计划看看elasticsearch的源码，首先得把local debug环境搞定。 下载源码。因为公司产线是5.6.5，所以就下载了5.6.5的代码。 源码编译。先进入到/elasticsearch/core目录，因为IDE是idea，所以用gradle idea编译core目录。然后进入到/e Read More

整个2017年都在搞大数据平台，完全远离了机器学习，甚至都不记得写过类似ETL的job。 从数据到平台，从业务处理到基础服务。 Metrics的收集，报警，生成报表。Data pipeline的准确性，性能。Job的提交，资源分配。分布式组件的部署，运维。 同时也参与了一个portal的开发，管理分 Read More