mengrennwpu

摘要： 1. Graphx概念 针对某些领域，如社交网络、语言建模等，graph-parallel系统可以高效地执行复杂的图形算法，比一般的data-parallel系统更快。 Graphx是将graph-parallel的data-parallel统一到一个系统中。允许用户将数据当成一个图或一个集合RDD 阅读全文

摘要： 1. 介绍 Spark Streaming是Spark生态系统中一个重要的框架，建立在Spark Core之上，与Spark SQL、GraphX、MLib相并列。 Spark Streaming是Spark Core的扩展应用，具有可扩展性、高吞吐量、可容错性等特点。 可以监控来自Kafka、Fl 阅读全文

摘要： 1. 自定义累加器 自定义累加器需要继承AccumulatorParam，实现addInPlace和zero方法。 例1：实现Long类型的累加器 例2：定义Set[String]，可用于记录错误日志 2. AccumulableCollection使用 阅读全文

摘要： 熟悉了一段时间的Bash编程，因此借此任务操作一把bash编程，主要涉及到Redis单节点与Redis集群的操作 1. 任务背景 近日有个任务需要将历史的Redis(主从节点)中的数据迁移至Redis集群中。相关条件与要求如下： (1) 历史Redis以及新的Redis集群分别部署在北京、合肥、广州 阅读全文

摘要： 1. 拼接 1) 简单的字符串拼接如：PATH=$PATH:$HOME/bin。如果拼接的字符串包含空格或特殊字符，需要使用双引号括起，如： 注意：+=的性能较直接拼接的效率高，测试如下： 2) 重复字符到指定长度 通过拼接在每个循环中拼接多个实例来提高函数速度： 2. 字符处理 没有直接的参数扩展 阅读全文

摘要： shell的方法在相同的进程内执行，与调用它的脚本一致。对于方法来说，脚本中的所有变量均可见，且不需要执行export。方法中可以创建局部变量，且不影响正在调用的脚本。 1. 定义语法 (1) KornShell中的定义格式为：function name <复合命令> (2) Bourne shel 阅读全文

摘要： 1. 变量命名 变量命名只能使用数字、下划线、字母，且仅能以下划线或字母开头。 变量很少使用单个字母，单个字母一般用于循环或读取一次性文件的时候。 例： 变量名最好能望名知意 2. 变量作用域 若脚本a调用脚本b，则a无法得知b中的变量，除非将b中的变量写入环境变量中。 脚本中在变量前使用expor 阅读全文

摘要： $@表示脚本输入的全部参数，在bash脚本中，若$@增加引号("$@")，则包含空格的参数也会被保留，若不增加引号($@)，则包含空格的参数会被拆分。 例： 1. 引号 对于单引号、双引号、转义字符开头的空格，命令行解析时将不会被拆分。 2. 花括号 花括号作用于不带引号、以逗号分隔的列表或序列。当 阅读全文

摘要： Shell中有三种类型的循环：for, until, while，具有3种类型的条件语句：if, case, 条件操作符(&&, ||)。 1. 结束码 命令的结束码可以在命令运行完后，查看$?查看。当命令执行正常时，结束码为0，当异常时，返回1-255的数字。 2. test命令 test命令用于 阅读全文

摘要： openSSH作为linux远程连接工具，容易受到攻击，必须更新版本来解决，低版本有如下等漏洞： a. OpenSSH 远程代码执行漏洞(CVE-2016-10009) b. OpenSSH auth_password函数拒绝服务漏洞(CVE-2016-6515) c. OpenSSH 远程代码执行 阅读全文