Posts
All the articles I've posted.
使用Vagrant部署Rails项目
Vagrant 是一个自动化工具,可以在你的电脑的虚拟机里自动搭建一个开发环境。这就意味着你本地开发环境可以完全与生产服务器上保持一致,你的合作小伙伴也可以和你保持高度一致的运行环境。
Oryx2 开发者文档
环境需求 git, 或者一个支持git的IDE Apache Maven 3.2.1 或者更新版本 Java JDK (不能只有JRE) 7 或者更新版本 以上需要已经安装到了你的开发环境中。 Building 克隆代码到你本地,并且编译: 会编译出如下的二进制的jar文件: 批处理层: deploy/oryx…
Oryx2 终端用户文档
运行 注意:你必须已经按照管理员文档中提到的配置好了你的集群。 下载最新的Oryx版本,包括批处理层,实时计算层和服务层的jar文件和sh脚本。 或者,源码编译他们并从deploy/bin/获取最新的脚本。…
玩转 Oryx2 (一)
准备 环境 CDH 5.5.2, Parcel HDFS YARN Zookeeper Kafka Spark (on YARN) 下载最新版本 进入下载页面,分别下载 compute classpath.sh oryx batch 2.1.2.jar oryx run.sh oryx serving…
Oryx2 性能优化文档
这里收集了各种意见,经验法则和基准测试相关的性能:做这些不同的工作需要多少资源。 硬件和集群设计…
Java关键字volatile
Java关键字volatile标识一个变量“被存储在主内存中”。更准确的说法是:每次volatile变量会从主内存中读取,而不是从CPU缓存;每次volatile变量的写操作会写入主内存,而不仅仅是CPU缓存。
正则表达式处理Nginx
Nginx 日志配置格式 样例 正则表达式 Python版本 Scala版本 参考文献 http://www.jianshu.com/p/5d8c802be13d https://segmentfault.com/a/1190000002727070…
Spark优化
Spark 优化 由于Spark内存计算特性,Spark程序会由集群上的如下因素决定其性能 CPU 网络带宽 内存 通常来说,如果配置适当的内存,那么瓶颈就是带宽。但是有些时候,有需要做些优化,比如以序列化的形式存储RDD,从而降低内存的占用。 此会从两方面分析 数据序列化 内存优化 Data…
Python关键字:yield
注:以下代码实验环境均为 Yield关键字 理解yield关键字之前需要先明白什么是迭代。 可迭代对象 建立一个列表之后,可以逐项的读取列表中的元素,这就是一个可迭代的对象: 使用列表生成器建立一个列表,同样也是创建了一个可迭代的对象: 可以使用for .. in ..…
Oryx2 管理员文档
Oryx 2.1.0 系统要求 Java 7 or later (JRE only is required) A Hadoop cluster running the following components: Apache Hadoop 2.6.0 or later Apache Zookeeper 3.4.5…