Tag: others
13 posts tagged "others".
碎银几两
所作之事,皆为碎银几两。
I am Back
我回来啦!以后会时不时更新一下哈。
Oryx2 开发者文档
环境需求 git, 或者一个支持git的IDE Apache Maven 3.2.1 或者更新版本 Java JDK (不能只有JRE) 7 或者更新版本 以上需要已经安装到了你的开发环境中。 Building 克隆代码到你本地,并且编译: 会编译出如下的二进制的jar文件: 批处理层: deploy/oryx…
Oryx2 终端用户文档
运行 注意:你必须已经按照管理员文档中提到的配置好了你的集群。 下载最新的Oryx版本,包括批处理层,实时计算层和服务层的jar文件和sh脚本。 或者,源码编译他们并从deploy/bin/获取最新的脚本。…
玩转 Oryx2 (一)
准备 环境 CDH 5.5.2, Parcel HDFS YARN Zookeeper Kafka Spark (on YARN) 下载最新版本 进入下载页面,分别下载 compute classpath.sh oryx batch 2.1.2.jar oryx run.sh oryx serving…
Oryx2 性能优化文档
这里收集了各种意见,经验法则和基准测试相关的性能:做这些不同的工作需要多少资源。 硬件和集群设计…
正则表达式处理Nginx
Nginx 日志配置格式 样例 正则表达式 Python版本 Scala版本 参考文献 http://www.jianshu.com/p/5d8c802be13d https://segmentfault.com/a/1190000002727070…
Spark优化
Spark 优化 由于Spark内存计算特性,Spark程序会由集群上的如下因素决定其性能 CPU 网络带宽 内存 通常来说,如果配置适当的内存,那么瓶颈就是带宽。但是有些时候,有需要做些优化,比如以序列化的形式存储RDD,从而降低内存的占用。 此会从两方面分析 数据序列化 内存优化 Data…
Oryx2 管理员文档
Oryx 2.1.0 系统要求 Java 7 or later (JRE only is required) A Hadoop cluster running the following components: Apache Hadoop 2.6.0 or later Apache Zookeeper 3.4.5…
Oryx2 简介
简介 Oryx2是专注于进行大规模,实时机器学习框架,遵循lambda规则,基于Apache Spark和Apache Kafka构建。 Oryx 不仅是构建应用程序的框架,而且包含 协同过滤,分类,回归和聚类的打包的端到端的应用。 包含3层 lambda层 批量处理 快速处理 服务 ML抽象层 端到端实现层…