Posts
All the articles I've posted.
Oryx2 简介
简介 Oryx2是专注于进行大规模,实时机器学习框架,遵循lambda规则,基于Apache Spark和Apache Kafka构建。 Oryx 不仅是构建应用程序的框架,而且包含 协同过滤,分类,回归和聚类的打包的端到端的应用。 包含3层 lambda层 批量处理 快速处理 服务 ML抽象层 端到端实现层…
Apache Flume-ng Structure
Apache flume NG 配置 简介 Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。 由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。…
Apache Kafka Structure
Apache Kafka消息服务 参考地址 http://kafka.apache.org/documentation.html 消息队列的分类 点对点 生产者生产消息发送到Queue中,消费者消费Queue中的消息,其中: Queue中不再存储已经被消费的消息…
Linux shell 获得以前日期
Linux shell 获取各种格式的日期
Nginx Logrotate
logrotate is designed to ease administration of systems that generatelarge numbers of log files. It allows automatic rotation, compression,removal, and mailing of log files. Each log file may be handled daily,weekly, monthly, or when it grows too large.
Docker中搭建Spark计算框架
Spark计算框架在Docker中的部署步骤