当前位置： 首页 > 分布式

  • 吐槽 flume-ng

    Apr172015
    吐槽 flume-ng

    这几天在折腾 flume-ng，版本为官方的1.5.2，参考了网上的各种段子，也经历了一些坑，真可谓是一路google一路哭，捣鼓得目前勉强算是能用了，回顾这几天的苦逼历程，忍不住还是要吐槽一下。

    阅读全文
    作者：Fisher | 分类：云计算, 分布式 | 标签：,
    1条评论

  • saltstack install jdk

    Jan212015

    [摘要] saltstack再来一个测试配置，搭建java环境和配置环境变量：saltstack install jdk，办法比较土，参考网上的pillar，还是没有用好，简单期间直接写的sls配置，通过不容的配置来安装不同版本的jdk，另外遇到了删除jdk.tar.gz文件后重复推送的问题，可以通过unless解决掉。

    阅读全文
    作者：Fisher | 分类：linux, 云计算, 分布式, 系统工具 | 标签：,
    抢沙发

  • Hadoop-2.2.0源码编译，搭建与配置

    Sep302014

    【摘要】之前一直使用Hadoop1.x的版本，计划升级到2.x，找了3台测试vm机器，搭建了一下，本以为非常简单，但由于Hadoop2.x版本与Hadoop1.x版本变化较大，还是费了一些周折，下面是一些详细的步骤。本例的步骤应该可以跑起来，Hadoop参数还需要一些具体的优化。

    阅读全文
    作者：Fisher | 分类：云计算, 分布式 | 标签：
    抢沙发

  • TokuMX的数据压缩能力令人惊喜

    Apr222014
    TokuMX的数据压缩能力令人惊喜

    相比原生的MongoDB， TokuMX 提供了三个主要的特性：性能的优化提升，数据压缩特性，支持事物。不过实际使用中到底怎么样呢？
    作为已经使用两个月的用户的我表示很满意，公司线上的一个产品使用 TokuMX 两个月以来并没有出现问题。而且让我印象最为深刻的是TokuMX对数据的压缩能力。
    因为对写做了优化和压缩，在不影响性能的前提下 TokuMX 比原生的 MongoDB 节约了90%的存储空间。

    阅读全文
    作者：Fisher | 分类：mongodb, 分布式 | 标签：,
    4条评论

  • fastdfs slave file mode 的应用场景及好处

    Feb272014
    fastdfs slave mode

    fastdfs Java版本的上传api中有多种方式，当初对众多的接口还是比较疑惑，最近仔细看了Java api的文档和测试源码，对slave mode的上传模式有了更深的了解。
    fastdfs的slave mode应用场景主要是在应用层面的特殊需求，如一个原始图片有多份压缩图片（水印，缩略图）或者不同尺寸的文件，这样在原始文件上传完毕后，对由其派生的图片（切图）可以设定文件关联。

    阅读全文
    作者：Fisher | 分类：分布式, 存储 | 标签：
    抢沙发

  • 为什么在Hadoop（HDFS）中块设置的很大？

    Feb152014

    相对于普通磁盘的块（4kb）来说HDFS的块要更大一些256M甚至更大（默认64M），如此设计的目的是为了减少在寻道上的开销。 如果把HDFS块设置的足够大，那么从磁盘传输数据的时间将明显大于检索块头部信息的时间，因此HDFS中大文件传输的时间由多个块在磁盘上的传输速率来决定。

    阅读全文
    作者：Fisher | 分类：分布式 | 标签：, ,
    抢沙发