TokuMX的数据压缩能力令人惊喜
Apr222014
相比原生的MongoDB， TokuMX 提供了三个主要的特性：性能的优化提升，数据压缩特性，支持事物。不过实际使用中到底怎么样呢？
作为已经使用两个月的用户的我表示很满意，公司线上的一个产品使用 TokuMX 两个月以来并没有出现问题。而且让我印象最为深刻的是TokuMX对数据的压缩能力。
因为对写做了优化和压缩，在不影响性能的前提下 TokuMX 比原生的 MongoDB 节约了90%的存储空间。
下面是我们的实际情况： 为了比较，我在同一各集群上起了两套MongoDB，一个是原生的，一个是TukuMx，并使用相同的数据。使用中发现原MongoDB中的数据大小为32GB，而导入到TokuMX中只有3.4GB，果真是节约了90%的存储空间。 
具体数据如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 |
# du -sh sudops_tokumx 3.4G sudops_tokumx # du -sh sudops_mongodb 32G sudops_mongodb # ls -tlrh sudops_mongodb/ total 32G -rwxr-xr-x 1 root root 6 Mar 20 22:29 mongod.lock -rw------- 1 root root 2.0G Mar 20 22:54 local.9 -rw------- 1 root root 2.0G Mar 20 22:54 local.8 -rw------- 1 root root 2.0G Mar 20 22:54 local.7 -rw------- 1 root root 2.0G Mar 20 22:54 local.6 -rw------- 1 root root 2.0G Mar 20 22:54 local.5 -rw------- 1 root root 2.0G Mar 20 22:54 local.11 -rw------- 1 root root 2.0G Mar 20 22:54 local.10 -rw------- 1 root root 2.0G Mar 20 22:54 local.4 -rw------- 1 root root 2.0G Mar 20 22:54 local.3 -rw------- 1 root root 2.0G Mar 20 22:54 local.2 -rw------- 1 root root 64M Mar 20 22:54 local.0 -rw------- 1 root root 128M Mar 20 23:23 sudops.1 -rw------- 1 root root 256M Mar 20 23:24 sudops.2 -rw------- 1 root root 2.0G Mar 20 23:25 sudops.5 -rw------- 1 root root 512M Mar 20 23:25 sudops.3 drwxr-xr-x 2 root root 4.0K Mar 20 23:26 journal -rw------- 1 root root 64M Mar 20 23:27 sudops.0 -rw------- 1 root root 16M Mar 20 23:27 local.ns drwxr-xr-x 2 root root 4.0K Mar 20 23:27 _tmp -rw------- 1 root root 16M Mar 20 23:27 sudops.ns -rw------- 1 root root 1.0G Mar 20 23:27 sudops.4 -rw------- 1 root root 2.0G Mar 20 23:27 local.1 -rw------- 1 root root 2.0G Mar 20 23:28 local.12 # ls -trlh sudops/ total 3.4G -rw------- 1 root root 0 Mar 18 17:16 __tokumx_lock_dont_delete_me_temp -rw------- 1 root root 0 Mar 18 17:16 __tokumx_lock_dont_delete_me_recovery -rw------- 1 root root 0 Mar 18 17:16 __tokumx_lock_dont_delete_me_logs -rw------- 1 root root 0 Mar 18 17:16 __tokumx_lock_dont_delete_me_environment -rw------- 1 root root 0 Mar 18 17:16 __tokumx_lock_dont_delete_me_data -rwxr-xr-x 1 root root 16K Mar 18 17:16 tokumx.environment -rwxr-xr-x 1 root root 32K Mar 18 17:17 local_system_version_id__2_8_19.tokumx -rwxr-xr-x 1 root root 32K Mar 18 18:12 local_system_replset_id__a2_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 18 18:33 local_system_indexes__2_a_19.tokumx -rwxr-xr-x 1 root root 32K Mar 18 18:33 local_me_id__448_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 18 18:33 local_ns_2_7_19.tokumx -rwxr-xr-x 1 root root 6 Mar 19 13:55 mongod.lock -rwxr-xr-x 1 root root 32K Mar 19 13:56 local_startup_log_id__5_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 19 15:52 sudops_category_id__2b87_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 19 15:52 sudops_role_id__29cc_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 19 15:55 sudops_menu_id__2a15_1_19.tokumx -rwxr-xr-x 1 root root 64K Mar 19 18:39 sudops_type_id__2c95_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 19 19:02 sudops_region_id__48de_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 20 19:07 sudops_system_indexes__2965_6_19.tokumx -rwxr-xr-x 1 root root 32K Mar 20 19:07 sudops_system_namespaces__2965_5_19.tokumx -rwxr-xr-x 1 root root 32K Mar 20 19:07 sudops_ns_2965_3_19.tokumx -rwxr-xr-x 1 root root 32K Mar 21 10:48 sudops_searchRecommend_id__3055_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 26 11:19 sudops_cp_id__2b19_1_19.tokumx -rwxr-xr-x 1 root root 32K Mar 26 17:24 local_oplog_refs_p5_id__1905fa1_2_19.tokumx -rwxr-xr-x 1 root root 32K Apr 8 18:21 sudops_user_id__2989_1_19.tokumx -rwxr-xr-x 1 root root 96M Apr 8 18:43 local_oplog_rs_p20_id__1ff054b_1_19.tokumx -rwxr-xr-x 1 root root 32K Apr 9 17:24 local_oplog_refs_meta_id__a1_3_19.tokumx -rwxr-xr-x 1 root root 128M Apr 9 18:39 local_oplog_rs_p21_id__20774ee_1_19.tokumx -rwxr-xr-x 1 root root 32K Apr 14 15:13 sudops_component_id__3019_1_19.tokumx -rwxr-xr-x 1 root root 144M Apr 14 18:16 local_oplog_rs_p26_id__2338b07_1_19.tokumx -rwxr-xr-x 1 root root 32K Apr 15 17:54 sudops_channel_id__2f15_1_19.tokumx -rwxr-xr-x 1 root root 128K Apr 16 15:49 sudops_special_id__2fbb_1_19.tokumx -rwxr-xr-x 1 root root 32K Apr 21 11:09 sudops_searchWord_id__3062_1_19.tokumx -rwxr-xr-x 1 root root 64K Apr 21 16:44 sudops_assemble_id__2bd68_1_19.tokumx -rwxr-xr-x 1 root root 64K Apr 21 16:49 sudops_poster_id__2f3e_1_19.tokumx -rwxr-xr-x 1 root root 32K Apr 21 17:24 local_system_namespaces__2_9_19.tokumx -rwxr-xr-x 1 root root 32K Apr 21 17:24 local_oplog_rs_meta_id__a1_1_19.tokumx |
当初在选择TokuMX的时候我选择了 TokuMX enterprise subscription，号称其支持Hotbackup，不过还始终无法配置成功，还特意在在线咨询了TokuMX的brain polansky，他建议我使用community version。如果有什么问题的话，还是推荐大家加入TokuMX 的 Google Groups。
本文固定链接: https://www.sudops.com/tokumx-compression-data-save-90-percent-stoage.html | 运维·速度
TokuMX的数据压缩能力令人惊喜：目前有4 条留言
发表评论
欢迎关注 运维·速度 微信公众号
亲——TokuMX没有32位的吗？我的虚拟机就是32位的——希望能回复额。。把官网找了遍了也没有
2014-08-05 18:45编译好的二进制版本没有32位的，可以试试下载源码https://github.com/Tokutek/mongo，然后在你的32位虚拟机下编译安装。
2014-08-08 13:53