当前位置: 首页 > mongodb, 分布式 > 正文

TokuMX的数据压缩能力令人惊喜

相比原生的MongoDB, TokuMX 提供了三个主要的特性:性能的优化提升,数据压缩特性,支持事物。不过实际使用中到底怎么样呢?
作为已经使用两个月的用户的我表示很满意,公司线上的一个产品使用 TokuMX 两个月以来并没有出现问题。而且让我印象最为深刻的是TokuMX对数据的压缩能力。
因为对写做了优化和压缩,在不影响性能的前提下 TokuMX 比原生的 MongoDB 节约了90%的存储空间。

下面是我们的实际情况: 为了比较,我在同一各集群上起了两套MongoDB,一个是原生的,一个是TukuMx,并使用相同的数据。使用中发现原MongoDB中的数据大小为32GB,而导入到TokuMX中只有3.4GB,果真是节约了90%的存储空间。 MongoDB_Compression
 
具体数据如下:

# du -sh sudops_tokumx
3.4G	sudops_tokumx

# du -sh sudops_mongodb
32G	sudops_mongodb

# ls -tlrh sudops_mongodb/
total 32G
-rwxr-xr-x 1 root root    6 Mar 20 22:29 mongod.lock
-rw------- 1 root root 2.0G Mar 20 22:54 local.9
-rw------- 1 root root 2.0G Mar 20 22:54 local.8
-rw------- 1 root root 2.0G Mar 20 22:54 local.7
-rw------- 1 root root 2.0G Mar 20 22:54 local.6
-rw------- 1 root root 2.0G Mar 20 22:54 local.5
-rw------- 1 root root 2.0G Mar 20 22:54 local.11
-rw------- 1 root root 2.0G Mar 20 22:54 local.10
-rw------- 1 root root 2.0G Mar 20 22:54 local.4
-rw------- 1 root root 2.0G Mar 20 22:54 local.3
-rw------- 1 root root 2.0G Mar 20 22:54 local.2
-rw------- 1 root root  64M Mar 20 22:54 local.0
-rw------- 1 root root 128M Mar 20 23:23 sudops.1
-rw------- 1 root root 256M Mar 20 23:24 sudops.2
-rw------- 1 root root 2.0G Mar 20 23:25 sudops.5
-rw------- 1 root root 512M Mar 20 23:25 sudops.3
drwxr-xr-x 2 root root 4.0K Mar 20 23:26 journal
-rw------- 1 root root  64M Mar 20 23:27 sudops.0
-rw------- 1 root root  16M Mar 20 23:27 local.ns
drwxr-xr-x 2 root root 4.0K Mar 20 23:27 _tmp
-rw------- 1 root root  16M Mar 20 23:27 sudops.ns
-rw------- 1 root root 1.0G Mar 20 23:27 sudops.4
-rw------- 1 root root 2.0G Mar 20 23:27 local.1
-rw------- 1 root root 2.0G Mar 20 23:28 local.12


# ls -trlh sudops/
total 3.4G
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_temp
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_recovery
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_logs
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_environment
-rw------- 1 root root    0 Mar 18 17:16 __tokumx_lock_dont_delete_me_data
-rwxr-xr-x 1 root root  16K Mar 18 17:16 tokumx.environment
-rwxr-xr-x 1 root root  32K Mar 18 17:17 local_system_version_id__2_8_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:12 local_system_replset_id__a2_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_system_indexes__2_a_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_me_id__448_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 18 18:33 local_ns_2_7_19.tokumx
-rwxr-xr-x 1 root root    6 Mar 19 13:55 mongod.lock
-rwxr-xr-x 1 root root  32K Mar 19 13:56 local_startup_log_id__5_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:52 sudops_category_id__2b87_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:52 sudops_role_id__29cc_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 15:55 sudops_menu_id__2a15_1_19.tokumx
-rwxr-xr-x 1 root root  64K Mar 19 18:39 sudops_type_id__2c95_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 19 19:02 sudops_region_id__48de_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_system_indexes__2965_6_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_system_namespaces__2965_5_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 20 19:07 sudops_ns_2965_3_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 21 10:48 sudops_searchRecommend_id__3055_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 26 11:19 sudops_cp_id__2b19_1_19.tokumx
-rwxr-xr-x 1 root root  32K Mar 26 17:24 local_oplog_refs_p5_id__1905fa1_2_19.tokumx
-rwxr-xr-x 1 root root  32K Apr  8 18:21 sudops_user_id__2989_1_19.tokumx
-rwxr-xr-x 1 root root  96M Apr  8 18:43 local_oplog_rs_p20_id__1ff054b_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr  9 17:24 local_oplog_refs_meta_id__a1_3_19.tokumx
-rwxr-xr-x 1 root root 128M Apr  9 18:39 local_oplog_rs_p21_id__20774ee_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 14 15:13 sudops_component_id__3019_1_19.tokumx
-rwxr-xr-x 1 root root 144M Apr 14 18:16 local_oplog_rs_p26_id__2338b07_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 15 17:54 sudops_channel_id__2f15_1_19.tokumx
-rwxr-xr-x 1 root root 128K Apr 16 15:49 sudops_special_id__2fbb_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 11:09 sudops_searchWord_id__3062_1_19.tokumx
-rwxr-xr-x 1 root root  64K Apr 21 16:44 sudops_assemble_id__2bd68_1_19.tokumx
-rwxr-xr-x 1 root root  64K Apr 21 16:49 sudops_poster_id__2f3e_1_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 17:24 local_system_namespaces__2_9_19.tokumx
-rwxr-xr-x 1 root root  32K Apr 21 17:24 local_oplog_rs_meta_id__a1_1_19.tokumx

当初在选择TokuMX的时候我选择了 TokuMX enterprise subscription,号称其支持Hotbackup,不过还始终无法配置成功,还特意在在线咨询了TokuMX的brain polansky,他建议我使用community version。如果有什么问题的话,还是推荐大家加入TokuMX 的 Google Groups。

本文固定链接: https://sudops.com/tokumx-compression-data-save-90-percent-stoage.html | 运维速度

该日志由 u2 于2014年04月22日发表在 mongodb, 分布式 分类下,
原创文章转载请注明: TokuMX的数据压缩能力令人惊喜 | 运维速度
关键字: ,

TokuMX的数据压缩能力令人惊喜:目前有4 条留言