ycsb scan什么意思汽车上一次的数据量是多大


maxexecutiontime: 执行操作的最长时间当然如果沒有超过这个时间以运行时间为主。

BinData()的第一个参数是BSON二进制子类型如上所述,它是以下之一:

每条日志 大小1KB 16个字段,字段长度为64


压测完后数据库大小是 136GB:

每条日志 大小608B, 16个字段字段长度为38B。

压测完后库的大小是82GB:

3.1.1写1亿条日志,顺序写入:

压测完后库的大小是115GB:

大尛1KB 16个字段,字段长度为64
大小608B 16个字段,字段长度为38B
大小1KB 27个字段,字段长度为38B

可与阿里云版mongodb性能进行对比:

场景4和5有点奇怪索引字段嘚效率还不如非索引字段。通过验证发现是索引字段第一次查询在建立缓存,场景5后续的查询都在5秒左右完成

日志查询效率: 40W记录/秒, 90MB/秒。 (单字段一次全表扫描如果复合条件查询加上相应扫描时间)

日志查询效率: 随着记录条目增加,扫描效率会下降 按10秒响应结果為目标,扫描条目应控制在 1000W条以内

测试是由同事完成的这里只做收藏。

1、数据量为3kw记录每条记录11个字段,一个为主键主键为字符类型,类似:user****后续为数值

其他10字段为字符类型,100字符记录长度大約为1KB

2、使用ycsb进行压力测试。具体各类型参考以前文档

3、三千万数据对目前数据库都能缓存到DB中(后续测试缓存80%,50%30%等情况下性能情况)

4、测试项包括:数据装载,就是insert数据

YCSB是一款开源的分布式性能测试工具常用于测试NoSQL产品的读写性能。
YCSB支持常见的NoSQL数据库和数据网格产品如Cassandra、MongoDB、HBase、Redis、Infinispan等主流产品。YCSB不仅安装使用简单还能自由扩展测试数據类型和支持的数据库产品

这里我们会使用YCSB,YCSB对比PE有点明显

  1. 可任意设置压测的读写比例、线程数量最后的测试报告也比较详细
  2. 通过YCSB的测試数据报告比较具有说服力,完整

运行一个压力测试需要 6 步:

  1. 选择合适的数据库接口层

登入YCSB github网,找到下载地址这里我们选择最新版0.15,並往下拉找到hbase12的版本不用下载一整个,太大了

选择合适的数据库接口层

对应地去hbase表查看

Workload 定义了如何向数据库中加载测试数据,包括两個部分:

YCSB 的 CoreWorkload 预置了一些标准测试数据可以直接使用,包括 6 个不同的类型:

    读最近更新:这个 workload 会插入新纪录越新的纪录读取概率越大,唎如:user status updates

    读取-修改-写入:这个 workload 会读取一个纪录然后修改这个纪录,最后写回例如:user database

可以根据测试需求选择合适的 workload,也可以新建一个新的 workload

除了在 workload 中配置参数外,YCSB 还支持这些运行时参数:

  • threads:客户端线程数默认为 1
  • target:每秒的目标操作数,默认为无限制(尽可能快地完成操作)例如一个操作需要 100 ms,那么一个线程 1s 内可以完成 10 个操作通过 -target 参数可以将操作放缓,控制在 10 个以下
  • s:每 10s 打印一次客户端状态用于调试
 
 
当裝载完测试数据后,就可以运行 workload 测试了对于 HBase 测试命令为,这样整个测试过程就结束了

 
 

我要回帖

更多关于 scan什么意思汽车上 的文章

 

随机推荐