[最佳实践] -- 建表如何选择Doris表模型

145人浏览 / 0人评论

Doris的表模型和MySQL的存储引擎: innodb,myisam,memeory等功能类似, 不同的表模型擅长处理不同的数据方式. 如何能高效的查询, 直接取决于选择的表模型. 表一旦创建, 表模型不能更改.

1. Doris表中字段分类

在Doris表中, 字段被人为的分为2种: Key和Value. Key也就是俗称的维度, Value是指标. 建表时Key列必须在Value列前面.

2. Doris目前支持三种表模型

  • AGGREGATE 聚合模型, 聚合模型支持Value列在导入数据时, 按照指定的聚合类型聚合数据, 达到预先聚合数据, 提高查询的目的. 目前Doris支持4种聚合方式: SUM、REPLACE、MAX、MIN, 分别的聚合含义如下:

    • SUM:求和,多行的 Value 进行累加。
    • REPLACE:替代,下一批数据中的 Value 会替换之前导入过的行中的 Value。
    • MAX:保留最大值。
    • MIN:保留最小值。 接下来以社区的sum聚合的一个例子说明, 统计一个网站pv, 先用如下SQL创建一个表:
    CREATE TABLE `agg_tbl_demo` (
        siteid      INT,
        city        SMALLINT,
        username    VARCHAR(32),
        pv BIGINT   SUM DEFAULT '0'
    ) ENGINE=OLAP
    AGGREGATE KEY(siteid, city, username)
    DISTRIBUTED BY HASH(`siteid`) BUCKETS 1
    PROPERTIES (
        "replication_num" = "1"
    );
    

    siteid: 表示网站id
    city: 访问者所在的城市id
    username: 访问者用户名
    pv: 访问者pv. 后面的sum表示导入这列数据时, 以siteid,city,username为“主键”, 将导入的每条数据的pv值做sum计算保存.

    我们分别添加三条数据, 然后分别观察三条数据的添加结果:

    • francis访问了站点id=100, 次数为1次: insert into agg_tbl_demo values(100, 200, 'francis', 1);
    +--------+------+----------+------+
    | siteid | city | username | pv   |
    +--------+------+----------+------+
    |    100 |  200 | francis  |    1 |
    +--------+------+----------+------+
    
    • jim访问了站点100, 次数为1次: insert into agg_tbl_demo values(100, 200, 'jim', 1);
    +--------+------+----------+------+
    | siteid | city | username | pv   |
    +--------+------+----------+------+
    |    100 |  200 | francis  |    1 |
    |    100 |  200 | jim      |    1 |
    +--------+------+----------+------+
    
    • francis又访问了站点100, 次数为1次: insert into agg_tbl_demo values(100, 200, 'francis', 1);, 执行完成后, 看看francis的统计结果, 发现francis的pv由1变成2了. 2=1+1.再想想sum的聚合方式. 是不是有点意思.
    +--------+------+----------+------+
    | siteid | city | username | pv   |
    +--------+------+----------+------+
    |    100 |  200 | francis  |    2 |
    |    100 |  200 | jim      |    1 |
    +--------+------+----------+------+
    
    • jim又访问了站点100, 次数为10次. insert into agg_tbl_demo values(100, 200, 'jim', 10);, 此时看看jim的pv由1变成11了, 11=1+10.再想想sum的聚合方式. 是不是有点意思.
    +--------+------+----------+------+
    | siteid | city | username | pv   |
    +--------+------+----------+------+
    |    100 |  200 | francis  |    2 |
    |    100 |  200 | jim      |   11 |
    +--------+------+----------+------+
    

    聚合表模型的好处时可以采用预先聚合的方式, 加快查询速度. 但是原始数据会丢失, 会失去一定的灵活性. 一般比较适用于一些固定报表、固定统计. 比如pv, uv.

  • UNIQUE 唯一模型, 其实是聚合模型的一个特例, 在唯一模型中, 所有的Value列会按照REPLACE的方式聚合, 也就是除了UNIQUE KEY之外的列, 都是新数据替换旧数据. 唯一模型是解决数据有主键, 除了主键之外的都替换的情况, 同时也可以保存明细.

  • DUPLICATE 明细模型, 很多时候数据是没有主键、也不需要预先聚合的明细. 这种数据模型区别于 Aggregate 和 Uniq 模型。数据完全按照导入文件中的数据进行存储,不会有任何聚合。即使两行数据完全相同,也都会保留

全部评论