[监控] - 使用OpenResty对Stream Load监控告警

在Doris中, 实时导入数据是通过Stream Load来实现的, 通过我们的一些实践发现, stream load频率和每次load的数据量对于Doris服务稳定有极大的影响. 目前doris最新

阅读更多...

[Doris Stream Load] python调用stream load

安装requests pip install requests python代码 # coding=utf-8 import requests import time def main():

阅读更多...

[Q&A Load] ETL_QUALITY_UNSATISFIED; msg:quality not good enough to cancel

可能的原因1 异常说明：数据质量不好，导致不能doris不能解析或者解析失败而取消导入任务. 比如varchar字段太长、分隔符问题 解决办法 长文本不要导入；长文本导入截断；数据中包含分隔符

阅读更多...

[Q&A Load] No source file in this table(xxxx)

可能的原因1 fe通过broker读取hdfs的文件列表时， 返回空文件列表，如下图所示load语句中hdfs文件配置和实际hdfs文件配置 目前doris版本不支持子目录文件形式， 所以导致没有读取

阅读更多...

[Q&A Load] too many filtered rows

可能的原因1 分隔符问题, 分隔的结果列和doris中的列数量不一致 解决办法 调整分隔符，尽量用不常见的，参考特殊符号：

阅读更多...

[Q&A hive 2 doris] -- ParseError, Invalid column selected _colXXX

可能的原因1 doris中的表结构和字段类型与hive中表字段结构不一致 比如spark计算后生成的orc表头和doris中的不一致。如下为hive和spark分别生成的orc文件表头， 不管hive

阅读更多...