玩转 TsFile|00-专栏导读:AI-Native 的时序数据集
一份时序数据集可能需要交付给其他团队、加载到数据库提供查询服务,也可能用于 AI 分析与预测。在这些场景中,使用者都需要知道数据来自哪里、各字段代表什么,以及如何读取和核验结果。 这些需求涉及三类边界:时序数据与文件系统之间;时序数据与数据库之间;时序数据集与 AI 之间。缺少共同的数据载体与访问约定时,结构说明、导入配置和分析代码往往分
11 篇文章
一份时序数据集可能需要交付给其他团队、加载到数据库提供查询服务,也可能用于 AI 分析与预测。在这些场景中,使用者都需要知道数据来自哪里、各字段代表什么,以及如何读取和核验结果。 这些需求涉及三类边界:时序数据与文件系统之间;时序数据与数据库之间;时序数据集与 AI 之间。缺少共同的数据载体与访问约定时,结构说明、导入配置和分析代码往往分
一份 CSV 可以保存温度记录,却通常缺少说明 site 和 rack 如何标识设备、 temperature 应按什么类型读取。接收方往往还需要一份字段说明,或向提供数据的人确认。 本篇回到导读提出的“可发现、可理解”价值:把列定义和观测记录放在同一份可读取的文件中,接收方据此开始工作。 TsFile 将表名、列类别、数据类型和编码等信
接收一份设备测试数据或机房运行数据后,使用者需要先确认文件模型、对象、字段结构和数据规模,再决定如何分析。本文沿用第 01 篇创建的 sensors.tsfile,说明如何逐步检查一个本地时序数据集。 本篇回到导读提出的“可发现、可理解、可验证”价值:按对象、结构、统计和记录逐层检查数据。 检查时先查看有哪些表或设备,再核对字段和时间范围
同一份时序数据,在离线交付和在线查询时需要的工具不同。本文以 sensors.tsfile 为例,说明如何选择文件工具、数据库工具或 SDK。 本篇回到导读提出的“可流转”价值:根据任务在本地文件、在线数据库和程序接口之间选择合适的入口。 选择时先看任务:只是检查一个文件,还是需要持续写入、多人查询与统一管理?如果要把读写逻辑放进长期运行
各机房每天提交一份温湿度 TsFile,数据接收方希望自动生成检查报告:文件是否可以读取、表结构是否符合约定、温度超过阈值的记录有多少。Shell 可以负责目录遍历与任务编排,TsFile-Cli 负责单个文件的结构化访问,jq 负责筛选和汇总。原有的 Unix 自动化流程由此可以纳入二进制时序数据集。 本篇回到导读提出的“可组合”价值:
前几篇文章把一份 CSV 做成了可携带的 table-model TsFile,并用 TsFile-Cli 在本地完成了检查。现在把这份文件交给 IoTDB,看看它怎样从文件识别表结构、建立数据库中的对象,并让数据重新出现在 SQL 查询结果里。 本篇回到导读提出的“可流转”价值:将已检查的文件交给 IoTDB,形成在线查询对象。 设想一
已经加载到 IoTDB 的数据,还可以按表导出为 TsFile,供离线分析或交付使用。本篇承接第 05 篇,将 tsfile_cli_demo.sensors 导出并读回检查。 本篇回到导读提出的“可流转、可验证”价值:导出在线数据并检查文件中的结构和记录。 例如,机房异常排查结束后,团队可以把选定的观测记录交给设备供应商复核。导出由 I
文件加载到 IoTDB 后,怎样确认再次导出的数据缺少变化?本文使用同一个 TsFile-Cli 读取原始文件与导出文件,比较表结构、字段计数和明细记录。 本篇回到导读提出的“可验证”价值:比较加载前后的结构与明细,留下可复查依据。 机房联合排查结束后,团队需要确认交给设备供应商的数据与进入 IoTDB 前的记录相符。本文把前两篇文章串成
用户将一份机房温湿度 TsFile 交给 AI,希望比较北京与上海机房的最高温度,并说明计算依据。完成这项任务,需要确认文件模型、表结构和字段含义,读取两个站点的记录,再检查工具执行状态。自然语言问题由此转化为一组可以复查的数据操作。 本篇回到导读提出的“可委托”价值:让 Agent 依照 Skill 指引调用工具并说明依据。 仓库附带的
前面的文章介绍了如何保存、查询和分析时序数据。本篇以发动机温度预测为场景,说明怎样准备历史序列,通过 TimechoAI / Timer 获得预测,并与后续观测对照。 本篇回到导读提出的“可流转、可验证”价值:整理历史序列,生成预测并用后续观测检查结果。 本文提供接入说明和命令模板,适合已了解 TsFile 或 IoTDB 的开发者。操作
本专栏介绍时序数据的文件交付、数据库查询、脚本分析与模型预测。00 篇用飞机试飞说明应用场景;01–08 篇沿用同一份四行机房温湿度样例演示操作;09 篇介绍模型接入,需要另外准备连续的历史序列。 阅读顺序 序号 文章 内容 00 玩转 TsFile|00-专栏导读:AI-Native 的时序数据集 理解数据格式、访问工具与业务说明的分工