本文介绍如何从火山引擎 TOS 导入 CSV、Parquet 和 SQL 文件。

背景信息

如果您有 SQL、CSV 或 Parquet 格式的数据文件，您可以选择适合的方法将这些文件导入到云数据库 TiDB 版。具体的导入场景和方法如下：

导入本地 CSV 文件到云数据库 TiDB 版

您可以将本地 CSV 文件导入到云数据库 TiDB 版。

从火山引擎 TOS 导入数据到云数据库 TiDB 版

支持将 CSV 、Parquet、SQL 文件从火山引擎 TOS 导入到云数据库 TiDB 版。

使用 MySQL CLI 第三方工具导入

您可以通过 MySQL 命令行客户端向云数据库 TiDB 版导入数据。

前提条件

已创建集群，且集群状态为 Active。

注意事项

为保证数据一致性，云数据库 TiDB 版仅允许将 CSV 文件导入到空表中。如果您需要将数据导入到已存在且包含数据的表中，可以按照本文档的方式先将数据导入到一个临时空表，然后使用 INSERT SELECT 语句将数据复制到目标已存在的表中。

操作步骤

登录云数据库 TiDB 版控制台。

在顶部菜单栏，选择集群所属的项目和地域。

单击目标集群名称，进入概览页。

单击导入您自己的数据。

单击从云存储导入数据，进行以下配置：

参数	说明
存储提供方	火山引擎 TOS。说明如何在对象存储 TOS 控制台创建存储桶、上传文件和获取文件 URI，详情请参见对象存储控制台快速入门。
源文件 URI	请输入源文件夹的 URI 路径，可批量导入该文件夹下所有文件。格式为 tos://[bucket_name]/[data_source_folder]/。说明若您导入单个文件，也请输入该文件所在文件夹的 URI 路径。请勿输入该文件本身的 URI 路径，避免导入失败。
AccessKey ID	请输入您的 AccessKey ID。说明如何获取 AccessKey ID 及 AccessKey Secret，请参见 Access Key（密钥）管理。
AccessKey Secret	请输入您的 AccessKey Secret。

单击下一步，进入映射页面，在目标映射区域可选择是否使用 TiDB 文件命名规范进行自动映射：

使用 TiDB 文件命名规范进行自动映射

手动配置映射规则

保持勾选使用 TiDB 文件命名规范进行自动映射（默认）。

选择数据源的数据格式，支持选择 CSV、Parquet、Aurora Snapshot 或SQL 格式。

若选择 CSV 格式：

源：所有命名为 ${db_name}.${table_name}[.${suffix}].csv[.${compress}] 且匹配所选数据格式的文件都将用作数据源。

目标：数据将根据源文件中的命名模式导入到数据库和表中：${db_name}.${table_name}；如果未找到对应的数据库或表，您源中的以下 schema 文件将被执行以创建以下数据库 {db_name}-schema-create.sql 和表{db_name}.{table_name}-schema.sql。

说明

单击编辑 CSV，可进行配置，详情请参见配置 CSV。

若选择 Parquet 格式：

源：所有命名为 ${db_name}.${table_name}[.${suffix}][.${compress}].parquet 且匹配所选数据格式的文件都将用作数据源。

目标：数据将根据源文件中的命名模式导入到数据库和表中：${db_name}.${table_name}；如果未找到对应的数据库或表，您源中的以下 schema 文件将被执行以创建以下数据库 {db_name}-schema-create.sql 和表{db_name}.{table_name}-schema.sql。

若选择 Aurora Snapshot 格式：

源：所有命名为 ${db_name}.${table_name}/${suffix}.parquet 且匹配所选数据格式的文件都将用作数据源。

说明

源端为兼容 MySQL 的 Aurora 集群，需先将其快照导出为 Parquet 文件，每个源数据文件必须以 .parquet 作为后缀，存放于 {db_name}.{table_name}/ 的文件夹中，完整命名规范详见 TiDB 文件命名规范。

目标：数据将根据源文件中的命名模式导入到数据库和表中：${db_name}.${table_name}；如果未找到对应的数据库或表，您源中的以下 schema 文件将被执行以创建以下数据库 {db_name}-schema-create.sql 和表{db_name}.{table_name}-schema.sql。

若选择 SQL 格式：

源：所有命名为 ${db_name}.${table_name}[.${suffix}].sql[.${compress}] 且匹配所选数据格式的文件都将用作数据源。

目标：数据将根据源文件中的命名模式导入到数据库和表中：${db_name}.${table_name}；如果未找到对应的数据库或表，您源中的以下 schema 文件将被执行以创建以下数据库 {db_name}-schema-create.sql 和表{db_name}.{table_name}-schema.sql

单击下一步，进入预检查页面，云数据库 TiDB 版会自动扫描源文件。

查看扫描结果，检查找到的数据文件及其对应的目标表，然后单击开始导入。

当导入进度显示完成时，您可检查已导入的表。

常见问题

当您运行导入任务时，如果检测到任何不支持或无效的转换，云数据库 TiDB 版会自动终止导入任务并报告导入错误。如果您遇到导入错误，请执行以下操作：

删除部分已导入的表。

检查表结构文件，如有错误请修正。

检查 CSV 文件中的数据类型。

重新尝试导入任务。

故障排查

解决数据导入过程中的警告

单击开始导入后，若遇到类似 can't find the corresponding source files 的警告信息，请通过提供正确的源文件、按照 TiDB 文件命名规范重命名现有文件。解决这些问题后，请您重新导入数据。

导入表中行数为零

当导入进度显示已完成后，检查已导入的表。如果行数为零，说明没有数据文件匹配您输入的桶路径。此时，请通过提供正确的源文件、按照 TiDB 文件命名规范重命名现有文件。解决这些问题后，请您重新导入数据。

参数	说明
源	输入源文件模式。源文件模式支持 CSV、Parquet、Aurora Snapshot、SQL 格式，各格式说明如下： CSV：[file_name].csv，例如：TableName.csv。 Parquet：[file_name].parquet，例如：TableName.parquet。 Aurora Snapshot：[file_name].parquet，例如：TableName.parquet。说明若源端为兼容 MySQL 的 Aurora 集群，需先将其快照导出为 Parquet 文件，每个源数据文件必须以 .parquet 作为后缀，存放于 {db_name}.{table_name}/ 的文件夹中，完整命名规范详见 TiDB 文件命名规范。 SQL：[file_name].sql，例如：TableName.sql。您也可以使用通配符批量匹配文件，支持 * 和 ? 通配符。* 匹配多个字符，? 匹配一个字符。示例如下： my-data*.csv：匹配所有以 my-data 开头的 CSV 文件，如 my-data-2023.csv 和 my-data-final.csv。 my-data?.csv：匹配所有以 my-data 开头，后跟单个字符的 CSV 文件，如 my-data1.csv 和 my-data2.csv。
目标数据库	指定目标数据库。
目标表	指定目标表。