tongchenkeji
发表于：0次点击

DMS对 两亿的一张表归档， 按月归档，比如归档 1月份的，等一段时间，再归档2月份的 ，怎么操作？[阿里云数据管理DMS]

DMS现在有个需求，对 两亿的一张表归档， 按月进行归档，比如归档 1月份的，等待一段时间，再归档2月份的 怎么操作？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
数据管理DMS# 数据库管理1887# 数据管理1957
=====这是一个广告位，招租中，联系qq 78315851====
数据管理DMS
DMS的数据导入，就是识别不到新增加的实力？旧的都过期了，又显示状态正常。[阿里云数据管理DMS]
数据管理DMS
DMS目前是想物理库 去分表，怎么实现？[阿里云数据管理DMS]
4 条回复 A 作者 M 管理员

  1. 对于您的需求，建议您按照以下步骤操作：

    1. 创建子分区表

    首先，根据您的需求，创建一个新的子分区表，以便将数据按月份分开。您可以根据实际需求选择合适的分区方法。

    CREATE TABLE history (    id INT,    value TEXT,    addtime TIMESTAMP)PARTITION BY RANGE ( YEAR(addtime), MONTH(addtime) ) (    PARTITION p0 VALUES LESS THAN (1970, 1),    PARTITION p1 VALUES LESS THAN (1970, 2),    ...);
    1. 使用INSERT INTO SELECT语句进行复制

    接下来，可以使用INSERT INTO SELECT语句将原始表的数据复制到新的子分区表中。您可以根据实际需求更改SELECT语句中的条件。

    INSERT INTO historySELECT * FROM main_table WHERE YEAR(addtime) = 2023 AND MONTH(addtime) = 1;
    1. 更新主键索引

    如果您在主表中设置了主键，则应在复制完数据后更新新子分区表上的主键索引。否则，可能会影响查询性能。

    ALTER TABLE history ADD PRIMARY KEY (id);
    1. 删除旧记录

    最后，在确认新子分区表中的数据无误之后，可以删除原始表中的旧记录。您可以根据实际需求更改DELETE语句中的条件。

    DELETE FROM main_table WHERE YEAR(addtime) = 2023 AND MONTH(addtime) = 1;
    已喜欢 已反对

  2. 根据您提供的信息, MySQL 数据库的大表数据归档可以采用分区技术或存储过程等方法进行。以下是具体的步骤:

    1. 对源表进行分区: 将源表按照需要归档的时间范围进行分区, 如按月份分区。
    2. 创建目标表: 在目标数据库中创建一个新的表, 其结构与源表相同。
    3. 使用分区交换技术将源表中的历史数据移动到目标表中: 这种方法可以在不影响在线服务的情况下完成数据迁移。
    4. 执行 OPTIMIZE TABLE 命令: 在完成分区交换之后, 需要对源表进行优化以释放磁盘空间。
    5. 定期重复上述步骤: 根据业务需求, 可以设置定时任务或事件调度器, 按照预定的时间间隔执行数据归档任务。
    已喜欢 已反对

  3. 可以按照以下步骤实现按月归档：

    1. 使用日期字段筛选需要归档的数据：首先确定需要归档的数据范围，然后使用SQL查询语句筛选出符合条件的数据；
    2. 将筛选出的数据导出到新的表中：将筛选出的数据导出到一个新的表中，用于归档；
    3. 创建视图：将原始表中的未归档数据以及归档表中的归档数据合并到一个视图中，这样就可以方便地进行后续的数据查询；
    4. 删除原始表中的归档数据：最后，可以安全地删除原始表中已经被归档的数据，以减少数据冗余和提高效率。
    已喜欢 已反对

  4. 只能建多个工单进行归档。此回答整理自钉群“阿里云DMS数据管理用户交流群”

    已喜欢 已反对

  5. 对于大规模的数据归档，通常我们会使用分区表或者归档表的方式来实现。以下是一个基本的步骤：

    1. 创建一个新的表，用于存储归档后的数据。这个表的结构应该与原始表相同，但是需要添加一个额外的字段，例如archive_date，用于记录数据的归档时间。

    2. 在新的表中，按照你需要的规则（例如，按月）对表中的数据进行分区。这可以通过在查询语句中使用PARTITION BY子句来实现。例如，如果你想要按照月份对数据进行分区，你可以这样写：

      CREATE TABLE archive_table ASSELECT * FROM original_tablePARTITION BY MONTH(data_date);

    3. 将原始表中的数据迁移到新的表中。你可以使用INSERT INTO ... SELECT FROM的语句来实现。例如：

      INSERT INTO archive_tableSELECT * FROM original_table;

    4. 删除原始表中的数据。这可以通过使用TRUNCATE TABLE的语句来实现。例如：

      TRUNCATE TABLE original_table;

    5. 定期重复步骤2-4，以便在新的表中不断添加新的数据，同时保持原始表为空。

    请注意，这只是一种基本的方法，具体的实现可能需要根据你的数据库系统和具体的需求进行调整。在进行大规模的数据操作时，一定要小心谨慎，避免对生产环境造成过大的影响。

    已喜欢 已反对