Tensorflow.js tf.data.Dataset 类 .shuffle() 方法

在Tensorflow.js中，我们可以使用tf.data.Dataset类来加载和管理数据。其中，.shuffle()方法可以将我们的数据集随机化，增加训练过程的随机性，提高模型泛化能力。本文将介绍tf.data.Dataset类中.shuffle()方法的使用以及注意事项。

创建数据集

首先，我们需要创建一个数据集。以下代码演示了如何从数组中创建一个数据集，并将其拆分为训练集和测试集：

const FEATURES = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10]];
const LABELS = [[2], [4], [6], [8], [10], [12], [14], [16], [18], [20]];

const dataset = tf.data.array(FEATURES).zip(tf.data.array(LABELS));
const trainDataset = dataset.take(8).batch(4);
const testDataset = dataset.skip(8).batch(2);

这里，我们使用tf.data.array()方法从JavaScript数组FEATURES和LABELS中创建了一个数据集。我们将这个数据集拆分成大小为4的批次，前8个批次用作训练集，后2个批次用作测试集。可以看到，我们使用了.take()和.skip()方法对数据集进行切分，使用.batch()方法对数据集分批。

.shuffle()方法使用

接下来，我们将介绍如何使用shuffle()方法对训练集进行随机化：

const SHUFFLE_SIZE = 4;

const shuffledTrainDataset = trainDataset.shuffle(SHUFFLE_SIZE);

shuffle()方法需要一个参数，即缓冲区大小。该参数的值越大，随机化的程度越高，但内存消耗也越大。通常情况下，我们将缓冲区大小设为数据集大小的一半。

在上面的例子中，我们将训练集随机化，并将其保存到一个新的数据集中。现在，我们可以使用shuffledTrainDataset进行模型的训练了。

注意事项

需要注意的是，.shuffle()方法只会对每个批次内的数据随机化，而不会对批次之间的顺序进行随机化。如果您想对整个数据集进行随机化，可以在每个epoch开始时调用一次shuffle()方法。

另外，如果您的数据集比较大，您可能需要使用.shuffle()方法和.prefetch()方法来手动控制内存的管理。

const SHUFFLE_SIZE = 100;
const BATCH_SIZE = 32;

const dataset = tf.data.csv('path/to/data.csv', {
  columnConfigs: {
    x: {
      isLabel: true
    }
  }
}).map(({xs, ys}) => ({xs: Object.values(xs), ys: Object.values(ys)}));

const trainDataset = dataset
  .shuffle(SHUFFLE_SIZE)
  .batch(BATCH_SIZE)
  .prefetch(1);

const testDataset = dataset
  .batch(BATCH_SIZE)
  .prefetch(1);

在上面的例子中，我们使用了tf.data.csv()方法从.csv文件中加载数据集。我们通过.map()方法将数据集中的对象转换为具有xs和ys属性的对象。我们将训练集随机化、分批并预取一个批次的数据(使用.prefetch(1))，测试集仅进行分批和预取操作。这样，我们就可以更好地管理内存。