Tensorflow.js tf.image.nonMaxSuppressionWithScoreAsync()函数

Tensorflow.js 是谷歌开发的一个开源库，用于在浏览器或节点环境中运行机器学习模型以及深度学习神经网络。

.image.nonMaxSuppressionWithScoreAsync()函数用于在iou 的基础上异步执行限制框的非最大抑制，即在并集上的交集。此外，此操作还支持 Soft-NMS 模式，其中框会降低不同相交框的规定分数，因此除了高分外，还支持图像的各个区域。为了启用上述 Soft-NMS 模式，我们需要将 softNmsSigma 参数设置为大于零。

句法：

tf.image.nonMaxSuppressionWithScoreAsync(boxes, scores, maxOutputSize,
iouThreshold?, scoreThreshold?, softNmsSigma?)

参数：此方法接受以下参数：

• box：指定的 2d 张量，其配置为 [numBoxes, 4]。并且每次访问都是 [y1, x1, y2, x2]，允许 (y1, x1) 和 (y2, x2) 是限制框的边缘。它可以是 tf.Tensor2D、TypedArray 或 Array 类型。
• 分数：规定的一维张量，前提是盒子分数是配置 [numBoxes]。它的类型为 tf.Tensor2D、TypedArray 或 Array。
• maxOutputSize：这是要选择的指定框的最大计数。它是数字类型。
• iouThreshold：它是表示阈值的规定浮点数，以确定规定的框是否与 IOU 相交太多。它应该在 [0, 1] 的中间。默认值为 0.5，即 50% 的框相交。它是可选的，类型为 number。
• scoreThreshold：它是规定的阈值，以便根据规定的分数决定在哪些时间删除框。默认值为-inf，即允许每个分数。它是可选的，类型为 number。
• softNmsSigma：它是类型 number 的可选参数。它是指定的浮点数，表示有利于软 NMS 的 sigma 参数。此外，如果 sigma 为零，则返回到 nonMaxSuppression。

返回值：它返回 {[name: 字符串]: tf.Tensor} 的承诺。

示例 1：使用 2d 张量、分数和 maxOutputSize 参数。

Javascript

// Importing the tensorflow.js library
const tf = require("@tensorflow/tfjs")
  
// Calling image.nonMaxSuppressionWithScoreAsync() method
const output = tf.image.nonMaxSuppressionWithScoreAsync(
    tf.tensor2d([1, 2, 3, 4, 2, 4, 6, 7], [2, 4]), [1, 1], 4);
  
// Printing output
console.log(output.then((result) => console.log(result)));

输出：

{
  selectedIndices: Tensor {
    kept: false,
    isDisposedInternal: false,
    shape: [ 2 ],
    dtype: 'int32',
    size: 2,
    strides: [],
    dataId: { id: 2 },
    id: 2,
    rankType: '1'
  },
  selectedScores: Tensor {
    kept: false,
    isDisposedInternal: false,
    shape: [ 2 ],
    dtype: 'float32',
    size: 2,
    strides: [],
    dataId: { id: 3 },
    id: 3,
    rankType: '1'
  }
}

示例 2：使用浮点数组、iouThreshold、scoreThreshold 以及 softNmsSigma。

Javascript

// Importing the tensorflow.js library
const tf = require("@tensorflow/tfjs")
  
// Defining an array of floats
const arr = [[11.1, 2.3, 7.3, 6.4], [3, 6]]
  
// Calling image.nonMaxSuppressionWithScoreAsync() method
const output = tf.image.nonMaxSuppressionWithScoreAsync(
    arr, [2.1, 0], 100, 0.5, 1, 0.5);
  
// Printing output
console.log(output.then((result) => console.log(result)));

输出：

{
  selectedIndices: Tensor {
    kept: false,
    isDisposedInternal: false,
    shape: [ 1 ],
    dtype: 'int32',
    size: 1,
    strides: [],
    dataId: { id: 2 },
    id: 2,
    rankType: '1'
  },
  selectedScores: Tensor {
    kept: false,
    isDisposedInternal: false,
    shape: [ 1 ],
    dtype: 'float32',
    size: 1,
    strides: [],
    dataId: { id: 3 },
    id: 3,
    rankType: '1'
  }
}

参考： https://js.tensorflow.org/api/latest/#image.nonMaxSuppressionWithScoreAsync