TensorFlow通过规范总和的比例剪切张量的值

tf.clip_by_global_norm

clip_by_global_norm (  
    t_list ,  
    clip_norm ,  
    use_norm = None ,  
    name = None
  )

定义在:tensorflow/python/ops/clip_ops.py

参见指南:Training函数>梯度剪辑

通过他们的规范的总和的比例来剪辑多个张量的值.

给定一个元组或张量 t_list 的列表,以及一个剪辑比率 clip_norm,,此操作返回 t_list 中所有张量的 list_clipped 和全局范数 (global_norm) 的列表.或者, 如果您已经计算了 t_list 的全局范数,则可以使用 use_norm 指定全局范数.

要执行剪辑,t_list[i] 的值设置为:

t_list[i] * clip_norm / max(global_norm, clip_norm)

当:

global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))

如果 clip_norm > global_norm ,那么条目 t_list 保持原样,否则它们将被全局的比例缩小.

任何类型为 None 的 t_list 项都将被忽略.

这是执行渐变剪辑的正确方法.

然而,它比 clip_by_norm() 慢,因为在执行剪辑操作之前必须准备好所有的参数.

ARGS:

  • t_list:一个元组或混合张量、IndexedSlices 或 None 的列表.
  • clip_norm:一个0维 (标量) 张量 > 0,剪辑比率.
  • use_norm:一个0维 (标量) 类型浮点型 (可选) 的张量.使用全局的规范.如果不提供, global_norm () 用于计算范数.
  • name:操作的名称(可选).

返回:

  • list_clipped:与 list_t 具有相同类型的张量的列表.
  • global_norm:代表全球规范的0维 (标量) 张量.

注意:

  • TypeError:当 t_list 不是序列.


以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号

意见反馈
返回顶部