欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Pytorch:transpose、view、t()、contiguous()

程序员文章站 2022-03-04 13:33:21
...

Pytorch:transpose、view、t()、contiguous()日萌社

人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)


 

1.view(*args) → Tensor
    返回一个有相同数据但大小不同的tensor。 
    返回的tensor必须有与原tensor相同的数据和相同数目的元素,但可以有不同的大小。
    一个tensor必须是连续的contiguous()才能被查看。

2.contiguous() → Tensor
    返回一个内存连续的有相同数据的tensor,如果原tensor内存连续则返回原tensor

3.is_contiguous() → bool
    如果该tensor在内存中是连续的则返回True。
=======================================================

1.transpose(维度的索引值, 维度的索引值) 和 view(维度值, 维度值) 之间的前后调用顺序
  因为view进行维度变换之后也不会改变元素值的顺序存储结构,而transpose进行维度变换之后会改变元素值的顺序存储结构。
    1.view(维度值, 维度值).transpose(维度的索引值, 维度的索引值)
        先view后transpose的话,两者中间无需调用contiguous()。
    2.transpose(维度的索引值, 维度的索引值).contiguous().view(维度值, 维度值)
        先transpose后view的话,两者中间需要调用contiguous()。
    3.contiguous()的作用
        返回一个内存连续的有相同数据的tensor,如果原tensor内存连续则返回原tensor。
        也就是说contiguous()便可以把经过了transpose或t()操作的tensor重新处理为具有内存连续的并且数据值并没有改动的tensor。

2.x = x.transpose(1, 2).contiguous().view(batch_size, -1, head * d_k)
        输入的x的形状为[batch size, head, 句子最大长度max_len, d_k],
        先执行x.transpose(1, 2)后变换为[batch size, 句子最大长度max_len, head, d_k],
        然后因为先执行transpose后执行view的话,两者中间先要执行contiguous,
        把经过了transpose或t()操作的tensor重新处理为具有内存连续的有相同数据的tensor,
        最后才能执行view(batch_size, -1, head * d_k) 把 [batch size, 句子最大长度max_len, head, d_k]
        变换为 [batch size, 句子最大长度max_len, embedding_dim词向量维度],head * d_k 等于 embedding_dim词向量维度。

3.model(x).view(batch_size, -1, head, d_k).transpose(1, 2) 
        view(batch_size, -1, head, d_k) 会把 model模型输出 处理为 [batch_size, -1, head, d_k],
        最终再transpose(1, 2) 转换为 (batch_size, head, -1, d_k)

4.data = data.view(batch size, -1).t().contiguous()
        view不会改变内存中元素存储的顺序,但transpose和t()都会改变内存中元素存储的顺序,t()表示T转置。
        最后再使用contiguous()把经过了transpose或t()操作的tensor重新处理为具有内存连续的有相同数据的tensor。