torch.nn.Embedding()参数讲解

nn.Embedding(26, self.dim,padding_idx=0)

num_embeddings：表示词典中词的数量
embedding_dim：表示每个词对应的向量维度

import torch
import torch.nn as nn
embed = nn.Embedding(10, 3, padding_idx=0)  # padding_idx 默认是0  #  最终向量中的值为0的继续嵌入为0，如果设置为3的话，那么向量中值为3的位置的向量也将嵌入为0
embed.weight
x = torch.tensor([[2, 2, 0, 3], [0, 2, 5, 4]])
embed(x)
Out[8]: 
tensor([[[ 0.9097, -1.5647, -0.5765],
         [ 0.9097, -1.5647, -0.5765],
         [ 0.0000,  0.0000,  0.0000],
         [ 0.1778,  0.9987, -0.8740]],
        [[ 0.0000,  0.0000,  0.0000],
         [ 0.9097, -1.5647, -0.5765],
         [-0.0806, -0.3999,  1.4711],
         [-0.9512,  0.7769,  1.3397]]], grad_fn=<EmbeddingBackward>)