微软为主要维护者之一的DirectML PyTorch公开预览版本现在已经发布，该版本新增支援不少热门的Transformer模型，包括GPT2、BERT和Detection Transformers，也就是说，开发者现在可以利用具有GPU加速的PyTorch，来训练常用Transformer模型。微软提到，要使用PyTorch和DirectML训练Transformer模型的开发者，可以先参考GitHub的新范例。
这个新版本的DirectML PyTorch除了支援Transformer模型，同时也包含其他更新，包括改进记忆体消耗，并且拥有更快的效能，同时也能处理更大批次的工作。
简单来说，DirectML让使用者可以利用AMD、英特尔和Nvidia的GPU，在Windows硬体上使用硬体加速，进而提升机器学习训练工作负载速度。带有DirectML的PyTorch版本，支援在DirectX 12相容的硬体上，执行复杂机器学习模型的训练和推理。
目前最新版本的Windows 10和WSL都支援带有DirectML技术的PyTorch，开发者现在可以下载PyPI套件，并且开始进行Transformer模型应用开发。