signed

QiShunwang

“诚信为本、客户至上”

关于NLP模型GPT-2的学习笔记(三)

2021/3/20 23:51:06   来源:

关于NLP模型GPT-2的学习笔记(三)

文章目录

  • 关于NLP模型GPT-2的学习笔记(三)
  • 前言
  • 一、准备工作
  • 二、文本生成
  • 三、模型训练
  • 总结


前言

前面主要介绍了GPT-2的基本原理和工作流程,本次会进行一些训练模型和模型使用的实践


一、准备工作

首先从github下载GPT-2的程序和部分已经训练好的模型

GPT-2模型

在下载好之后,将程序解压到制定位置,注意路径尽量不要包含中文

二、文本生成

我们先打开命令行设置路径到对应位置
在这里插入图片描述
在生成文本时,使用generate.py文件,其中有一些参数可以配置,在生成效果不好时可以调节,–save_samples用于保存生成的文本阳样例
在这里插入图片描述

三、模型训练

当进行模型训练时,使用train.py文件,在运行之前,要先选择需要训练的语料,在上面的连接中已经有可用的语料可以下载

下载好语料后,将语料放到/data/train.json文件中,注意要保证文件格式正确

做好准备工作后,就可以开始训练了,运行上一级目录的train.py开始训练,如果电脑性能不足,可以调低其中的部分参数
在这里插入图片描述
下面就是训练过程,等待全部结束就可以得到训练好的模型了
在这里插入图片描述


总结

到此为止本文简单介绍了GPT-2模型训练的操作方法,测试训练完成的模型的实际效果需要更多的实践来积累经验,后续会对于GPT模型进行更多的介绍。