GLM模型原理的理解，就是预训练流程的梳理，如下流程所示：




input输入层会预处理输入数据，在预训练过程中，该输入数据，其实就是预先准备好的预料数据集，也就是常说的6B，130B大小的数据集。