7月11日，媒体semi analysis发表文章，曝光了GPT-4从模型架构、模型训练到成本的细节。文章指出，OpenAI之所以不开源，是因为他们构建的大模型是可复制的，未来中国和美国的互联网大厂及AI头部初创企业，都会有能力构建出可以和GPT-4媲美甚至超越GPT-4的大模型。而OpenAI最持久的护城河，就在于他们拥有真实用户的使用反馈，业内最顶尖的工程人才，以及先发优势带来的领先地位。文章指出，GPT-4在120层中总共包含了1.8万亿参数，而GPT-3只有约1750亿个参数。OpenAI通过使用混合专家模型来控制成本，GPT-4拥有16个专家模型。GPT-4在大约25000个A100上训练了90到100天，训练成本大约是6300万美元。GPT-4的多模态能力是在文本预训练之后，又用大约2万亿token进行了微调。下一代模型GPT-5将从头开始进行视觉训练，能自己生成图像甚至音频。（华尔街见闻）