GPT之于自动驾驶意味着什么？
文丨智驾网 黄华丹
ChatGPT带火了AI，当GPT遇到自动驾驶，又会发生怎样的化学反应？
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT？能实现什么？
顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。
以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：
1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的便会产生自车未来的轨迹信息。
3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的输出整个决策逻辑链。
也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language，就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么？
DriveGPT雪湖·海若的训练和落地，离不开算力的支持。
今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。光有算力还不够，还需要训练和推理框架的支持。毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。
毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。
毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。
三是吞吐效率的升级。在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。
有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级，摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。
据顾维灏介绍，本次升级主要包括：
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。
顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级，毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
扫码关注公众号
扫码体验小程序版
暂无数据
chatgpt是OpenAI开发的一个大型预训练语言模型，通俗一点说就是一个聊天机器人。它是GPT-3模型的变体，ChatGPT经过了训练，可以根据接收到的输入生成类似人类的文本响应，具有更自然、更多样化的特点。用户可以向它提出无数问题，而且通常会得到有用的答案。chatgpt的算法介绍
ChatGPT背后的算法基于Transformer架构，这是一种使用自注意力机制处理输入数据的深度神经网络。Transformer架构广泛应用于语言翻译、文本摘要、问答等自然语言处理任务。以ChatGPT为例，该模型在大量文本对话数据集上进行训练，并使用自我注意机制来学习类人对话的模式和结构。这使它能够生成与它所接收的输入相适应且相关的响应。ChatGPT的特别功能
1、ChatGPT可用于创建能与用户进行对话的聊天机器人。
2、ChatGPT可以进行微调，以回答特定类型的问题，例如与特定领域或主题相关的问题。
3、ChatGPT可以用于创建与用户进行对话的虚拟代理或虚拟化身。
4、ChatGPT可用于根据输入数据生成类似人类的文本响应。chatgpt背后的机构
chatgpt是OpenAl研开发的一个大型预训练语言模型，OpenAl是一个研发机构，于2015年由硅谷投资者山姆·阿尔特曼和亿万富翁埃隆·马斯克作为非营利机构成立，并吸引了包括风险资本家皮特·蒂尔（Peter Thiel)在内的其他几个人的投资。2019年，该集团创建了一个相关的营利性实体，以接纳外部投资。
chatgpt模型的训练过程可以分为两个阶段：预训练和微调。
在预训练阶段，chatgpt模型使用大规模的文本数据进行自监督学习。该过程中，模型通过预测下一个单词的任务来学习语言模型。具体来说，chatgpt模型将输入的文本数据进行拆分，生成一组特殊的输入输出序列。输入序列是模型在未看到下一个单词之前的一段文本，而输出序列则是模型需要预测的下一个单词。在预测下一个单词时，模型通过上下文理解和语言规则，试图预测正确的单词。这个过程会重复进行多次，以训练模型对文本数据的理解和生成能力。
在微调阶段，chatgpt模型使用人工标注的对话数据对其进行进一步训练。这些对话数据通常由人类生成，其中包含了对话的输入和期望的回答。模型将对话的输入作为输入序列，并尝试预测对应的回答作为输出序列。通过这种方式，模型可以学习到如何根据对话的上下文生成合理的回答。微调的目的是让模型适应实际对话的特点和相关任务的需求。
在训练过程中，chatgpt模型使用了一种称为“Transformer”的神经网络架构。Transformer模型采用了自注意力机制，它可以在不同位置的单词之间建立关联，并且能够处理长距离的依赖关系。这种机制允许模型在理解和生成对话时能够关注到重要的上下文信息。
chatgpt模型通过预训练和微调两个阶段来训练一条数据。预训练阶段使用大规模的文本数据进行自监督学习，而微调阶段使用人工标注的对话数据进行进一步训练，以适应实际对话任务的需求。
chatGPT模型是通过进行自监督学习的方式来训练的。下面是训练一条数据的详细步骤：
1. 数据预处理：输入数据需要经过一些预处理步骤。这包括将对话文本拆分成单独的对话轮次，然后将每个对话轮次划分为输入和输出部分。
2. 特殊标记：为了帮助模型区分对话的不同部分，我们在输入和输出序列中插入一些特殊的标记。每个对话轮次的输入部分以“User:”开头，输出部分以“Bot:”开头。
3. Token化：我们将对话文本转换为模型可以理解的标记表示。chatGPT模型使用的是GPT模型的变种，其中输入和输出序列被分成固定长度的标记（tokens）。
4. 数据增强：为了增加模型的鲁棒性，我们对原始对话数据进行数据增强。这包括进行重排、增加随机噪声等操作，以提供更多的多样性。
5. 输入输出对构建：为了训练一个能够预测下一个标记的模型，我们需要将输入和输出组合成训练示例。我们将每个对话轮次的输入作为模型的输入，将对应的输出作为目标。注意，模型只能利用前面的对话轮次来预测下一个标记。
6. 模型训练：经过数据处理和准备之后，我们使用这些训练对构建一个自监督学习任务。具体地，我们使用GPT模型的变种，如Transformer模型，在大量的对话数据上进行训练。模型通过最大化预测目标标记的概率来优化自己的参数。
7. 自回归预测：在训练过程中，模型在每个时间步骤都需要生成下一个标记。这种自回归预测的方式使得模型能够基于之前的标记来生成更准确的预测。
8. 反向传播和参数更新：通过比较模型生成的标记和目标标记，我们可以计算损失函数，并使用反向传播算法来计算模型参数的梯度。我们使用优化算法（如随机梯度下降）来更新模型的参数，以减小损失函数。
9. 迭代训练：以上步骤会在大量的对话数据上进行迭代多次，直到模型的性能达到预期为止。训练过程中，可以根据需要调整模型的超参数，例如学习率、批次大小等。
chatGPT模型通过将对话数据进行预处理、数据增强、输入输出对构建、模型训练等步骤来训练一条数据，以生成对话中下一个标记的预测。这样的训练过程使得模型能够学习到对话的语法、语义以及对话上下文的理解。
chatGPT念“柴特鸡皮题”，GPT全称Generative Pre- -trained Transformer，是一种预训练语言模型，这种模型读的越多，也就懂的越多。Chat是聊天的意思，顾名思义，ChatGPT的核心是GPT模型，只不过加上了一个能跟人聊天的对话框。
2023年2月7日，微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎Bing（必应）和Edge浏览器。微软CEO表示，“搜索引擎迎来了新时代”。
2023年2月8日凌晨，在华盛顿雷德蒙德举行的新闻发布会上，微软宣布将OpenAI传闻已久的GPT-4模型集成到Bing及Edge浏览器中。chatGPT的规范使用
2023年2月，媒体报道，欧盟负责内部市场的委员蒂埃里·布雷东日前就“聊天生成预训练转换器”发表评论说，这类人工智能技术可能为商业和民生带来巨大的机遇。
但同时也伴随着风险，因此欧盟正在考虑设立规章制度，以规范其使用，确保向用户提供高质量、有价值的信息和数据。
1750亿个参数。
GPT3模型有1750亿个参数，ChatGPT是基于GPT3.5。
参数量就是指，模型所有带参数的层的权重参数总量，也叫参变量，是一个变量。我们在研究当前问题的时候，关心某几个变量的变化以及它们之间的相互关系，其中有一个或一些叫自变量，另一个或另一些叫因变量。
GPT之于自动驾驶意味着什么？
文丨智驾网 黄华丹
ChatGPT带火了AI，当GPT遇到自动驾驶，又会发生怎样的化学反应？
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT？能实现什么？
顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。
以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：
1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的便会产生自车未来的轨迹信息。
3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的输出整个决策逻辑链。
也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language，就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么？
DriveGPT雪湖·海若的训练和落地，离不开算力的支持。
今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。光有算力还不够，还需要训练和推理框架的支持。毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。
毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。
毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。
三是吞吐效率的升级。在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。
有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级，摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。
据顾维灏介绍，本次升级主要包括：
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。
顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级，毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
GPT（Generative Pre-trained Transformer）是一种预训练的语言模型，使用Transformer架构来处理自然语言处理（NLP）任务。GPT能够生成人类可读的自然语言文本，例如对话、文章或新闻报道。GPT是由OpenAI开发的，其最新版本是GPT-3，其被认为是目前最先进和最具有代表性的自然语言处理模型之一。通过使用大规模的预训练数据和自主学习技术，GPT能够捕捉自然语言中的语法规则、常见的表达方式、常见的上下文和语义含义等。