近日，清华大学新闻学院教授、博导，清华大学新闻学院元宇宙文化实验室主任，清华大学新闻学院新媒体研究中心主任-沈阳，带领团队发布《AIGC发展研究》报告。该报告对ChatGPT、AIGC的产业发展、技术趋势、场景化落地、产业融合、职业规划、未来发展等进行了深度剖析，这也是国内最全面的AIGC报告之一。以下是报告的部分重点内容：
一、类ChatGPT产品的研发过程
预训练过程：
1)数据收集，需要大量的文本数据作为训练的基础。
2)数据预处理，预处理的步骤包括文本清理、标准化、分词。
3)模型选择，GPT3.5使用的Transformer模型由多个编码器和解码器层组成，每一层都使用自注意力机制和全连接网络。
4)模型训练，训练过程是基于自监督的;通过反向传播和梯度下降进行，以最小化预测错误。
5)验证和测试在一个单独的测试集上评估模型的性能。
人机对话系统：
1)微调，在特定任务，如对话系统中，可借助RLHF(基于人类反馈的强化学习)对模型进行微调以优化其在特定任务上的性能。
2)系统设计，设计一套系统来处理用户的输入，生成模型的响应，以及管理对话的上下文。
3)评估和优化，评估模型在特定任务上的表现，如对话生成质量、准确性等。
4)部署和维护，将对话系统部署到实际生产环境，并进行持续维护和更新。
二、ChatGPT推理过程
理解输入：分布式语义解析，首先会接收文本序列，转化为词向量，也称为嵌入。该过程基于分布式语义假设，即词义由其在上下文中的使用决定。
参数关联：上下文焦点连锁，将这些词向量输入到Transformer的Encoder中生成上下文表示。可以看作是在其内部参数模型中寻找与输入相关的信息，也可视为一种连锁反应，因为每个词的上下文表示都取决于其前面的词的上下文表示。
生成回答：生成性概率建模，模型初始化Transformer的Decoder部分，并将Encoder的输出(即上下文表示)和当前的输出序列一同输入到Decoder中。Decoder会生成下一个词的概率分布。选择概率最大或其他设定的概率分布的词作为输出，这个词将被添加到输出序列。
选择最适回答：动态词串演化，重复上述步骤，每次都向输出序列中添加新的词，直到生成一个完整的输出序列。
三、ChatGPT的涌现能力
知识嵌入：从大量训练文本抽象丰富知识，包括事实、概念、理论、观点等，并在需要时候将这些知识嵌入到生成文本中。
上下文适应：生成与上下文高度一致的回应。
多样性生成：各种不同的主题、风格、情感。
创新思维：模仿人类，生成新观点表达方式。
复杂对话：理解和回应用户的问题、评论、反馈。
语义深化：理解和生成深度语义文本，如复杂的论述论证。
倾向性调控：生成具有某种倾向性的文本。
自我监控：避免生成不适当或有害的内容。
四、人工智能对齐
人工智能对齐(AIalignment)是指研究和开发将人工智能(AI)系统与人类价值观、目标和期望保持一致的方法。
人工智能对齐的目标是确保AI系统在为人类提供帮助时，不会给人类带来意外的负面影响或风险。随着AI技术的快速发展，尤其是强人工智能和通用人工智能，对齐问题变得越来越重要。
AI俱乐部，致力于打造最专业的AI交流社群。
星球将分享：
1、ChatGPT的使用方法，最新资讯，商业价。
2、邀请顶尖行业大佬，每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目，亲身感受AI浪潮。
4、系列课程和训练营，手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇，帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话，可以一起加入星球哦！
