ChatGPT 调研

1. 简介和影响

对于ChatGPT是什么现在就不用过多介绍了。

这是一场变革，彻底改变人类与机器交互方式的变革。

2007年苹果发布会带来的iPhone的轰动和影响是多方面的，它彻底颠覆了传统的手机设计和使用方式，开创了全新的移动互联网时代，并为苹果公司带来了巨大的商业价值和市场地位。

乔布斯发布iphone的时候，左滑屏幕进行解锁的那一幕一直被人们认为是划时代的一幕。它直接将手机从硬件键盘过渡到了全触摸屏的时代，智能手机从那个时候正式拉开序幕。在今天，触摸屏手机的基本范式仍然没有太多改变。

感兴趣大家可以去再次看看这个视频，看看视频下面的评论

https://www.bilibili.com/video/BV1C441187qa/

“Revolutionary mobile phone” | “We have reinvented the mobile phone.”

为什么这一幕如此具有意义？ 因为它改变了人机交互模式。

手指在屏幕上滑动，手机就能做出相应的反应。不需要鼠标，不需要触控笔，一切只需要每个人都有的，与生俱来的工具，手指。

那么这一次的ChatGPT可能具有同样的意义。

ChatGPT将会改变人机交互模式，带来全新的变革。自然语言可能将会是一切app面向用户的出口。

2. 核心技术

所有的这一切都离不开那篇论文，是的就是那篇，传说中应该放在21世纪博物馆的那张图。

Attention Is All You Need

2017年这篇论文的发布，将NLP带入了一个全新的Transformer时代，Transformer对大语言模型的重要意义在于:

1. 自注意力机制(self-attention)的提出,这一突破性设计使得Transformer可以学习语言的全局上下文信息,理解语义更深入。
2. 可并行化的架构,相比RNN和CNN,Transformer更高效和优化,能够训练出规模更大的模型。
3. 优秀的泛化能力,Transformer基于注意力的结构,更适合处理语言这样的序列数据,效果优于RNN和CNN。
4. 成功应用于无监督的语言模型中,尤其是大规模语言模型(GPT系列)的发展,使得Transformer彻底改变了NLP领域,带来了深远影响。

基于TransFormer结构，出现了很多NLP领域的变体模型，GPT2的成功使得OpenAI意识到，增加数据和堆叠算力是能够让模型得到提升的。所以可以看到GPT系列并没有强调任何技术的创新，而是不断强调其模型参数量的巨大。因为他们意识到了这条路，所以ChatGPT出现了。

相比于GPT只用了Transformer中的解码器结构，Bert只用了编码器结构，走的是另一条路线，可以看到大家的尝试主要还是集中在模型上，对模型进行不同角度的优化。百度的文心一言走的就是这条路。

这个简短的视频，复述了大语言模型的发展之路

3. 应用前景

3.1 数字内容的新生产方式

3.2 多模态领域的全新变革-跨模态生成

最近很火的文字生成图片的网站Midjourney，就是跨模态的一个例子。

3.3 全新的传媒领域

大家有兴趣可以去看看从2022年12月底ChatGPT发布之后传媒股，或者传媒相关的基金涨了多少🫣

4. 风险与展望

4.1 风险

• 你自己不知道的事情不要问GPT。首先你要对它的回答有一个基本的辨识能力，这个回答是有多少的可信度。
• 容错率较低的问题不要问GPT。比如医药行业，航空航天，银行账单等，几乎不允许犯错的领域不能完全依赖AI。不仅是GPT，对于所有AI模型的应用这样的格局会维持一段时间，人类的很多工作是允许犯错的，人的大脑是不完全逻辑严谨的工具，大脑也会犯错。但是有些行业是几乎不允许犯错的。有意思的是这一点和之前宣传的机器人完全相反哈，编程设定的机器人可以重复一个工作无数次都不犯错，可以精准到人眼无法保证精准的细微之处。这与AI Model是有点互补的意思感觉。
• 数值类算法不要问GPT。但是可以用GPT来辅助，比如让GPT调用Matlab或者python进行编程计算。
• 带来隐私和评论审查的挑战: ChatGPT依赖于海量数据,这可能导致隐私泄露或生成非政治正确的话语

4.2 算力 数据和算法是AI的三大核心要素

在我看来，数据是第一位的。

• 因为算力可以购买，现在最重要的AI资源GPU还是有Nvidia控制，基本没有第二家厂商可以替代，国产化芯片的道路是必走的，但是艰难程度是可想而知的。短时间内对于国内来说，算力还是掌握在具有大资本的大厂手里的，所以云服务器将是未来所有中小产业，创新孵化公司的出路。租用大厂的云服务器来实现算法落地是比较划算和可行的方案。

• 算法可以研发。2017年Transformer的出现给序列式模型带来了全新的变革。后面的技术几乎都来自于Transformer的变体。当然划时代的创新模型是可遇不可求的，其难度不是能够用时间来衡量的。但是我相信基于某些模型进行再次研发，研究变体的能力对于研究者来说都不是太过于艰难的课题。

• 数据：我为什么说数据是第一位的。因为数据是买不到的，是积累来的。特别是对于国内来说，很多行业内数据是这个公司长久深耕来的积蓄，几乎等同于其立足的根本。为什么现在比较成熟的是语言类模型，图像类模型，我认为主要的一个要素是这两部分的数据容易或得且数据量巨大。

4.3 展望和我的看法

这段时间ChatGPT的出现带来了一波又一波的冲击。随着国内的大模型逐一发布，可以看到“AI替代人类”的类似话题再一次被媒体提起。但是对于开发者们来说却是越来越兴奋的，因为第一批使用者大部分是开发人员和研发人员，他们并没有觉得这个玩意儿会替代自己，而是兴奋于它的出现，将会极大提高自己的工作效率。

我认为ChatGPT绝对不会替代人类，至少现在这个大语言模型不会。

它只是改变了人机交互模式。

它能做的事情确实很多，ChatGPT Plus和插件系统的出现，使得其能够自动调用多个app进行不同的任务。比如订机票，规划旅游路线等等。

但是现在还没有达到它能完全百分百做到像人类一样准确的吧，最后还是需要人去复查这个结果是否正确。

所以会替代的是没有拥抱AI的人们，不会使用AI的人们。

可以形象吧它比喻成当今时代的电脑，以前算个比较难的数学题目可能需要5张草稿纸，1个晚上。有电脑之后需要1个小时，而现在只需要一句话的时间。

时代不会觉得你用草稿纸手算就会优待你，它只会选择那个出活快的人。

咱就说现在不会用电脑的人还能找得着工作嘛🫡🧐

资源

大语言模型使用工具的能力 – 大厂接入会是什么样，全新的办公软件 https://www.bilibili.com/video/BV1Fo4y1h73Z/