ChatGPT认知白皮书(全方位系统解读.pdf
- 文档编号:18632318
- 上传时间:2023-08-23
- 格式:PDF
- 页数:152
- 大小:14.75MB
ChatGPT认知白皮书(全方位系统解读.pdf
《ChatGPT认知白皮书(全方位系统解读.pdf》由会员分享,可在线阅读,更多相关《ChatGPT认知白皮书(全方位系统解读.pdf(152页珍藏版)》请在冰点文库上搜索。
IChatGPT认知白皮书(讨论稿)(2023年2月)作者:
杜玉河工业4.0俱乐部工业人工智能创新中心开源工业联盟重要提示:
本报告仅供内部研究使用,不做投资参考,未经允许,不得复制与转发。
I前前言言虽然我们已经可以开始用ChatGPT进行聊天,写出一些让人想不到的东西。
但如果想了解开源人工智能,想了解ChatGPT完整的内容时。
我们还需要看各方面的报告,将信息进行拼图。
从这一角度看,人工智能要走的路还很多。
我从各种渠道采集了各种的报告,希望能从一个较客观我的角度来写一份报告。
让系统了解这一技术进步,以及这处技术给技术发展、产品发展、人工智能的解决方案及各种应用场景带来哪些好处。
对于普通的公司与普通人有什么样的影响呢?
结合这些年的工作,以及从2020年开始展开的认知对抗的经历,给大家尽可能呈现出一个客观我的场景。
客观来讲,ChatGPT这一次热潮本身就是由AIGC技术本身操纵出来的。
他在与大家聊天的同时,也在生成着大家关注的文章,带着节奏。
过去人工智能技术是由人帮人工智能技术去宣传与推广。
而这一次是人工智能自己为自己炒作。
当结合从去年底开始硅谷的裁员潮,可以看出传统领先的企业已开始采用新技术为自己提升生产力。
但这并没有止步于高科技公司。
带来的影响将是社会级的变化。
对于传统的人类来讲,是一次机会,同时也是一次挑战。
杜玉河2023年2月21日龙抬头I报告导读报告导读ChatGPT是0penAl开发的智能聊天机器人程序。
不仅能像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。
ChatGPT自发布以来爆火全球,月活破亿用时仅2个多月,被称为史上用户增长最快的消费者应用。
凭借其功能多样,ChatGPT未来的市场规模想象空间巨大,不同领域和形式的商业化尝试也在逐步推进中,但当下ChatGPT仍然只能起到辅助作用,技术之外的社会负面问题也值得我们关注。
随着各大巨头的纷纷涌入,ChatGPT概念成为市场追逐的热点,我们梳理出了部分包括百度、阿里等港股市场的关键公司。
I一、一、前世今生前世今生1.1基本概念基本概念ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构,也是GPT-3.5架构。
这是一种用于处理序列数据的模型,拥有语言理解和文本生成能力,尤其是它会通过连接大量的语料库来训练模型,这些语料库包含了真实世界中的对话,使得ChatGPT具备上知天文下知地理,还能根据聊天的上下文进行互动的能力,做到与真正人类几乎无异的聊天场景进行交流。
ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。
ChatGPT自2022年11月30日发布以来爆火全球,5天注册用户超100万,月活破亿用时仅2个多月,被称为“史上用户增长最快的消费者应用”。
I1.2ChatGPT为何如此火爆?
为何如此火爆?
首先,最本质的出圈原因就是大家对于其功能之强大和应用范围之广泛的惊叹,小到简单的文字对话交流,大到小说文案论文写作都不在话下,甚至可以实现代码编写。
并且ChatGPT在经过了大量数据训练之后,可以生成更自然、更多样化的响应,让人难以辨别其内容是Al生成还是真人撰写。
强大的功能使其在学生之间快速传播,甚至导致其在教育领域遭到“封杀”。
据海外媒体报道,美国某大学教授为学生作业评分时,读到了一篇没有错别字和语法错误的“最佳论文,最后发现是学生用ChatGPT完成的。
据调查显示,美国89%的大学生在用ChatGPT做作业,因此为了避免其危害,教育部开始限制学生对于ChatGPT的使用。
这也侧面反应了ChatGPT的强大功能和火爆程度。
过去Al技术已有诸多成功的商业化应用,例如基于人工智能算法的个性化推荐,但人们的感知并不强烈;而过去面向C端的产品,体验并不完善,并未在社会面引起巨大反响并传播开来。
因此ChatGPT的面世与出圈,堪称是迄今为止最成功的的C端人工智能应用,意味着Al技术对于普罗大众正式从幕后走向台前,这对于Al技术未来的发展和商业化运用都有着里程碑式的意义。
目前,ChatGPT已经在美国通过了律师从业资格证,并且打赢了很多起法律诉讼案件!
美国普林斯顿大学,还用ChatGPT拿来做医疗诊断,目前的准确率、可靠性已经远远超过资深的医生!
ChatGPT还通过了谷歌程序员考核,可以拿到18万元的年薪!
Ch来来来atGPT还可以帮高校毕业生书写论文,而且不重复,并高分通过审核!
ChatGPT画出来的画的质量也已经超过顶级画家的水准!
上面仅仅是举几个例子。
可以说,ChatGPT目前颠覆了太多行业,现在各行各业的从业者也是十分的焦虑。
例如,ChatGPT怎样颠覆房地产行业?
以前开发商拿地是盲目的预估,ChatGPT将会给开发商更加合理的拿地价格。
拿地后怎么开发,开发什么户型,怎么进行营销,ChatGPT都会给出更加合理的方案。
就是说,人工智能能够通过大数据整合、信息整合并通过合理的计算方式,自行学习后给出合理的方案。
业界有以下看法:
也许也许,这是一个可以控制整个元宇宙的技术,这是一个可以控制整个元宇宙的技术实现实现平台平台;一场意识形态的核战争就要来了一场意识形态的核战争就要来了;比经济危机更严重的危机来了。
比经济危机更严重的危机来了。
I1.3OpenAI公司深度分析公司深度分析1OpenAI(开放人工智能4)是美国一个人工智能研究实验室,由营利组织OpenAILP与母公司非营利组织OpenAIInc所组成,目的是促进和发展友好的人工智能,使人类整体受益。
OpenAI成立于2015年底,总部位于加利福尼亚州旧金山,组织目标是通过与其他机构和研究者的“自由合作”,向公众开放专利和研究成果。
创始人山姆柯曼以及伊隆马斯克的动机是出于对强人工智慧潜在风险的担忧。
至2018年,OpenAI的总部坐落于旧金山的米慎区,与伊隆马斯克的另一座公司Neuralink在同一办公室大楼。
1.3.1组织架构组织架构OpenAI于2019年转型为营利性人工智能研究实验室组织。
公司由两个实体组织组成:
OpenAI,Inc.,由非营利组织OpenAI和营利性组织OpenAILP控制。
OpenAILP由OpenAI,Inc(基金会)的董事会管理,作为普通合伙人。
同时,有限合伙人包括LP的员工、部分董事会成员以及ReidHoffman的慈善基金会、KhoslaVentures和微软,LP的主要投资者。
1https:
/zh.wikipedia.org/zh-hans/OpenAII1.3.2创始创始团队团队山姆柯曼、伊尔亚苏茨克维、格雷格布洛克曼、沃伊切赫扎伦巴、伊隆马斯克、约翰舒曼、安德烈卡帕西。
I1.3.3运作结构运作结构OpenAI细分为:
OpenAIInc.,这是一家单一成员特拉华州有限责任公司,OpenAI和OpenAILP控制。
微软是有限合伙人,它还有一项商业协议作为2019年投资的10亿美元的一部分,内容包含Microsoft/OpenAIAzureAI超级计算技术。
OpenAI产品通过在微软Azure上进行训练,而微软将是OpenAI人工智能新技术商业化的首选合作伙伴。
山姆山姆柯曼柯曼I伊尔亚伊尔亚苏茨克维苏茨克维FRS(英语:
IlyaSutskever,1985/1986年)是一名加拿大计算机科学家,从事机器学习的研究。
他是OpenAI的联合创始人及首席科学家。
苏茨克维对深度学习领域做出多项重大贡献。
他与亚历克斯克里泽夫斯基和杰弗里辛顿是卷积神经网络AlexNet的共同发明人。
他也是AlphaGo论文的众多作者之一。
21985年出生,出生地是俄罗斯诺夫哥罗德,这座城市位于俄罗斯西北部。
3虽然是俄罗斯出生,但伊尔亚主要是在以色列长大,像很多计算机达人一样,他从小就展现出对计算机的浓厚兴趣,并且学习优异,甚至在大学期间,也曾连跳两级。
借由人类大脑神经元的启发,上个世纪80年代,杰弗里辛顿将反向传播算法应用到了计算机深度学习,将联结主义人工智能带到了新的高度。
2015年,OpenAI成立,伊尔亚成为这家公司的首席科学家,年薪190万,而后续chatGPT的理论概念,诞生于伊尔亚与其他学者共同在2017年发布的一篇论文,次年,OpenAI推出了GPT的第一个版本,如今,GPT迭代到了GPT-3,参数量达到了1750亿,而最近爆火的chatGPT正是基于GPT-3.5开发,上线仅仅五天,就有了100万用户,就在前不久,ChatGPT实现了月活破亿。
2012年,由于辛顿的AlexNet神经网络大获成功,因其彻底打开全球深度学习的热潮,AlexNet又被看作是AI深度学习革命的开始。
2002年,伊尔亚全家移民至加拿大多伦多,正是在此期间,伊尔亚遇到了世界AI领域的顶级大神、多伦多大学教授杰弗里辛顿(GeoffreyHinton),他是美国计算机协会认可的“深度学习三巨头”之一,被业界称为深度学习教父!
2000年至2002年期间,苏茨克维在就读于以色列开放大学6。
2002年,他与家人移居加拿大,并转入多伦多大学,随后在杰弗里辛顿的指导下获得数学学士学位(2005年)6738、计算机科学硕士学位(2007年)79和博士学位(2012年)810。
2012年毕业后,苏茨克维在史丹佛大学的吴恩达那里做了两个月的博士后。
之后他回到多伦多大学,加入辛顿的新研究公司DNNResearch,这是辛顿研究小组的一个衍生产品。
四个月后,在2013年3月,Google收购了DNNResearch,并聘请苏茨克维为Google大脑的研究科学家。
在Google大脑,苏茨克维与奥里奥尔维尼亚尔斯和QuocVietLe合作创建了Seq2Seq学习算法。
2015年,苏茨克维被评为麻省理工科技评论35位35岁以下的创新者12。
2https:
/zh.wikipedia.org/zh-hans/%E4%BC%8A%E7%88%BE%E4%BA%9E%C2%B7%E8%98%87%E8%8C%A8%E5%85%8B%E7%B6%AD3https:
/年底,他离开Google,成为新成立的OpenAI的主管13。
2018年,苏茨克维是NVIDIANTECH和人工智慧前沿会议的主旨发言人。
他于2022年当选为英国皇家学会院士14。
2015年底,OpenAI成立,总部位于加利福尼亚州旧金山,组织目标是通过与其他机构和研究者的“自由合作”,向公众开放专利和研究成果。
2016年,OpenAI宣称将制造“通用”机器人,希望能够预防人工智能的灾难性影响,推动人工智能发挥积极作用。
2019年3月1日成立OpenAILP子公司,目的为营利所用。
2019年7月22日微软投资OpenAI10亿美元,双方将携手合作替Azure云端平台服务开发人工智慧技术。
2020年6月11日宣布了GPT-3语言模型,微软于2020年9月22日取得独家授权。
2022年11月30日,OpenAI发布了一个名为ChatGPT的自然语言生成式模型,它以对话方式进行交互。
在研究预览期间,用户注册并登陆后可免费使用ChatGPT。
但是该项目对一些包括中国大陆、香港在内的地区暂不可用。
伊隆伊隆马斯克马斯克2015年,马斯克和OpenAI现任CEOSamAltman等人共同创办了非营利组织OpenAI,对外宣称要避免人工智能灭世。
2018年,OpenAI突然把马斯克踢出了董事会,据媒体称是因为特斯拉深入研究自动驾驶的AI技术,与OpenAI出现了利益冲突。
除此以外,马斯克对于OpenAI的不满在一定程度上还要归咎于ChatGPT近期种种表现确实让人大跌眼镜,比如ChatGPT版必应搜索引擎对用户胡说八道,向用户示爱,突然发脾气,遭到质疑时还会PUA用户。
结合亲自试用的经验,马斯卡在推特上对ChatGPT开启了冷嘲热讽模式:
I此外,对于ChatGPT把马斯克列入具有争议性且应该得到“特殊对待”的名单,马斯克在一篇相关推文下面回了两个略显无奈的感叹号。
I1.3.4商业模式商业模式OpenAI的商业模式即API接口收费:
客户可以通过OpenAI的强大AI模型构建应用程序,例如访问执行各种自然语言任务的GPT-3、将自然语言翻译成代码的Codex以及创建和编辑原始图像的DALLE。
公司按照不同项目的AI模式和不同需求进行收费,对于AI图像系统I按不同的图片分辨率定价;对于AI语言文字系统按字符单价收费,对于调整模型和嵌入模型按照文字单价收费,并根据不同的调用模型区别定价。
目前DALLE方面,已有超过300万人在使用,每天生成超过400万张图像。
其API具备快速、灵活、可拓展等性质。
1.3.4产品矩阵产品矩阵OpenAI不仅仅是不仅仅是ChatGPT:
OpenAI的业务不仅仅局限于ChatGPT领域,还包括DallE2、Whisper等项目。
DALLE2可根据自然语言的描述创作逼真的绘画作品,Whisper是一种语言识别系统,其鲁棒性和准确性极高,支持多种语言的转录并翻译成英文。
1.3.4.1核心产品核心产品DALLE2一个可以根据自然语言的描述创建逼真的图像和艺术的人工智能系统。
对现有图像进行逼真的编辑。
拍摄图像并创建受原件启发的不同变体。
2021年1月,OpenAI推出DALLE1,并于一年后推出最新系统DALLE2,能够生成更逼真、更准确的图像,分辨率提高4倍。
DALLE2优于DALLE1的标题匹配和照片级真实感,字幕匹配度优于一代71.7%,照片级写实程度优于DALLE1的88.8%。
DALL-E2使用了一种改进的GLIDE模型,这种模型以两种方式使用投影的CLIP文本嵌入,DALL-E2先验子模型和图像生成子模型都是基于扩散模型的,体现了其在深度学习中的能力。
I1.4.3.2核心产品核心产品Whisper核心产品Whisper,一个自动语音识别(ASR)系统,对从网络收集的68万小时的多语言和多任务监督数据进行训练。
使用这样一个庞大而多样的数据集可以提高对口音、背景噪声和技术语言的鲁棒性。
支持多种语言的转录,以及将这些语言翻译成英语。
Whisper架构:
是一种简单的端到端方法,作为编码器-解码器Transformer实现。
输入音频被分成30秒的块,转换为log-Mel频谱图,然后传递到编码器中。
训练解码器来预测相应的文本标题,并与指示单个模型执行语言识别、短语级时间戳、多语言语音听录和英语语音翻译等任务的特殊标记混合在一起。
1.4.3.3ChatGPTPlus订阅服务订阅服务2023年2月10日,OpenAI在美国推出了ChatGPTPlus订阅服务,每月收费20美元,支持以下功能:
高峰时段也能正常访问ChatGPT、更快的响应时间、优先使用新功能和改进。
根据路透社,OpenAI预计2023年收入2亿美元,2024年收入10亿美元。
据华尔街日报,截至2023年1月,OpenAI正在就收购要约进行谈判,这将使公司估值达到290亿美元,是公司2021年市值的两倍。
2023年1月23日,微软宣布了一项新的对OpenAI的多年期、数十亿美元的投资计划。
红杉资本预测:
ChatGPT这类生成式AI工具,让机器开始大规模涉足知识类和创造性工作,未来预计能够产生数万亿美元的经济价值。
1.3.5技术路线技术路线1.3.5.1基于基于GPT-3.5,GPT-4预计提升更明显预计提升更明显ChatGPT是基于GPT-3.5的主力模型,ChatGPT在互联网开源数据集上进行训练,引入人工数据标注和强化学习两项功能,实现“从人类反馈中强化学习”(ReinforcementLearningfromHumanFeedback,RLHF)。
因此,相比于之前的模型,ChatGPT可以用更接近人类思I考的方式,根据上下文和情景,模拟人类的情绪和语气回答用户提出的问题。
OpenAI首席执行官称,GPT-4有望成为多模态的人工智能,根据openAI创始人Altman消息,GPT-4参数预计更大,计算模型优化有望实现更优化,且GPT-4将是纯文本模型(不是多模态),我们认为GPT-4的推出潜在商业价值巨大,模型更具备“拟人化”的功能,文本生成和内容创作有望更加丰富,并有望进入文字工作的相关领域,例如新闻、金融等相关行业。
1.3.5.2GPT、Bert均源自均源自Transformer模型模型NLP模型首选Transformers。
2017年由GoogleBrain团队推出深度学习模型Transformer,采用自注意力机制,对输入数据的每一部分的重要性进行差异加权,主要用于自然语言处理(NLP)和计算机视觉(CV)领域。
IBERT(BidirectionalEncoderRepresentationsfromTransformers)为谷歌于2018年推出的一种基于神经网络的NLP预训练技术,BERT在情绪分析和回答问题等分类任务中表现良好,在命名实体识别和下一句预测方面也表现出色。
ChatGPT同样是根据语言/语料概率来自动生成回答的每一个字(词语),即利用已经说过的语句作为输入条件,预测下一个时刻语句出现的概率分布。
I1.3.5.3领先的领先的NLP模型模型ChatGPT是一个出色的NLP(Naturallanguageprocessing-自然语言识别)新模型。
NLP随算力增长突破:
在过去的十年里,通过使用简单的人工神经网络计算,基于以GPU、TPU为代表的强大算力资源,并在巨量的数据上进行训练,自然语言处理(NLP)取得了令世人瞩目的成就和突破。
侧重文本分析能力:
NLP技术是人工智能(AI)和机器学习(ML)的子集,专注于让计算机处理和理解人类语言。
虽然语音是语言处理的一部分,但自然语言处理最重要的进步在于它对书面文本的分析能力。
NLP/NLU领域已知局限包括对重复文本、对高度专业的主题的误解,以及对上下文短语的误解。
I1.3.5.4RLHF与与TAMER是重要架构支撑是重要架构支撑RLHF:
InstructGPT/GPT3.5(ChatGPT的前身)与GPT-3的主要区别在于,新加入了被称为RLHF(ReinforcementLearningfromHumanFeedback,人类反馈强化学习)。
循环:
训练范式增强了人类对模型输出结果的调节,整个训练过程是人类、代理对目标的理解和RL训练之间的3步反馈循环。
在InstructGPT中,以下是“goodnessofsentences”的评价标准。
真实性:
是虚假信息还是误导性信息?
无害性:
它是否对人或环境造成身体或精神上的伤害?
有用性:
它是否解决了用户的任务?
TAMER(TraininganAgentManuallyviaEvaluativeReinforcement,评估式强化人工训练代理)框架将人类标记者引入到Agents的学习循环中,可以通过人类向Agents提供奖励反馈(即指导Agents进行训练),从而快速达到训练任务目标。
通过TAMER+RL(强化学习),借助人类标记者的反馈,能够增强从马尔可夫决策过程(MDP)奖励进行强化学习(RL)的过程I1.3.6产业价值产业价值1.3.6.1带来搜索产业变革带来搜索产业变革Bing&Edge+AI:
2023年2月8日,微软公司发布了新版必应AI搜索引擎和Edge浏览器,采用了ChatGPT开发商OpenAI的最新技术AI模型GPT3.5的升级版,率先提供更具对话性的网络搜索和创建内容的替代方式,集搜索、浏览、聊天于一体,带来前所未有的全新体验。
微软企业副总裁兼消费领域首席营销官YusufMehdi公布的最新推文称,在新版Bing上线48小时内,已经有超过100万人申请加入。
I1.3.6.2即将赋能即将赋能“千行百业千行百业”以ChatGPT为代表的的AIGC作为当前新型的内容生产方式,已经率先在传媒、电商、影视、娱乐等数字化程度高、内容需求丰富的行业取得重大创新发展,市场潜力逐渐显现。
数字媒体公司BuzzFeed表示公司将使用OpenAI开放的应用编程接口(API),该公司将依靠ChatGPT的创建者OpenAI来加强部分内容创作,并为观众个性化一些内容,打算2023年让人工智能在公司的编辑和业务运营中发挥更大的作用。
未来,ChatGPT亦可应用在数字营销的多个领域,譬如内容创建、个性化广告文案、电子邮件营销等等,助力增强行业的生产力。
I1.4AIGC:
Chat所应用的技术经所应用的技术经历历了哪几个阶段?
了哪几个阶段?
AIGC发展可分为三阶段,早期萌芽阶段(上世纪50年代至90年代中期),沉淀累积阶段(上世纪90年代至本世纪10年代中期),快速发展阶段(本世纪10年代中期至今)。
1.4.1、早期萌芽阶段、早期萌芽阶段(1950s-1990s)由于技术限制AIGC仅限于小范围实验与应用,1957年出现首支电脑创作的音乐作品,弦乐四重奏依利亚克组曲(IlliacSuite),80年代末至90年代中由于高成本及难以商业化,因此资本投入有限导致AIGC无较多较大成绩。
1.4.2、沉淀累积阶段、沉淀累积阶段(1990s-2010s)AIGC从实验性转向实用性,2006年深度学习算法取得进展,同时GPU,CPU等算力设备日益精进,互联网快速发展,为各类人工智能算法提供海量数据进行训练。
2007年首部人工I智能装置完成的小说ITheRoad(在路上)问世,2012年微软展示全自动同声传译系统,主要基于“深度神经网络”(DeepNeuralNetwork,DNN)自动将英文讲话内容通过语音识别等技术生成中文。
1.4.3、快速发展阶段、快速发展阶段(2010S至今至今)2014年深度学习算法“生成式对抗网络”(GenerativeAdversarialNetwork,GAN)推出并迭代更新,助力AIGC新发展。
2017年微软人工智能少年“小冰”推出世界首部由人工智能写作的诗集阳光失了玻璃窗,2018年NVIDIA(英伟达)发布StyleGAN模型可自动生成图片,2019年DeepMind发布DVD-GAN模型可生成连续视频。
2021年OpenAI推出DALL-E并更新迭代版本DALL-E-2,主要用于文本、图像的交互生成内容。
我国AIGC市场在2022年底引起较大关注,2023年开年企业端跃跃欲试。
虽然行业仍处于起步阶段,距离大规模证明和体系化发展仍有距离,但从资本的加码到应用场景的探索,距离的缝隙有望逐步填补,同时,“模块分拆+个性化推荐”的“泛AIGC”形式有望持续发展。
1.5ChartGPT的发展的发展ChatGPT是由OpenAl团队研发创造,OpenAl是由创业家埃隆-马斯克、美国创业孵化器YCombinator总裁阿尔特曼、全球在线支付平台PayPal联
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ChatGPT 认知 白皮书 全方位 系统 解读
![提示](https://static.bingdoc.com/images/bang_tan.gif)