什么是Transformer方法学模型？

后才能转换到 Transformer。首先，句法通过“标示探头”，将其分解为可以单独解决问题的个字符块。标示转化成算法可以取决于运用于程序。在大多数才才会，每个片语和词组或多或少请注意一个标示。一些形容词和形容字词请注意单独的标示（例如，“ize”、“ly”和“pre”）。标示探头作用于一个位数本表，暗示转换句法的标示ID。

然后将标示变换为“片语同态”。片语同态是一种想要在多维也就是说中的捕捉片语价系数的内积。例如，“狐狸”和“狗”这两个字词在某些也就是说上不太可能具有相似的系数，因为它们都用于关于哺乳动物和猫咪的文法中的。然而，在区隔狐狸科哺乳动物和犬科哺乳动物的其他也就是说上，“狐狸”比“狐”来得相对于“狮子”。同样，“巴黎”和“伯明翰”不太可能彼此来得加相对于，因为它们都是城市。然而，“伯明翰”来得相对于于“英格兰”，“巴黎”来得相对于于“法国”，这是因为在一个国家的区隔也就是说上。而片语同态通常有数百个也就是说。

片语同态是通过同态基本概念创立的，这些基本概念与 Transformer 分开锻炼。有几种用于语言勤务的预锻炼同态基本概念。

3.警惕层

一旦文法被变换成一个片语同态本表，它就才会被转换到 Transformer 的格式探头子系统中的。与操作符建模(RNN)和长短时记忆(LSTM)基本概念不尽相近，Transformer 一次不才会转交一个转换。它可以转交整个文法的同态系数，并并行解决问题它们。这使得 Transformer 比它们的前辈来得具有计算工作效率，并且还使它们并不需要在反之亦然和反向基因序列中的检查句法的场景。

为了依然文法中的片语的先后顺序，Transformer 运用于“位置格式”，这或多或少也就是说它来得改每个同态内积的系数，以暗示其在句法中的的位置。

接下来，转换被传导到第一个格式探头块，它通过“警惕层”对其展开解决问题。警惕层想要捕捉文法中的片语密切关系的的关系。例如，考量 “一只大黑狐狸碰掉一个瓶子以后横穿马路”(The big black cat crossed the road after it dropped a bottle on its side)这个文法。在这里，基本概念须要将“it”与“cat”相联系，将“its”与“bottle”相联系。因此，它无论如何建立其他联系，例如“big”和“cat”或“crossed”和“cat”。否则，警惕层转交暗示单个片语系数的片语同态本表，并作用于暗示单个片语及其相互的关系的内积本表。警惕层包含多个“attention heads” (警惕头)，每个“attention heads”都可以捕获片语密切关系的不尽相近特性的的关系。

警惕层的控制器被馈送到前馈建模，该网络将其变换为内积暗示，并将其发送到下一个警惕层。Transformers

包含几个警惕块和前馈层，以随之捕捉来得复杂的的关系。

解码探头子系统的勤务是将格式探头的警惕内积变换为控制器数据集(例如，转换句法的中文名翻译原版)。在锻炼阶段，解码探头可以采访格式探头导致的警惕内积和在短期内的结果(例如，中文名翻译的表达式)。

解码探头运用于相近的标示转化成、片语同态和警惕的系统来解决问题在短期内结果并创立警惕内积。然后，它在格式探头子系统中的传导该警惕内积和警惕层，从而在转换和控制器系数密切关系建立的关系。在中文名翻译运用于程序中的，这是源语言和目标语言中的的片语相互同态的部分。与格式探头子系统一样，解码探头警惕内积通过前馈层传导。然后其结果被同态到一个非常大的内积池，即目标数据集的大小(在中文名翻译的才才会，这可以涉及数万个片语)。

4.锻炼Transformer

在锻炼期间，Transformer 获取了非常大的配对下述数据挖掘（例如，英语文法及其除此以外的荷语中文名翻译）。格式探头子系统转交并解决问题完整的转换表达式。然而，解码探头转交到控制器表达式的掩码原版（一次一个片语），并设法建立格式的警惕内积和在短期内结果密切关系的同态。格式探头设法预测下一个片语，并根据其控制器与在短期内结果密切关系的区别展开来得正。这种测试者使变换探头并不需要来得改格式探头和解码探头的模板，并随之在转换和控制器语言密切关系创立正确的同态。

Transformer 仅有的锻炼数据集和模板趋多，它就趋有能力在不长句法基因序列中的依然连贯性和正确性。

5.Transformer的变转化成

在以上研究者的机探头中文名翻译下述中的，Transformer 的格式探头子系统努力学习英语片语和文法密切关系的的关系，而解码探头努力学习英语和荷语密切关系的同态。

但并非所有 Transformer 运用于都才可要格式探头和解码探头子系统。例如，大型语言基本概念的GPT系列运用于解码探头子系统堆栈来作用于句法。BERT是谷歌研究者工作人员开发的 Transformer 基本概念的另一种值得注意，而它只运用于格式探头子系统。

其中的一些框架的优点是它们可以通过自我督导努力学习或无督导方法展开锻炼。例如，BERT 通过获取大量未标示句法的数据挖掘，可以移除其中的的一部分，并设法预测紊乱的部分来展开大部分锻炼。然后，它根据其预测相对于或远离实质上数据集的程度调整其模板。通过促使地重复这个过程，BERT 捕捉到了不尽相近场景中的不尽相近片语密切关系的的关系。在这个预锻炼阶段以后，BERT 可以通过在少量标示下述上展开锻炼来针对下游勤务展开简转化成，例如问答、句法摘要或情感分析。运用于无督导和自我督导的预锻炼可以下降注释锻炼数据集所才可的工作量。

关于 Transformer 和他们刚刚关卡的新运用于程序还有来得多，这超出了本文的范围。研究者工作人员如今仍在寻找从Transformer中的获得来得多帮助的方法。

Transformer 还引发了关于语言理解和通用人工智能的讨论。显而易见的是，Transformer 与其他建模一样是一种统计基本概念，并不需要以巧妙而复杂的方法捕捉数据集中的的规律性。虽然它们不像全人类那样“理解”语言，但是其发展仍然令人兴奋并且可以获取来得多新事物。

原文链接：

。

吉林牛皮癣治疗方法有什么
重庆妇科专科医院哪好
北京看白癜风到哪个医院好
百利药业
黑龙江男科检查
长期新冠后遗症
止咳糖浆哪个比较好一点
丰胸
急支糖浆的功效和作用
药品信息