苏尼特右旗| 赣榆| 沁源| 右玉| 池州| 兖州| 炉霍| 青龙| 隆德| 巩留| 尤溪| 玉树| 英吉沙| 姜堰| 黎平| 桐城| 北京| 桦甸| 岚县| 天水| 嘉义县| 伊宁县| 灵寿| 正宁| 高邮| 隆尧| 霍城| 襄樊| 柘城| 五家渠| 繁峙| 古冶| 伊金霍洛旗| 驻马店| 孙吴| 株洲县| 宣威| 勐海| 剑川| 内黄| 吴起| 苍南| 安达| 肇州| 盂县| 新巴尔虎右旗| 马鞍山| 鱼台| 屯留| 梅里斯| 湖口| 新邱| 盐亭| 屏东| 天峨| 乌兰浩特| 大兴| 闽清| 民权| 勐海| 建德| 东丽| 无为| 宜川| 平南| 老河口| 临川| 迁西| 汉阴| 新丰| 南投| 畹町| 吴江| 宣城| 长治市| 天峻| 奉节| 塔河| 衡阳县| 电白| 山海关| 连南| 青河| 乌当| 临泽| 佛山| 衡东| 内蒙古| 惠民| 钓鱼岛| 塔什库尔干| 邹平| 新竹市| 常德| 道县| 武隆| 滦县| 八一镇| 黄骅| 密云| 保亭| 广昌| 改则| 涞水| 曲周| 梅州| 布尔津| 婺源| 新沂| 夏津| 瑞安| 阿勒泰| 沭阳| 户县| 沙圪堵| 维西| 大城| 新都| 新县| 紫云| 鄂托克前旗| 兰西| 康乐| 蓝山| 珲春| 临泽| 哈巴河| 大兴| 镇康| 平安| 攀枝花| 墨江| 金秀| 高陵| 沂南| 肥东| 沽源| 崇左| 织金| 新宾| 夹江| 乡城| 山亭| 沁水| 科尔沁左翼后旗| 平湖| 资阳| 三明| 凤城| 敦化| 夹江| 龙南| 茂港| 克东| 凤凰| 丘北| 莱阳| 宜阳| 科尔沁左翼中旗| 大关| 吴川| 富县| 龙山| 佛冈| 吉利| 垣曲| 朝阳县| 睢宁| 巢湖| 峨眉山| 海淀| 临湘| 霍林郭勒| 平山| 峨眉山| 泽库| 武隆| 海盐| 延长| 柳州| 零陵| 万源| 石楼| 南投| 宁安| 台中市| 安县| 巩留| 阿瓦提| 舟曲| 辽宁| 乌兰| 哈巴河| 朝阳县| 铁岭县| 宝丰| 来宾| 沙洋| 洱源| 七台河| 墨脱| 定陶| 昌江| 咸阳| 拉萨| 吴江| 梅里斯| 泸县| 杨凌| 杜集| 繁昌| 鹤庆| 望都| 阿拉善右旗| 昭平| 石阡| 武川| 巴楚| 东川| 杞县| 红星| 花莲| 祁县| 景德镇| 土默特左旗| 楚州| 华容| 萨嘎| 瑞安| 晴隆| 三河| 马边| 黄冈| 瑞金| 利津| 宜宾县| 凤台| 曲沃| 清水| 庄河| 高淳| 甘孜| 平川| 白云| 五通桥| 玉林| 崇明| 正镶白旗| 怀来| 沂南| 林芝镇| 镇赉| 海伦| 承德县| 高安| 印台| 陕县| 西宁| 八一镇| 墨脱| 米林| 满洲里| 祁东| 遂川| qgyl998.com| zqrhe.com|

李锦斌审议监察法草案

2018-08-19 12:20 来源:药都在线

  李锦斌审议监察法草案

  但在本场比赛中也出现了季后赛最大的争议判罚,在第一个加时赛中,比赛时间还剩下1分22秒,辽宁队持球进攻,哈德森面对新疆队的包夹,突破的过程中差一点丢掉球权,但当时这个球感觉有明显的二次运球的嫌疑,但是当值主裁判并没有做出任何判罚,最后哈德森将球传给了赵继伟,赵继伟命中3分后帮助辽宁队108-105领先。可是,这并不够。

灰熊埃文斯16分7板4助攻6失误,马丁12分8板。有人表示,辽宁队依靠刘晓宇,而北京队太依赖巴斯了,两边都有卧底。

  而周琦自己的首次进攻,直到8分02秒才来到。在那场比赛当中,巴莫特在出场的25分钟时间里,获得了13分4个篮板以及一个助攻的数据,投篮7投5中,而三分球更是2投2中,让人不得不刮目相看。

  谁能比我惨!勇士队客场以75-89不敌马刺,在库里、杜兰特和汤普森休战的情况下,球队的唯一全明星格林也在第二节因伤离场,他们在最后一节还领先4分的情况下遭遇痛揍,这样的残阵实在有点让人心酸。(浮生)

今晚的比赛,辽宁队中已经沉寂了三场的大外援巴斯终于有所作为,得到22分15个篮板。

  不过黄蜂能够强势逆袭赢球,自然是下半场的火爆表现使然,尤其是最后一节黄蜂单节打出36-18净胜18分优势完成翻盘逆转。

  第45分钟,恒大任意球开入禁区被挡出,张成林跟进补射,皮球击中横梁弹出!上半场补射阶段,恒大角球开入禁区,阿兰后点捅射破网!恒大1-2!半场结束,恒大暂时1-2落后。不过黄蜂能够强势逆袭赢球,自然是下半场的火爆表现使然,尤其是最后一节黄蜂单节打出36-18净胜18分优势完成翻盘逆转。

  CBA联赛对于运动员在联赛期间的言行一直有明确规定,本赛季公布的纪律准则中第二章第三十条明确指出:球员在赛后新闻发布会上以各种方式暗示裁判不公正、公开评论裁判判罚行为,纪律部门有权对于第一次违规,处以通报批评、停赛1至3场的处罚。

  由于之前的伤病影响和久疏战阵的关系,周琦的手感受到影响,全场,他出场14分钟,6投2中,2罚1中得到7分2个篮板。我必须更好地调节我的身体状态和心态,这样伤病才不会频繁地发生。

  他必须习惯这样的速度,因为他即将进入UCLA(加州大学洛杉矶分校),过去这个赛季他在高中场均分、个篮板、次助攻、次盖帽。

  就在昨天2017-2018赛季CBA联赛季后赛1/4决赛进行了两场比赛,分别是辽宁VS北京、新疆VS广东,最终辽宁战胜了北京3:1挺近半决赛,同时广东也战胜了新疆也以3:1的大比分挺近了半决赛。

  实在话,当恒大回过神来,这支济州联队的实力也没有看起来的那么强,到了下半场,恒大控制住节奏以后,曾经熟悉的那支恒大,暂时回来了。北京时间3月22日,在东部的强强对话里,骑士队主场以132-129险胜猛龙,取得了久违的三连胜,他们也坐稳了东部第三。

  

  李锦斌审议监察法草案

 
责编:
注册

李锦斌审议监察法草案

马刺如今就差核心伦纳德尚未恢复,而他何时能够复出依然是未知数。


来源:机器之心

原标题:前沿 | 使用Transformer与无监督学习,OpenAI提出可迁移至多种NLP任务的通

原标题:前沿 | 使用Transformer与无监督学习,OpenAI提出可迁移至多种NLP任务的通用模型

选自OpenAI

机器之心编译

参与:刘晓坤、思源

OpenAI 最近通过一个与任务无关的可扩展系统在一系列语言任务中获得了当前最优的性能,目前他们已经发布了该系统。OpenAI 表示他们的方法主要结合了两个已存的研究,即 Transformer 和无监督预训练。实验结果提供了非常令人信服的证据,其表明联合监督学习方法和无监督预训练能够得到非常好的性能。这其实是很多研究者过去探索过的领域,OpenAI 也希望他们这次的实验结果能激发更加深入的研究,并在更大和更多的数据集上测试联合监督学习与无监督预训练的性能。

OpenAI 的系统分为两阶段,首先研究者以无监督的方式在大型数据集上训练一个 Transformer,即使用语言建模作为训练信号,然后研究者在小得多的有监督数据集上精调模型以解决具体任务。研究者开发的这种方式借鉴了他们关于 Sentiment Neuron(https://blog.openai.com/unsupervised-sentiment-neuron/)方面的研究成果,他们发现无监督学习技术在足够多的数据集上训练能产生令人惊讶的可区分特征。因此研究者希望更进一步探索这一概念:我们能开发一个在大量数据进行无监督学习,并精调后就能在很多不同任务上实现很好性能的模型吗?研究结果表明这种方法可能有非常好的性能,相同的核心模型可以针对不同的任务进行少量适应和精调就能实现非常不错的性能。

这一项研究任务建立在《Semi-supervised Sequence Learning》论文中所提出的方法,该方法展示了如何通过无监督预训练的 LSTM 与有监督的精调提升文本分类性能。这一项研究还扩展了论文《Universal Language Model Fine-tuning for Text Classification》所提出的 ULMFiT 方法,它展示了单个与数据集无关的 LSTM 语言模型如何进行精调以在各种文本分类数据集上获得当前最优的性能。OpenAI 的研究工作展示了如何使用基于 Transformer 的模型,并在精调后能适应于除文本分类外其它更多的任务,例如常识推理、语义相似性和阅读理解。该方法与 ELMo 相似但更加通用,ELMo 同样也结合了预训练,但使用为任务定制的架构以在各种任务中取得当前顶尖的性能。


OpenAI 只需要很少的调整就能实现最后的结果。所有数据集都使用单一的前向语言模型,且不使用任何集成方法,超参配置也与大多数研究成果相同。


OpenAI 特别兴奋这一方法在三个数据集上得到的性能,即 COPA、RACE 和 ROCStories,它们都是旨在为常识推理和阅读理解设计的测试集。OpenAI 的模型在这些数据集上都获得了新的最佳性能,且有较大的提升。这些数据集通常被认为需要多句子推理和显著的世界知识来帮助解决问题,这表明研究者的模型通过无监督学习主要提升了这些技能。这同样表明我们可以通过无监督学习技术开发复杂的语言理解能力。


为什么使用无监督学习?


监督学习是近期大部分机器学习成功方法的关键,但是,它需要大型、经过仔细清洗的数据集才能表现良好,这需要很高的成本。无监督学习因其解决这些缺陷的潜力而具备极大吸引力。由于无监督学习解决了人工标注数据的瓶颈,它在计算能力不断增强、可获取原始数据增多的当前趋势下,仍然能够实现很好的扩展。无监督学习是非常活跃的研究领域,但是它在实际应用中仍然受到限制。


近期出现了利用无监督学习方法通过大量无标注数据来增强系统的热潮;使用无监督技术训练的词表征可以使用包含 TB 级信息的大型数据集,而且无监督方法与监督学习技术相结合能够在大量 NLP 任务上提高性能。直到最近,这些用于 NLP 任务的无监督技术(如 GLoVe 和 word2vec)使用简单的模型(词向量)和训练过的信号(局部词共现)。Skip-Thought 向量是对复杂方法才能实现的改进的较早呈现。但是现在新技术用于进一步提升性能,包括预训练句子表征模型、语境化词向量(ELMo 和 CoVE)的使用,以及使用自定义架构来结合无监督预训练和监督式精调的方法,比如本文中 OpenAI 的方法。


在大型文本语料库上对模型进行预训练可以极大地改善其在较难的自然语言处理任务(如 Winograd Schema Resolution)上的性能。


OpenAI 还注意到他们能够使用底层语言模型开始执行任务,无需训练。例如,在选择正确答案等任务中的性能随着底层语言模型的改进而得到改善。尽管这些方法的绝对性能与当前最优的监督方法相比仍然较低(在问答任务中,非监督方法的性能仍然不如简单的滑动窗口监督式基线模型),但是这些方法在大量任务上具备鲁棒性,这令人鼓舞。不包含任何任务和世界相关信息的随机初始化网络,其性能不比使用这些启发式方法的随机初始化网络好。这为生成性预训练为什么能够提高下游任务上的性能提供了一些洞见。


OpenAI 还使用模型中的现有语言功能来执行情感分析。研究人员使用了 Stanford Sentiment Treebank 数据集,该数据集包含积极和消极的电影评论句子,研究人员可以使用语言模型通过在一个评论句子后输入单词「very」,并查看该模型预测该单词是「积极」或「消极」的概率,来猜测这条评论是积极还是消极的。这种方法无需将模型针对特定任务进行调整,它与经典基线模型的性能持平——大约 80% 的准确率。


该研究也是对 Transformer 架构的鲁棒性和实用性的验证,表明无需针对特定任务进行复杂的定制化或调参,也可以在大量任务上达到当前最优的结果。


缺点


该项目也有几个突出的问题值得注意:


  • 计算需求:很多之前的解决 NLP 任务的方法可以在单块 GPU 上从零开始训练相对较小的模型。OpenAI 的方法在预训练步骤中需要很高的成本——在 8 块 GPU 上训练 1 个月。幸运的是,这仅需要做一次,OpenAI 会发布他们的模型,从而其他人可以避免这一步。它也是一个很大的模型(相比于之前的工作),因而需要更多的计算和内存。OpenAI 使用了一个 37 层(12 个模块)的 Tranformer 架构,并且在达到 512 个 token 的序列上训练。多数实验都是在 4 和 8 块 GPU 的系统上构建的。该模型确实能很快速地精调到新的任务上,这缓解了额外的资源需求。

  • 通过文本学习而导致的对世界理解的局限和偏差:在互联网上可用的书籍和文本并没有囊括关于世界的完整甚至是准确的信息。近期的研究表明特定类型的信息很难仅通过文本学习到,其它研究表明模型会从数据分布中学习和利用偏差。

  • 泛化能力仍然很脆弱:虽然 OpenAI 的方法在多种任务中提高了性能,目前的深度学习 NLP 模型仍然展现出令人吃惊的和反直觉的行为,特别是当在系统化、对抗性或超出数据分布的方式进行评估的时候。OpenAI 的方法相比于之前的纯神经网络的方法在文本蕴涵任务上展示了提升的词法鲁棒性。在 Glockner 等人的论文《Breaking NLI Systems with Sentences that Require Simple Lexical Inferences》引入的数据集中,他们的模型达到了 83.75% 的准确率,和 KIM(Knowledge-based Inference Model,来自《NATURAL LANGUAGE INFERENCE WITH EXTERNAL KNOWLEDGE》)的性能相近(通过 WordNet 整合了外部知识)。


未来方向


  • 扩展该方法:研究者观察到语言模型性能的提高和下游任务的提高有很大关联。他们目前使用的是商用 GPU(单个 8GPU 机器)以及仅包含数千本书籍的训练数据集(约 5GB 的文本)。这意味着如果使用验证效果好的方法以及更多的计算资源和数据,该模型还有很大的提升空间。

  • 改善精调过程:研究者的方法目前还很简单。有可能使用更复杂的适应和迁移技术例如在 ULMFiT 中所探索的方法,可以让该模型获得显著的提升。

  • 更好地理解生成式预训练的有效性:虽然本文中片面地讨论了一些思想,更多的目标指向的实验和研究将帮助分辨不同的解释。例如,实验中观察到的性能增益有多少是由于处理更广泛上下文的能力的提高,有多少是由于世界知识的提高。


附录:数据集示例



论文:Improving Language Understanding by Generative Pre-Training 



  • 论文地址:https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf

  • 项目地址:https://github.com/openai/finetune-transformer-lm


摘要:自然语言理解包括很广泛的任务类型,例如文本蕴涵、问答、语义相似性评估以及文本分类。虽然存在大量的未标记文本语料库,但是为学习这些特定任务而标注的数据是较匮乏的,从而令有区别地训练表现足够好的模型变得很有挑战性。我们在本研究中表明通过在多个未标记文本语料库上对语言模型进行生成式预训练,然后有区别地对每个特定任务进行精调,可以在这些任务上取得很大的增益。相比于之前的方法,我们在精调以获得有效迁移的过程中利用了任务相关的输入转换,同时仅需要对模型架构做极小的改变。结果表明我们的方法在自然语言理解的很广泛的基准上具备有效性。我们不基于任务的模型超越了那些为每个任务特别设计架构而分别进行训练的模型,在研究的 12 项任务的 9 项中显著提高了当前最佳结果。例如,我们在常识推理(Stories Cloze Test)、问答(RACE)、文本蕴涵(MultiNLI)中分别达到了 8.9%、5.7%、1.5% 的绝对提高。

原文链接:https://blog.openai.com/language-unsupervised/



本文为机器之心编译,转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

  • 好文
  • 钦佩
  • 喜欢
  • 泪奔
  • 可爱
  • 思考

凤凰网科技官方微信

凤凰新闻 天天有料
分享到:
早餐豆浆加盟 早点小吃店加盟 北京早餐车加盟 知名早餐加盟 健康早点加盟
中式早餐店加盟 早点夜宵加盟 早餐加盟品牌 中式早餐店加盟 网吧加盟
江苏早点加盟 早餐店加盟 河南早点加盟 北京早点 早饭加盟
健康早点加盟 早点小吃加盟排行榜 包子早点加盟 早餐加盟品牌 特色早点小吃加盟
散文网 美文网 童话故事 笑话集 笑话集 童话 故事会