小昇的博客

学习 生活 分享

Capsule 胶囊网络入门

用聚类的思想来理解动态路由

转载自《揭开迷雾,来一顿美味的Capsule盛宴》,作者:苏剑林。 由深度学习先驱 Hinton 开源的 Capsule 论文《Dynamic Routing Between Capsules》,无疑是去年深度学习界最热点的消息之一。得益于各种媒体的各种吹捧,Capsule 被冠以了各种神秘的色彩,诸如“抛弃了梯度下降”、“推倒深度学习重来”等字眼层出不穷,但也有人觉得 Capsu...

机器学习基础(三)

交叉验证和参数估计

本文内容摘取自 《Deep Learning》,部分内容有修改。 1. 超参数和验证集 大多数机器学习算法都有超参数来控制算法行为,超参数的值不是通过学习算法本身学习出来的。有时一个选项被设为超参数是因为它太难优化了,更多的情况是该选项不适合在训练集上学习。例如在训练集上学习控制模型容量的超参数,这些超参数总是趋向于最大可能的模型容量,导致过拟合。 为了解决这个问题,我们需要一...

机器学习基础(二)

容量、过拟合和欠拟合

本文内容摘取自 《Deep Learning》,部分内容有修改。 在先前未观测到的输入上表现良好的能力被称为泛化 (generalization)。通常当我们训练机器学习模型时,我们目标是降低在训练集上的训练误差 (training error),同时我们也希望泛化误差 (generalization error) 很低。当我们只能观测到训练集时,我们如何才能影响测试集的性能呢?统...

机器学习基础(一)

学习算法

本文内容摘取自 《Deep Learning》,部分内容有修改。 机器学习算法是一种能够从数据中学习的算法。Mitchell (1997) 提供了一个简洁的定义:“对于某类任务 $T$ 和性能度量 $P$,一个计算机程序被认为可以从经验 $E$ 中学习是指,通过经验 $E$ 改进后,它在任务 $T$ 上由性能度量 $P$ 衡量的性能有所提升。” 1 任务 $T$ 通常机器学习任...

一张烈士证明书引发的死刑

转载自人间《一张烈士证明书引发的死刑》,作者:竹子 领导已下定决心为郭浩申报追烈,而主管追烈部门的意图他们已经领会:郭浩评烈士,刘向必须死。不久以后我就发现,我最初的忧虑果然成了谶语。 这是20年前我在日记中记录一桩刑事案件的片段: 面对狩猎者的枪口,青年民警毫不犹豫地向前跨出一步。沉闷的枪声打破暗夜的沉寂,一条火蛇瞬间将青年民警击倒,身中48粒铁砂弹,22粒洞穿心脏。一个...

那些被送进戒网瘾学校的孩子

正义可能会迟到 但永远不会缺席

转载自人间《进了那些学校,孩子再没回来》,作者:《今日说法》栏目记者倪伟 2017年11月,我再次来到济南,“山东科技防卫专修学院”的旧址。 一年前我来到这里的时候,操场上还有一百来个学生,穿着迷彩服。男生们打篮球,女生跳皮筋,到处都是一片欢声笑语。仅仅一年多时间,操场上只剩一大片芦苇随着风摇摆,晃得人失神。偌大的地方,如今只有一个22岁的娃娃脸男兵看守着——这块地是部队的军产,...

浅谈 NLP 中的 Attention 机制

Google 的“大道至简”

转载自《Attention is All You Need》浅读(简介+代码),作者:苏建林 2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的《Convolutional Sequence to Sequence Learning》和 Google 的《Attention is All You Need》,它们都算是 Seq2Seq 上的创新,本质...

加密货币的本质

为什么比特币可以成为钱

转载自《加密货币的本质》,作者:阮一峰 去年,比特币暴涨,其他币也像雨后春笋一样冒出来,已经有 1000 多种了。 很多人都在问,加密货币(cryptocurrency)的时代,真的来临了吗?将来会不会人类不再使用美元、人民币,改用加密货币?那么多品种,我应该使用哪一种币?要不要现在就去投资一些? 这些问题的答案,我也想知道,就花了很多时间查阅资料、研究协议。前两周发表的《...

比特币入门教程

比特币的原理与交易

转载自《比特币入门教程》,作者:阮一峰 比特币(bitcoin)诞生于2008年的一篇论文。 一个署名为中本聪的人,提出了革命性的构想:让我们创造一种不受政府或其他任何人控制的货币!这个想法堪称疯狂:一串数字,背后没有任何资产支持,也没有任何人负责,你把它当作钱付给对方,怎么会有人愿意接受? 但是,狂想居然变成了现实。随后的几年,在全世界无数爱好者的支持下,比特币网络运行起...

区块链入门教程

快速了解什么是区块链和挖矿

转载自《区块链入门教程》,作者:阮一峰 区块链(blockchain)是眼下的大热门,新闻媒体大量报道,宣称它将创造未来。 可是,简单易懂的入门文章却很少。区块链到底是什么,有何特别之处,很少有解释。 下面,我就来尝试,写一篇最好懂的区块链教程。毕竟它也不是很难的东西,核心概念非常简单,几句话就能说清楚。我希望读完本文,你不仅可以理解区块链,还会明白什么是挖矿、为什么挖矿越...