小昇的博客

学习 生活 分享

Jupyter Notebook 快速入门

创建漂亮的交互式文档

原文《Getting started with the Jupyter notebook 》,作者:Marin Gilles,译者:Python 翻译组 EarlGrey。 Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言。在本文中,我们将介绍 Jupyter notebook 的主要特性,以及为什么...

机器学习基础(五)

监督学习算法和随机梯度下降

本文内容摘取自 《Deep Learning》,部分内容有修改。 1. 监督学习算法 粗略地说,监督学习算法是给定一组输入 $\boldsymbol{x}$ 和输出 $\boldsymbol{y}$ 的训练集,学习如何关联输入和输出。 1.1 概率监督学习 大部分监督学习算法都是基于估计概率分布 $p(y \mid \boldsymbol{x})$ 的,我们可以使用最大似然估...

机器学习基础(四)

最大似然估计和贝叶斯统计

本文内容摘取自 《Deep Learning》,部分内容有修改。 在《机器学习基础(三)》估计一节中我们已经看过常用估计的定义,并分析了它们的性质,但是这些估计是从哪里来的呢?我们希望有些准则可以让我们从不同模型中得到特定函数作为好的估计,而不是猜测某些函数可能是好的估计,然后分析其偏差和方差。 最常用的准则是最大似然估计。 1. 最大似然估计 考虑一组含有 $m$ 个样本的...

从K-Means到Capsule

深入解读动态路由

转载自《再来一顿贺岁宴:从K-Means到Capsule》,作者:苏剑林 在本文中,我们再次对Capsule进行一次分析。 整体上来看,Capsule 算法的细节不是很复杂,对照着它的流程把 Capsule 用框架实现它基本是没问题的。所以,困难的问题是理解 Capsule 究竟做了什么,以及为什么要这样做,尤其是 Dynamic Routing 那几步。 为什么我要反复对 C...

三点钟无眠区块链

人有病,天知否?

转载自《人有病,天知否?》,作者:伯通 最近很多人凌晨三点钟也无法入睡,无论是老VC、新币神、媒体、掮客,甚至是民谣歌手和网文作者们,都在夜以继日地争辩和论证——从宗教、生物、经济、哲学、历史、国学等多个维度分析,区块链技术及其应用品是否会成为未来的创业机遇?怎样才能不错过这一拨? 如果不是其中一分子,目睹这种满面红光的群体式亢奋后,做出某种简明扼要的负面评价是非常容易的。但...

Capsule 胶囊网络入门

用聚类的思想来理解动态路由

转载自《揭开迷雾,来一顿美味的Capsule盛宴》,作者:苏剑林。 由深度学习先驱 Hinton 开源的 Capsule 论文《Dynamic Routing Between Capsules》,无疑是去年深度学习界最热点的消息之一。得益于各种媒体的各种吹捧,Capsule 被冠以了各种神秘的色彩,诸如“抛弃了梯度下降”、“推倒深度学习重来”等字眼层出不穷,但也有人觉得 Capsu...

机器学习基础(三)

交叉验证和参数估计

本文内容摘取自 《Deep Learning》,部分内容有修改。 1. 超参数和验证集 大多数机器学习算法都有超参数来控制算法行为,超参数的值不是通过学习算法本身学习出来的。有时一个选项被设为超参数是因为它太难优化了,更多的情况是该选项不适合在训练集上学习。例如在训练集上学习控制模型容量的超参数,这些超参数总是趋向于最大可能的模型容量,导致过拟合。 为了解决这个问题,我们需要一...

机器学习基础(二)

容量、过拟合和欠拟合

本文内容摘取自 《Deep Learning》,部分内容有修改。 在先前未观测到的输入上表现良好的能力被称为泛化 (generalization)。通常当我们训练机器学习模型时,我们目标是降低在训练集上的训练误差 (training error),同时我们也希望泛化误差 (generalization error) 很低。当我们只能观测到训练集时,我们如何才能影响测试集的性能呢?统...

机器学习基础(一)

学习算法

本文内容摘取自 《Deep Learning》,部分内容有修改。 机器学习算法是一种能够从数据中学习的算法。Mitchell (1997) 提供了一个简洁的定义:“对于某类任务 $T$ 和性能度量 $P$,一个计算机程序被认为可以从经验 $E$ 中学习是指,通过经验 $E$ 改进后,它在任务 $T$ 上由性能度量 $P$ 衡量的性能有所提升。” 1 任务 $T$ 通常机器学习任...

一张烈士证明书引发的死刑

转载自人间《一张烈士证明书引发的死刑》,作者:竹子 领导已下定决心为郭浩申报追烈,而主管追烈部门的意图他们已经领会:郭浩评烈士,刘向必须死。不久以后我就发现,我最初的忧虑果然成了谶语。 这是20年前我在日记中记录一桩刑事案件的片段: 面对狩猎者的枪口,青年民警毫不犹豫地向前跨出一步。沉闷的枪声打破暗夜的沉寂,一条火蛇瞬间将青年民警击倒,身中48粒铁砂弹,22粒洞穿心脏。一个...