小昇的博客

学习 生活 分享

Keras深度学习笔记(四):机器学习基础

模型评估与正则化

1. 机器学习的四个分支 在《Keras深度学习笔记(三):神经网络入门》的例子中,我们已经介绍了三种类型的机器学习问题:二分类问题、多分类问题和标量回归问题。这三者都是监督学习 (supervised learning) 的例子,其目标是学习训练输入与训练目标之间的关系。 机器学习算法大致可分为四大类,将在接下来的四小节中依次介绍。 1.1 监督学习 监督学习是最常见的机器学习类型...

从变分编码、信息瓶颈到正态分布

论遗忘的重要性

本文转载自《从变分编码、信息瓶颈到正态分布:论遗忘的重要性》,作者:苏剑林 这是一篇“散文”,我们来谈一下有着千丝万缕联系的三个东西:变分自编码器、信息瓶颈、正态分布。 众所周知,变分自编码器是一个很经典的生成模型,但实际上它有着超越生成模型的含义;而对于信息瓶颈,大家也许相对陌生一些,然而事实上信息瓶颈在去年也热闹了一阵子;至于正态分布,那就不用说了,它几乎跟所有机器学习领域都...

Keras深度学习笔记(三):神经网络入门

层、网络、目标函数和优化器

本文将进一步介绍神经网络的核心组件,即层、网络、目标函数和优化器。并且通过三个介绍性示例深入讲解如何使用神经网络解决实际问题,这三个示例分别是: 将电影评论划分为正面或负面(二分类问题) 将新闻按主题分类(多分类问题) 根据房地产数据估算房屋价格(回归问题) 1. 神经网络剖析 训练神经网络主要围绕以下四个方面: 层,多个层组合成网络(或模型)。 输入数据和...

Keras深度学习笔记(二):神经网络的数学基础

张量运算、微分和梯度下降

要理解深度学习,需要熟悉张量、张量运算、微分、梯度下降等数学概念,本文将使用通俗的语言介绍这些概念。首先给出一个神经网络的示例,引出张量和梯度下降的概念,然后逐个详细介绍。 读完本章后,你会对神经网络的工作原理有一个直观的理解,然后就可以学习神经网络的实际应用了。 1. 初识神经网络 我们来看一个使用 Keras 库构建神经网络来学习手写数字分类的例子,将手写数字的灰度图像(28×28...

变分自编码器 VAE

Variational Auto-Encoder

转载自《变分自编码器(一):原来是这么一回事》,作者:苏剑林 通常我们会拿 VAE 跟 GAN 比较,的确,它们两个的目标基本是一致的——希望构建一个从隐变量 $Z$ 生成目标数据 $X$ 的模型,但是实现上有所不同。更准确地讲,它们是假设了 $Z$ 服从某些常见的分布(比如正态分布或均匀分布),然后希望训练一个模型 $X=g(Z)$,这个模型能够将原来的概率分布映射到训练集的概率...

为什么中国进口药的价格如此昂贵?

天价进口药的诞生过程

或许,在天价进口药层层加价的诞生过程里,与那些吸血的中间人、监管漏洞及违法行径相比,专利权是最清白无瑕的一个环节了 《我不是药神》让中国观众们认识了瑞士研发的一种抗癌药物“格列宁”(它现实的名字叫做格列卫,一字之差)。 在影片中,这种药物是治疗慢性粒细胞白血病的唯一救命良药,然而,它近4万元一瓶的价格却让想要活命的患者吃掉了房子、吃得倾家荡产。 《我不是药神》对天价药的刻画是十...

Keras深度学习笔记(一):什么是深度学习

人工智能、机器学习以及深度学习

最近几年,人工智能被媒体大肆炒作,我们的未来被渲染成可怕的景象:人类的工作将十分稀少,大部分经济活动都由机器人来完成。但对于机器学习从业者来说,重要的是能够在过度炒作的新闻稿中发现改变世界的重大进展。 本文将介绍关于人工智能、机器学习以及深度学习的背景。 1. 人工智能、机器学习与深度学习 人工智能、机器学习与深度学习之间的关系可以用下图来表示: 1.1 人工智能 人工智能诞生...

互怼的艺术:从零直达 WGAN-GP

GAN 简介

转载自《互怼的艺术:从零直达WGAN-GP》,作者:苏剑林 前言 GAN,全称 Generative Adversarial Nets,中文名是生成对抗式网络。对于 GAN 来说,最通俗的解释就是“伪造者-鉴别者”的解释,如艺术画的伪造者和鉴别者。一开始伪造者和鉴别者的水平都不高,但是鉴别者还是比较容易鉴别出伪造者伪造出来的艺术画。但随着伪造者对伪造技术的学习后,其伪造的艺术画会...

美国小镇行

COLING 2018 圣达菲

今年 8 月底借着参加 COLING 2018 会议的机会,我前往美国新墨西哥州的圣达菲逗留了一段时间。虽然没有体验到美国大城市的繁华,但圣达菲美丽的自然环境和独特的乡村风情还是给我留下了很深的印象。 圣达菲是一座非常有特色的城市,根据当地政府的法令,城中所有的建筑都按照具有西班牙特色的 Adobe 风格(泥草墙和木头的结构)建造,因此整座城市呈现出一种统一的美感。城市中心遍布着各种各...

给历史一个交代

跨度三十年三位老男人记录的信号与噪声

2001 年中国加入世贸组织前后,国内对民众进行的“WTO”宣传黑板。 世事至此,恐怕已经不应认为如今大洋两岸间的对峙局面还可以用“贸易战”来形容。时局对金融乃至其它相关领域的负面影响,也已经逐渐展现,无须讳言。 为什么会到今天这样一个地步?就像灾难电影的必备要素一样,人们期待有一位看穿迷雾的预言家,于是前两天,2016 年人大国发院那篇《特朗普当选,中国面临巨大挑战》成为了热文。 ...