Posted on | | Visitors:

​ 这篇文章是在之前的一篇文章的基础上续写的。没有读过的读者可以看一下这篇之前的介绍文。To the Moon 游戏设定介绍

​ To the Moon 这款游戏的剧情设计非常精彩。在游戏中，我们会一点点回溯主人公 John 的记忆。随着对故事的一点一点地深入了解，我们会困惑，会误解，会略带嘲弄，也会略有所感。可是当我们最后看清故事始末，只剩下感动与泪水。

​ 如果想要完整的体验游戏所展现的故事，可以观看下面的视频。


Read more »

Posted on | | Visitors:

​ Meta Learning 最早源于上世纪八九十年代 [6], 最近成为研究的热点，这是一个很好的 可以用来解决 Learn to learn 问题的框架。 17 年 NIPS 有一个 Workshop on Meta Learning 。与迁移学习相比， Meta Learning 可以视为一个更泛化的概念。

​ 传统的机器学习方法为解决某一个特定的任务总是需要大量的训练数据，有一个很直 观的原因是因为传统的机器学习方法在训练一个模型时，总是从零开始学习。但是人类 的学习过程并不是这样，显然人的学习是一个连续的过程，当一个人想要解决某一个问题 时，他会使用之前跟这个任务相关的知识。以图像分类任务为例，传统的机器学习方法， 例如普通的 CNN 模型，或者 AlexNet， VGG， ResNet 这些模型都需要大量的训练数据。 为了解决数据依赖的问题，现在的一个研究热点就是“one shot learning” (few shot learning)[4]。许多解决这个问题的方法 [9, 8] 就是基于 Meta Learning。

Read more »

Posted on | | Visitors:

这个部分有五篇文章，其中：

  1. 两篇文是通过改变GAN的结构以解决GAN训练困难和模式消失（Mode collapse）的问题。
  2. 一篇文章从新的数学角度推导GAN的更新过程，该更新过程更一般化，原有的GAN参数更新过程可视为其某种条件下的特例。文中也简要说明了该更新过程是 stable 的。
  3. 一篇文章探究了GAN中生成器的 Jacobian 矩阵的奇异值分布和 GAN 性能的关系。这篇文章很有趣，它根据生成器的 Jacobian 矩阵定义了一个condition number，然后在训练过程中发现该值与常用的GAN评估方法 Inception Score 和 Frechet Inception Distance 的评估值十分相关，最后文中提出一种方法通过控制 condition number 来改进 GAN 的训练过程。
  4. 一篇文章提出一种新的方法计算WGAN中 Wasserstein distance，同时做了许多相关的理论推导。 这篇文章理论知识很多，我看起来很费劲，也很困惑。文章中虽然做了很多的工作，但是相比于WGAN没有太大的创新。
Read more »

Posted on | | Visitors:

1 GAN

1.1 Introduction

To learn the generator’s distribution $p_g$ over data x, we define a prior on input noise variables $p_z(z)$, then represent a mapping to data space as $G(z; θ_g)$, where $G$ is a differentiable function represented by a multilayer perceptron with parameters $θ_g$. We also define a second multilayer perceptron $D(x; θ_d)$ that outputs a single scalar. $D(x)$ represents the probability that $x$ came from the data rather than $p_g$. We train $D$ to maximize the probability of assigning the correct label to both training examples and samples from $G$. We simultaneously train $G$ to minimize $log(1 - D(G(z)))$. In other words, $D$ and $G$ play the following two-player mini-max game with value function $V (G; D):$

$$min_G max_DV (D; G) = E_x∼p_{data(x)}[log D(x)] + E_{z∼p_z(z)}[log(1 - D(G(z)))]$$

Read more »

Posted on | | Visitors:

1 Transforming Auto-encoder(ICANN 2011 )

1.1 Introduction

Artificial neural networks should use local “capsules” that perform some quite complicated internal computations on their inputs and then encapsulate the results of these computations into a small vector of highly informative outputs. Each capsule learns to recognize an implicitly defined visual entity over a limited domain of viewing conditions and deformations and it outputs both the probability that the entity is present within its limited domain and a set of “instantiation parameters” that may include the precise pose, lighting and deformation of the visual entity relative to an implicitly defined canonical version of that entity. When the capsule is working properly, the probability of the visual entity being present is locally invariant – it does not change as the entity moves over the manifold of possible appearances within the limited domain covered by the capsule. The instantiation parameters, however, are “equivariant” – as the viewing conditions change and the entity moves over the appearance manifold, the instantiation parameters change by a corresponding amount because they are representing the intrinsic coordinates of the entity on the appearance manifold.

Read more »

Posted on | | Visitors:

1 统计学习概述

​ 统计学习三要素：模型、策略、算法。

1.1 模型

​ 模型就是所要学习的条件概率分布或者决策函数

1.2 策略

​ 策略即是决定用什么样的准则学习或选择最优的模型。

  1. 损失函数（loss function）

    loss function

  2. 经验风险最小化和结构风险最小化

    1. empirical risk minimization，ERM：其理论依据是大数定理。但是通常情况下训练数据较少并不满足大数定理的要求，容易发生过拟合现象。
    2. structural risk minimization，SRM：为了防止过拟合现象，SRM增加正则化项，对模型的复杂度进行约束，要求模型复杂度较小。

1.3 算法

​ 算法是指学习模型的具体算法，例如BP算法、EM算法等。

1.4 模型评估与模型选择

​ 训练误差、测试误差、交叉验证。

​ 生成模型、判别模型。

Read more »

Posted on | | Visitors:

Introduction

最近看了一些Word2Vec的一些相关文章，主要分为两类。一是有关于Word2Vec的发展，主要是以下4篇文章起到奠基性的作用

我看了一些Word2Vec的一些相关文章，主要分为两类。一是有关于Word2Vec的发展，主要是以下4篇文章起到奠基性的作用

  1. A Neural Probabilistic Language Model.2003 (NNLM)

  2. Recurrent neural network based language model.2010 (RNNLM)

  3. Distributed Representations of Words and Phrases and their Compositionality.2013 (Skip Gram Model and CBOW)

  4. Efficient Estimation of Word Representations in Vector Space.2013 (Skip Gram Model and CBOW)

二是关于Word2Vec应用的一些文章，一些有趣的idea像是如下的文章

  1. Linguistic Regularities in Continuous Space Word Representations.2013
  2. Exploiting Similarities among Languages for Machine Translation.2013
  3. Distributed Representations of Sentences and Documents.2014
Read more »

Posted on | | Visitors:

一、算法说明

基因算法

基因算法有一套公共的完整的框架，伪代码如下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
begin
  set time t = 0 # first generation
  initGeneration() # initialize the population P(t)
  while the termination condition isnot met do
  begin
    
    fitness() # evaluate fitness of each member of the population P(t);
    select() # select members from population P(t) based on fitness;
    
    # produce the offspring of these pairs using genetic operators(cross,mutate);
    # replace candidates of P(t), with these offspring;
    cross() #
    mutate() #
    
    set time t = t + 1 # new generation
  end
end

结合以上代码来分析一下基因算法：

  1. 第3行，首先要初始化第一代种群。这里涉及到一个个体是如何编码的，这一点对于不同的具体问题，要做出不同的实现。
  2. 第4~16行，在终止条件到来之前，种群一代代循环进化，具体如下：
    1. 第7行，计算种群个体的适应度，这里可以评估最优秀个体和平均适应度等。这一点上适应度对于不同的具体问题，其个体适应度计算方法不同，要做出不同实现。
    2. 第8行，根据个体的适应度不同，选出优秀的个体。这一点有多种不同的策略，例如轮盘赌策略和随机二选一的策略。
    3. 12~13行，选出优秀的个体之后，我们要用这些个体产生新一代的种群。具体方法则是交叉和变异。这里有两点需注意，一是交叉或变异的个体的选择有多种不同的策略，二是针对于不同的具体问题，交叉或变异的具体方法不同。
    4. 第15行，经过以上操作产生了新的一代，在这里做出标记。
  3. 当达到终止条件时，则结束进化。
Read more »