报告链接

Jeff Hawkins
Patent

Numenta 的使命

  1. 理解新大脑皮层 (neocortex) 的工作原理。新大脑皮层是哺乳动物大脑的一部分；对人类而言，是大脑皮层最大的一部分，覆盖两个脑半球，剩下的部分叫 allocortex （异生脑），占据的面积比新大脑皮层小很多。新大脑皮层由六层组成。人类的新大脑皮层参与大脑的各种高级功能，比如知觉感知，运动指令的生成，空间推理，有意识的思考，以及语言。异生脑分为有三个亚型：paleocortex, archicortex, periallocortex。人类的嗅觉系统和海马体通常被认为属于异生脑。新大脑皮层是大脑皮层最后演化的一部分。大脑皮层占人类大脑体积的75%.
  2. 以新大脑皮层的工作原理为基础创建机器智能。许多人并不认为从理解大脑工作原理出发来制造人工智能是正确的途径。

为何机器智能应该建立在大脑皮层工作原理的基础上

  1. 大脑皮层用同一套学习算法实现不同功能：视觉、听觉、触觉、行为
  2. 大脑皮层的算法适应性很强：语言、工程、科学、艺术
  3. 网络效应：通过软硬件方面共同努力获得统一解决方案

内容提要

  1. 大脑皮层的一些事实
  2. 相关的理论 (HTM)
  3. 研究的路线图
  4. 应用的路线图
  5. 对机器智能的思考

大脑皮层的功能

  1. 大脑皮层从快速变化的感知数据中习得一个模型
  2. 这个模型生成预言、感知异常、行动
  3. 大部分数据来自自身的变化
  4. 感知－行动模型

大脑皮层的事实

  1. 2.5 毫米厚
  2. 人类大脑皮层差不多相当于一张大手绢的大小
  3. 不同物种的大脑皮层在解剖上和功能上都很相似；有人做过实验，把一个动物的视觉和听觉神经元互换，发现负责视觉的脑区变成负责听觉，而负责听觉的脑区变成负责视觉。
  4. 等级结构：虽然大脑皮层是一张皮，但不同区域会互相连接，这种连接造成了等级结构。人类大脑的等级结构更复杂。
  5. 四层或六层组成
  6. Mini-columns: 微柱结构
  7. 两类主要神经元：10% proximal，90% distal; 每个神经元有几千个突触；大部分突触离神经元都比较远。几千个离得远的树突起的作用相当于一种“符合计数器”，用来探测时间上相邻的信号。
  8. 学习的过程不仅是强化神经元连接，更重要的是，突触一直不停地在生成和消失，可以建立新的连接。

大脑皮层的理论: HTM

  1. 相同或相似区域的等级分布
  2. 每个区域都在学习; 学习的内容都是时变信号
  3. 当输入可预测时，沿着等级往上走稳定性增高
  4. 沿着等级往下走时，序列展开

细胞层

  1. 两层前馈: 推理，模式识别
  2. 两层反馈: 行动，关注
  3. 每层做的事情类似，略有变化，但连接的目标不同，因此功能不同

两种推断

  1. 信号先到第四层，然后到第三层
  2. 输入不只是感知数据
  3. 还包括运动指令，以及之前的一些记忆
  4. 比如，当你看着一个东西的时候，你的眼球其实一直都在轻微的运动，换句话说，你的视觉输入一直处于变化中；如果仅有这些输入，大脑没办法做出预测；但大脑记住了之前的运动指令，因此可以预测接下来的输入。这些发生在第四层。
  5. 如果系统能对信号建立稳定的模型，这个模型发生于第三层。
  6. 如果不能，传给下一层。
  7. 第三层: 高阶序列

神经元

  1. 突触是种很不精确的东西
  2. Potential synapses: 潜在突触; 一开始并没有连接，通过训练建立连接
  3. 连接建立起来后，不容易忘记

稀疏分布式表达: the language of intelligence

  1. 大脑里任何东西都是 Sparse distributed representation (SDR)
  2. 至少上千位，每位相当于一个神经元
  3. 少数是 1, 多数是 0

SDR 的性质

  1. 表达的相似性意味着语义相似性
  2. 存储与比较：稀疏存储，只保存 1 的 index；通过比较这些 1 的 index 来比较两个表达；如果连存储完整的稀疏表达都做不到，则在比较时可能会出错，但同时也意味着语义的泛化。
  3. 多个表达的联合：新的表达不能还原成旧的，但可以推断新的是否包含旧的。
  4. 一个神经元近邻几百个突触，假设对每个模式，只保存一部分突触???

Learning transitions, Feedforward activation

  1. 多个预言可以一下子出现
  2. 同样的输入，有巨量的方式表达不同的上下文

  1. 连续学习
  2. 高容量
  3. 局部学习规则
  4. 容错性
  5. 无敏感参数
  6. 语义泛化
  7. HTM 是新大脑皮层和机器智能的构建单元

研究路线图

  1. 第 2/3 层: 98% 的理论被验证
  2. 第 4 层: 80% 的理论还在发展中
  3. 第 5 层: 50% 的理论
  4. 第 6 层: 10% 的理论

应用

  1. Encoder: Sparse representation
  2. High order sequence memory
  3. 使用相同的代码
  4. 分层应用：不同类型的应用
    1. 第 2/3 层：流数据
    2. 预测
    3. 反常探测
    4. 分类
    5. Predictive maintanence
    6. 安全
    7. NLP
    1. 第 4 层：静态数据
    2. 分类，预言
    3. 视觉图像分类，网络分类
    1. 第 5 层：静态数据或流数据
    2. 目标导向行为
    3. Robotics, smart bots, proactive defence
    1. 第六层：多感知模式
    2. 多行为模式

研究路线图

  1. 软件开源的
  2. NuPIC

展望

三种机器智能的途径

  1. 大脑皮层: HTM; 基于生物学; 空-时行为; 预言，分类，目标导向; 通向 MI
  2. ANN: DL; 基于数学; 空(-时)行为; 分类; 可能不通向 MI
  3. 传统 AI: Watson; 基于工程; 语言，文档; 自然语言查询; 不通向 MI

问答环节

  1. 大脑皮层负责理性推理；人类的其它生物性反应并不是由大脑管的。
  2. 关注神经科学领域的文献
  3. 是否做实验检验
  4. 并不是为了模拟人脑; 引入某些生物特性是因为理论上需要，不是别的原因。
  5. 第 5 层研究的进展
  6. Kurzweil (《奇点临近》的作者) 不太懂神经科学；Google 的人做的人工智能没达到这种精细程度
  7. 视觉系统的模拟; 有些哺乳动物没有第 4 层中的视觉系统; 只关心核心原理
  8. Encoders; bit 重用
  9. 不追求最优表达