1. 概述
1.1. 三个流派
- 行为主义： 基于控制论，构建感知-动作控制系统
- 符号注意： 基于符号逻辑的方法，用逻辑表示知识和求解问题
- 连接主义： 基于大脑中神经元细胞连接的计算模型，用人工神经网络来拟合智能行为
1.2. 智能计算系统
是智能的物质载体，现阶段通常是集成CPU和智能芯片的异构系统，软件上通常包括一套面向开发者的智能计算编程环境（包括编程框架和编程语言）。
- 异构只能计算系统的主要原因：
通用CPU的计算能力增长近乎停滞，而智能计算能力的需求不断增长。 - 异构系统在提高性能的同时，也带来了编程上的困难
- 一般包括一套编程框架
1.3. 三代智能计算系统
- 第一代： 1980年代，面向服好主意智能处理的专用计算机（Prolog机，LISP机）
- 第二代： 2010年代，面向连接注意智能处理的专用计算机（深度学习计算机）
- 第三代： 未来强人工智能/通用人工智能的载体
2. 神经网络基础
2.1. 从机器学习到神经网络
各种技术的关系：
典型机器学习过程：
符号说明：
2.1.1. 线性回归
什么是回归（regression)
回归是研究一组因变量和自变量的关系。为什么叫回归？因为最初研究父母身高与子女身高的关系，发现身高会向平均身高回归。可以理解为会向平均值靠近。线性回归
可以找到一些点的集合背后的规律：一个点集可以用一条直线来拟合，这条拟合出来的直线的参数特征，就是线性回归找到的点集背后的规律。
或者说：给定一个点的集合，能够通过一条曲线进行拟合，如果拟合出的线是一条直线，那就称为线性回归。
2.2. 人工神经网络
2.2.1. 感知机（Perceptron）模型
超平面： 在二维空间中是一条直线，在三维空间中是一个二维平面。。。
2.2.2. 多层感知机
Why Not Go Deeper? Kurt Hornik证明了理论上两层神经网络足以拟合任意函数，过去也没有足够的数据和计算能力。
2.3. 多层神经网络
2.3.1. 深度神经网络的成功：ABC
深度神经网络不断发展不仅依赖于自身的结构优势，也依赖于如下一些外在因素
- Algorithm：算法日新月异，优化算法层出不穷（学习算法->BP 算法-> Pre-training，Dropout等方法）
- Big data：数据量不断增大（10-> 10 k ->100M）
- Computing：处理器计算能力的不算提升（晶体管->CPU ->集群/GPU ->智能处理器）