(完整版)第七章机器学习人工智能课程北京大学
飙车音乐-
第七章
机器学习
<
/p>
教学内容：
机器学习是继专家系统之后人工智能应用的又一重要研
究领域。
本章
主要介绍机器学习的有关知识及其主要的几种学习
方法，
并介绍了知识发现的相
关内容。
教学重点：
机器学习的基本结构、类比学习、神经学习、知识发
现
教学难点：
学习系统的结构，知识
发现的处理过程，
教学方法：
课堂教
学为主。注意结合学生已学的内容。及时提问、收集学生学习
情况，
多实用具体实例来加以说明，
注意难易结合，
将课程讲述得
较为浅显易懂。
教学要求：
重点掌握
类比学习和知识发现，掌握机器学习的发展史和神经学习，
了解解释学习、归纳学习，一
般了解机械学习。
7.1
机器学习的定义和发展历史
教学内容
：
本小节主要介绍了机器学习的定义以及其发展的过程，
为后面
的进一
步学习打下基础。
教学重点：
机器学习的定义
教学难点：
对定义的准确把握和理解
教学方法：
通过举例引入机器学习的定义，
在讲述发展历史时，
简介各阶段的具
体产物，让学生有较为
具体的感受和体会。
教学要求：
重点
掌握机器学习的定义，了解机器学习的发展史。
7.1.1
机器学习的定义
1.
机器学习的基本概念
：
按照人工智能大师西蒙的观点，
学习
就是系统在不断重复的工作中对本身能
力的增强或者改进，
使得
系统在下一次执行同样任务或类似任务时，
会比现在做
得更好或
效率更高。
2.
机器学习的定义
机器学习是研究如何使用机器来模
拟人类学习活动的一门学科。
稍为严格的
提法是：
机器学习是一门研究机器获取新知识和新技能，
并识别现有知识的学问。
举例：
列举
19
59
年美国的塞缪尔设计的一下棋程序，由这一事件引出关于机器
学习的概念的相关讨论。
提问：
讨
论关于机器学习的各种概念的提出以及其区别。
7.1.2
机器学习的发展史
机器学习是人工智能应用研究较为
重要的分支，
它的发展过程大体上可分为
4
个时期：
< br>1.
第一阶段是在
50
年代中叶
到
60
年代中叶，属于热烈时期。在这个时期，
所研究的是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系
统和自适应系统；指导本阶段研究的理论基础是早在
40
年代就
开始研究的神经
网络模型。在这个时期，我国研制了数字识别学习机。
< br>
2.
第二阶段在
60
年代中叶至
70<
/p>
年代中叶，
被称为机器学习的冷静时期。
本
阶段的研究目标是模拟人类的概念学习过程，
并采用逻辑结构
或图结构作为机器
内部描述。这个时期正是我国“史无前例”的十年，对机器学习的研究
不可能取
得实质进展。
3.
第三阶段从
70
年代中叶至
80
年代中叶，<
/p>
称为复兴时期。
在这个时期，
人
们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方法。
< br>本阶段已开始把学习系统与各种应用结合起来，
中国科学院自动化研究所进行质<
/p>
谱分析和模式文法推断研究，表明我国的机器学习研究得到恢复。
1980
年西蒙
来华传播机器学习的火种后，我国的机器学习研
究出现了新局面。
4.
机器学习的最新阶段始于
1986
年。一方面，由于神经网络研究的重新兴
起，
另一方
面，
对实验研究和应用研究得到前所未有的重视。
我国的机器学
习研
究开始进入稳步发展和逐渐繁荣的新时期。
讨论：
根据对四个时期的划分和分段了解，
讨论机器
学习在现实生活中的具体运
用及其影响。
7.2
机器学习的主要策略与基本结构
内容
与作用：
本小节概括了机器学习的主要策略，
同时给出了机器学
习的基本结
构，让学生对机器学习的机制有了基本的认识。
教学重点：
机器学习的基本结构。
<
/p>
教学难点：
机器学习基本结构的内在联系。
教学方法：
通过概括介绍让学生了解几种基本的策略，
按从易到难的顺序，
层层
铺垫，
为后面的学习埋下伏笔。
详细讲述机器学习的基本结构，
< br>通过图示让更为
形象的说明。
教学要求：
重点掌握机器学习的基本结构，
了解机器学习的几种
主要策略，
一般
了解影响学习系统设计的因素。
7.2.1
机器学习的主要策略
学习过程与推理过程是紧密相连的，
按照学习中使用推理的多少，
机器学习
所采用的策略大体上可分
为
4
种棗机械学习、示教学习、类比学习和示例学习。
学习中所用的推理越多，系统的能力越强。
1.
机械学习就是记忆，
是最简单的学习策略。
这种学习策略不需要任何推理
过程。
2.
比机械学习更复杂一点的学习是示教学习策略。
系统在接
受外部知识时需
要一点推理，翻译和转化工作。
3.
类比
学习系统只能得到完成类似任务的有关因此，
他比上述两种学习策略
需要更多的推理。
4.
采用示例学习策略的计算机系统，
事先完全
没有完成任务的任何规律性的
信息，因此需要推理是最多的。
讨论：
通过对比四种主要策略，讨论其各自的优缺点以及其适用
的环境。
7.2.2
机器学习系统的基本结构
1.
基本结构
图
7.1
表示学习系统的基本结构：
图
7.1
学习系统的基本结构
通过对这个简单模型的讨论，总结出设计学习
系统应当注意的某些总的原则：
环境向系统的学习部分提供某些信息，学习部
分利用这些信息修改知识库，
以增进系统执行部分完成任务的效能，
执行部
分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，
环境，
知识库和执行部分决定了具体的工作内容，
学习部分所需要解决
的问题完
全由上述
3
部分确定。
举例：
以人为例，
说明机器学习和
人学习一样，
有着其
自身的规律和基本过程。
而且，其学习过程也有着共性。
提问：
能否就机器学习的基本结构，
举出相
关的例子，
并参照其基本结构对其进
行分析。
< br>
2.
影响学习系统设计的重要因素
(1).
影响学习系统设计的最重要的因素是环境向系统提供的信息。
整个过程
< br>要遵循
“取之精华，
弃之糟粕”
的原则，
同时谨记
“实践是检验真理的唯一标准”
。
< br>(2).
知识库是影响学习系统设计的第二个因素。
知识
的表示有多种形式，
在
选择表示方式时要兼顾以下
4
个方面：
表达能力强。所选择的表示方式能很容易地表达有关的知识。
易于推理。
为了使学习系统的计算代价比较低，
希望知识表示方式能使推理
较为容易。
< br>容易修改知识库。
学习系统的本质要求它不断地修改自己的知识库，
当推广
得出一般执行规则后，要加到知识库中。
知识表示易于扩展。
学习系统不能在全然没有任何知识的情况下凭空获取知识，<
/p>
每一个学习系统
都要求具有某些知识理解环境提供的信息，
分析比较，
做出假设，
检验并修改这
些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。
<
/p>
举例：
可举特征向量的例子来说明表达能力和推理的问题。
7.3
机械学习
教学内容：
本小节详细介绍了机械学习，
对机械学习模式和
一种数据化简模式以
及机械学习的主要缺点都有较为细致的讲解。
通过对这种最基本的机器学习的了
解，为以后学习更为复杂的策略打下良好的基础。<
/p>
教学重点：
机械学习的模式和其数据化
简模式
教学难点：
基本原理
教学方法：
用较为通俗的语言将机械学习的模式讲通彻，
同时通过图表对其数据
化简过程进行讲解。
多结合日常生活中
常有的学习过程，
和机械学习参照，
让学
生更容易接受。
教学要求：
重点掌
握机械学习模式，
了解机械学习的数据化简模式以及机械学习
的
优缺点。
1
、机械学习的模式
机械学习是最简单的机器学习方法
。
机械学习就是记忆，
即把新的知识存储
起来，
供需要时检索调用，
而不需要计算和推理。
机械学习又是最基本的学习过
程。
任何学习系统都
必须记住它们获取的知识。
在机械学习系统中，
知识的获取
是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。
举例
：
可用婴儿刚开始学东西时所才用
的学习方式和成人的思维方式比较。
2
、数据化简
Lenat,Hayes Rot
h
，和
Klahr
等人于
1979
年关于机械学习提出一种有趣的
观点。
他们指出，
可以把机械学习看成是数据化简分级中的第一级。
数据化简与
计算机语言编译类似；
其目的是把
原始信息变成可执行的信息。
在机械学习中我
们只记忆计算的输
入输出，
忽略了计算过程，
这样就把计算问题化简成存取问题。
见图
7.2
：
图
7.2
数据化简级别图
3
、主要问题
对于机械学习，
< br>需要注意
3
个重要的问题：
存储
组织，
稳定性和存储与计算
之间的权衡。
（
1
）存储组织信息：采用适当的存储方式，使检索速度
尽可能地快，是机械学习中的重要问题。
（
2
）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保
存的信息适应于外界环境变化的需要，这也就是所谓的信息适用性问题。
（
3
）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降
低系统的效率。
讨论：
机械学习中
存在的主要问题以及对学习模型的影响。
7.4
归纳学习
教学内容：
本小节详细介绍了归纳学习，对归纳学习的模式有较为细致的讲解，
对其定义有
详细的介绍，后半部分介绍了几种常见的归纳学习的方法。
教
学重点：
归纳学习的定义和其学习模式
教学难点：
归纳学习的基本原理
教学方法：
仍然使用到图表对归纳学习的模式进行讲授，
结合几种常用的归纳学
习方法，让学生形成系统的认识。
< br>
教学要求：
重点掌握归纳学习的定义及其模式，了解归
纳学习的几种常见方法。
归纳学习的定义
（
1
）归纳
（
induction
）是人类拓展认识能力的重要方法，是一
种从个别到
一般的，从部分到整体的推理行为。
（
2
）
归纳推理是应用归纳方法，
从足够多的具
体事例中归纳出一般性知识，
提取事物的一般规律；它是一种从个别到一般的推理。
（
3
）归纳学习（
induction lear
ning
）是应用归纳推理进行学习的一种方
法。
根据归纳学习有无教师指导，
可把它分为示例学习和观察与发现学习。
前者
属于有师学习，后者属于无师学习。
7.4.1
归纳学习的模式和规则
归纳学习的一般模式为：
给定：
(1)
观察陈述（事实）
F
，用以表示有关某些对象、状态、过程
等的
特定知识；
(2)
假定的初始归纳断言（可能为空）；
(3)
< br>背景知识，用于定义有
关观察陈述、
候选归纳断言以及任
何相关问题领域知识、
假设和约束，
其中包括
< br>能够刻画所求归纳断言的性质的优先准则。
求：归纳断言（假设）
H
，能重言蕴涵或弱蕴涵观察陈述，并满足背景知识。
假设
H<
/p>
永真蕴涵事实
F
，说明
< br>F
是
H
的逻辑推理，则有：
H
|>
F
（读作
H
特殊化为
F
）
或
F
|<
H
（读作
F
一般化或消解为
H
）
< br>
这里，从
H
推导
F
是演绎推理，因此是
保真的；而从事实
F
推导出假设
H
是归纳推理，因此不是保真的，而是保假的。
归纳学习系统的模型如图
7.3
所示。
图
7.3
归纳学习系统模型
实验规划过程通过对实例空间的搜
索完成实例选择，
并将这些选中的活跃实
例提交解释过程。
解释过程对实例加以适当转换，
把活跃实例变换为规则空间中
的特定概念，以引导规则空间的搜索。