判别方法：由数据直接学习决策函数 Y = f(X)，或者由条件分布概率 P(Y|X)作为预测模型，即判别模型。

　　生成方法：由数据学习联合概率密度分布函数 P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。 由生成模型可以得到判别模型，但由判别模型得不到生成模型。

　　常见的判别模型有：K近邻、SVM、决策树、感知机、线性判别分析(LDA)、线性回归、传统的神经网络、逻辑斯蒂回归、boosting、条件随机场。

　　常见的生成模型有：朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型(LDA)、限制玻尔兹曼机。