什么是偏差与方差？
偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力，方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响，噪声表达了当前任务上任何学习算法所能达到的期望泛化误差下界，刻画了问题本身的难度
如何进行特征选择？
它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，比如可以统计某个特征被认为是重要特征的频率（被选为重要特征的次数除以它所在的子集被测试的次数）。稍微弱一点的特征得分会是非0的数，而最无用的特征得分将会接近于0。
随机森林如何处理缺失值？
众所周知，机器学习中处理缺失值的方法有很多，然而，由题目“随机森林如何处理缺失值”可知，问题关键在于随机森林如何处理，所以先简要介绍下随机森林吧。
简单介绍下logistics回归？
逻辑回归(Logistic Regression)是机器学习中的一种分类模型，由于算法的简单和高效，在实际中应用非常广泛。
熵，条件熵，相对熵，互信息的相关定义及公式推导
事实上，(X,Y)发生所包含的熵，减去Y单独发生包含的熵，在Y发生的前提下，X发生的新带来的熵。互信息 两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵。
