推荐算法工程师 专题汇总
推荐算法工程师 专题汇总
面试官是位有点儿小帅的男性，酷酷的不苟言笑的样子。在问完实习项目后先撕了代码，用栈实现队列。其实有在leetcode刷过这题，但只后悔当时刷得不认真，没有细究其中的细节，这里踩了一个坑。面试官显然不满足于我最原始的两个栈的方法，对时间复杂度提出了更高的要求，在面试官的提醒之下才写出了最优的算法（大概花费了几分钟的时间）。
面试官问的面试题： 1、XGBoost 的特征重要性是如何得到的？
我说了根据每个分裂点的特征加权求和的方法，不过说得有一些问题。
这里面试官有在尝试引导我，问了我 XGBoost 是如何分裂的，于是我又说了依据信息增益，遍历特征，遍历特征分裂点，以 exact greedy 和分位数两种方法进行查找。
我一直以为这里的特征重要性的权重是依据特征离根节点的远近来计算的，后来一番探讨之后我自己意识到这种说法是有问题的。面试官主动告诉我特征的权重就是信息的增益。
2、面试官有问我实习中随机森林和 lightgbm 的一些参数，我凭着记忆如实说了。这里就引出了第二个问题。我说随机森林的每棵基决策树都是不剪枝的，通过取均值而达到避免过拟合。而面试官提出随机森林的基决策树也是需要剪枝的，于是面试官让我分析一下到底随机森林可不可以剪枝。
从误差上来看，剪枝的模型偏差会大一些，而方差会更小。不剪枝的模型偏差小，方差大。
然而随机森林的 Bagging 思想本来就是靠取均值来达到降低方差的效果，因此不剪枝的模型方差也未必会很大。反倒我觉得剪枝了的模型会有欠拟合的风险，因为每棵决策树都不一定能拟合得很好。