如何使用python和scikit结合两个逻辑回归模型？

时间: 2019-10-26 08:35:37     标签: logistic-regression  machine-learning  python  scikit-learn     
我是Python和Scikit新手.
我有两个用Scikit创建的Logistic回归模型,我想将它们结合起来以获得新模型.
在我看来是这样的： 

clf1 = LogisticRegression()
clf1.fit(X_set, Y_set)
clf2 = LogisticRegression()
clf2.fit(X_set, Y_set)
combined_clf = clf1 + clf2

但是我不知道该怎么做.
在此先感谢所有人.

最佳答案

这里有两种方法可以满足您的需求.

第一个是让您的每个分类器投票给预测的分类.为此,您可以使用sklearn.ensemble.VotingClassifier.以您的示例为例：

from sklearn.ensemble import VotingClassifier
clf1 = LogisticRegression()
clf2 = LogisticRegression()
eclf1 = VotingClassifier(estimators=[('lr1', clf1), ('lr2', clf2),voting='hard')
eclf1 = eclf1.fit(X, Y)

另一个正在堆叠.
基本上,这个想法是合并多个分类器的输出,并在第一个分类器的输出上训练一个元分类器.

这是描述方法的有用链接：https://rasbt.github.io/mlxtend/user_guide/classifier/StackingClassifier/.

使用mlxtend和您的示例：

from mlxtend.classifier import StackingClassifier
clf1 = LogisticRegression()
clf2 = LogisticRegression()
lr = Your_Meta_Classifier()
sclf = StackingClassifier(classifiers=[clf1, clf2], 
                      meta_classifier=lr)

但是,在您的示例中,使用相同的确定性方法训练模型,我认为将它们堆叠不会带来任何改进.

希望能有所帮助！

(哦,可能重复：Ensemble of different kinds of regressors using scikit-learn (or any other python framework)吗？)