library(caret)## 载入需要的程辑包：ggplot2## 载入需要的程辑包：lattice  data(iris)iris <- na.omit(iris)

#设置重抽样方式fitControl <- trainControl(method = "cv",                          number = 10,allowParallel = TRUE)#建立gbm模型set.seed(1)gbmFit<- train(factor(Species) ~ .,                  data = iris,                  method = "gbm",                  trControl = fitControl,                 verbose = FALSE)
#建立xgboost模型xgbFit <- train(factor(Species) ~ .,                  data = iris,                  method = "xgbTree",                  trControl = fitControl,                 verbose = FALSE,         verbosity = 0)#建立随机森林模型rffit <- train(factor(Species) ~ .,                  data = iris,                  method = "rf",                  trControl = fitControl,                 verbose = FALSE)#这种模型构建方式是不是很简单！！#重采样测试进行结果对比resamps <- resamples(list(GBM = gbmFit,                         XGB =xgbFit,                         RF = rffit                         ))

x<-iris[1:4]  #变量特征y<-factor(iris$Species)  #结果特征set.seed(10)filterCtrl <- sbfControl(functions = rfSBF,                         method = "repeatedcv", repeats = 5,                        saveDetails = TRUE)rfWithFilter <- sbf(y=y,x=x, data=iris, sbfControl = filterCtrl)

subsets <- c(1:4)set.seed(10)ctrl <- rfeControl(functions = rfFuncs,                   method = "repeatedcv",                   repeats = 5,                   verbose = FALSE)rfProfile <- rfe(x, y,                 sizes = subsets,                 rfeControl = ctrl)rfProfile

#RFE结果显示，Petal.Width和Petal.Length两个变量被选出#结果可视化plot(rfProfile, type = c("g", "o"))

ga_ctrl <- gafsControl(functions = rfGA,                      method = "cv"                      )set.seed(10)rf_ga <- gafs(x = x, y = factor(y),              iters = 5,              gafsControl = ga_ctrl)

sa_ctrl <- safsControl(functions = rfSA,                      method = "cv",                       improve= 50)
set.seed(10)rf_sa <- safs(x = x, y = factor(y),              iters = 50,              safsControl = sa_ctrl)rf_sa$optVariables

#可以看出模拟退火算法选择的变量与其他几种均不相同#为了测试一下结果，我们通过lattice包的xyplot方法来看看数据分布情况library(lattice)#使用Petal.Length和Petal.Width两个特征维度来查看数据xyplot(Petal.Length ~ Petal.Width, data = iris,       groups = Species,       auto.key = list(corner=c(1, 0)))

#可以看到，如果选择基因算法和RFE算法选择的变量Petal.Length和Petal.Width来查看数据，分类为setosa的数据可以被很好的区分开来，但是versicolor和virginica两类并不能被很好的区分，不过也没有完全交融在一起，表现还不错#我们再来试试模拟退火算法选择的特征结果xyplot(Sepal.Length ~ Petal.Length, data = iris,       groups = Species,       auto.key = list(corner=c(1, 0)))

#同样的，可以看出setosa分类可以被很好的区分开来，但是versicolor和virginica两类并不能被很好的区分，并且有一些样本还被混在一起，#总结一下，基因算法和RFE算法以及模拟退火算法都实现了特征提取，减少了特征数量，并且基因算法和RFE算法提取结果表现优异。