PCA reduziert die Leistung der logistischen Regression?

Question

Ich setze diesen Code dort hin, wo ich logistische Regression und PCA + logistische Regression getan habe. Mit Logistik habe ich 95% Genauigkeit, während mit PCA + Logistik ich seltsame Ergebnisse bekomme. Ich führte eine logistische Regression bei einem binären Klassifikationsproblem mit Daten von 50000 x 370 Dimensionen durch. Ich habe eine Genauigkeit von etwa 90%. Aber als ich PCA + Logistics auf Daten setzte, reduzierte sich meine Genauigkeit auf 5%. Ich war sehr schockiert, dieses Ergebnis zu sehen. Kann mir jemand erklären, was schief gehen könnte? Kann jemand sehen, was Fehler ist oder ich PCA falsch anwende? Ich bin wirklich verwirrt, bitte schlage etwas vor, um es richtig zu machen.

X_train1, X_test1, y_train1, y_test1 = train_test_split(X_test,y_test, test_size=0.50) 

pca=PCA(n_components=0.98).fit(X_train1) 

X_train1pca=pca.transform(X_train1) 

X_test1pca=pca.transform(X_test1) 

lr=LogisticRegression() 

y_pred1=lr.fit(X_train1,y_train1).predict(X_test1) 

y_pred2=lr.fit(X_train1pca,y_train1).predict(X_test1pca) 

acc_pca=(y_pred2==y_test1).sum()/len(y_test1) 

acc=(y_pred1==y_test1).sum()/len(y_test1) 

print(acc_pca,acc) 

print(acc_pca+acc) 

Ergebnisse Ich habe wie erwähnt:

0.954836446549 0.959221257564 

1.91405770411 
>>> 
========= RESTART: C:\Users\prashant\Desktop\santandar\santander.py ========= 


0.0430588441638 0.962992195036 

1.0060510392 
>>> 
========= RESTART: C:\Users\prashant\Desktop\santandar\santander.py ========= 

0.0463913005349 0.960098219767 

1.0064895203 

Answer 1

Für mich ist es nur eine Umkehrung des von Te PKA (X_train1pca und X_test1pca) erstellt Cluster sein könnte. Aus diesem Grund sehen Sie die 0.0463913005349, dh Ihre zweite Lösungsgenauigkeit lautet 1-0.0463913005349 = 0,953 ... Um dies zu lösen, sollten Sie Ihre Daten vor der Anwendung von pca auf Null stellen, da pca auf der Kovarianzmatrix basiert, die aus zentrierten Daten gebildet wird.