Apply SVD Lineare Regression in R

Question

Ich versuche SVD Lineare Regression in einer Punktewolke anwenden. Meine Darstellung der Punktmenge ist eine Matrix mit zwei Spalten, wobei die erste Spalte "x" und die zweite Spalte "y" ist. So erhalte ich diese Handlung:

myplot http://oi65.tinypic.com/msoyl5.jpg

Wie kann ich SVD lineare Regression, um meinen Standpunkt gilt mit einer Funktion gesetzt? Ich habe mit dieser versucht:

Regress_Lin<-function(data,label){ 
    #Calculating pseudomatrix of data  
    data<-cbind(data,rep(1,nrow(data))) 
    data.svd <- svd(data) 
    ds <- diag(1/data.svd$d) 
    u <- data.svd$u 
    v <- data.svd$v 
    us <- as.matrix(u) 
    vs <- as.matrix(v) 
    #Calculating abline coefficients y=mx+b 
    weights<-(vs%*%solve(ds)%*%t(u))%*%label 
    m <- -(weights[1,1]/weights[2,1]) 
    b <- -(weights[3,1]/weights[2,1]) 
    c(m,b) 
} 

Es funktioniert nicht.

Answer 1

Sie nur SVD müssen die Inverse berechnen und dann erhalten Sie die Gewichte für die lineare Regression, wie folgt:

(Dies ist die Pseudoinverse von X ist)

So gegeben, dass Sie Ihre data mit dem Format haben (x0, x1, x2) zuerst:

Erhalten mit SVD:

x <- t(data) %*% data 
duv <- svd(x) 

Sobald Sie haben die Einzelwertzerlegung, x^-1 als berechnet

x.inv <- duv$v %*% diag(1/duv$d) %*% t(duv$u) 

Nun berechnet die Pseudoinverse von X als

x.pseudo.inv <- x.inv %*% t(data) 

Und jetzt können Sie die Gewichte, es hilft dabei

w <- x.pseudo.inv %*% labels 

bekommen.

Answer 2

Wenn Ihr Problem ist (eigentlich) bekommen die Regressionslinie aufgetragen, das funktioniert gut mit lm():

# simulate some data: 
x = (1:100) + runif(100)*20; x = (1:100) + runif(100)*20 
plot(x,y) 
abline(lm(y~x))