Domanda R come posso calcolare la differenza tra le righe in un frame di dati


Ecco un semplice esempio del mio problema:

> df <- data.frame(ID=1:10,Score=4*10:1)
> df
       ID Score
    1   1    40
    2   2    36
    3   3    32
    4   4    28
    5   5    24
    6   6    20
    7   7    16
    8   8    12
    9   9     8
    10 10     4
    > diff(df)

Error in r[i1] - r[-length(r):-(length(r) - lag + 1L)] : 
  non-numeric argument to binary operator

Qualcuno può dirmi perché si verifica questo errore?


19
2018-04-25 10:15


origine


risposte:


diff vuole una matrice o un vettore piuttosto che un frame di dati. Provare

data.frame(diff(as.matrix(df)))

27
2018-04-25 10:18



Forse stai cercando qualcosa di simile a questo:

> tail(df, -1) - head(df, -1)
   ID Score
2   1    -4
3   1    -4
4   1    -4
5   1    -4
6   1    -4
7   1    -4
8   1    -4
9   1    -4
10  1    -4

Puoi sottrarre o aggiungere due data.frames insieme se hanno le stesse dimensioni. Quindi, quello che stiamo facendo qui è sottrarre uno data.frame manca la prima riga (tail(df, -1)) e uno che manca l'ultima riga (head(df, -1)) e sottraendoli.


20
2018-04-25 10:18



Perché df funziona su vettori o matrici. Puoi usare apply per applicare la funzione su colonne in questo modo:

 apply( df , 2 , diff )
   ID Score
2   1    -4
3   1    -4
4   1    -4
5   1    -4
6   1    -4
7   1    -4
8   1    -4
9   1    -4
10  1    -4

Sembra improbabile che tu voglia calcolare la differenza negli ID sequenziali, quindi potresti scegliere di applicarlo su tutte le colonne tranne il primo così:

apply( df[-1] , 2 , diff )

O potresti usare data.table (non che aggiunge qualcosa qui, voglio solo iniziare ad usarlo!), e sto assumendo nuovamente che non vuoi applicare diff alla colonna ID:

DT <- data.table(df)
DT[ , list(ID,Score,Diff=diff(Score))  ]
    ID Score Diff
 1:  1    40   -4
 2:  2    36   -4
 3:  3    32   -4
 4:  4    28   -4
 5:  5    24   -4
 6:  6    20   -4
 7:  7    16   -4
 8:  8    12   -4
 9:  9     8   -4
10: 10     4   -4

E grazie a @AnandaMahto una sintassi alternativa che offre maggiore flessibilità nella scelta delle colonne su cui può essere eseguito:

DT[, lapply(.SD, diff), .SDcols = 1:2]

Qui .SDcols = 1:2 significa che vuoi applicare il diff funzione alle colonne 1 e 2. Se hai 20 colonne e non vuoi applicarle all'ID che potresti usare .SDcols=2:20 come esempio.


8
2018-04-25 10:18



Un'altra opzione che usa dplyr starebbe usando mutate_each per scorrere tutte le colonne, ottenere la differenza della colonna (.) con il lag della colonna (.) e rimuovere l'elemento NA in alto con na.omit()

library(dplyr)
df %>%
    mutate_each(funs(. - lag(.))) %>%
    na.omit() 

O con shift a partire dal data.table. Converti 'data.frame' in 'data.table' (setDT(df)), passa attraverso le colonne (lapply(.SD, ..)) and get the difference between the column (X) and theritardo(cambioby default gives theritardoastype = "lag" `). Rimuovere la prima osservazione, cioè l'elemento NA.

library(data.table)
setDT(df)[, lapply(.SD, function(x) (x- shift(x))[-1])]

5
2017-08-05 08:40



Aggiungendo questo alcuni anni dopo per completezza, puoi usare un semplice [.data.frame sottotitolazione per raggiungere anche questo

df[-1, ] - df[-nrow(df), ]
#    ID Score
# 2   1    -4
# 3   1    -4
# 4   1    -4
# 5   1    -4
# 6   1    -4
# 7   1    -4
# 8   1    -4
# 9   1    -4
# 10  1    -4

4
2017-08-05 08:25



Mi piacerebbe mostrare un modo alternativo per fare questo tipo di cose, anche se spesso ho la sensazione che non sia apprezzato farlo in questo modo: usando sql.

sqldf(paste("SELECT a.ID,a.Score"
            ,"      , a.Score - (SELECT b.Score"
            ,"                   FROM df b"
            ,"                   WHERE b.ID < a.ID"
            ,"                   ORDER BY b.ID DESC"
            ,"                   ) diff"
            ," FROM df a"
            )
      )

Il codice sembra complicato ma non lo è e ha qualche vantaggio, come puoi vedere dai risultati:

    ID Score diff
 1   1    40 <NA>
 2   2    36 -4.0
 3   3    32 -4.0
 4   4    28 -4.0
 5   5    24 -4.0
 6   6    20 -4.0
 7   7    16 -4.0
 8   8    12 -4.0
 9   9     8 -4.0
 10 10     4 -4.0

Un vantaggio è che si utilizza il dataframe originale (senza convertire in altre classi) e si ottiene un frame di dati (metterlo in res <- ....). Un altro vantaggio è che hai ancora tutte le righe. E il terzo vantaggio è che puoi facilmente prendere in considerazione i fattori di raggruppamento. Per esempio:

df2 <- data.frame(ID=1:10,grp=rep(c("v","w"), each=5),Score=4*10:1)

sqldf(paste("SELECT a.ID,a.grp,a.Score"
            ,"      , a.Score - (SELECT b.Score"
            ,"                   FROM df2 b"
            ,"                   WHERE b.ID < a.ID"
            ,"                         AND a.grp = b.grp"
            ,"                   ORDER BY b.ID DESC"
            ,"                   ) diff"
     ," FROM df2 a"
     )
)


   ID grp Score diff
1   1   v    40 <NA>
2   2   v    36 -4.0
3   3   v    32 -4.0
4   4   v    28 -4.0
5   5   v    24 -4.0
6   6   w    20 <NA>
7   7   w    16 -4.0
8   8   w    12 -4.0
9   9   w     8 -4.0
10 10   w     4 -4.0

3
2018-03-16 17:22