Spotify Streaming Verlauf

Benötigte R-Pakete:

library(tidyverse)
library(jsonlite)
library(lubridate)
library(gghighlight)

Datenbeschaffung

Vor kurzem hat meine Freundin beim Musikstreaminganbieter Spotify ihre Nutzerdaten beantragt und heruntergeladen. Eine Schritt-für-Schritt-Anleitung wie das funktioniert, findet man in den Account-Einstellungen unter Datenschutz. Laut Spotify umfasst der Downlad:

[…] eine Kopie deiner Playlists, deiner Suchanfragen, deines Streaming-Verlaufs des letzten Jahres, eine Liste der in deiner Bibliothek gespeicherten Elemente, die Zahl deiner Follower, die Zahl und die Namen der anderen Nutzer*innen und Künstler*innen, denen du folgst, sowie deine Zahlungs- und Abodaten.

Von Spotify bekommt man nach etwa 30 Tagen einen Link zu einer .zip Datei zur Verfügung gestellt, die ein Readme im PDF-Format sowie mehrere .json Dateien enthält. Für die meisten Spotify-Nutzer*innen ist das wahrscheinlich nicht das geläufigste Dateiformat. Die Dateien können zwar mit einem Texteditor betrachtet werden, jedoch lässt sich bspw. der Streaming-Verlauf aufgrund seiner Größe nicht gerade leicht erfassen.

Eintrag im Streaming-Verlauf

Aus diesem Grund habe ich ein R-Skript erstellt, mit welchem die von Spotify zur Verfügung gestellten Dateien ausgewertet werden können.

Datenaufbereitung

Zunächst lese ich den Streaming-Verlauf mit der Funktion fromJSON() aus dem R-Paket jsonlite ein. Abhängig von den eigenen Hörgewohnheiten kann es eine oder mehrere Dateien für den Streaming-Verlauf geben. Nach dem Einlesen der Dateien kombiniere ich die Verläufe zu einem einzigen Datenbestand.

streamVerlauf1 <- fromJSON("data/StreamingHistory0.json", flatten = TRUE)
streamVerlauf2 <- fromJSON("data/StreamingHistory1.json", flatten = TRUE)
streamVerlauf3 <- fromJSON("data/StreamingHistory2.json", flatten = TRUE)

streamVerlauf_spotify <- bind_rows(streamVerlauf1,
                                   streamVerlauf2,
                                   streamVerlauf3)

Unten ist ein Ausschnitt der Daten dargestellt. Jede Zeile in diesem Datensatz repräsentiert dabei einen Zeitpunkt (endTime) an dem ein Musiktitel (trackName) eines Interpreten (artistName) abgespielt wurde. Auch die Abspieldauer des jeweiligen Titels ist vorhanden (msPlayed).

Bevor ich mit der Auswertung beginne, müssen noch die Datums- und Zeitangaben angepasst werden. Zum einen soll die Spalte endTime getrennt werden, sodass ich je eine Spalte für das Datum und die Uhrzeit erhalte. Hierfür nutze ich die Funktion ymd_hm() aus dem R-Paket lubridate. Die Uhrzeit ist in den Rohdaten in der Zeitzone UTC+0 codiert (@Spotify: das wäre eine nützliche Angabe im Readme gewesen), sodass ich noch eine Stunde für die Umwandlung in die Mitteleuropäische Zeitzone (UTC+1) addieren muss. Mit der Funktion floor_date() wird dann die Datums-/Zeitangabe auf den jeweiligen Tag gerundet. Die Abspieldauer wird zudem in Minuten umgewandelt (mPlayed).

streamVerlauf_spotify <- 
  streamVerlauf_spotify %>% 
  as_tibble() %>% 
  mutate(
    endTime_mez = ymd_hm(endTime) + hours(1),
    date = as_date(floor_date(endTime_mez, "day")), 
    mPlayed = round(msPlayed / (1000*60), digits = 2)
    )

Die fertig aufbereiteten Daten sehen so aus:

Datenanalyse

Zuerst möchte ich mir den Streaming-Verlauf über den gesamten Zeitraum anschauen. Mittels scale_fill_gradient() kann man eine Farbverlaufsskala erstellen, wobei rot eine relativ hohe und gelb eine relativ niedrige Streaming-Aktivität darstellt.

streamVerlauf_spotify %>% 
  group_by(date) %>%
  summarize(hours = sum(mPlayed) / 60) %>% 
  arrange(date) %>% 
  ggplot(aes(x = date, y = hours)) + 
  geom_col(aes(fill = hours)) +
  scale_fill_gradient(low = "yellow", high = "red") + 
  scale_x_date(date_breaks = "4 weeks", date_labels = "%b") +
  labs(
    x = "", 
    y = "Streamingaktivität (in Stunden)", 
    fill = "Stunden gestreamt"
    )

Besonders interessant finde ich den Höchstwert im Juli. Ich vermute, dass dieser auf meine Geburtstagsfeier zurückgeht, da meine Freundin an diesem Abend als Spotify-DJ engagiert war. Unten schränke ich den Auswertungszeitraum auf den Monat Juli ein und ändere die Skalierung der x-Achse, sodass die einzelnen Tage besser erkennbar sind.

streamVerlauf_spotify %>% 
  filter(date >= "2020-07-01" & date <= "2020-07-31") %>%
  group_by(date) %>%
  summarize(hours = sum(mPlayed) / 60) %>% 
  arrange(date) %>% 
  ggplot(aes(x = date, y = hours)) + 
  geom_col(aes(fill = hours)) +
  scale_fill_gradient(low = "yellow", high = "red") + 
  scale_x_date(date_breaks = "2 days", date_labels = "%d") +
  labs(
    x = "Juli", 
    y = "Streamingaktivität (in Stunden)", 
    fill = "Stunden gestreamt"
    )

Der 25. Juli war ein Samstag und hier fand meine Geburtstagsfeier statt - danke für die Erinnerung Spotify. Lässt sich mit den Daten auch rekonstruieren wie lange die Feier ging? Hierfür schränke ich die Daten noch enger auf den 25. Juli 16 Uhr bis zum 26. Juli 9 Uhr ein und summiere die Streaming-Aktivität für jede Stunde auf.

streamVerlauf_spotify %>% 
  filter(endTime_mez >= "2020-07-25 15:00:00" & 
         endTime_mez <= "2020-07-26 09:00:00") %>%
  group_by(date, hour = hour(endTime_mez)) %>%
  summarize(hours = sum(mPlayed) / 60) %>% 
  ggplot(aes(x = hour, y = hours)) + 
  geom_col(fill = "white", color = "black") +
  facet_grid(. ~ date) +
  scale_x_continuous(breaks = seq(0,24,2)) +
  scale_y_continuous(breaks = seq(0,1,0.5)) +
  labs(x = "Uhr", y = "Streamingaktivität (in Stunden)")

Meine Freundin war besonders daran interessiert zu sehen, welche Künstler*innen und Lieder sie am häufigsten auf Spotify angehört hat. Hierzu summiere ich für jeden Künstler*in (artistName) die gestreamten Minuten (mPlayed) im gesamten Zeitraum auf und werte die Top-15 aus.

streamVerlauf_spotify %>%
  group_by(artistName) %>%
  summarise(hours = sum(mPlayed, na.rm = T)/60) %>%
  arrange(desc(hours)) %>%
  slice(1:15) %>%
  ggplot(data = .,
         aes(x = reorder(artistName, hours), 
             y = hours)) +
  geom_bar(stat ="identity", fill = "white", color = "black") +
  coord_flip() +
  scale_y_continuous(breaks = seq(0,110,10)) +
  labs(x = "", y = "Streamingaktivität (in Stunden)") +
  theme(legend.position = "none")

Die K-Pop Gruppe BTS hat es ihr besonders angetan und ihnen wurden umgerechnet über 4 Tage durchgehender Musikkonsum gewidmet. Welcher Fan bietet mehr?

Als nächstes schaue ich mir die Top 15 der gestreamten Musiktitel an. Damit man als Pop-Musik-Laie die Titel dem jeweiligen Interpreten zuordnen kann, erstelle ich mit der Funktion str_c() eine kombinierte Spalte aus Titel-/ und Künstlername.

streamVerlauf_spotify %>%
  mutate(track.artistName = str_c(trackName, " {",artistName,"}")) %>%
  group_by(track.artistName) %>%
  summarise(hours = sum(mPlayed, na.rm = T)/60) %>%
  arrange(desc(hours)) %>%
  slice(1:15) %>%
  ggplot(aes(x = reorder(track.artistName, hours), 
             y = hours)) +
  geom_bar(stat ="identity", fill = "white", color = "black") +
  coord_flip() +
  scale_y_continuous(breaks = seq(0,7,1)) +
  labs(x = "", y = "Streamingaktivität (in Stunden)") +
  theme(legend.position = "none")

Auch hier sind einige Titel der Gruppe BTS mit über 6 Stunden Abspielzeit im betrachteten Zeitraum an der Chartspitze vertreten.

Wie intensiv hört man einen Interpreten im Zeitverlauf? Mit dem R-Paket gghighlight kann man in einem Liniendiagramm bestimmte Gruppen (artistName) hervorheben. Oft wechselt sich dabei ein Liebglingsinterpret mit dem anderen ab.

streamVerlauf_spotify %>% 
  group_by(artistName, date = floor_date(date, "month")) %>% 
  summarize(hours = sum(mPlayed) / 60) %>% 
  ggplot(aes(x = date, y = hours, 
             group = artistName, 
             color = artistName)) + 
  geom_line() +
  gghighlight(artistName %in% c("BTS","Taylor Swift",
                                "Halsey", "Agust D",
                                "Lorde", "Domoinic Fike")
              ) +
  scale_x_date(date_breaks = "1 month", date_labels = "%b") +
  labs(x = "", 
       y = "Streamingaktivität (in Stunden)")

Zu welchen Tageszeiten hört meine Freundin am häufigsten Musik? Auch das lässt sich mit einer geeigneten Darstellungsmethode leicht beantworten. Mit der Funktion geom_tile() aus dem R-Paket ggplot2 erstelle ich Rechtecke, welche die gesamte Streamingaktivität für jede Stunde innerhalb eines Tages repräsentieren.

streamVerlauf_spotify %>% 
  group_by(date, hour = hour(endTime_mez)) %>% 
  summarize(minutesListened = sum(mPlayed)) %>% 
  ggplot(aes(x = hour, y = date, fill = minutesListened)) + 
  geom_tile() + 
  scale_fill_gradient(low = "yellow", high = "red") + 
  scale_x_continuous(breaks = seq(0,23,1)) +
  scale_y_date(date_breaks = "1 month", date_labels = "%b %Y") +
  labs(x = "Uhr", y = "", fill = "Minuten gestreamt") 

Kopfhörer auf und ab in die Bahn! Besonders gut zu erkennen sind die täglichen Pendelzeiten zwischen Wohnung und Arbeitsstelle. Diese liegen von Juni bis Ende Oktober am Morgen meist zwischen 5 und 6 Uhr und am Nachmittag zwischen 15 und 16 Uhr. Zwischen November und April verschiebt sich die Streamingaktivität am Morgen und am Nachmittag erkennbar um eine Stunde nach vorne (in der dunklen Jahreszeit kommt man einfach etwas schwerer aus dem Bett).

Interessant aber auch etwas gruselig, was sich aus den von Spotify gesammelten Nutzerdaten so alles erkennen lässt!