Tokens sind die Einheit von KI - im Prinzip Wortstückchen. Und von denen verbrauchen Coding Agenten, wie wir sie nutzen, eine ganze Menge. Sie lesen unseren Code, unsere Prompts, und schreiben wiederum Antworten oder Code. Tokens everywhere. Eine relevante Größe - von völlig unbekannter Größe.
Tokens kosten perspektivisch bares Geld (bei Abrechnung über die API auch jetzt schon), und KI-Agenten haben global einen gewaltigen CO2-Ausstoß. Wir wollten wissen, wie hoch unser Anteil an diesem Ausstoss in etwa ist. Und welche Kosten uns erwarten, wenn wir für Claude nicht mehr per Abonnement zahlen würden. Und deshalb mussten wir zuerst einmal messen.
Die Plugins - Daten sammeln
Da Anthropic uns unseren Tokenverbrauch nur nennen würde, wenn wir auch pro Tokens bezahlen, mussten wir selbst etwas bauen. Das funktioniert überhaupt nur in den CLI-Tools, nicht im Browser. Aber zumindest die Claude-CLI gibt recht zuverlässig Tokenzahlen mit. Diese sammelt unser Plugin und schickt sie an das Backend. Wir haben keine Authentifizierung eingebaut und betreiben das Dashboard in unserem VPN. Das ist einfach, weil wir dann keine Sicherheitsmaßnahmen ergreifen müssen, heißt aber auch, dass Daten nur gesendet werden können, wenn der oder die Nutzende gerade im VPN ist. Es kann also einen zeitlichen Verzug geben, bis die Daten bei uns ankommen.
Das Backend - Daten speichern
Das Backend nimmt die Daten entgegen und speichert sie. Tokenzahlen werden dabei ohne jeden Bezug zu Userdaten gespeichert, so dass es unmöglich ist, Nutzer:innen nachzuverfolgen. Bis hierin trivial. Die echte Herausforderung lag ganz woanders: Wie viel Gramm CO2 verbraucht so ein Token? Es gibt dazu keine Informationen. Keine Studien, die einen nennenswerten Einblick hatten. Die eigentlich einzige Quelle ist die Studie von Jegham et al., 2025. Jegham et al. haben die Antwortzeit von standardisierten Anfragen gemessen und mit Annahmen über die Hardware Stromverbräuche berechnet. Das ist keine echte Messung. Es bezieht die Embodied Emissions nicht ein. Aber es ist zumindest mal eine Idee, um die Größenordnung abschätzen zu können, in der wir uns bewegen. Aus den Daten dieser Studie haben wir einen Faktor berechnet, den wir für Claude Sonnet annehmen. Den CO2-Ausstoß der anderen Modelle berechnen wir mit Faktoren, die im gleichen Verhältnis zum Sonnet-Faktor stehen wie die jeweiligen API-Preise zueinander. Das ist nur eine sehr grobe Annäherung. Wir gehen von höheren CO2-Werten bei besseren Modellen aus, schätzen nur grob pro Familie und haben die Faktoren nicht mehr an geänderte Preise angepasst. Wir wissen nicht, ob unsere Annahmen stimmen. Aber wir haben auch keine Möglichkeit, sie zu überprüfen.
Das Frontend - Auswertungen anzeigen
Das Frontend zeigt kumulierte Tokens, einen zeitlichen Verlauf und verschiedene Auswertungen (verwendete Modelle, durchschnittliche Tokenanzahl pro installiertem Plugin, ...) an. Also alles das, für das wir das System überhaupt gebaut haben. Jetzt haben wir Zahlen. Bei den Preisen eine gute Annäherung (einige Tokens werden wir immer verlieren), bei den CO2-Werten eher eine Idee. Mit dieser Übersicht stehen wir aber erst am Anfang. Richtig gut wäre es, wenn unser System eine individuelle Rückmeldung geben könnte, wenn man sieht, ob der eigene Tokenverbrauch durch den Einsatz dieses oder jenes Tools gesunken ist. Das ist mit dem Dashboard zur Zeit noch nicht möglich, und inwieweit das jemals möglich sein wird, wissen wir noch nicht - die Datensparsamkeit macht das gerade unmöglich. Wir arbeiten an einer lokalen Speicherung, so dass das Plugin auch auf dem eigenen Rechner Daten speichert und Auswertungen möglich macht.
Das Dashboard ist open source verfügbar!
Wenn ihr jetzt denkt: Super! Das wollen wir auch haben!
Gerne! Weiter unten findet ihr alle unsere Komponenten für euer eigenes Dashboard. Backend und Frontend müsst ihr forken und selbst in eurer Infrastruktur deployen, mit Postgres Datenbank. Wir haben aber an Beispieldateien gedacht, die findet ihr im Repo. Da es keine Authentifizierung gibt, gilt: Nur und ausschließlich im VPN betreiben! Sobald Backend und Frontend konfiguriert und deployt sind, findet ihr in eurem Frontend unter den jeweiligen Anbietern (Claude, Copilot, OpenCode) einen bereits konfigurierten Link zum Installieren. Fertig!
Wir nutzen zur Zeit ausschließlich Claude, die anderen Systeme sind nicht Real-Life-erprobt und es gibt bei Claude und Copilot bekannte Lücken, derer ihr euch bewusst sein solltet. Wie viele unbekannte es gibt, wissen wir (naturgemäß) nicht.
frontend: https://github.com/neuland/tokendashboard-frontend
Claude plugin: https://github.com/neuland/tokendashboard-plugin-claude
Copilot plugin: https://github.com/neuland/tokendashboard-plugin-copilot
Open Code plugin: https://github.com/neuland/tokendashboard-plugin-opencode