Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

typo3 “alle caches leeren” was passiert

Ja, der Begriff “alles” ist bei TYPO3 nicht so vollständig, wie man glauben mag. Der Klick auf den Schalter “Clear all caches” im TYPO3 Backend ruft die Routine clear_cacheCmd(‘all’) auf. Diese findet sich in tslib/t3lib_tcemain.php. Hat der Anwender administrative Rechte und ist die Option nicht per TSConfig ausgeschaltet (options.clearCache.all = 0), wird hier folgendes ausgeführt:

• Die Datenbanktabellen cache_hash, cache_treelist, cache_pages und cache_pagesection werden geleert
• Eventuell durch Extensions konfigurierte Cache-Tabellen werden geleert (clearAllCache_additionalTables)
• Die gerade in Verwendung befindlichen Dateien typo3conf/temp_CACHED* werden gelöscht

Insbesondere alle Dateien im Verzeichnis typo3temp bleiben bestehen. Wer diese von Hand (oder mit meinem Script “t3clean“) löscht, der leere bitte auch gleich die Tabelle cache_imagesizes. Wenn man dabei ist, kann auch gleich die recht umfangreiche (> 8MB) Tabelle cache_extensions löschen. Diese Tabelle enthält die von der TER (TYPO3 Extension Repository) angebotenen Extensions.

Der einzige Grund, eine TYPO3-Installation solchermaßen vorzubereiten ist, eine effektive Sicherung vorzunehmen. In meinem Artikel “Eine intelligentere Sicherung” habe ich beschrieben, wie eine Sicherung möglich ist, ohne diese Cache-Dateien mitzusichern. Da sie dadurch nicht gelöscht werden, wird TYPO3 eine Menge Arbeit bei der Wiederherstellung des Cache erspart – die Webseite läuft weiterhin schnell und flüssig.

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

wo sehe ich den speicherbedarf von typo3

Sehr gute Frage, den Speicherbedarf kann man leider nirgendwo sehen, sofern php nicht als cgi-bin ausgeführt wird. TYPO3 startet während seiner Arbeit etliche Programme, an prominenter Stelle steht hier ImageMagick, eine Bildbearbeitung die je nach Bild gerne ein paar Dutzend MB verbraucht. Außerdem hat jede TYPO3-Version unterschiedliche Add-ons installiert, die den Speicherbedarf weiter in die Höhe treiben.

Generell is TYPO3 für den Betrieb auf Shared Servern (sog. “virtual server”, oder “v-server”) nicht besonders gut geeignet. Kleinere Internetpräsenzen kann man mit 2 GB Arbeitsspeicher gut versorgen, sofern nur wenige Anfragen pro Sekunde kommen. Große Präsenzen, wie z.B. buffed.de würde ich gleich mit mindestens 16 GB und einem Lastverteiler versehen.

Genauere Antworten müßte man an Ihrer Präsenz ausmessen, indem man den freien Hauptspeicher im laufenden Betrieb misst.

programme updaten open source

Es gibt dafür unter Windows leider immer noch kein Patentrezept. Die Lösung zum Problem, alle OpenSource Programme auf einem Computer gleichzeitig zu aktualisieren lautet: Linux (Ubuntu) installieren. Ab sofort können Sie mit folgendem Befehl alle Anwendungen des Computers gleichzeitig aktualisieren:

apt-get update; apt-get -y upgrade

Dennoch ist eine der häufigsten Anfragen: Wie kann ich im Verzeichnis typo3temp großreinemachen?

Die meisten TYPO3-Erweiterungen mögen es nicht, wenn ihnen ihre Datenverzeichnisse unter den Füßen weggezogen werden. Die Programmierer ersparen sich hier die Prüfung auf Existenz des Verzeichnisses – denn dieses wurde bei der Installation der Erweiterung ja unweigerlich angelegt, dafür sorgt das TYPO3-Framework. Löscht nun der Anwender diese Verzeichnisse, brechen Scripte ab und legen damit TYPO3 lahm.

Einfach alle Dateien in typo3temp zu löschen ist auch keine gute Idee – dort hinein gehören zumindest die Dateien index.html und .htaccess. Die Datei index.html enthält Code, der einen Besucher auf die Homepage führen soll. Klickt jemand auf einen fehlerhaften Link und gelangt auf ein nicht mehr existierendes Bild in typo3temp, wird er automatisch auf die Startseite der Internetpräsenz umgelitten. Die Datei .htaccess enthält oft den Code: “Options -indexes”, welcher die automatische Erstellung einer Dateiliste durch den Webserver ausschaltet. Diese Dateien dürfen natürlich nicht gelöscht werden.

Also kurz: Um typo3temp aufzuräumen dürfen darin nur Dateien gelöscht werden, die weder “index.html”, noch “.htaccess” heißen. Sind diese nicht da, wäre es ratsam sie wie oben genannt zu erstellen. Das zu automatisieren, dazu dient das folgende Script. Es ist nur ein Parameter einzustellen: Das zu säubernde TYPO3 Verzeichnis.

Wichtig: Nach Reinigung des typo3temp Verzeichnisses muß unbedingt im TYPO3 Backend die Funktion “Alle Caches leeren” angewendet werden, damit TYPO3 nämlich diese Temporärdaten neu erstellt.

Noch eine Warnung: Bei umfangreichen Seiten, insbesondere auf “Virtual Servern” oder “Shared Servern” wird eine enorme Systemlast verursacht, da alle Arbeiten von nun an neu erstellt werden müssen. Insbesondere bei grafiklastigen Seiten eine Katastrophe – daher: Anwendung nur auf eigene Gefahr!

Letzte Warnung: Dieses Script löscht DATEIEN! Anwendung auf eigene Gefahr! Absolut gar keine Garantie! Getestet nur auf Ubuntu 8.04 LTS Server!

Download: t3clean script for Linux

Mögliche Änderung: Wenn man die Zeile vor “rm $DATEI” wie folgt ändert, werden alle bereits existierenden Dateien “index.html” und “.htaccess” zurückgesetzt:

if [ -f "$DATEI" ]; then

Ubuntu gibt bei ‘ls’ normalerweise nicht die Verzeichnisnamen “.” und “..” aus. Dennoch ist diese Abfrage da – das Script löscht Dateien. Risiken: Das Script könnte durch einen symbolischen Verzeichnislink aus dem typo3temp Verzeichnis ausbrechen und die komplette Festplatte löschen. TYPO3 selber legt so etwas nicht an, aber von Hand ist es möglich. Daher: aufpassen!

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

Suchbegriff: Sicherungsscript komplette Festplatte

Geht es hier um Microsoft Windows? Dann kann ich das Freeware (Closed Source) Programm “Macrium Reflect” empfehlen, welches schon mal ganz gut funktioniert. Ganz gut, weil es auch erlaubt, Daten auf einfache Weise zurückzuspielen – sogar, wenn das Betriebssystem gar nicht mehr funktioniert. Eine kostenlose Linux-basierte Rettungs-CD kann heruntergeladen werden und funktioniert auf den meisten handelsüblichen Computern.

Sollte es hier um Linux gehen, dann reicht wohl ein tar-Befehl. Der Suchbegriff sagt “Sicherungsscript” und Scripte sollen wohl selbständig und unbeobachtet laufen. Wichtig ist, daß alle Dienste beendet werden, ansonsten werden zum Beispiel Datenbanken in geöffnetem Zustand gespeichert und das wäre beim Rückspielen schadhaft. Man benötigt eine zweite Festplatte, oder Festplattenpartition, da eine Sicherung nicht auf der zu sichernden Festplatte durchgeführt werden kann, denn dies würde ja die Sicherung mitsichern und in einer Endlosschleife enden.

Unix-Komplettsicherungen sind eigentlich unüblich. Dies gilt vor allem, da sich das Betriebssystem nicht regelmäßig von selber zerlegt. Außerdem ist das Rückspielen einer solchen Sicherung nicht trivial. Des Weiteren erhält man alle benötigte Software auf der Installations-DVD und kann sie mit dem Betriebssystem komfortabel mitinstallieren und auch aktualisieren. Es reicht also die Sicherung von /etc/* und /home/* um eine Linux-Installation mit vertretbarem Aufwand wiederherzustellen – es sei denn man ist ein Bastler, der seine eigene Software kompiliert, ein Vorgang den ich in der Linux-Welt auf dem Desktop immer seltener beobachte.

Tip: Mit der Macrium Reflect Rettungs-CD kann man auch Linux-Installationen sichern.

Suchbegriff: typo3 extern clear cache

Hier scheint es darum zu gehen, wie man von “außerhalb” den TYPO3-Cache löschen kann, also das physikalische Äquivalent von “Clear All” im Backend.

Ohne vorher zu tief in die Materie eingestiegen zu sein, habe ich gute Erfahrungen mit folgenden Schritten gemacht:

1. Alle Dateien in /typo3temp löschen, ausgenommen die folgenden: .htaccess und index.html (die man aber auch später wieder neuerstellen kann)
2. In der Datenbank alle Tabellen leeren , die mit cache_ beginnen. (Wichtig! Nicht: löschen! Leeren ist etwas anderes, siehe “SQL TRUNCATE”)
3. Löschen der Dateien typo3conf/temp_*

Das Erstellen eines Script überlasse ich meinen Besuchern als Übungsaufgabe.

Soll nur das TYPO3-Verzeichnis für ein platzsparendes Backup vorbereitet werden, empfehle ich meinen Artikel “Eine intelligentere Sicherung“, welcher sich mit dem Problem genauer befasst und auch einige Codeschnipsel enthält.

Suchbegriff: wie kann man die dateiliste bei typo 3 ausdrucken oder exportieren

Tja hm, gute Frage. In der TYPO3 Extension Repository (TER) findet sich auf den ersten Blick ein Add-On namens file_list, welches Listen bestimmter Verzeichnisse anbietet. Also generell brauchbar, solange man nur eine Repository verwendet. Es ist leider ein Frontend Plugin, aber man kann den Zugriff auf diese Seite ja schützen. Hilft das?

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

Suchbegriff: typo3temp neu anlegen

Da hat sich wohl jemand sein typo3temp Verzeichnis gelöscht. Dumm gelaufen.

TYPO3-Extensions haben die Möglichkeit, sich in typo3temp für Dateiuploads ein Unterverzeichnis anzulegen. Dieses geschieht automatisch bei der Installation der entsprechenden Extension. Leider kommen viele Erweiterungen nicht damit zurecht, wenn dieses Verzeichnis fehlt. Daher: Niemals ein Unterverzeichnis in typo3temp löschen! Immer nur die darin enthaltenen Dateien löschen (ausgenommen “.htaccess” und “index.html”).

Wie man trotzdem eine platzsparende Sicherung macht, umreisse ich in meinem Artikel “Eine intelligentere Sicherung“.

Wenn es nun schon zu spät ist, zum Beispiel nach dem Rücksichern einer Sicherung ohne typo3temp Verzeichnis hilft nur:

1. typo3temp aus dem originalen TYPO3-Archiv wiederherstellen
2. Einloggen ins Backend und alle Extensions zunächst deinstallieren und dann sogleich neu installieren um die übrigen Verzeichnisse zu erstellen.
3. Im Backend alle Caches löschen.
4. Ordentliche Leute räumen danach gleich die Config-Datei auf, da der Extension manager da ziemlich drin rummüllt.

Suchbegriff: avg beschleunigen

AVG Antivirus ist dafür bekannt, sehr großzügig mit Ressourcen umzugehen. Da es aber bei den Werbeeinblendungen sehr gutmütig ist, ziehe ich es dennoch anderen Scannern vor. Wenn man über einen langsameren PC verfügt, z.B. ein Netbook, ist man vielleicht mit Avira Antivirus Free besser bedient.

Unter Windows XP kann man AVG während des Bootvorgangs ausschalten und somit den Bootvorgang erheblich beschleunigen. Dazu wird das Laden von AVG während des Bootvorgangs unterbunden und dieser nach Beendigung des Bootens nachgestartet. Genauere Informationen und die dazu notwendige Software nur für Windows XP findet sich in meinem Artikel Windows-Start beschleunigen mit AVG Antivirus.

Hoffe geholfen zu haben

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

Suchbegriff: typo3 drop die ganze db per konsole

Ein Klassiker. Man kann jede beliebige MySQL-Datenbank mit dem Dienstprogramm mysqldump in eine Textdatei schreiben. Besser wäre es allerdings, die Tabellen welche mit “cache_” beginnen nicht mit zu sichern. Diese werden von TYPO3 automatisch neu erstellt. Dazu habe ich bereits einen Artikel “Eine intelligentere Sicherung” geschrieben. Einfach das Verzeichnis /var/lib/mysql/<datenbankname> zu sichern reicht nämlich leider nicht. Enthält die Datenbank nämlich Tabellen im Format “InnoDB”, befinden sich die Daten dieser Tabellen in der Datei /var/lib/mysql/ibdata1 – vermischt mit allen anderen InnoDB Tabellen aller anderer Datenbanken.

Syntax des Befehls mysqldump:

mysqldump -e -C --add-drop-table -u <benutzer> --password=<kennwort> -h localhost <datenbank> | gzip --best > sicherung.gz

Hier ist ein Benutzername mit Zugriffsrechten auf die zu sichernde Datenbank inklusive Kennwort anzugeben. “Localhost” ist, bei entfernten Servern, mit der IP-Adresse oder dem Domainnamen des Datenbankservers zu ersetzen. Der Benutzer muss dann allerdings auch vom Internet aus Zugriffsrechte haben. Wie man die Cache-Tabellen von der Sicherung ausschließt, siehe in meinem Artikel.

Suchbegriff: ubuntu 10.4 nat

Network access translation ist bei der Standardinstallation von Ubuntu ausgeschaltet. >Man muß zunächst dem Kernel erlauben, Pakete weiterzuleiten:

echo "1" > /proc/sys/net/ipv4/ip_forward

Erst jetzt kann man iptables dazu bringen Pakete POSTROUTING weiterzureichen. Nächstes Problem für den Hilfesuchenden: Wie zum Teufel funktioniert iptables?!?

Suchbegriff: wie beende ich mittels tastenkombination ubuntu 10.4

Wenn eine Konsole gerade offen ist, folgenden Befehl eingeben und mit der Eingabetaste abschließen:

shutdown -h now

Naja, das war aber sicher anders gemeint…

Nun im Ernst: Ubuntu hat ein Applet namens “Keyboard shortcuts”. Man erreicht es über das Hauptmenü “System>Einstellungen>Tastaturkürzel” (oder so ähnlich). Dort sind alle Einstellungen hinterlegt und können auch geändert werden. Sollte sich dort keine Einstellung finden lassen, hat der Einsteiger leider Pech gehabt.

Man kann sich ja ein Script anlegen (Mit suid-Flag!) und das mit einer Tastenkombination belegen:

#!/bin/sh
sudo shutdown -h now

Aber Achtung: shutdown macht genau das. Es verfügt nicht über die Genade und Langsamkeit von Windows™. Also vorher alles Speichern!

Die einfachste Lösung ist hier ein “tar -czf backup.heute.tgz *”, in diesem Fall werden die gesamten Temporärdateien aber täglich mitgesichert.

Ebenso finden sich temporäre Daten in der Datenbank. Insbesonders mehrsprachige Webseiten mit Nutzern verschiedener Benutzergruppen verbrauchen mehrere hundert Megabyte auf der Festplatte. Es wird jede Seite, für jede Sprache und jedes Benutzerlogin einzeln abgespeichert. Dies ist notwendig, damit ein Benutzer nicht Daten zu sehen bekommt, für die seine Benutzergruppe nicht qualifiziert ist.

Ein Tip: Gehen Sie einfach mal in das Verzeichnis Ihrer TYPO3-Installation und tippen Sie unverbindlich: “du -hsm *” ein. Suchen Sie die Zeile, welche “typo3temp” enthält. Die Zahl zu Beginn der Zeile ist die Anzahl der Megabyte, die dieses Verzeichnis belegt. Bei mir steht dort ein Tag nach Löschen des Cache-Speichers bereits 2.239. Zweitausendzweihundertundneununddreissig Megabyte. Und diese Daten können mit einem Klick auf “Clear all cache” jederzeit zurückgewonnen werden.

Eigentlich ist der Speicherplatzverbrauch kein Problem, da TYPO3 ohnehin für den Betrieb auf einem echten Server ausgelegt ist. Aber bei Backups sehe ich es aus ergonomischen und Performanzgründen einfach nicht ein, riesige Mengen an unnötigen Dateien täglich zu sichern.

Ähnlich sieht es in der Datenbank aus. Alle Tabellen mit “cache_” im Namen sind eigentlich entbehrlich – die Klick auf “clear all cache” würde sie eh löschen und sie, im theoretischen Fall einer kompletten Neuinstallation, neu erstellen. Meine cache_pages enthält hier zum Beispiel 1,1 Gigabyte an Daten.

Eigentlich kann auch der sog. “Refindex” jederzeit neu erstellt werden, allerdings ist dieser Vorgang etwas aufwendiger. Und der Volltextindex (Tabellen mit “index_” zu Beginn) ist eigentlich auch überflüssig und würde weitere 600 MB pro Backup sparen.

So habe ich nun anstatt des zu Anfangs erwähnten “tar -czf backup.heute.tgz *” folgendes in Verwendung:

# Prüfen ob das TYPO3 ist
if [ -L "typo3_src" ]; then
  find -type d > ~/DATEILISTE
  find -type l >> ~/DATEILISTE
  find -type f | grep -v ^\.\/typo3temp\/ >> ~/DATEILISTE
  sed -i 's/^\.\///g' ~/DATEILISTE
  tar --no-recursion --files-from="~/DATEILISTE" -cf ~/backups/
fi

Die erste Zeile (if) prüft auf eine existierende TYPO3 Installation. Die wird am symbolischen Link zum TYPO3-Quellverzeichnis erkannt. Da TYPO3 empfindlich auf fehlende Verzeichnisse und symbolische Links reagiert, fügen wir alle Verzeichnisse und Links der Dateiliste hinzu (erste 2 Zeilen mit “find”).

Der Befehl “find” beginnt jede Zeile mit “./” was soviel bedeutet wie “Datei im aktuellen Verzeichnis”. Diese entfernen wir schnell mit “sed”.

In der dritten find-Zeile erstellen wir eine Liste ALLER Dateien im TYPO3-Verzeichnis und streichen alles heraus, das mit “/typo3temp/” beginnt. Nun teilen wir tar mit, daß wir nur die Dateien der DATEILISTE haben möchten – voila, das Problem mit den temporären Dateien wäre gelöst. Was aber mit der Datenbank?

Hier sichere ich täglich mit dem MySQL-Dienstprogramm “mysqldump”. Ein direktes Kopieren der MySQL-Dateien aus /var/ wäre wesentlich schneller und genauer, allerdings könnte ich dann nicht selber bestimmen was gesichert wird. Und einige Tabellen aller Datenbanken sind in der Datei /var/lib/mysql/ibdata1 verquirlt – ein Rückspielen ginge dann nur durch Ersatz der kompletten Datenbank. Blöd wenn ein Kunde nur versehenlich eine Tabelle gelöscht hat und die wiederhergestellt haben möchte.

Aber auch mysqldump akzeptiert eine Liste von Tabellen aus einer Datenbank. Man müßte nur diese Liste ein wenig ausdünnen… Das folgende ist in php geschrieben, um die erweiterten Stringverarbeitungsfunktionen zu nutzen:

#!/usr/bin/php
<?php
 echo "#!/bin/bash\n";
 echo "mysqldump -e -C --add-drop-table -u root --password=kennwort -h 127.0.0.1 ".$argv[1]." ";
 $connection = mysql_connect("127.0.0.1", "root", "kennwort");
 if (!$connection) {
 die("Fehler bei der Datenbankverbindung");
 }
 mysql_select_db($argv[1]);
 $res = mysql_query("SHOW TABLES");
 while( $row = mysql_fetch_row($res) ) {
 $table = $row[0];
 if (!(
 substr($table,0,6) == "cache_" ||
 substr($table,0,6) == "index_" ||
 substr($table,0,16) == "cachingframework"
 )) {
 echo $table." ";
 }
 }
?>

Dieses Script sichert nicht, es ist “quick+dirty”, also eklig geschrieben – aber es erstellt ein kurzes Shellscript, welches die Sicherung dann fortführt. Es erstellt eine Liste der Tabellen in einer angegebenen Datenbank, übergeht alle Zeilen, die mit “cache_”, “index_”, oder “cachingframework” beginnen und gibt das erzeugte Script auf der Konsole aus, also bitte die Ausgabe in eine Datei umleiten. Und nicht vergessen, ein “chown 700″ auf diese Ausgabe anzuwenden.

Ich hoffe, daß dieser Artikel allen geplagten Heimanwendern ein paar gute Ansätze für eigene Sicherungsscripts gibt.