Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. [...]]]> Ab und zu sehe ich im Protokoll einige interessante Suchbegriffe, die meine Besucher auf Google eingegeben haben. Diese Begriffe werden nämlich als “Referrer” übertragen und gelangen somit in meine Webanalyse.

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

wo sehe ich den speicherbedarf von typo3

Sehr gute Frage, den Speicherbedarf kann man leider nirgendwo sehen, sofern php nicht als cgi-bin ausgeführt wird. TYPO3 startet während seiner Arbeit etliche Programme, an prominenter Stelle steht hier ImageMagick, eine Bildbearbeitung die je nach Bild gerne ein paar Dutzend MB verbraucht. Außerdem hat jede TYPO3-Version unterschiedliche Add-ons installiert, die den Speicherbedarf weiter in die Höhe treiben.

Generell is TYPO3 für den Betrieb auf Shared Servern (sog. “virtual server”, oder “v-server”) nicht besonders gut geeignet. Kleinere Internetpräsenzen kann man mit 2 GB Arbeitsspeicher gut versorgen, sofern nur wenige Anfragen pro Sekunde kommen. Große Präsenzen, wie z.B. buffed.de würde ich gleich mit mindestens 16 GB und einem Lastverteiler versehen.

Genauere Antworten müßte man an Ihrer Präsenz ausmessen, indem man den freien Hauptspeicher im laufenden Betrieb misst.

programme updaten open source

Es gibt dafür unter Windows leider immer noch kein Patentrezept. Die Lösung zum Problem, alle OpenSource Programme auf einem Computer gleichzeitig zu aktualisieren lautet: Linux (Ubuntu) installieren. Ab sofort können Sie mit folgendem Befehl alle Anwendungen des Computers gleichzeitig aktualisieren:

apt-get update; apt-get -y upgrade

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. [...]]]> Ab und zu sehe ich im Protokoll einige interessante Suchbegriffe, die meine Besucher auf Google eingegeben haben. Diese Begriffe werden nämlich als “Referrer” übertragen und gelangen somit in meine Webanalyse.

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

Suchbegriff: Sicherungsscript komplette Festplatte

Geht es hier um Microsoft Windows? Dann kann ich das Freeware (Closed Source) Programm “Macrium Reflect” empfehlen, welches schon mal ganz gut funktioniert. Ganz gut, weil es auch erlaubt, Daten auf einfache Weise zurückzuspielen – sogar, wenn das Betriebssystem gar nicht mehr funktioniert. Eine kostenlose Linux-basierte Rettungs-CD kann heruntergeladen werden und funktioniert auf den meisten handelsüblichen Computern.

Sollte es hier um Linux gehen, dann reicht wohl ein tar-Befehl. Der Suchbegriff sagt “Sicherungsscript” und Scripte sollen wohl selbständig und unbeobachtet laufen. Wichtig ist, daß alle Dienste beendet werden, ansonsten werden zum Beispiel Datenbanken in geöffnetem Zustand gespeichert und das wäre beim Rückspielen schadhaft. Man benötigt eine zweite Festplatte, oder Festplattenpartition, da eine Sicherung nicht auf der zu sichernden Festplatte durchgeführt werden kann, denn dies würde ja die Sicherung mitsichern und in einer Endlosschleife enden.

Unix-Komplettsicherungen sind eigentlich unüblich. Dies gilt vor allem, da sich das Betriebssystem nicht regelmäßig von selber zerlegt. Außerdem ist das Rückspielen einer solchen Sicherung nicht trivial. Des Weiteren erhält man alle benötigte Software auf der Installations-DVD und kann sie mit dem Betriebssystem komfortabel mitinstallieren und auch aktualisieren. Es reicht also die Sicherung von /etc/* und /home/* um eine Linux-Installation mit vertretbarem Aufwand wiederherzustellen – es sei denn man ist ein Bastler, der seine eigene Software kompiliert, ein Vorgang den ich in der Linux-Welt auf dem Desktop immer seltener beobachte.

Tip: Mit der Macrium Reflect Rettungs-CD kann man auch Linux-Installationen sichern.

Suchbegriff: typo3 extern clear cache

Hier scheint es darum zu gehen, wie man von “außerhalb” den TYPO3-Cache löschen kann, also das physikalische Äquivalent von “Clear All” im Backend.

Ohne vorher zu tief in die Materie eingestiegen zu sein, habe ich gute Erfahrungen mit folgenden Schritten gemacht:

1. Alle Dateien in /typo3temp löschen, ausgenommen die folgenden: .htaccess und index.html (die man aber auch später wieder neuerstellen kann)
2. In der Datenbank alle Tabellen leeren , die mit cache_ beginnen. (Wichtig! Nicht: löschen! Leeren ist etwas anderes, siehe “SQL TRUNCATE”)
3. Löschen der Dateien typo3conf/temp_*

Das Erstellen eines Script überlasse ich meinen Besuchern als Übungsaufgabe.

Soll nur das TYPO3-Verzeichnis für ein platzsparendes Backup vorbereitet werden, empfehle ich meinen Artikel “Eine intelligentere Sicherung“, welcher sich mit dem Problem genauer befasst und auch einige Codeschnipsel enthält.

Suchbegriff: wie kann man die dateiliste bei typo 3 ausdrucken oder exportieren

Tja hm, gute Frage. In der TYPO3 Extension Repository (TER) findet sich auf den ersten Blick ein Add-On namens file_list, welches Listen bestimmter Verzeichnisse anbietet. Also generell brauchbar, solange man nur eine Repository verwendet. Es ist leider ein Frontend Plugin, aber man kann den Zugriff auf diese Seite ja schützen. Hilft das?

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. [...]]]> Ab und zu sehe ich im Protokoll einige interessante Suchbegriffe, die meine Besucher auf Google eingegeben haben. Diese Begriffe werden nämlich als “Referrer” übertragen und gelangen somit in meine Webanalyse.

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

Suchbegriff: typo3temp neu anlegen

Da hat sich wohl jemand sein typo3temp Verzeichnis gelöscht. Dumm gelaufen.

TYPO3-Extensions haben die Möglichkeit, sich in typo3temp für Dateiuploads ein Unterverzeichnis anzulegen. Dieses geschieht automatisch bei der Installation der entsprechenden Extension. Leider kommen viele Erweiterungen nicht damit zurecht, wenn dieses Verzeichnis fehlt. Daher: Niemals ein Unterverzeichnis in typo3temp löschen! Immer nur die darin enthaltenen Dateien löschen (ausgenommen “.htaccess” und “index.html”).

Wie man trotzdem eine platzsparende Sicherung macht, umreisse ich in meinem Artikel “Eine intelligentere Sicherung“.

Wenn es nun schon zu spät ist, zum Beispiel nach dem Rücksichern einer Sicherung ohne typo3temp Verzeichnis hilft nur:

1. typo3temp aus dem originalen TYPO3-Archiv wiederherstellen
2. Einloggen ins Backend und alle Extensions zunächst deinstallieren und dann sogleich neu installieren um die übrigen Verzeichnisse zu erstellen.
3. Im Backend alle Caches löschen.
4. Ordentliche Leute räumen danach gleich die Config-Datei auf, da der Extension manager da ziemlich drin rummüllt.

Suchbegriff: avg beschleunigen

AVG Antivirus ist dafür bekannt, sehr großzügig mit Ressourcen umzugehen. Da es aber bei den Werbeeinblendungen sehr gutmütig ist, ziehe ich es dennoch anderen Scannern vor. Wenn man über einen langsameren PC verfügt, z.B. ein Netbook, ist man vielleicht mit Avira Antivirus Free besser bedient.

Unter Windows XP kann man AVG während des Bootvorgangs ausschalten und somit den Bootvorgang erheblich beschleunigen. Dazu wird das Laden von AVG während des Bootvorgangs unterbunden und dieser nach Beendigung des Bootens nachgestartet. Genauere Informationen und die dazu notwendige Software nur für Windows XP findet sich in meinem Artikel Windows-Start beschleunigen mit AVG Antivirus.

Hoffe geholfen zu haben

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. [...]]]> Ab und zu sehe ich im Protokoll einige interessante Suchbegriffe, die meine Besucher auf Google eingegeben haben. Diese Begriffe werden nämlich als “Referrer” übertragen und gelangen somit in meine Webanalyse.

Häufig weiß ich die Antwort auf diese Fragen, diese sind aber hier leider noch nicht zu finden. Die Suchenden gehen also leider leer aus. Vielleicht hilft aber die Antwort dem nächsten Besucher, daher beantworte ich heute Suchbegriffe.

Suchbegriff: typo3 drop die ganze db per konsole

Ein Klassiker. Man kann jede beliebige MySQL-Datenbank mit dem Dienstprogramm mysqldump in eine Textdatei schreiben. Besser wäre es allerdings, die Tabellen welche mit “cache_” beginnen nicht mit zu sichern. Diese werden von TYPO3 automatisch neu erstellt. Dazu habe ich bereits einen Artikel “Eine intelligentere Sicherung” geschrieben. Einfach das Verzeichnis /var/lib/mysql/<datenbankname> zu sichern reicht nämlich leider nicht. Enthält die Datenbank nämlich Tabellen im Format “InnoDB”, befinden sich die Daten dieser Tabellen in der Datei /var/lib/mysql/ibdata1 – vermischt mit allen anderen InnoDB Tabellen aller anderer Datenbanken.

Syntax des Befehls mysqldump:

mysqldump -e -C --add-drop-table -u <benutzer> --password=<kennwort> -h localhost <datenbank> | gzip --best > sicherung.gz

Hier ist ein Benutzername mit Zugriffsrechten auf die zu sichernde Datenbank inklusive Kennwort anzugeben. “Localhost” ist, bei entfernten Servern, mit der IP-Adresse oder dem Domainnamen des Datenbankservers zu ersetzen. Der Benutzer muss dann allerdings auch vom Internet aus Zugriffsrechte haben. Wie man die Cache-Tabellen von der Sicherung ausschließt, siehe in meinem Artikel.

Suchbegriff: ubuntu 10.4 nat

Network access translation ist bei der Standardinstallation von Ubuntu ausgeschaltet. >Man muß zunächst dem Kernel erlauben, Pakete weiterzuleiten:

echo "1" > /proc/sys/net/ipv4/ip_forward

Erst jetzt kann man iptables dazu bringen Pakete POSTROUTING weiterzureichen. Nächstes Problem für den Hilfesuchenden: Wie zum Teufel funktioniert iptables?!?

Suchbegriff: wie beende ich mittels tastenkombination ubuntu 10.4

Wenn eine Konsole gerade offen ist, folgenden Befehl eingeben und mit der Eingabetaste abschließen:

shutdown -h now

Naja, das war aber sicher anders gemeint…

Nun im Ernst: Ubuntu hat ein Applet namens “Keyboard shortcuts”. Man erreicht es über das Hauptmenü “System>Einstellungen>Tastaturkürzel” (oder so ähnlich). Dort sind alle Einstellungen hinterlegt und können auch geändert werden. Sollte sich dort keine Einstellung finden lassen, hat der Einsteiger leider Pech gehabt.

Man kann sich ja ein Script anlegen (Mit suid-Flag!) und das mit einer Tastenkombination belegen:

#!/bin/sh
sudo shutdown -h now

Aber Achtung: shutdown macht genau das. Es verfügt nicht über die Genade und Langsamkeit von Windows™. Also vorher alles Speichern!

Obwohl Amazon AWS teurer als vergleichsweise Services ist, sind diese an feste Vertragslaufzeiten gekoppelt. Das Anmieten eines richtigen Webservers mit [...]]]> Vor kurzer Zeit habe ich über die erhöhten Gebühren des Amazon S3 Speicherservice gewettert, daher nun im Sinne einer ausgewogenen Berichterstattung einmal eine Anwendung, bei der Amazon so richtig leuchten, nein, sogar strahlen kann!

Obwohl Amazon AWS teurer als vergleichsweise Services ist, sind diese an feste Vertragslaufzeiten gekoppelt. Das Anmieten eines richtigen Webservers mit garantierter Leistung kostet zwar nur um die 40-80 Euro, die Vertragsmindestlaufzeit beträgt aber oft 12 oder 24 Monate, insbesondere, wenn auf die Einrichtungsgebühr verzichtet werden soll.

Der riesige Vorteil an S3 liegt nun bei der Möglichkeit einer stundenweisen Anmietung eines Rechners irgendwo im Internet. Amazons Preispolitik “zahle nur was du verbrauchst” ermöglicht hier nette Anwendungen.

Schon einmal irgendwo im Internet die Meldung bekommen: “Dieser Inhalt ist aus urheberrechtlichen Gründen für Ihr Land gesperrt”?

Da hätte ich einen Vorschlag zu machen!

Benötigt wird:

1. Ein Amazon AWS Account mit den freigeschalteten Services S3 und EC2.
2. Eine funktionsfähige Server- und Clientkonfiguration des hervorragenden VPN-Tools “OpenVPN” auf Ubuntu (Serverkonfiguration) Die Zertifikate müssen in /etc/openvpn/zertifikate/ sein.

Das Verzeichnis /etc/openvpn mit 7-zip kennwortgeschützt (wichtig!) zusammenpacken. Das Archiv unter dem Namen “i.7z” auf Amazon S3 in einem Bucket ablegen. Die “Access Control List” muß auf “Zugriff für jeden” eingestellt werden. Ansonsten muß man ein Dienstprogramm von AWS, z.B. s3cmd installieren, was einen erheblichen Aufwand bedeutet.

Kochbuch:

1. Neue Instanz von Ubuntu der Größe “m1.small” starten. Das geht auch mit der “Spot-Markt-Version” ab etwa 4 US-Cent. Dazu nehmen wir die folgende AMI: ami-2d4aa444 (Ubuntu 10.4 “Lucid Lynx” Server-Edition, x86)
2. Mittels Putty dort an der Konsole anmelden (Benutzer: ubuntu, Lucid Lynx unterstützt keine Anmeldung als root).
3. Das Script von unten in einen Texteditor editieren, kopieren und mit Klick auf die rechte Maustaste in der neuen Instanz ausführen. Dieses Script installiert 7zip und OpenVPN, lädt die Zertifikate, entpackt sie und startet dann OpenVPN.
4. Der lokalen (Windows-)Installation von OpenVPN muß nun nur noch mitgeteilt werden, wo der frisch gemietete Amazon-Server steht. Dazu wird die IPv4 in der Zeile mit “remote” eingetragen. Fertig sollte das in etwa so aussehen: “remote ec2-174-129-76-38.compute-1.amazonaws.com”.
5. Verbinden und die neue, anonyme Verbindung genießen.

Die Preise: Server pro Stunde der Aktivität: ab 8,5 US-Cent (US East). Eingehender Traffic: US$ 0,15 pro GB. Ausgehender Traffic: US$ 0,10 pro GB (zur Zeit IMHO noch einige Zeit kostenfrei. Stand: Mai 2010). Pro Monat (gerundet) US$ 0,01 für das Archiv von etwa 10-20kb auf S3.

Nachteile:

• Hoher einmaliger Installationsaufwand von etwa 1 Stunde – wenn man sich mit OpenVPN einigermassen auskennt.
• Die in der OpenVPN-Konfiguration eingetragenen DNS-Server müssen von Amazon auch erreichbar sein. Da der gesamte Traffic vom Start des VPN-Tunnels über denselben geht, sind die heimischen DNS-Server nicht mehr erreichbar. Lehnt der eigene ISP die Verbindung vom Amazon-Server durch eine Firewall ab, funktioniert die Namensauflösung ansonsten nicht mehr. Eventuell muss hier der DNS des Amazon Servers konfiguriert werden.
• Nach dem Beenden der Instanz sind alle Daten futsch, inklusive der Logdateien.

Vorteile:

• Durch die “händische” Installation von OpenVNP haben wir volle Kontrolle über die Verschlüsselung. Es kann ganz, ganz bestimmt niemand mitlesen.
• Durch die Wahl der Region, in der die Instanz des Servers gestartet wird, können wir geographische Hürden nehmen.
• Alle Dienste stehen voll zur Verfügung, so auch Videokonferenz, als auch Filesharing.
• Wir nutzen direkt die Ubuntu AMI von Canonical – keine Speicherkosten für EBS und Snapshots, somit auch kein Gefummle mit Elasticfox.
• Nach dem Beenden der Instanz sind alle Daten futsch, inklusive der Logdateien.

Achtung! Nach wie vor ist der Anwender für alle ein- und ausgehenden Datenströme voll verantwortlich. Und: Amazon hat eure Adresse! Diese “Pseudoanonymität” sollte niemanden dazu ermutigen, über ein VPN Straftaten zu begehen. Ihr seid nicht anonym!

Hier die Installationsbefehle. Die Zeilen mit “7z” sind mit dem Kennwort des Archives zu versehen. Das Subnetz habe ich auf 10.10.0.0/24 gewählt, so daß ihr 254 Clientverbindungen schalten könntet. Evtl müßt ihr euer Subnetz aus der OpenVPN-Konfiguration anpassen. Keine Sorge wegen des Klartext-Kennwortes im Installationsscript ganz am Ende dieses Artikels: Die Konsolenverbindung zum Amazon-Server ist verschlüsselt. Die Befehle werden beim Einfügen direkt ausgeführt – daher sind auch keine Tests und Schleifen programmiert.

sudo /bin/bash
apt-get -y install p7zip-full openvpn
rm i.7z
wget http://hus-srv-install.s3.amazonaws.com/i.7z
7z -p{passwort_hier_eintragen} x i.7z
mv zertifikate /etc/openvpn
mv openvpn_ssl.conf /etc/openvpn/
echo "1" > /proc/sys/net/ipv4/ip_forward
iptables -t nat -F
iptables -t nat -A POSTROUTING -s 10.10.0.0/24 -o eth0 -j MASQUERADE
./openvpn start

Ich hoffe, irgendjemand kann etwas mit diesen Anweisungen anfangen. Wer den Aufwand der Erstkonfiguration scheut, kann diese Zertifikate und Konfigurationsdateien natürlich auch von mir beziehen (ca. 1 Arbeitsstunde), das ist aber nicht empfohlen, da ich dann Zugriff auf Ihre Serverzertifikate gehabt habe und Sie nicht vollständig sicher sein können, daß diese nicht in fremde Hände gelangt sind.

Leider aber kann ich lesen, denn so weit ist es mit dem “preiswert” nicht. Insbesondere im privaten Bereich, wo die Administrationskosten quasi Null sind, ist Amazon S3 ein echter Geldfaktor.

Laßt es uns einmal vergleichen: Ich [...]]]> Da lese ich quasi täglich darüber, wie billig doch Amazons S3 Online-Speicherservice, oder dessen “Cloud Computing” service ist.

Leider aber kann ich lesen, denn so weit ist es mit dem “preiswert” nicht. Insbesondere im privaten Bereich, wo die Administrationskosten quasi Null sind, ist Amazon S3 ein echter Geldfaktor.

Laßt es uns einmal vergleichen: Ich habe gerade eine typische 500 GB-Festplatte gekauft. Netto sind darauf 465 GB verfügbar. Diese Festplatte hat mich netto 39 Euro gekostet.

Auf Amazon S3 kosten 465 GB (* 0,15 US$ cent/monat) ebenso US$ 69,75. Pro Monat. Bei einer Lebensdauer einer Festplatte von nur 3 Jahren sind das 2.511 US$ pro Festplatte.

Geiles Geschäftsmodell mit Leuten, die nicht rechnen können.

Die einfachste Lösung ist hier ein “tar [...]]]> Auf einer der von mir betreuten Webseiten unter TYPO3 befinden sich seit kurzer Zeit etwa 15.000 (fünfzehntausend) Dokumente in Bildform. TYPO3, als Hochlastsystem konzipiert, hat nunmehr die Eigenschaft, jedes bisschen seiner geleisteten Arbeit zur Wiederverwendung in einem Cache-Speicher abzulegen – eine sehr lobenswerte, aber keinesfalls platzsparende Eigenschaft.

Die einfachste Lösung ist hier ein “tar -czf backup.heute.tgz *”, in diesem Fall werden die gesamten Temporärdateien aber täglich mitgesichert.

Ebenso finden sich temporäre Daten in der Datenbank. Insbesonders mehrsprachige Webseiten mit Nutzern verschiedener Benutzergruppen verbrauchen mehrere hundert Megabyte auf der Festplatte. Es wird jede Seite, für jede Sprache und jedes Benutzerlogin einzeln abgespeichert. Dies ist notwendig, damit ein Benutzer nicht Daten zu sehen bekommt, für die seine Benutzergruppe nicht qualifiziert ist.

Ein Tip: Gehen Sie einfach mal in das Verzeichnis Ihrer TYPO3-Installation und tippen Sie unverbindlich: “du -hsm *” ein. Suchen Sie die Zeile, welche “typo3temp” enthält. Die Zahl zu Beginn der Zeile ist die Anzahl der Megabyte, die dieses Verzeichnis belegt. Bei mir steht dort ein Tag nach Löschen des Cache-Speichers bereits 2.239. Zweitausendzweihundertundneununddreissig Megabyte. Und diese Daten können mit einem Klick auf “Clear all cache” jederzeit zurückgewonnen werden.

Eigentlich ist der Speicherplatzverbrauch kein Problem, da TYPO3 ohnehin für den Betrieb auf einem echten Server ausgelegt ist. Aber bei Backups sehe ich es aus ergonomischen und Performanzgründen einfach nicht ein, riesige Mengen an unnötigen Dateien täglich zu sichern.

Ähnlich sieht es in der Datenbank aus. Alle Tabellen mit “cache_” im Namen sind eigentlich entbehrlich – die Klick auf “clear all cache” würde sie eh löschen und sie, im theoretischen Fall einer kompletten Neuinstallation, neu erstellen. Meine cache_pages enthält hier zum Beispiel 1,1 Gigabyte an Daten.

Eigentlich kann auch der sog. “Refindex” jederzeit neu erstellt werden, allerdings ist dieser Vorgang etwas aufwendiger. Und der Volltextindex (Tabellen mit “index_” zu Beginn) ist eigentlich auch überflüssig und würde weitere 600 MB pro Backup sparen.

So habe ich nun anstatt des zu Anfangs erwähnten “tar -czf backup.heute.tgz *” folgendes in Verwendung:

# Prüfen ob das TYPO3 ist
if [ -L "typo3_src" ]; then
  find -type d > ~/DATEILISTE
  find -type l >> ~/DATEILISTE
  find -type f | grep -v ^\.\/typo3temp\/ >> ~/DATEILISTE
  sed -i 's/^\.\///g' ~/DATEILISTE
  tar --no-recursion --files-from="~/DATEILISTE" -cf ~/backups/
fi

Die erste Zeile (if) prüft auf eine existierende TYPO3 Installation. Die wird am symbolischen Link zum TYPO3-Quellverzeichnis erkannt. Da TYPO3 empfindlich auf fehlende Verzeichnisse und symbolische Links reagiert, fügen wir alle Verzeichnisse und Links der Dateiliste hinzu (erste 2 Zeilen mit “find”).

Der Befehl “find” beginnt jede Zeile mit “./” was soviel bedeutet wie “Datei im aktuellen Verzeichnis”. Diese entfernen wir schnell mit “sed”.

In der dritten find-Zeile erstellen wir eine Liste ALLER Dateien im TYPO3-Verzeichnis und streichen alles heraus, das mit “/typo3temp/” beginnt. Nun teilen wir tar mit, daß wir nur die Dateien der DATEILISTE haben möchten – voila, das Problem mit den temporären Dateien wäre gelöst. Was aber mit der Datenbank?

Hier sichere ich täglich mit dem MySQL-Dienstprogramm “mysqldump”. Ein direktes Kopieren der MySQL-Dateien aus /var/ wäre wesentlich schneller und genauer, allerdings könnte ich dann nicht selber bestimmen was gesichert wird. Und einige Tabellen aller Datenbanken sind in der Datei /var/lib/mysql/ibdata1 verquirlt – ein Rückspielen ginge dann nur durch Ersatz der kompletten Datenbank. Blöd wenn ein Kunde nur versehenlich eine Tabelle gelöscht hat und die wiederhergestellt haben möchte.

Aber auch mysqldump akzeptiert eine Liste von Tabellen aus einer Datenbank. Man müßte nur diese Liste ein wenig ausdünnen… Das folgende ist in php geschrieben, um die erweiterten Stringverarbeitungsfunktionen zu nutzen:

#!/usr/bin/php
<?php
 echo "#!/bin/bash\n";
 echo "mysqldump -e -C --add-drop-table -u root --password=kennwort -h 127.0.0.1 ".$argv[1]." ";
 $connection = mysql_connect("127.0.0.1", "root", "kennwort");
 if (!$connection) {
 die("Fehler bei der Datenbankverbindung");
 }
 mysql_select_db($argv[1]);
 $res = mysql_query("SHOW TABLES");
 while( $row = mysql_fetch_row($res) ) {
 $table = $row[0];
 if (!(
 substr($table,0,6) == "cache_" ||
 substr($table,0,6) == "index_" ||
 substr($table,0,16) == "cachingframework"
 )) {
 echo $table." ";
 }
 }
?>

Dieses Script sichert nicht, es ist “quick+dirty”, also eklig geschrieben – aber es erstellt ein kurzes Shellscript, welches die Sicherung dann fortführt. Es erstellt eine Liste der Tabellen in einer angegebenen Datenbank, übergeht alle Zeilen, die mit “cache_”, “index_”, oder “cachingframework” beginnen und gibt das erzeugte Script auf der Konsole aus, also bitte die Ausgabe in eine Datei umleiten. Und nicht vergessen, ein “chown 700″ auf diese Ausgabe anzuwenden.

Ich hoffe, daß dieser Artikel allen geplagten Heimanwendern ein paar gute Ansätze für eigene Sicherungsscripts gibt.

Zu diesem Zweck legt ein Webserver die Datei access.log an, in [...]]]> Für die Planung und Organisation einer Webseite sind schöne, bunte Auswertungen der Besucheraktivitäten unerläßlich. Insbesondere dann, wenn umfangreiche Arbeiten an einer Webseite zur Verbesserung der Nutzerakzeptanz vorgenommen werden sollen, benötigt man diese kleinen Tabellen, die genau zwischen interessanten und uninteressanten Angeboten unterscheiden können.

Zu diesem Zweck legt ein Webserver die Datei access.log an, in der jeder einzelne Zugriff eines Besuchers protokolliert wird. Bei erfolgreichen Webseiten entstehen monatlich Textdateien von mehreren Gigabyte Länge – deutlich zuviel selbst für einen sehr gut ausgestatteten Homecomputer. Möchte der Anwender nur einen bestimmten Zeitraum auswerten, oder ist es notwendig einen speziellen Zugriff aufzufinden ist dies nur mit komplizierten Spezialprogrammen möglich: sed und grep sind hier des Webmasters beste Freunde. Möchte man den gefundenen Zugriff im Kontext sehen, kommt man aber um einen Texteditor nicht herum.

Kommandozeilen-Lösung

Hier kommen die Logfile-Tools ins Spiel. SplitLog ist in der Lage, eine Textdatei beliebiger Länge in einzelne Dateien zu je 10000 Zeilen aufzuteilen. ConcatLog geht den umgekehrten Weg: Es verbindet eine beliebige Anzahl von Logdateien zu einer einzelnen access.log. Dazu werden alle angegebenen Dateien ermittelt, nach Dateinamen aufsteigend sortiert und zu einer einzigen Datei verbunden. SortLog ist hingegen in der Lage, eine große Zahl von Logdateien einzulesen, Duplikate zu entfernen, die Zeilen nach Zugriffszeit zu sortieren und getrennt nach Monaten abzuspeichern.

Die Software ist kostenlos (Freeware).

Die Benutzung erfolgt auf eigene Gefahr. Insbesondere ist es wichtig, alle ORIGINAL-LOGDATEIEN zu sichern.

ConcatLog

Verwendung: ConcatLog.exe DATEIMASKE ZIELDATEI

Beispiel: concatlog *.log access.combined.log

ConcatLog listet die zur DATEIMASKE passenden Dateien im aktuellen Verzeichnis auf und sortiert sie alphabetisch. Diese Dateien werden geöffnet und ihr Inhalt Zeile für Zeile in die ZIELDATEI geschrieben.

Hinweis: Die Länge der Eingabedateien ist unbegrenzt und wird nur durch die Menge des verfügbaren Festplattenspeichers eingeschränkt. ConcatLog schreibt die Zeilen der Zieldatei mit Windows-Linebreaks (0×10 0×13). Für die Codierung der Dateien wird die aktuelle Codierung des Betriebssystems (Windows-1251) angenommen.

SplitLog

Verwendung: SplitLog.exe QUELLDATEI (ZEILEN)

Beispiel: splitlog access.log 5000

SplitLog öffnet die QUELLDATEI und kopiert ihren Inhalt in die Dateien access.###, wobei die Nummerierung bei 001 beginnt und bis 999 fortgeführt wird. Die Angabe ZEILEN ist optional, es werden 10.000 Zeilen als Standardwert angenommen. Logdateien können somit in kleine “Häppchen” aufgeteilt und mit einem Texteditor bearbeitet werden. Die Originaldatei wird nicht verändert.

Hinweis: Die Länge der Eingabedatei ist unbegrenzt. Auch SplitLog schreibt Windows-Linebreaks und verwendet die aktuelle Zeichencodierung des Betriebssystems.

SortLog

Verwendung: SortLog.exe

SortLog liest eine beliebige Anzahl von Logdateien aus dem aktuellen Verzeichnis, die mit access*.* beginnen müssen. Im ersten Durchgang ermittelt SortLog aus allen Dateien das kleinste und größte Datum. Im zweiten Schritt iteriert es für jeden Monat durch alle betroffenen Dateien und erstellt partielle Logdateien. Dabei werden Zeilen ohne gültiges Datum, die z.B. durch Hackversuche entstehen können, ebenso wie doppelte Zugriffe entfernt. Das Resultat wird nach Zugriffszeit sortiert in Zieldateien der Form access.JJMM.log geschrieben.

Hinweis: Um die Sortierung und die Entfernung von Duplikaten zu ermöglichen, müssen die Zeilen für jeweils einen kompletten Monat im Arbeitsspeicher gehalten werden. Möglicherweise gibt es bei sehr erfolgreichen Seiten eine Längenbegrenzung; dies könnte nur durch eine Programmoptimierung geändert, bzw. durch Verwendung einer Datenbank aufgehoben werden. Die Zieldateien werden wiederum mit Windows-Linebreaks geschrieben.

Download

Logfile Tools ~ (398 KB)