Archivalia. Oder: Wie man 30.000 Blogartikel zu Hypotheses umzieht

Archivalia-Logo

Hinweis: Dieser Artikel ist älter als zwei Jahre und daher möglicherweise veraltet.

Bis zum 1. Dezember 2015 war das Blog von Klaus Graf unter http://archiv.twoday.net zu erreichen. Den Beginn fand dieser Blog am 5. Februar 2003 mit folgenden Sätzen: “Willkommen zu Archivalia! Archivalia ist ein Weblog, das Einträge rund um das Archivwesen aufnehmen soll.” Aus dem einen Blogartikel wurden über 30.000, die hauptsächlich von Klaus Graf, aber auch vielen anderen fleißigen Schreiberlingen verfasst wurden. Ich möchte hier kurz beschreiben, wie wir den Umzug von Archivalia zu Hypotheses im letzen Dezember bewältigt haben, denn das ist eine spannende Geschichte mit Höhen und Tiefen.

Die Anforderungen

Für die meisten Blogsysteme gibt es in WordPress Import- und Export-Plugins, so dass der Umzug von einem kleinen Blog ein leichtes ist. Im bestehenden Blog drückt man auf Export, im neuen Blog auf Import. Danach werden die Bilder kopiert. Die Links bleiben bestehen. Und da fängt es schon an, denn wir mussten beim Blogumzug viele Dinge beachten:

• Zum ersten sollten die Artikel eins zu eins korrekt übertragen werden. Man möchte keine Zeichenfehler oder ä statt ä lesen.
• Auch die Kommentare sollen korrekt übertragen werden und hierarchisch angeordnet bleiben.
• Die bei Twoday hochgeladenen Bilder sollen kopiert werden. Die meisten Bilder waren über Hotlinking integriert, was den Umzug erleichterte.
• Alle Autoren, Kategorien und Schlagworte sollten korrekt übertragen werden.
• Die internen Links sollen nicht mehr auf die alte Seite, sondern auf die neuen Seiten verweisen, wobei sich beim Umzug die Linkstruktur ändert.

Das waren die wichtigsten Anforderungen, die bei einem Blog mit über 30.000 Artikeln zur Herausforderung wurden.

Die Werkzeuge

Beim Beginn der Umzugspläne stellte ich auch fest, dass Twoday kein funktionierendes Export-Tool bietet. Das bestehende Tool war veraltet und viele Informationen gingen beim WordPress-Import verloren. Die einzige Möglichkeit wäre wohl gewesen, viel Geld in die Hand zu nehmen und einen Programmierer ein neues Plugin entwickeln zu lassen.

Das Backend von Archiv.Twoday.net

Durch Suche entdeckte ich dann im März 2015 das Tool von “NeonWilderness”: “Blog Export on Steroids”. Er hatte “pro bono” ein Export-Tool entwickelt, dass durch einen intelligenten Workaround einen fast umfassenden Export der Daten bei Twoday.net in ein WordPress-kompatibles Format ermöglicht. Der Trick bei dem Plugin ist, dass man bei Twoday ein neues Design installiert, dass beim Export hilft. Ebenso muss man in WordPress ein Plugin installieren, dass diese Export-Datei dann wieder korrekt importiert. Bei Archivalia war die Export-Datei, die nur aus Text bestand, über 50MB groß.

Liste der Bilder bei Archivalia

Das Debugging

Und es kam, wie es kommen musste: Das Tool hatte Bugs und war natürlich anfangs nicht darauf ausgelegt 30.000 Artikel zu exportieren. Ein Export dauert fast einen Tag und oft brach er mitten drin ab. So konnte ich erst am nächsten Tag einen neuen Versuch starten, der dann im Hintergrund meines Bildschirms weiterlief, während ich meine Arbeit erledigte. Bei Importversuchen stellte ich fest, dass manche Daten nicht korrekt importiert wurden.

Und so suchte ich den Kontakt zu NeonWilderness und er akzeptierte die Herausforderung, dieses Projekt anzugehen. Denn: wenn man Archivalia exportieren kann, kann man alles exportieren. Und bei Twoday.net schien es durch, dass die Weiterentwicklung in den letzten Jahren nicht mehr die höchste Priorität hatte. Für die Entwicklung einiger besonderer Funktionen beim Import sagte Hypotheses finanzielle Unterstützung zu.

Gemeinsam mit NeonWilderness arbeiteten wir ganz entspannt an der Weiterentwicklung des Plugins: NeonWilderness programmierte jegliche neue Anforderungen und behob alle Bugs, während ich weiter getestet habe und Feedback gab. Ich war begeistert zu erleben, wie viel Mühe in die Entwicklung des Plugins floss und wie mein Feedback sich in seitenweise Quellcode spiegelte.

Screenshot der Plugin-Entwicklung

Ein Jahr später…der Export

Etwa ein Jahr dauerte dieser Prozess. Jeder arbeitete in seinem Tempo weiter, immer dann, wenn etwas Zeit blieb. Nach hunderten Testläufen, nach dutzenden Bugs und seitenweise Quellcodeergänzungen kam dann Ende Dezember der Moment, als aus Übung Ernst wurde: der letzte Export, Abstimmungen mit Klaus Graf für die Übergangsphase, Vorbereitung des neuen Blogs,…
Und dann ratterte die Zahlen von 1 bis 30.000 über den Bildschirm. Beim Export musste noch ein Zwischenschritt über einen lokalen WordPress-Blog gegangen werden, da das Risiko bei Hypotheses mit einem fremden Plugin direkt zu importieren zu groß war.

Erfolgreicher Export

Natürlich hat nicht alles beim ersten Mal funktioniert. Ein paar Kleinigkeiten mussten noch manuell nachbearbeitetet werden. Aber am Ende hat es wie gewünscht geklappt. Aber das wichtigste war: Klaus Graf war mit dem Ergebnis zufrieden. Und auch bis jetzt scheinen keine größeren Fehler aufgetaucht zu sein. Und wir freuen uns, dass Archivalia nun Teil von Hypotheses ist.

Für alle Wissenschaftsblogs, die jetzt auch gerne zu Hypotheses umziehen möchten, bieten wir gerne unsere Hilfe an. Aber eigentlich ist der Umzug von Twoday.net zu WordPress dank NeonWilderness jetzt nur noch eine Fingerübung.

Nur ein paar kleine Korrekturen waren nötig

Diese kleine Geschichte ist ein Dankeschön an alle die geholfen haben: an OpenEdition für die Ressourcen, an NeonWilderness für die Programmierung des Plugins und an die Max Weber Stiftung.