Nextcloud mit Elasticsearch installieren

Lesedauer 10 Minuten

nhaltsverzeichnis

• 0. Überblick
• 1. Nextcloud mit Elasticsearch Installieren
• 2. Nextcloud starten
• 3. Optimierung
• 4. Nextcloud Sicherheits Scanner
• 5. Elasticsearch nutzen
• 6. Volltextsuche nutzen

0. Überblick

• Verwendetes System: Debian 11 64 bit
• Genutzter User: Ich nehme alles als „root“ vor
• Zeitdauer: ca. 15 Minuten
• Schwierigkeit: Einfach. Nur Code kopieren 😉
• Besonderheiten:
• Grundlage ist folgende Anleitung: https://www.easyname.at/blog/vps/anwendungen/traefik-reverseproxy-auf-vps-installieren Diese Anleitung muss zuerst ausgeführt werden.
• Die Installation von Docker / Docker Compose wird hier vorausgesetzt.

1. Nextcloud mit Elasticsearch Installieren

1.1 Einleitung

Nextcloud ist eine open source Software welche es ermöglicht eine private Cloud zu betreiben. Der Vorteil von Nextcloud ist, dass es genauso einfach zu bedienen ist wie beispielsweise Dropbox, aber alle Daten auf dem eigenen Server gespeichert werden. So weiß man jederzeit wer Zugriff auf die eigenen Dateien hat und wo diese gespeichert sind. Nextcloud wird auch in einer kostenpflichtigen Enterprise Version angeboten, welche zusätzlichen Support bietet. Nextcloud kann über einen internen Store beliebig erweitert werden. So ist es zum Beispiel möglich OnlyOffice zu integrieren, Kalender oder Kontakte zu verwalten oder Videokonferenzen zu betreiben.

Elasticsearch ist eine Engine, welche viele Daten durchsuchen kann. Wir wollen Elasticsearch dazu nutzen, dass wir alle unsere Nextcloud Dateien durchsuchen können.

1.2 Infos zu yml Dateien

Bei yml Dateien ist es sehr wichtig, dass die Zeilen alle richtig eingerückt sind. Die Zeilen MÜSSEN immer mit der Leertaste eingerückt werden. Es dürfen KEINE Tabs enthalten sein. Du kannst den nachfolgenden Code immer online „überprüfen“ lassen. Die meisten Fehler entstehen nämlich durch die falsche Formatierung. Ein Dienst zum Überprüfen ist zum Beispiel: https://codebeautify.org/yaml-validator

1.3 Vorbereitung

Diese Anleitung basiert auf dem aktuellen Debian 10 Betriebssystem. Nextcloud werden wir unter Docker realisieren. Dies ermöglicht uns später sehr schnelle Updates und eine schnelle Installation. Um Nextcloud neben anderen Diensten auf unserem Server betreiben zu können, nutzen wir hier den Reverse Proxy Traefik. Die Anleitung dazu findest du hier: https://www.easyname.at/blog/vps/anwendungen/traefik-reverseproxy-auf-vps-installieren

1.3.1 Verzeichnis erstellen

Wir erstellen uns ein neues Verzeichnis, in welchem wir später alle Daten von Nextcloud und Elasticsearch abspeichern. Dazu geben wir folgendes in der Konsole ein:

mkdir -p /opt/containers/nextcloud/{database,app,daten,nextcloud-app,imagemagick}
mkdir -p /opt/containers/nextcloud/elasticsearch/data
chmod 777 -R /opt/containers/nextcloud/elasticsearch/data

Du kannst t hier auch ein anderes Verzeichnis verwenden. Musst dann aber die gesamte Anleitung entsprechend anpassen.

1.3.2 docker-compose.yml erstellen

Nun können wir mit der eigentlichen „Installation“ von Nextcloud und Elasticsearch beginnen. Dazu öffnest du folgende Datei:

nano /opt/containers/nextcloud/docker-compose.yml

Nun kopierst du folgenden Code in die Datei. Dieser Code ist unser Bauplan für unser Projekt.

version: '3.3'
services:
  nextcloud-db:
    image: mariadb
    container_name: nextcloud-db
    command: --transaction-isolation=READ-COMMITTED --log-bin=ROW --innodb_read_only_compressed=OFF
    restart: unless-stopped
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - /etc/timezone:/etc/timezone:ro
      - /opt/containers/nextcloud/database:/var/lib/mysql
    environment:
      - MYSQL_ROOT_PASSWORD=test #SQL root Passwort eingeben
      - MYSQL_PASSWORD=test #SQL Benutzer Passwort eingeben
      - MYSQL_DATABASE=nextcloud #Datenbank Name
      - MYSQL_USER=nextcloud #SQL Nutzername
      - MYSQL_INITDB_SKIP_TZINFO=1 
    networks:
      - default
  nextcloud-redis:
    image: redis:alpine
    container_name: nextcloud-redis
    hostname: nextcloud-redis
    networks:
        - default
    restart: unless-stopped
    command: redis-server --requirepass test # Redis Passwort eingeben
  nextcloud-app:
    build: ./nextcloud-app
    container_name: nextcloud-app
    restart: unless-stopped
    depends_on:
      - nextcloud-db
      - nextcloud-redis
    environment:
        REDIS_HOST: nextcloud-redis
        REDIS_HOST_PASSWORD: test # Redis Passwort von oben wieder eingeben
    volumes:
      - /opt/containers/nextcloud/app:/var/www/html
      - /opt/containers/nextcloud/daten:/var/www/html/data
      - /opt/containers/nextcloud/imagemagick/policy.xml:/etc/ImageMagick-6/policy.xml
    labels:
      - "traefik.enable=true"
      - "traefik.http.routers.nextcloud-app.entrypoints=http"
      - "traefik.http.routers.nextcloud-app.rule=Host(`nextcloud.euredomain.de`)"
      - "traefik.http.middlewares.nextcloud-app-https-redirect.redirectscheme.scheme=https"
      - "traefik.http.routers.nextcloud-app.middlewares=nextcloud-app-https-redirect"
      - "traefik.http.routers.nextcloud-app-secure.entrypoints=https"
      - "traefik.http.routers.nextcloud-app-secure.rule=Host(`nextcloud.euredomain.de`)"
      - "traefik.http.routers.nextcloud-app-secure.tls=true"
      - "traefik.http.routers.nextcloud-app-secure.tls.certresolver=http"
      - "traefik.http.routers.nextcloud-app-secure.service=nextcloud-app"
      - "traefik.http.services.nextcloud-app.loadbalancer.server.port=80"
      - "traefik.docker.network=proxy"
      - "traefik.http.routers.nextcloud-app-secure.middlewares=nextcloud-dav,secHeaders@file"
      - "traefik.http.middlewares.nextcloud-dav.replacepathregex.regex=^/.well-known/ca(l|rd)dav"
      - "traefik.http.middlewares.nextcloud-dav.replacepathregex.replacement=/remote.php/dav/"
    networks:
      - proxy
      - default
  elasticsearch:
    build: ./elasticsearch
    container_name: elasticsearch
    restart: unless-stopped
    environment:
      - discovery.type=single-node
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /opt/containers/nextcloud/elasticsearch/data:/usr/share/elasticsearch/data
    networks:
      - default
networks:
  proxy:
    external: true

Nun müssen wir noch einiges anpassen.

1.3.3 Hostname anpassen

Nun musst du noch den Hostnamen anpassen, über welchen später Nextcloud erreichbar sein soll. Diese beiden Zeilen musst du anpassen.

    - "traefik.http.routers. nextcloud-app.rule=Host(`nextcloud.euredomain.de `)"
    - "traefik.http.routers. nextcloud-app -secure.rule=Host(`nextcloud.euredomain.de`)"

In meinem Fall also:

    - "traefik.http.routers. nextcloud-app.rule=Host(`nextcloud.testbereich.net`)"
    - "traefik.http.routers. nextcloud-app-secure.rule=Host(`nextcloud.testbereich.net`)"

Wenn du Nextcloud direkt auf deiner „Hauptdomain“ betreiben willst, dann änderst du es folgendermaßen ab:

"traefik.http.routers.nextcloud-app.rule=Host(`www.euredomain.de`,`euredomain.de`)"
"traefik.http.routers.nextcloud-app-secure.rule=Host(`www.euredomain.de`,`euredomain.de`)"

1.3.4 Passwörter anpassen

Nachdem du den Hostnamen angepasst hast, solltest / musst du noch die Passwörter anpassen. Vergib ein langes, sicheres Kennwort.

Folgende Zeilen musst du ändern:

- MYSQL_ROOT_PASSWORD=test #SQL root Passwort eingeben
- MYSQL_PASSWORD=test #SQL Benutzer Passwort eingeben
command: redis-server --requirepass test # Redis Passwort eingeben
 REDIS_HOST_PASSWORD: test # Redis Passwort von oben wieder eingeben

Ich ändere also meine Kennwörter ab. Dies könnte beispielsweise so sein:

- MYSQL_ROOT_PASSWORD=fjgz4Anfh!r4 #SQL root Passwort eingeben
- MYSQL_PASSWORD=uhk678!nfha3X #SQL Benutzer Passwort eingeben
command: redis-server --requirepass ugh5212Gf # Redis Passwort eingeben
 REDIS_HOST_PASSWORD: ugh5212Gf # Redis Passwort von oben wieder eingeben

1.3.5 Anpassungen für ImageMagick

ImageMagick nutzen wir zum Umwandeln von PDFs in Fotos. Diese können wir dann später per OCR durchsuchen lassen. Hier müssen wir noch eine kleine Anpassung vornehmen.

Dazu öffnest du folgende Datei:

nano /opt/containers/nextcloud/imagemagick/policy.xml

Kopiere nun folgendes in die Datei:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE policymap [
  <!ELEMENT policymap (policy)+>
  <!ATTLIST policymap xmlns CDATA #FIXED ''>
  <!ELEMENT policy EMPTY>
  <!ATTLIST policy xmlns CDATA #FIXED '' domain NMTOKEN #REQUIRED
    name NMTOKEN #IMPLIED pattern CDATA #IMPLIED rights NMTOKEN #IMPLIED
    stealth NMTOKEN #IMPLIED value CDATA #IMPLIED>
]>
<policymap>
  <!-- <policy domain="system" name="shred" value="2"/> -->
  <!-- <policy domain="system" name="precision" value="6"/> -->
  <!-- <policy domain="system" name="memory-map" value="anonymous"/> -->
  <!-- <policy domain="system" name="max-memory-request" value="256MiB"/> -->
  <!-- <policy domain="resource" name="temporary-path" value="/tmp"/> -->
  <policy domain="resource" name="memory" value="256MiB"/>
  <policy domain="resource" name="map" value="512MiB"/>
  <policy domain="resource" name="width" value="16KP"/>
  <policy domain="resource" name="height" value="16KP"/>
  <!-- <policy domain="resource" name="list-length" value="128"/> -->
  <policy domain="resource" name="area" value="128MB"/>
  <policy domain="resource" name="disk" value="1GiB"/>
  <!-- <policy domain="resource" name="file" value="768"/> -->
  <!-- <policy domain="resource" name="thread" value="4"/> -->
  <!-- <policy domain="resource" name="throttle" value="0"/> -->
  <!-- <policy domain="resource" name="time" value="3600"/> -->
  <!-- <policy domain="coder" rights="none" pattern="MVG" /> -->
  <!-- <policy domain="module" rights="none" pattern="{PS,PDF,XPS}" /> -->
  <!-- <policy domain="delegate" rights="none" pattern="HTTPS" /> -->
  <!-- <policy domain="path" rights="none" pattern="@*" /> -->
  <!-- <policy domain="cache" name="memory-map" value="anonymous"/> -->
  <!-- <policy domain="cache" name="synchronize" value="True"/> -->
  <!-- <policy domain="cache" name="shared-secret" value="passphrase" stealth="true"/> -->
  <!-- <policy domain="system" name="pixel-cache-memory" value="anonymous"/> -->
  <!-- <policy domain="system" name="shred" value="2"/> -->
  <!-- <policy domain="system" name="precision" value="6"/> -->
  <!-- not needed due to the need to use explicitly by mvg: -->
  <!-- <policy domain="delegate" rights="none" pattern="MVG" /> -->
  <!-- use curl -->
  <policy domain="delegate" rights="none" pattern="URL" />
  <policy domain="delegate" rights="none" pattern="HTTPS" />
  <policy domain="delegate" rights="none" pattern="HTTP" />
  <!-- in order to avoid to get image with password text -->
  <policy domain="path" rights="none" pattern="@*"/>
  <!-- disable ghostscript format types -->
  <policy domain="coder" rights="none" pattern="PS" />
  <policy domain="coder" rights="none" pattern="PS2" />
  <policy domain="coder" rights="none" pattern="PS3" />
  <policy domain="coder" rights="none" pattern="EPS" />
  <policy domain="coder" rights="read | write" pattern="PDF" />
  <policy domain="coder" rights="none" pattern="XPS" />
</policymap>

1.3.6 Anpassungen für Nextcloud

Wir müssen unseren Nextcloud Container noch etwas erweitern, damit später alles korrekt funktioniert. Dazu öffnest du folgende Datei:

nano /opt/containers/nextcloud/nextcloud-app/Dockerfile

Kopiere nun folgenden Code in die Datei:

FROM nextcloud
RUN apt-get update
RUN apt-get install -y ghostscript
RUN apt install -y libmagickwand-dev --no-install-recommends
RUN pecl install imagick; exit 0
RUN docker-php-ext-enable imagick
RUN rm -rf /var/lib/apt/lists/*

Nun kannst du die Datei speichern.

1.3.7 Anpassungen für Elasticsearch

Wir müssen hier noch das Programm „Tesseract“ installieren, welches für uns die OCR Erkennung durchführt. Dazu öffnest du folgende Datei:

nano /opt/containers/nextcloud/elasticsearch/Dockerfile

Gib hier nun folgendes ein:

FROM elasticsearch:7.16.2
RUN /usr/share/elasticsearch/bin/elasticsearch-plugin install --batch ingest-attachment
RUN apt-get update
RUN apt-get upgrade -y
RUN apt-get install -y tesseract-ocr tesseract-ocr-deu tesseract-ocr-eng

Nun wird eine OCR Erkennung für die beiden Sprachen „Deutsch“ und „Englisch“ installiert. Wer noch weiteren Sprachen benötigt, kann sich hier die Namen der entsprechenden Pakete anschauen und die obige Liste entsprechend erweitern.

1.3.8 Nextcloud / Elasticsearch Image erstellen

Nun lassen wir unsere Images „erstellen“. Dieser Vorgang kann einige Zeit (Minuten) dauern, da die einzelnen Pakete nun heruntergeladen und in die entsprechenden Container installiert werden müssen. Gib dazu folgenden Befehl ein:

cd /opt/containers/nextcloud
docker compose build 

Nun sind wir fertig mit der Vorarbeit und können Nextcloud zum ersten Mal starten.

2. Nextcloud starten

Gib nun folgendes ein, um deinen Nextcloud Container zu starten:

docker compose -f /opt/containers/nextcloud/docker-compose.yml up -d 

Gehe nun mit deinem Webbrowser auf deine Webseite (z.B. nextcloud.euredomain.de). Dort sollte nach einigen Sekunden folgendes zu sehen sein:

Nun legst du einen Namen / Passwort für deinen Administrator-Account fest.

Anschließend klickst du auf „Speicher & Datenbank“.

Nun solltest du mehr Einstellungen sehen. Klicke dann auf „MySQL/MariaDB“.

Hier gibst du nun deine Daten ein. Alle diese Einstellungen stehen in der Datei von eben. Schau dort einfach nach, wenn du deinen Benutzer / Passwort nicht mehr weißt. Bei mir wäre das:

• Datenbank-Benutzer: nextcloud
• Datenbank-Passwort: uhk678!nfha3X
• Datenbank-Name: nextcloud
• Letzte Zeile: nextcloud-db

Nun kannst du noch wählen, ob die „empfohlenen Apps“ installiert werden sollen. Ich entferne hier den Haken, da du später einfach mit einem Klick die benötigten Apps selbst installieren kannst.

Nun klickst du „Installation abschließen“. Nun wird Nextcloud installiert. Nach der Installation solltest du folgendes sehen.

Nun bist du fertig mit der Installation und kannst Nextcloud nutzen.

3. Optimierung

Klicke nun oben rechts auf den „Kreis“ und wähle „Einstellungen“ aus.

Hier klickst du nun auf „Übersicht“.

Jetzt bekommst du einige Tipps, was du noch „verbessern“ kannst.

3.1 Reverse Proxy anpassen

Wir werden jetzt den Reverse Proxy noch anpassen, damit diese Warnung verschwindet. Dazu gibst du auf deiner Konsole folgendes ein:

docker inspect traefik

Ganz am Schluss der Ausgabe sollte es so aussehen:

Bei mir ist die „IPAdress“ 172.18.0.2 und die „IPPrefixLen“ 16. Diese beiden Werte merken wir uns nun und passen unsere Nextcloud config.php an.

Dazu öffnest du folgende Datei:

nano /opt/containers/nextcloud/app/config/config.php

Füge nun folgende Zeile hinzu:

  'trusted_proxies' =>
  array (
    0 => '172.18.0.2/16',
  ),

Passe diese bitte an, falls die Werte von meinen Werten abweichen sollten.

Nun kannst du die Datei beenden und bist hier fertig. Wenn du nun die Prüfung wiederholst sollte die Zeile zum Reverse Proxy verschwunden sein.

3.2 Nextcloud auf HTTPS umstellen

Um Fehler zu vermeiden, konfigurieren wir Nextcloud so um, dass es nur auf die HTTPS Adresse hört. Dazu öffnest du folgende Datei:

nano /opt/containers/nextcloud/app/config/config.php

Hier passt du nun folgende Zeilen an. vorher:

'overwrite.cli.url' => 'http://nextcloud.euredomain.de',

nachher:

'overwrite.cli.url' => 'https://nextcloud.euredomain.de',

Zusätzlich fügst du noch folgende Zeilen hinzu:

'overwriteprotocol' => 'https',
'overwritehost' => 'nextcloud.euredomain.de',

Dies sieht dann bei mir so aus:

Nun kannst du die Datei speichern und beenden.

3.3 Standardtelefonregion festlegen

Die letzte Fehlermeldung in der Übersicht hat uns darüber informiert, dass wir keine Standardtelefonregion festgelegt haben. Dies tun wir jetzt. Öffne dazu folgende Datei:

nano /opt/containers/nextcloud/app/config/config.php

Füge folgende Zeile hinzu:

'default_phone_region' => 'DE',

Bei mir sieht es so aus:

Jetzt ist deine Standardregion Deutschland. Speichere nun ab und beende die Datei.

3.4 Sicherheitswarnungen anzeigen lassen

Wenn du nun wieder in die Nextcloud Übersicht gehst, sollten alle Fehlermeldungen verschwunden sein.

4. Nextcloud Sicherheits Scanner

Wir können nun noch überprüfen, ob unsere Nextcloud Installation „sicher“ ist. Dazu gehst du auf folgende Webseite: https://scan.nextcloud.com

Gib hier nun deine URL ein. Bei mir ist dies „nextcloud.testbereich.net“. Nach kurzer Zeit erhältst du dann dein Ergebnis. Bei mir sieht es so aus:

5. Elasticsearch nutzen

Nun wollen wir Elasticsearch integrieren. Dazu müssen wir lediglich noch einige Apps installieren.

5.1 Apps installieren

Klicke nun auf deinen „Buchstaben“ und wähle „Apps“ aus.

Wähle nun auf der linken Seite „Suche“ aus.

Installiere nun folgende Apps

• Full text search
• Full text Elasticsearch Platform
• Full text search – Files
• Full text search – Files – Tesseract OCR

5.2 Verbindung zu Elasticsearch herstellen

Nachdem du nun die Apps installiert hast, müssen wir diese noch Konfigurieren. Klicke dazu auf deinen „Buchstaben“ und wähle „Einstellungen“ aus.

Wähle nun auf der linken Seite „Volltextsuche“ aus.

Nun siehst du folgendes:

Nun wählst du folgende Einstellungen aus:

Nun hast du alles so weit eingerichtet. Jetzt musst du nur noch dafür sorgen, dass deine Dateien indexiert werden.

5.3 Volltextsuche initialisieren

Jetzt starten wir die Indexierung aller Dateien. Dazu gibst du folgenden Befehl ein:

docker exec --user www-data nextcloud-app php occ fulltextsearch:index

Dieser Vorgang kann einige Zeit dauern, da nun alle Dateien durchsucht werden.

Warte einfach, bis du den Cursor / Eingabezeile wieder siehst. Dies kann einige Minuten dauern.

5.4 Neue Dateien initialisieren

Jetzt hast du alle Dateien indexiert, welche zu diesem Zeitpunkt existiert haben. Wenn du nun jedoch neue Dateien anlegst, sind diese nicht durchsuchbar. Daher musst du in regelmäßigen Abständen alle Dateien neu durchsuchen lassen. Dazu hast du 2 Möglichkeiten:

1. Die Initialisierung immer im Hintergrund laufen lassen
2. Die Initialisierung automatisch zu einem bestimmten Zeitpunkt starten

5.4.1 Im Hintergrund initialisieren

Dazu gibst du folgenden Befehl ein:

docker exec --user www-data nextcloud-app php occ fulltextsearch:live

Nun siehst du folgendes:

Du kannst die Ausgabe nun mit „STRG+C“ abbrechen. Die Initialisierung im Container läuft trotzdem noch weiter.

5.4.2 Zu einem bestimmten Zeitpunkt initialisieren

Dazu erstellen wir uns einen Cronjob. Gib dazu folgendes ein:

crontab -e

Wähle nun „1“ aus.

Füge nun folgenden Code ein:

*/5 * * * * docker exec --user www-data nextcloud-app php occ fulltextsearch:index

Dieser Code sorgt dafür, dass die Initialisierung alle 5 Minuten gestartet wird.

6. Volltextsuche nutzen

Um deine Dateien zu durchsuchen, musst du auf die „Lupe“ klicken.

Hier kannst du nun Dateien / Wörter suchen.