Probleme mit größeren GeoTIFF Karten

  • Auf meinem System (Windows 10 64bit, 8 GB RAM) hat QV7 Probleme größere GeoTIFF Karte ANZUZEIGEN. Der IMPORT dagegen klappte bei allen Karten.

    Ich habe dazu eine Serie verschiedener Kartegrößen erstellt und jeweils das Verhalten von QV7 mir angeschaut. Es handelt sich um Karte im Format GeoTIFF, 24 bit Farbe, LZW-Kompression.


    Dateigröße 500 MB: wird noch angezeigt

    850 MB: wird manchmal angezeigt, manchmal kommt aber Meldung "Nicht genügend Hauptspeicher zur Anzeige".

    1200 MB: entweder "Nicht genügend Haupspeicher" oder QV7 stürzt komplett ohne Fehlermeldung ab.

    2300 MB: es wird entweder kurz 2 Sekunden ein leeres Kartenfenster angezeigt, und QV springt dann sofort wieder aufs Explorerfenster zurück, oder QV7 stürzt komplett ab.


    ich habe danach bei allen Karten die Option "Load Bmp, Jpg, Png, Tif partially" aktiviert.
    Nun werden die 850 MB und 1200 MB-Karten angezeigt. Nicht aber die 2300 MB Karte: hier kehrt QV nach 2 Sekunden leerem Kartenfenster wieder in den Explorer zurück.


    Dieses Verhalten (unkontrollierte Abstürze, 2 Sekunden leeres Kartenfenster) iszt absolut unbefriedigend. Eine Karte mit 850 MB ist jetzt auch noch nicht wirklich gigantisch. Selbst wenn sie nicht auf einmal in den Hauptspeicher geladen werden kann, sollte QV sie automatisch "partially" laden können. Oder zumindest eine Fehlermeldung mit dem Hinweise an den User erzeugen, dass er die Option "Load Partially" dafür aktiveren soll. Das hilft aber auch nur wenn das Partially Loading auch mit größeren Karten funktioniert und nicht wie bei mir mit der 2300 MB Karte streikt.

    Falls das einmal zuverlässig funktionert, könnte man dann auch schauen wie QV mit wirklich großen Karten > 4 GB im BigTIFF-Format zurecht kommt.

  • reinim19

    Hat den Titel des Themas von „Probleme mit größeren GeoTIFF Karte“ zu „Probleme mit größeren GeoTIFF Karten“ geändert.
  • Hallo,

    dazu wie Tom das partielle Laden umgesetzt hat, kann ich nichts sagen, aber alle Deine Kartengrößen sind meines Erachtens VIEL zu groß für eine normale Rasterkarte.

    Was Du dafür für einen Rechner hast, spielt dabei nur eine Nebenrolle, wenn die Daten über die 32Bit-Limitierungen liegen.


    Was Deine Karten dafür für eine Dateigröße haben, spielt für den tatsächlichen RAM Bedarf keine Rolle, interessant ist nur Pixel mal Pixel mal Farbtiefe und die liegt typischerweise deutlich, häufig über dem Mehrfachen, der Dateigröße.

    So kommst Du auch mit Deiner kleinsten Datei schnell an die 3,5 bis maximal 4 GB Grenze, die ein 32 Bit Programm wie QV arbeiten kann.


    Veringere am einfachsten die Farbtiefe auf 256 Farben, das spart den meisten Speicherbedarf.

    Ansonsten, wenn Du so riesige Kartenabmessungen verwenden möchtest, verwende ein Kachelformat, zum Beispiel Kacheltiff, oder mein persönlicher Favorit ECW. Du schreibst in einem anderen Beitrag, dass Du Globalmapper verwendest, da sollte eine Konvertierung kein Problem sein und wenn Du die Komprimierung runter drehst, ist auch der Qualitätsverlust zu vernachlässigen... Und Kartengrößen spielen keine Rolle mehr, ich habe ECW Karten mit meht als 100.000 Pixeln Kantenlänge und Dateigrößen von über 60 GB, funktioniert einwandfrei.


    Viele Grüße

    Denis

  • Hi Denis, danke für deine Ansichten, ich werde das ECW-Format auch noch ausprobieren, ob das mit QV besser zusammenspielt.


    Es handelt sich um Karten mit Reliefschattierung, sie müssen also als mit 24 bit Farbe gespeichert werden, weil sonst bei Umwandlung in 256 Farben die groben Farbartefakte nicht hinnehmbar sind. Ich habe diese als GEKACHELTE (teilebasiert, im gegensatz zu den normalen streifenbasierten) GeoTIFFs (mit JPEG-Kompression) erzeugt, weil ich festgestellt habe, dass QV damit beim Verschieben & Zoomen die Karte am flüssigsten aufbaut. Der in QV eingebaute "Load Bmp, Jpg, Png, Tif partially"-Mechanismus is dagegen sowohl bei KachelTIFFs, als auch bei herkömmlich streifenbasierten TIFFs deutlich langsamer.


    Gerade das GeoTIFF-Format ist auch im professionellen Bereich sehr verbreitet, einige Landesvermessungsämter bieten Karten in diesem Format an. Mit dem BigTIFF-Format wurde ja eigens für riesige Karten sogar eine Erweiterung des Formats geschaffen um die 32 bit (4 GB)-Dateigröße zu sprengen. Es ist schade, dass QV7 mit so einem populärem Fomat nicht zuverlässig umgehen kann, wo GeoTIFF Karten mit gleicher Größe übrigens früher in TTQV4 KEINE Probleme bereiteten. Abgesehen von diesem - offenbar Speicherproblem - gibts ja auch noch https://wbb5.qvgps.com/forum/i…kachelten-geotiff-karten/ bei Karten mit Dateigröße um "nur" 500 MB.


    Ich werde mich auch noch mit ECWs herumspielen, die hatten in der Vergangenheit in QV (TTQV?) bei mir den kleinen Nachteil zu GeoTIFF, das ich deren Helligkeit in QV nicht verdunkeln konnte und ich während des Scrollvorgangs keine Nachbarzellen sah - ich also quasi ziellos die Karte verscheiben mußte beim Scrolllen. Kann aber sein, dass es diese kleinen Nachteile inzwischen alle nicht mehr gibt bei ECWs in QV.

  • Es handelt sich um Karten mit Reliefschattierung, sie müssen also als mit 24 bit Farbe gespeichert werden, weil sonst bei Umwandlung in 256 Farben die groben Farbartefakte nicht hinnehmbar sind.

    Das ist durchaus subjektiv. Mir persönlich reichen 8 bit Farbtiefe auch bei Schummerungen.

    GeoTIFFs (mit JPEG-Kompression)

    Das ist m.M.n. eine suboptimale Kombination, zumal JPEG ein verlustbehaftetes Kompressionsverfahren ist und Kompressionsartefakte erzeugt.


    Geotiff hat seine Stärken bei Liniengrafiken mit reduzierter Farbtiefe und verlustloser LZW-, RLE- oder ZIP-Kompression, mit den Parametern ist es populär. BigTiff ist erst 2011 final in die Tiff-Spezifikation eingeflossen und nach meiner Wahrnehmung nicht populär. Von den Landesvermessungen sind mir noch keine Dateien im BigTiff-Format untergekommen.


    Falls 24 bit Farbtiefe zwingend erforderlich sind, würde ich immer ECW (vorzugsweise) oder MrSID nehmen, beide Formate sind zu alten 32bit-Zeiten explizit für sehr große Bilddateien entwickelt worden, das Kompressionsverfahren ist verlustbehaftet.

    Grüße
    Hans


    "The universal aptitude for inaptitude makes any human accomplishment an incredible miracle." (John Paul Stapp)

  • Ich verwende (sehr große) GeoTIFFs die mit JPEG kompromiert wurden schon viele Jahre lang. Dies liefen unter TTQV4 stets völlig probemlos. Ganz zu schweigen von deren fehlerfreien Verwendung in Programmen wie Global Mapper oder QGIS. Da zu behaupten diese Kombination sei "suboptimal" ist daher fragwürdig. Gerade auch wenn man gekachelte GeoTIFFs verwendet. Subotimal ist höchstens die derzeitige QV-Engine diesbezüglich. Ich weise nur auf Probleme hin, die es grob vor 10 Jahren mir TTQV bei den gleichen Dateien nicht gab.


    Gekachelte GeoTiffs sind/waren mit JPEG Komprimierung bisher (in TTQV4) genauso performant, optisch und dateigrößenmäßig ebenbürtig zu ECW. ECW hatte dagegen in TTQV4 ein paar kleine aber in meiner Verwendung wichtige Nachteile gegenüber ECW. GeoTIFF ist bei weitem nicht nur ein Format für Liniengrafiken etc. Deshalb wird es selbst im professionellen Bereich manchmal als Austauschformat für Landkarten aber auch Luftbilder benützt - und da spreche ich jetzt nicht von BigTIFF, sonder von Standard-TIFFs bis zu 4 GB.


    Je nach verwendeter Kompressionsrate ist damit so gut wie kein Unterschied zur Orignalkarte inkl. Reliefschattierungen zu erkennen. Das ist exakt so wie wenn du ein Foto mit 95% oder mit 60% JPEG-Faktor erstellst. Beim einen wirst du sogut wie keine Artefakte zum (unkomprimierten) Orginal erkennen, bei anderern schon. Das ist eine völlig andere Methode und für differenzierte Quellen (Luftfotos oder reliefschattierte Karten) geeignete Kompressionsmethode als die verlustlose Packbits/LZW/ZIP Kompression speziell für 8-bit Farbbilder. Diese habe ich früher für unschattierte Karte verwendet. Damit erzähle ich dir aber wohl eh nichts neues ;-)

    Eine schattierte Austrian Map, Kompasskarte oder eine Openstreetmap mit eigens erzeugter Relief-Schattierung erhält auf 8 bit reduziert soviele Artefakte, Farbfehler, unstetigen Schattierungsverlauf, durch das Farbreduzieren erzeugte neue virtuelle Flächen - das kommt für mich nicht in Frage.

    Also nach Ausreden zu Suchen warum QV7 nicht so gut mit größeren GeoTIFF umgehen kann wie andere Programme und dies am angeblich mit nicht passenden Dateiformat zu begründen - das in TTQV4 völlig anstandslos funktioniert hat - ist aus von Softwareentwicklerseite her gesehen wohl der falsche Ansatz ;-)

    Abgesehen davon habe ich aber inzwischen festgestellt, dass es in QV7 beim ECW-Format die kleinen Troubles aus TTQV4 nicht mehr gibt - und somit wohl die Alternative sein wird, falls die GeoTIFF-Probleme sich nicht beheben lassen.

    3 Mal editiert, zuletzt von reinim19 ()

  • Abschließend möchte ich noch folgenden Link zum Thema GeoTIFF posten:
    http://blog.cleverelephant.ca/…pression-for-dummies.html

    Das ist ein Bericht von einem Experten, der tatsächlich in seiner Arbeit auch mit größeren Karten zu tun hat. Sein Fazit: mit den richtigen Erstellungsparametern (Tiled TIFF, JPEG Kompression, Pyramide) stehen auch große GeoTIFF Karten anderen Karten im ECW und MrSID Format sowohl performancemäßig als auch in Punkto optischer Qualität bei gleicher Dateigröße um nichts nach. Sowohl bei 24-bit Farbkarten als auch bei 8-bit Palettenfarbkarten.

    Dem kann ich aufgrund meiner langjährigen praktischen Erfahrung damit vollkommen zustimmen.


    Das Problem ist nicht das Dateiformat. Es ist deren Implementierung im Leseclient.

    2 Mal editiert, zuletzt von reinim19 ()

  • Gekacheltes GeoTiff ist DER offene Standard für Rasterkarten. GDAL und QGIS basieren darauf. In TTQV4 hatte ich nie Probleme damit, auch nicht mit JPG Kompression. Der (Haupt-)Speicherbedarf ist minimal. Deshalb habe ich mir auch viele große Karten als GeoTiff angelegt. Schade war immer nur, dass TTQV die Übersichtskarten nicht unterstützt, dann würde man auch beliebig weit rauszoomen können.


    ECW ist auch nicht schlecht, weil es aber proprietär ist, stößt man immer wieder an Grenzen. Mit QGIS kann man keine ECW Karten erzeugen.


    Dass GeoTiff nun in QV7 noch schlechter funktioniert, betrübt mich. Ich hätte mir eigentlich erhofft, dass man die Übersichtskarten endlich mit reinnimmt.

  • Dass GeoTiff nun in QV7 noch schlechter funktioniert

    In QV7 ist tiff richtig kompliziert geworden, es gibt drei Tiff-Treiber und ja nachdem was es für eine tiff ist, sollte man die richtige auswählen. Also entweder "Load partially" oder "TatukGis" oder keines der beiden. Mit einer der drei Möglichkeiten sollte jede spezifische Tiff gut laufen.