Tiles Downloader bremsen Server aus

  • Hallo,
    ich poste das hier einfach mal, damit uns vielleicht auch in Zukunft die vielen tollen "online Karten" in qv erhalten bleiben. Und nach Möglichkeit auch noch weiterhin "kostenfrei"!


    Ich nutze eine OSM Karte nur gelegentlich, wenn ich schnell einmal etwas in qv schauen möchte. Und zum download als komplette, hochaufgelöste Karte schon gar nicht. Ich kann die Anbieter der OSM Karten verstehen, dass sie etwas dagegen tun, wenn deren Server durch "massiven" download, z.B. MOBAC in die Knie gehen.
    Beitrag:
    Tiles Downloader bremsen Server aus


    Wie steht Ihr als qv Nutzer zu dem Thema? Was sagen die Verantwortlichen, Tom, etc.?


    Gruß
    LUDGER

    BELAeasy MACAU

    Fujitsu- LIFEBOOK A357: Intel- Core i5-7200U, 2.5 GHz, W10/64-Pro (32 GB RAM,) Intel HD 620 Grafik, 500 GB SSD inside
    Lenovo-MIIX Tablet: Intel Atom x5-z8350, 1,44 GHz, W10/64-Pro (4 GB RAM,) Intel HD 400 Grafik, 64 GB eMMC inside

    EasyROUTES v4, QVM-A v3.5.2 beta (CYRUS CS 24 Work), QV7 PU v7.4.0.5, QVX PU v1.0.9.12

  • mojn, mojn,

    Was sagen die Verantwortlichen, Tom, etc.?


    Wie meinen immer wiederkehrenden Hinweisen auf "laden nur das was notwendig ist und in der Auflösung die
    wirklich gebraucht wird" belegen, habe ich jedes Verständnis dafür, wenn von OSM den Massendownloadern
    der Hahn abgedreht wird.
    Aus diesem Grund unterstützen wir auch gerne Nop mit seiner Wanderreitkarte.
    Sollte uns OSM darauf ansprechen, daß auch über QV zuviel Traffic erzeugt wird
    werden wir mit den Verantwortlichen gerne über Maßnahmen reden um das in
    geeigneter Weise zu kompensieren ... was dann durchaus auf eine wie auch immer
    geartete Limitierung des Donwloads von OSM hinauslaufen kann.
    .... für uns wird das halt z. B. genau dann schwierig, wenn wir stärker limitieren und
    andere sich darum nicht scheren.... das muß man dann mal sehen.

    Gruß Jockel (QV-Admin)
    Angefragte Daten für Supportfälle bitte schicken an info/at/quovadis-gps.com unter Bezugnahme (link) auf diesen thread, Danke!

  • Hallo,


    habe da keine Ahnung vom technischen Ablauf. Ich vergleiche ab und an online OSM Maps mit meinen offline Karten. Kürzlich am Iseler war auf OSM der Klettersteig vermerkt, der sonst nirgends kommt. Die Güte ist halt recht unterschiedlich. Ein mal Top und manchmal .....Wie es mit dem ganzen Traffic aussieht, wenn massenweise Onlinemaps auf die Smartphone's geladen werden? Netzzusammenbrüche?


    Könnte nicht TTQV selbst alle 4 Wochen eine OSM rendern und online stellen? Die Downloads wären dann wenigstens auf die TTQV 5 User beschränkt und könnten eine Kaufentscheidung zu Gunsten von TTQV sein?


    Vielleicht liege ich mit meinen Gedanken auch total falsch.

    Servus
    Gerd
    TTQV 4/6 PU - Aventura - Sportiva - Wetab W732/HD2/Acer A210 mit TwoNav - CGPSL - Globalmapper 13 - W764/16GB Ram - www.twonav-gps.de
    TwoNav-Einsatz: Trekking, MTB, Ski-Touren, Hybrid-Straßennavigation

  • Könnte nicht TTQV selbst alle 4 Wochen eine OSM rendern und online stellen? Die Downloads wären dann wenigstens auf die TTQV 5 User beschränkt und könnten eine Kaufentscheidung zu Gunsten von TTQV sein?


    Hi Gerd,
    ich weiß nicht, wie die Nutzungsbedingungen von OSM sind, also ob "jeder" eine eigene gerenderte Verson online stellen darf und ob das für QV (also vermutlich Jockel) technisch leicht machbar ist.
    Aber die Idee, dass QV5 selbst einen Server für die QV-eigenen Nutzer zur Verfügung stellt, finde ich klasse!


    Gruß
    Werner

    Grüße
    Werner


    Fenix 6X Pro, GPSMap 66s, 60CSx, Trail 2, Aventura 2, Horizon, Motorola One, GoPro Hero 7 Black
    QVX PU, QV7 PU, TTQV 4 PU, CGPSL 8, Locus Map Pro


    Prof. Richard S. Lindzen:
    [..] It will be remembered as the greatest mass delusion in the history of the world - that CO2, the life of plants, was considered for a time to be a deadly poison.
    Wikipedia

  • mojn,

    Aber die Idee, dass QV5 selbst einen Server für die QV-eigenen Nutzer zur Verfügung stellt, finde ich klasse!


    ... das ist eine der Möglichkeiten die wir bereits ins Auge gefaßt haben um
    dem OSM Projekt nicht zur Last zu fallen. Es geht auch nicht darum "eine" zu
    rendern, das sind bei der Abdeckung und den verfügbaren Layern gewaltige
    Datenmengen.


    Technisch läßt sichh das wohl - wenn auch nicht von mir ;) - lösen.

    Gruß Jockel (QV-Admin)
    Angefragte Daten für Supportfälle bitte schicken an info/at/quovadis-gps.com unter Bezugnahme (link) auf diesen thread, Danke!

  • Hallo,
    die Idee von Gerd finde ich gar nicht so verkehrt! Aber das stimmt schon, wenn da massenweise die Maps auf die Smartphone's geladen werden, ensteht schon gut traffic auf den Servern.


    Gruß
    LUDGER

    BELAeasy MACAU

    Fujitsu- LIFEBOOK A357: Intel- Core i5-7200U, 2.5 GHz, W10/64-Pro (32 GB RAM,) Intel HD 620 Grafik, 500 GB SSD inside
    Lenovo-MIIX Tablet: Intel Atom x5-z8350, 1,44 GHz, W10/64-Pro (4 GB RAM,) Intel HD 400 Grafik, 64 GB eMMC inside

    EasyROUTES v4, QVM-A v3.5.2 beta (CYRUS CS 24 Work), QV7 PU v7.4.0.5, QVX PU v1.0.9.12

  • Hallo,
    jo das mit dem Traffic bei OSM ist schon so eine Sache, vor einem Jahr konnte man noch mittels der OSM API größere Teile laden, jetzt gibt es nur noch für JOSM kleine Bereiche die sich laden lassen.


    Für mich war aber gerade die OSM Verfügbarkeit in QV5 das Kauf entscheidende Kriterium.


    Eventuell wäre es für die Version qv6 mal eine Überlegung wert das man halt *.osm Dateien direkt laden kann, dann könnte sich jeder die Daten von der Geofabrik oder anderen Anbietern laden, eventuell könnte dann TTQV die Daten auch auf einen eigenen Server zur Verfügung stellen.


    Ach ja es gibt ja nicht nur QV5 was Daten holt unter Linux geht das natürlich auch mit QLandkarte GT.
    Da scheinbar viele Dienste im Moment geblockt werden gibt es im OSM Forum auch vermehrt Anfragen zum Aufsetzen eines "Eigenen Tile Servers".


    Gruß Jörg

    GPS -- Garmin Dakota 20, SIII mini
    Software -- Linux Mint17 Mate, QV7 immer die neuste DevVer im VMPlayer mit WIN7-64 Ultimate , QLGT
    OSM -- JOSM, osmupdate, osmconvert, wget, mkgmap, eigene Garmin Karten

  • Meine Meinung:
    Es gibt Programme, wie Mobac, die rein zum downloaden konzipiert und genutzt werden.
    Es gibt Programme wie TTQV, die in erster Linie eine andere Nutzung der OSM Karten vorsehen, zb zur Zeichnung eines Tracks etc.
    Ich habe als TTQV Nutzer kein schlechtes Gewissen, wenn ich mir OSM Karten statt im Webbrowser in TTQV angucke - im Gegenteil, ich denke OSM-Karten können froh sein, wenn sie (so/überhaupt) genutzt werden, schließlich sind sie zB für meine Bedürfnisse nicht das Maß aller Dinge.
    Deshalb muss sich für mich nichts ändern - zumal zB MOBAC das deutlich bessere Programm zum reinen saugen von Maps darstellt (warum also QV ändern?)


    Nachtrag:
    Gerade lese ich

    Zitat

    The current situation is, that so much tools grabbing masses of our web map (so called tiles) that this results in heavy traffic and cpu usage

    - was mich zu 100% bestätigt. Ich kenne unzählige "Äpps", die nur auf OSM etc. aufbauen. Außerdem wird, wenn man auf den Ursprungslink "http://forum.openstreetmap.org/viewtopic.php?id=13959" klickt, auch von "hey, aber ich bin der viel bessere Mobac Nutzer" gesprochen. All das zeigt mir doch, dass TTQV 5 ganz am Ende einer unfairen Belastung von OSM Servern steht. Mit irgendwelchen Regelungen, die nicht von OSM ausgehen, wird man rein gar nichts erreichen können, wenn es um eine faire Benutzung von OSM Karten geht - schließlich ist MOBAC "ein geniales Programm".. und solange es Google/OSM etc. gibt, wird es immer MOBACs geben.

    ...ich fahre mit dem Rad, außer mein Fahrer holt mich ab...


    2 Mal editiert, zuletzt von Kohjinsha ()

  • Jörg,

    qv6 mal eine Überlegung wert das man halt *.osm Dateien direkt laden kann


    ... das klingt so himmlisch trivial, einfach "laden". Du sprichst doch aber davon, selbst einen Renderer
    für diese Daten zu schreiben, einfach mal so? Oder gibt es da libs unter einer für QV gangbaren Lizenz die
    Tom verwenden könnte?

    Gruß Jockel (QV-Admin)
    Angefragte Daten für Supportfälle bitte schicken an info/at/quovadis-gps.com unter Bezugnahme (link) auf diesen thread, Danke!

  • Morning,


    die qv5-pu kann osm-dateien laden mit der Gis-Option, und dann kann man sich unter Gis-Stil austoben...
    Aber Spaß macht das erstmal nicht, solange man keine sinnvollen, Zoom-abhängigen Layer dort definiert hat.


    Tom

  • Zum Thema Rendering von OSM-Daten sollte vlt. hier mal ein Blick drauf geworfen werden


    http://code.google.com/p/mapsforge/


    Soweit ich informiert bin wird es in den Android-Projekten Locus und Osmand schon auf mobiler Plattform angewendet.
    Finde ich als Alternative zum Tile-Download super. Der Autor von Locus bietet für sehr kleines Geld den Download der Vectordaten vom eigenen Server an, nach Ländern sortiert, sehr einfach zu handhaben :thumbsup:
    Ob das für die Windows-Plattform zu gebrauchen ist, kann ich nicht wirklich beurteilen.

  • Servus Tom,

    die qv5-pu kann osm-dateien laden mit der Gis-Option, und dann kann man sich unter Gis-Stil austoben...
    Aber Spaß macht das erstmal nicht, solange man keine sinnvollen, Zoom-abhängigen Layer dort definiert hat.

    zum Spaß mit den Layern kann ich noch nichts sagen, weil QV5 beim Import einer neu ausgewählten osm-Datei (Quelle: Geofabrik) sich kommentarlos aufhängt und von mir dann nach einer Viertelstunde regelmäßig gekillt werden mußte. :rolleyes: Höchstwahrscheinlich spielt es eine Rolle, daß ich, obwohl in dem Import-Fenster trotz expliziter Auswahl einer *.osm gar keine zu importierende Karte angezeigt wurde, einfach auf weiter geklickt habe. Anyway, der Import scheint also noch nicht ganz flüssig zu laufen.


    Viele Grüße, Ohm.

    Viele Grüße, Ohm.


    - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    Das Problem bei den sozialen Netzwerken ist vielleicht diese etwas unglückliche Mischung aus Denkfaulheit, Rechtschreibschwäche und Internet-Anschluss.
    Frank-Markus Barwasser als Erwin Pelzig im Juni 2016 in der TV-Sendung „Grosse Kleinkunst - Das Mainzer Unterhaus feiert 50. Geburtstag“

  • Servus Tom,

    Hast Du im Assistent Neue Karte auch die Option "GIS-Dateien..." ausgewählt?

    ja! In den angeführten Dateiendungen war auch osm mit aufgeführt.


    Viele Grüße, Ohm.

    Viele Grüße, Ohm.


    - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    Das Problem bei den sozialen Netzwerken ist vielleicht diese etwas unglückliche Mischung aus Denkfaulheit, Rechtschreibschwäche und Internet-Anschluss.
    Frank-Markus Barwasser als Erwin Pelzig im Juni 2016 in der TV-Sendung „Grosse Kleinkunst - Das Mainzer Unterhaus feiert 50. Geburtstag“

  • ...Ob das für die Windows-Plattform zu gebrauchen ist, kann ich nicht wirklich beurteilen.

    Mapsforge ist auf Android spezialisiert, für eine Windows-Umgebung ist Maperitive ein guter Einstieg ins Rendering.

    Grüße
    Hans


    "The universal aptitude for inaptitude makes any human accomplishment an incredible miracle." (John Paul Stapp)

  • Hallo,


    so ging mir das auch erst mal....
    Dann habe ich die kleinste Datei gesucht, war Berlin (hat gepackt 28MB entpackt 303MB).
    Mit dieser Datei hat QV ca. vier Minuten benötigt von der Dateiauswahl bis zur Anzeige im Fenster "Neue Karte 2/5".
    So wie es im Taskmanager aussah hat QV die komplette Datei eingelesen, der Arbeitsspeicher erhöhte sich zumindest um ca. 300MB.
    Nach dem erfolgreichen Import der Karte benötigte QV nochmal ca.3 - 4 Minuten zum Anzeigen, wobei laut Taskmanager QV die Datei erneut komplett einliest obwohl die Anzeige auf 100% stand.


    Wie ist das dann bei ganze Bundesländer (BW hat entpackt 2,6 GB) oder ganze Länder?
    Die kann QV doch garnicht ganz einlesen?


    System:
    OS - Win7 - 64bit SP1
    CPU - AMD Phenom II X6 1090T
    RAM - 16GB


    Gruß
    Horst

  • Hallo Tom,
    das Verhalten was "Ohm" beschrieben hat kann ich bestätigen.
    Wollte auch eine *.osm Datei so wie in der WIKI beschrieben öffnen, aber qv5-29 hat sich auf gehangen. Im Task Manager war zu sehen das qv5 immer größer wurde aber nichts ging mehr.
    OSM Datei war 800MB groß hab schon nichts größeres probiert, das ist ein Ausschnitt aus Sachsen, ganz Sachsen hat glaub ich schon an die 2GB. Ach ja die Datei ist auch ok weil ich daraus meine Garmin Karte generiere.
    PS die Datei ist diese hier http://altersachse.de/600-down/ausschnitt.osm.pbf - muss aber erst wieder zu *.osm entpackt werden.
    Gruß Jörg

    GPS -- Garmin Dakota 20, SIII mini
    Software -- Linux Mint17 Mate, QV7 immer die neuste DevVer im VMPlayer mit WIN7-64 Ultimate , QLGT
    OSM -- JOSM, osmupdate, osmconvert, wget, mkgmap, eigene Garmin Karten

  • Hallo Jörg,

    Im Task Manager war zu sehen das qv5 immer größer wurde aber nichts ging mehr.

    dann war QV noch nicht fertig mit dem lesen der Datei.
    QV zeigt in der Statuszeile auch den Fortschritt an, wobei QV da bei mir auch pausen gemacht hat.
    Immer abwechselnd mit dem Taskmanager.


    Gruß
    Horst

  • Servus Tom.

    Ohm, um welche osm-datei genau handelt es sich bei Dir?

    die Datei heißt "albania.osm.bz2" und findet sich auf Downloadseite der Geofabrik. Nach dem Entpacken ist sie etwas über 100 MB groß und hat wie schon geschrieben die Erweiterung albania.osm.


    Im Gegensatz zu den anderen Diskutanten zeigte mir das Importfenster nichts zum Importieren an und ich konnte auch keinen Fortschritt nach dem Klick auf "weiter" erkennen. QV5 fror einfach ein.


    Viele Grüße, Ohm.

    Viele Grüße, Ohm.


    - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    Das Problem bei den sozialen Netzwerken ist vielleicht diese etwas unglückliche Mischung aus Denkfaulheit, Rechtschreibschwäche und Internet-Anschluss.
    Frank-Markus Barwasser als Erwin Pelzig im Juni 2016 in der TV-Sendung „Grosse Kleinkunst - Das Mainzer Unterhaus feiert 50. Geburtstag“