Autor Thema: araneae-API nutzen  (Gelesen 688 mal)

Martin Lemke

  • Administrator
  • *****
  • Beiträge: 14522
  • TK 2130 Lübeck, Schleswig-Holstein, Germany
    • Spinnenerfassung in SH
araneae-API nutzen
« am: 2018-12-03 09:47:24 »
Aktuell umfasst die Checkliste von Albanien 490 Spinnenarten (Blick 2018), die Checkliste unseres Wikis nennt nur 478 Arten. Dies ist nur ein Beispiel von vielen.

Angesichts dessen, dass unser Stab an aktiven Mitarbeitern im Wiki klein ist, sollten wir dazu über gehen, die extra auf unseren Wunsch hin eingerichtete API von araneae auch zu verwenden.

Nicht 'on demand', sondern nach einem Ablaufplan jeweils nachts um z.B. 3:00 Uhr soll für einen Teil unseres Artenspektrums (ausschließlich Webspinnen betreffend) der aktuelle Verbreitungsraum abgefragt werden. Als Quellen der Nachweise soll für Webspinnen dann nur noch araneae angegeben werden. Ich kenne die API nicht näher. Vielleicht lässt sich auch abfragen, ob etwas geändert wurde. Wenn nicht, muss nach jeder monatlichen Version neu abgefragt werden.

Ich traue mir nicht zu, das zu programmieren, weil Michael diese Bereiche zuletzt programmiert hat und er, im Gegensatz zu mir, Profi ist. Ich möchte Michael natürlich nicht sagen: Tu dies, tu das .. aber ich finde, diese Lösung sollte gesucht werden. Es ist schon ein älterer Wunsch von Ambros Hänggi, dass die Verbreitungsangaben von araneae und Wiki synchronisiert werden. Das wäre damit auch verwirklicht.

Wie ist das Meinungsbild?

Martin
DAS waren noch Zeiten: Nowegen 2011.

Tobias Bauer

  • Aktive Mitarbeiter
  • *****
  • Beiträge: 471
Re: araneae-API nutzen
« Antwort #1 am: 2018-12-03 11:31:28 »
Ich finde das mehr als wünschenswert. Auch wenn viel Arbeit drinsteckt, es ist einfach nicht sinnvoll, zwei unabhängige Datenbanken zu haben.

Tobias

Katja Duske

  • Kerngruppe
  • ******
  • Beiträge: 4114
Re: araneae-API nutzen
« Antwort #2 am: 2018-12-03 13:12:57 »
Ist wahrscheinlich das Einfachste, wenn es funktioniert. Und wenn Michael Zeit und Lust hat das zu programmieren.

Katja

Martin Lemke

  • Administrator
  • *****
  • Beiträge: 14522
  • TK 2130 Lübeck, Schleswig-Holstein, Germany
    • Spinnenerfassung in SH
Re: araneae-API nutzen
« Antwort #3 am: 2018-12-04 07:52:06 »
Es würde uns alle wahnsinnig entlasten. Michael ist dauernd dabei, veraltete Verbreitungsdaten zu löschen und zu aktualisieren; diese Arbeit fiele nahezu komplett weg (bei Weberknecht & Co. ist ja nicht so viel Bewegung). Die einmal investierte Zeit für die API würde sich rasch amortisieren und Ressourcen für andere Aufgaben frei machen; etwa die Anreicherung spartanisch ausgestatteter Wiki-Artikel mit Fakten. Eine Win-win-Konstellation also.

Die Daten von araneae sind auch präziser als unsere; dort werden verschiedene Großräume Russlands unterschieden.

Mal sehen, was Michael dazu sagt. Wenn er keine Zeit dafür hat, muss ich es wohl oder über selber versuchen.

Martin
DAS waren noch Zeiten: Nowegen 2011.

Michael Hohner

  • Administrator
  • *****
  • Beiträge: 4708
  • Wo ist nun der versprochene Wurm?
    • Meine Spinnenfunde in Bayern
Re: araneae-API nutzen
« Antwort #4 am: 2018-12-05 16:19:52 »
Ich habe mir das Ganze jetzt nochmal angeschaut.

Der Knackpunkt für mich war noch, dass die Länderaufteilung bei Araneae anders ist als im Wiki. Im Detail ist es jedoch so, dass in Araneae im Zweifel etwas feiner unterteilt ist als im Wiki (wenn ich nichts übersehen habe). Man könnte also vorerst z.B. im Wiki ganz Griechenland markieren, wenn in Araneae nur ein Vorkommen auf Kreta registriert ist (das wir im Wiki nicht separat führen). Der umgekehrte, und kritischere Fall, dass das Wiki detaillierter ist als Araneae, kommt nicht vor.

Ein Nachteil der neuen Lösung wäre natürlich, dass im Wiki nicht mehr erkennbar ist, wo welcher Nachweis für welches Land herkommt. Auf den Checklisten-Seiten ist das ja für jede Spezies einzeln aufgeführt, und natürlich wenn man auf die Kreuze in den Tabellen klickt. Da würde jetzt nur noch ein einziger Verweis auf Araneae stehen. Dabei habe ich das bei den Checklisten extra auf Wunsch von Christoph Muster eingebaut. Das beißt sich nun.

Was auch verlorengehen würde, ist die Hervorhebung in den Tabellen, ob für ein Land eine Checkliste vorhanden ist oder nicht.

Als letztes darf man auch nicht die Vorstellung haben, dass mit einem automatischen Abgleich die Wiki-Seiten ebenfalls sofort aktualisiert sind. Das Wiki hat immer noch seinen Seiten-Cache, und der Cache wird nur aktualisiert, wenn man entweder innerhalb des Wiki etwas ändert, oder wenn der Cache explizit gelöscht wird. Es kann also weiter der Fall sein, dass die Seiten einen "alten" Inhalt zeigen, wenn die Nachweisdaten im Hintergrund längst aktualisiert sind. Den Cache von außerhalb des Wiki zu manipulieren, das ist schwarze Magie, in die ich noch nicht eingeweiht bin.

Wann ich dazu komme, das umzusetzen, das weiß ich noch nicht. Vor Weihnachten auf keinen Fall. Aber momentan bin ich ja selbst derjenige, der hauptsächlich die Daten aktualisiert. Kann ich mich also entscheiden, an welcher Stelle ich Arbeit haben will :)

Michael Hohner

  • Administrator
  • *****
  • Beiträge: 4708
  • Wo ist nun der versprochene Wurm?
    • Meine Spinnenfunde in Bayern
Re: araneae-API nutzen
« Antwort #5 am: 2018-12-11 11:21:32 »
Kleine Ergänzung: Luxemburg schwimmt im Wiki mit Belgien mit, das müssen wir auftrennen. Ist aber kein großes Ding.

Martin Lemke

  • Administrator
  • *****
  • Beiträge: 14522
  • TK 2130 Lübeck, Schleswig-Holstein, Germany
    • Spinnenerfassung in SH
Re: araneae-API nutzen
« Antwort #6 am: 2018-12-11 12:44:10 »
Schön, dass Du Dich damit soweit auseinandergesetzt hast.

Dass die Verbreitungsdaten bei araneae anders sind als die bei uns ist grundsätzlich ärgerlich. Was micht zudem nervt, sagt vielleich einfach folgende Seite: Haplodrassus alexeevi. Weil wir nur eine Region Russland haben, werden aufgrund politischer Grenzen östliche Arten auch für das russische Gebiet zwischen Polen und Litauen angezeigt, was schlichtweg falsch ist. Die Nichtunterscheidung von Kreta und dem restlichen Griechenland (im Gegensatz zu den Inseln von Italien, Spanien und Frankreich) sprachst Du bereits an. An der Stelle muss wohl ich die Karten ändern, weil Arno sich zurückgezogen hat. Auch das werde ich so ganz kurzfristig vor Weihnachten nicht mehr schaffen.

Und sicher müssten wir auch die Tabellen der Gattungen ändern; es kämen Spalten hinzu – das ist in sofern ärgerlich, weil die Spaltenzahl schon jetzt an einer kritischen Grenze der Darstellbarkeit liegt. Aber vielleicht gibt es da Designkniffe, die ich im Moment nicht sehe? Etwa Tabellen mit automatischem Umbruch bei kleinen Bildschirmen? Es sei denn, wir machen eine dritte Tabelle auf. Im Moment haben wir oben die nord- und mitteleuropäische Länder und unten die südlichen und östlichen. Dies hieße auch, dass wir evtl. für die Spinnen mit <gattung2arten> eine andere Länderteilung generieren sollten als für andere Ordnungen.

So eine Änderung ist kein kleiner Eingriff in unser System, wäre aber m. E. ein Meilenstein.

Martin
DAS waren noch Zeiten: Nowegen 2011.

Michael Hohner

  • Administrator
  • *****
  • Beiträge: 4708
  • Wo ist nun der versprochene Wurm?
    • Meine Spinnenfunde in Bayern
Re: araneae-API nutzen
« Antwort #7 am: 2018-12-11 14:03:04 »
Die Aufteilung von z.B. Russland würde nicht nur die Kartendarstellung betreffen. Da müsste man auch die Verbreitungsdaten der anderen Ordnungen aufbohren! Und wer weiß schon, welche Weberknechte in welchen Teilen Russlands vorkommen...

Michael Hohner

  • Administrator
  • *****
  • Beiträge: 4708
  • Wo ist nun der versprochene Wurm?
    • Meine Spinnenfunde in Bayern
Re: araneae-API nutzen
« Antwort #8 am: 2018-12-13 12:45:44 »
Übrigens: Was das Wiki als "Großbritannien" bezeichnet, ist eigentlich das "Vereinigte Königreich". Und was Araneae als "United Kingdom" bezeichnet, ist eigentlich "Großbritannien".  8)


Wer's genauer wissen will: https://www.youtube.com/watch?v=rNu8XDBSn10

Michael Hohner

  • Administrator
  • *****
  • Beiträge: 4708
  • Wo ist nun der versprochene Wurm?
    • Meine Spinnenfunde in Bayern
Re: araneae-API nutzen
« Antwort #9 am: 2018-12-26 20:47:00 »
Mittlerweile ist die automatische Synchronisation aktiv. Zuerst hat diese mit höherer Frequenz (alle 5 Minuten) bis zu 100 Spezies abgeklappert. Jetzt nachdem der Bestand vollständig geholt ist, wird mit niedriger Frequenz (alle 8 Stunden) nach Updates gesucht. Eine Zusammenfassung dieser Aktionen kann man hier sehen: https://wiki.arages.de/index.php?title=Spezial:CL-Sync

Einzelne Updates von Verbreitungsdaten wie üblich hier: https://wiki.arages.de/index.php?title=Spezial:Logbuch/checklist

Wenn Daten einer Spezies aktualisiert werden, wird auch der Cache der Seite und der zugehörigen Gattungs- und Familienseite invalidiert (d.h. der nächste Abruf dieser Seiten baut deren Inhalt neu auf).

Unsere eigenen Daten (die jetzt Duplikate sind) sind weitgehend gelöscht, einzelne Diskrepanzen müssen noch geklärt werden.

Martin Lemke

  • Administrator
  • *****
  • Beiträge: 14522
  • TK 2130 Lübeck, Schleswig-Holstein, Germany
    • Spinnenerfassung in SH
Re: araneae-API nutzen
« Antwort #10 am: 2018-12-27 00:29:32 »
einzelne Diskrepanzen müssen noch geklärt werden.

Dazu hast Du eine Lister herumgeschickt, die ich an dieser Stelle mal in LInks konvertiere, damit die Adressaten damit mehr anfangen können. Jetzt kann man jeden Link anklicken und weiß dann, worum es geht (hoffe ich).

Michaels Liste (verbreitung.txt):
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Deltshev+etal+2011+soil+underground+spiders+Bulgaria}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Barrientos+et+al+2017+Ar%C3%A1cnidos+del+Parque+Natural+de+Cabo+de+Gata-N%C3%ADjar}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Blick+Molenda+1997+Bathyphantes+eumenis+First+Record+in+Belgium}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Bosman+et+al+2014+A+review+of+the+linyphiid+spiders+of+Portugal+with+the+description+of+six+new+species}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Buchar+Dolansky+%282011%29+New+records+of+wolf+spiders+%28Araneae:+Lycosidae%29+in+the+Mediterranean}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+dk}}
bzw. https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Hansen+et+al+2015+Nye+arter+i+Danmark}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+ee}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+es+pt+2010}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+gb+2014}}
bzw. http://srs.britishspiders.org.uk/portal.php/p/Summary/s/Neon pictus
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+hr}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+ie+2006}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+lt}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+checklist+no+farlund}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+D%C3%A9jean+2015+Contribution+%C3%A0+linventaire+des+araign%C3%A9es+et+opilions+de+l+%C3%AEle+de+Porquerolles}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Deltshev+2008}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Demir+Aktas+2010a+Additional+notes+on+crab+spider+fauna+of+Turkey}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Gnelitsa+2009}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Gregoric+Kuntner+2009}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Grimm+1986}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Helsdingen+et+al+2018+Inventory+of+the+spiders+of+the+border+region+of+northern+Greece+with+Albania+and+FYR+Macedonia}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Hirna+et+al+2016+Checklist+of+the+spiders+of+the+Chornohora+Mountain+massif}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Jaeger+et+al+2011+Olios}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Keer+et+al+2007}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Kielhorn+2008}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Komnenov+2017+New+data+on+spider+fauna+of+Shar+Mountain+north-western+Macedonia}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Komnenov+et+al+2016+Discovering+the+still+unexplored+arachnofauna+of+the+National+Park+of+Dadia-Lefkimi-Soufli%2C+NE+Greece}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Kostanjsek+Kuntner+2015+Araneae+Sloveniae+a+national+spider+species+checklist}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Kovblyuk+et+al+2009}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Le+Divelec+et+al+2018+Cryptachaea+blattea+and+Pseudomaro+aenigmaticus+deux+araign%C3%A9es+nouvelles+pour+la+France}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Logunov+salti+crete+2003}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Martin+2014+Erstnachweis+von+Evarcha+michailovi+in+Deutschland}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Marusik+Kunt+2009}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Marusik+Kunt+2010}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Mikhailov+2013+The+spiders+of+Russia+and+adjacent+countries}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Milasowszky+et+al+2008+Die+Spinnenfauna+des+Seedammes+im+Nationalpark+Neusiedler+See}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Milasowszky+Waitzbauer+2008+Die+Spinnenfauna+beweideter+und+unbeweideter+Trockenrasen+und+Salzwiesen+im+Nationalpark+Neusiedler+See}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Naumova+et+al+2016+New+faunistic+data+on+the+cave-dwelling+spiders+in+the+Balkan+Peninsula}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Panayiotou+et+al+2010}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Pantini+Sassu+Serra+2013+Catalogue+of+the+spiders+%28Arachnida+Araneae%29+of+Sardinia}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Ponomarev+et+al+2017+New+and+interesting+records+of+spiders+from+the+southeastern+part+of+the+Russian+Plain}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Ponomarev+et+al+2018+On+a+small+collection+of+spiders+from+the+Astrakhan+Reserve}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Rez%C3%A1c+et+al+2015+Red+List+of+Czech+spiders+3rd+edition}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+%C5%98ez%C3%A1%C4%8D+et+al+2018+Taxonomic+revision+and+insights+into+the+speciation+mode+of+the+spider+Dysdera+erythrina+species-complex}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Rezac+et+al}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Sandstroem+et+al+2010+Red+List+of+Swedish+species}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Tullgren+1955+Schwedische+Erigoniden}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Urones+2005+Eusparassus+Peninsula+Iberica}}
https://wiki.arages.de/index.php?title=Spezial:CL-Delete&quelle={{Lit+Wunderlich+2011+West-Palearctic}}
DAS waren noch Zeiten: Nowegen 2011.

Tobias Bauer

  • Aktive Mitarbeiter
  • *****
  • Beiträge: 471
Re: araneae-API nutzen
« Antwort #11 am: 2018-12-31 12:50:45 »
Vielen Dank Michael. Ich glaube, die Verlagerung auf die Araneae-Daten macht das Wiki auch deutlich zukunftsfähiger. Wahnsinn, wie schnell das jetzt ging. So etwas bräuchte in einem Museum Jahre, bis sich jemand mal bewegt (wie ich und meine Datenimporte  ::)).

 Wenn wir es jetzt noch schaffen, noch mehr statische Quellen in den Texten zu verwenden und uns in den Artartikel vor allem auf Lebensräume, Artbestimmungsmerkmale und Bedrohung zu konzentrieren, wäre das optimal und hätte teilweise auch der Araneae etwas voraus, die ja z.B. keine Roten Listen zeigt.

Tobias

Martin Lemke

  • Administrator
  • *****
  • Beiträge: 14522
  • TK 2130 Lübeck, Schleswig-Holstein, Germany
    • Spinnenerfassung in SH
Re: araneae-API nutzen
« Antwort #12 am: 2019-01-01 09:34:15 »
Mir ist aufgefallen, dass araneae auch nicht heimische, eingeschleppte Arten mit sich bringt; hier ein Beispiel (hab' die Seite gerade angelegt).

Solche Seiten müssen wir wohl konsequenterweise auch anlegen, oder?

Martin
DAS waren noch Zeiten: Nowegen 2011.

Michael Hohner

  • Administrator
  • *****
  • Beiträge: 4708
  • Wo ist nun der versprochene Wurm?
    • Meine Spinnenfunde in Bayern
Re: araneae-API nutzen
« Antwort #13 am: 2019-01-01 19:15:54 »
Das Hauptkriterium ist, ob die Art etabliert ist oder nicht. Andernfalls müsste man auch Allerweltsarten wie Mermessus trilobatus weglassen.

Martin Lemke

  • Administrator
  • *****
  • Beiträge: 14522
  • TK 2130 Lübeck, Schleswig-Holstein, Germany
    • Spinnenerfassung in SH
Re: araneae-API nutzen
« Antwort #14 am: 2019-01-04 08:01:53 »
Mermessus trilobatus ist ja definitiv eingeschleppt und breitet sich im Freiland aus. Ich sprach von Warmhausvorkommen, die eher punkuell vorhanden sind. Pholcus sp. breitet sich ja selbsttätig aus und wahrscheinlich auch Steatoda grossa und Psilochorus simoni. Aber Tiere, die nur einmal in einem Gewächshaus unter Rinde oder Streugesiebe entdeckt wurden? Da habe ich beim Etebliertheitskriterium doch meine Zweifel.

Martin
DAS waren noch Zeiten: Nowegen 2011.