podcast.de
Anmeldung
Anmeldung Registrierung
Auto Hell Dunkel
Erweiterte Suche
  1. Startseite
  2. Podcasts
  3. Techtiefen Podcast
  4. #36 NLP Update: Attention & Big Science
Natürliche Sprachverarbeitung (NLP) war bereits vor 2 Jahren das
Thema einer Techtiefen Podcast-Triologie. Seit dem hat sich aber
sehr viel getan, insbesondere Transfer-Learning und die Transformer
Technologie haben mächtige Modelle wie Bert oder GPT ermöglicht, es
wird also höchste Zeit für ein Update. Wer zuerst noch einmal die
Grundlagen auffrischen möchte, dem sei [Techtiefen [NLP] Moderne
Sprachverarbeitung](https://techtiefen.de/nlp-moderne-sprachverarbeitung/)
empfohlen. Experte dieser Folge ist Nils Reimers, NLP Forscher bei
Huggingface und Autor der [Sentence-Transformers
Library](https://github.com/UKPLab/sentence-transformers/). Er
erklärt zunächst die wichtigen Neuheiten der vergangen Jahre wie
etwa Transfer Learning, Attention, Transfomer und Neuheiten bei
Tokenization Strategien. Anschließend sprechen wir darüber, wie man
am besten aus einem Text variabler Länge Vektoren mit fixer
Dimensionalität bestimmt. Diese so bestimmten Vektoren sind dann
Grundlage für anspruchsvolle Aufgaben wie Text-Clustering,
Semantische Suche oder Question-Answering Aufgaben. Auch besprechen
wir, wie man einsprachige Modelle mit Hilfe eines Teacher-Student
Verfahrens in fremde Sprachen übertragen kann. Abschließend
berichtet Nils vom [Big Science
Projekt](https://bigscience.huggingface.co/en/#!index.md), einem
einjährigen Workshop bei dem 500 Personen aus über 50 Ländern
mitarbeiten um gemeinsam auf einem französischen Supercomputer das
größte bisher berechnete Sprachmodell zu berechnen. Anders als bei
GPT wird sowohl das Modell, wie auch der Prozess dieses zu
erstellen offen und transparent. Besonders ist dabei auch der
Ansatz, spannende Forschungsfragen bereits vor dem Modelltraining
zu formulieren. Links: - Paper von Nils über die wir gesprochen
haben: - [Sentence-BERT: Sentence Embeddings using Siamese
BERT-Networks](https://arxiv.org/pdf/1908.10084.pdf) - [Making
Monolingual Sentence Embeddings Multilingual using Knowledge
Distillation](https://arxiv.org/pdf/2004.09813.pdf) - [BigScience
Projekt](https://bigscience.huggingface.co/en/#!index.md) -
[Sentence-Transformers
Library](https://github.com/UKPLab/sentence-transformers/) -
[Huggingface](https://huggingface.co/course/chapter1) Online-Kurs

Weitere Episoden

45 Developer Advocacy

45 Developer Advocacy

1 Stunde 38 Minuten
vor 2 Jahren
44 Big Data auf K8s mit Stackable

44 Big Data auf K8s mit Stackable

1 Stunde 14 Minuten
vor 2 Jahren
43 Frauen in der IT

43 Frauen in der IT

50 Minuten
vor 2 Jahren
42 AI Chatbots & Open-Assistant

42 AI Chatbots & Open-Assistant

2 Stunden 32 Minuten
vor 3 Jahren
#41 WebAssembly

#41 WebAssembly

1 Stunde 8 Minuten
vor 3 Jahren
Alle Episoden anzeigen
In Podcasts werben
Schalte jetzt Werbung in Podcasts.

Abonnenten

De
Deabi
Jo
jordanleefey

Teilen

Mein Archiv

Deine Privatkopie der Folgen, die du nicht verlieren willst.

Podcast-Folgen verschwinden. Feeds werden auf die letzten Episoden gekürzt, Hoster räumen alte Dateien ab, Formate wechseln den Anbieter und lassen ihr Archiv zurück. Mit „Mein Archiv“ sichert podcast.de die Folgen deiner Podcasts für dich — angefangen bei den ältesten, denn die sind zuerst weg.

  • Deine gesicherten Folgen bleiben hörbar, auch wenn das Original offline geht.
  • Auch Folgen, die im heutigen Feed gar nicht mehr stehen — podcast.de kennt sie noch.
  • Herunterladen bleibt möglich, solange die Folge beim Podcaster liegt. Der zählt seine Abrufe wie bisher.
Startet bald

Sei beim Start von Mein Archiv dabei

Mein Archiv ist fast fertig. Trag dich ein, dann bekommst du eine E-Mail, sobald es losgeht – und bist von Anfang an dabei. Wir schreiben dir nur zum Start, keine Werbung, keine Weitergabe deiner Daten.

Du bekommst zuerst eine Bestätigungsmail. Abmelden geht jederzeit. Datenschutz