Wyszukaj
Zmień rozmiar czcionki
Wersje kontrastowe
| Prelegent: | dr hab. inż. Marek Kowal, prof. UZ, Zakład Informatyki Technicznej, Instytut Sterowania i Systemów Informatycznych, Wydział Informatyki, Elektrotechniki i Automatyki, Uniwersytet Zielonogórski, e-mail: M.Kowal@issi.uz.zgora.pl. |
| Temat: | Sieci neuronowe typu Transformer i ich zastosowanie w klasyfikacji obrazów |
| Streszczenie: | Prezentacja rozpocznie się od wprowadzenia do przetwarzania danych sekwencyjnych za pomocą rekurencyjnych sieci neuronowych. Omówione zostaną wyzwania i problemy, jakie napotykamy przy uczeniu sieci rekurencyjnych z wykorzystaniem długich sekwencji języka naturalnego. Problemy te zostały przezwyciężone dzięki sieciom neuronowym typu Transformer (Transformatory), które obecnie stały się standardem dla przetwarzania języka naturalnego i konkurują również w zagadnieniach rozpoznawania obrazów ze splotowymi sieciami neuronowymi. Kluczem do sukcesu Transformerów jest mechanizm atencji oraz uczenie metodą self-supervised. W trakcie prezentacji omówiona zostanie architektura sieci typu Transformer, a także przedstawione zostaną przykłady Transformerów w postaci modeli GPT (Generative Pre-trained Transformer) oraz BERT (Bidirectional Encoder Representations Transformer). Następnie zaprezentowana zostanie architektura modelu ViT (Vision Transformer), czyli Transformera, który potrafi klasyfikować obrazy. Na zakończenie przytoczone zostaną wyniki eksperymentów dotyczących klasyfikacji obrazów histopatologicznych z wykorzystaniem modelu ViT. |
