Machine Learning Workflow cz 3 – testowanie modelu

Jak zwykle zacznę od przypomnienia poszczególnych kroków w przepływie pracy w uczeniu maszynowym: Przygotowanie modelu. Trenowanie modelu. Testowanie modelu. Dzisiaj będę pisał o ostatnim kroku – testowaniu modelu – kluczowym by właściwie ocenić nasz model i na tej podstawie podjąć decyzję o kierunku zmian w kolejnej iteracji pracy. Testowanie jakie takie składa się z dwóch […]

Scikit-learn i podstawy korzystania z algorytmów uczących

Biblioteka scikit-learn zawiera implementację wszystkiego co potrzebne do pracy z uczeniem maszynowym w Pythonie. Dodatkowo jest dostępna całkowicie za darmo jako projekt open source. Dzięki temu, że twórcy ściśle podążają za ustalonymi konwencjami, korzystanie z niej i rozpoczęcie trenowania swojego modelu to kwestia kilku minut. Kluczowe są zawsze dwie metody, które opisuję poniżej. Na początek warto wiedzieć, […]

DSP2017: Trenowanie modelu- raport 3

Po dłuższej przerwie od raportów, w końcu piszę kolejny – dzisiaj o przebiegu procesu trenowania modelu w moim projekcie, który jak całość dziedziny uczenia maszynowego został przeprowadzony z wykorzystaniem Pythona, i bibliotek Pandas oraz scikit-learn. Rodzaj uczenia… Przed przystąpieniem do wyboru algorytmu uczącego trzeba określić pewne ramy dla swojego projektu. Tak jak pisałem wcześniej, na […]

DSP2017: Wprowadzenie do biblioteki Pandas w kontekście przygotowania modelu

Biblioteka Pandas jest open-source’owym narzędziem do analizy danych przeznaczonym dla Pythona. Udostępnia wszystkie niezbędne operacje potrzebne do pracy z modelem w uczeniu maszynowym. Poniżej opiszę kilka podstawowych funkcji i struktur danych, które można wykorzystać w kontekście przygotowania modelu. Wczytywanie danych: Pandas posiada mnóstwo metod służących do wczytywania danych z różnych źródeł. Nazwy tych metod zwykle wyglądają […]

Machine Learning Workflow cz 2 – trenowanie modelu

Na start przypomnijmy sobie podstawowe kroki w przebiegu pracy uczenia maszynowego: Przygotowanie modelu. Trenowanie modelu. Testowanie modelu. Dzisiaj zajmiemy się punktem drugim Załóżmy, że sam model mamy przygotowany – wiemy czego szukamy, dane są wyselekcjonowane i wyczyszczone – co dalej? Mamy do rozpatrzenia dwie kwestie: wybór algorytmu uczącego i zastosowanie tego algorytmu do wytrenowania modelu. […]

DSP2017: Przygotowanie modelu – raport 2

Przyszedł czas na trochę bardziej konkretną pracę z danymi. Ostatnio pisałem, o przygotowaniu modelu – dzisiaj też będzie o tym ale w kontekście pracy nad moim projektem. Gwoli przypomnienia – dane nad którymi pracuję pochodzą ze strony kaggle.com, a dokładnie stąd. Są one w formacie csv, i do ich pierwszej obróbki (czyli zanim zostaną wczytane do […]

Machine Learning Workflow cz 1 – przygotowanie modelu

Jakiś czas temu pisałem o tym jak wygląda workflow w uczeniu maszynowym. Pozwolę to sobie tutaj przypomnieć: Pozyskanie danych Zadanie pytania na które chcemy znać odpowiedź w oparciu o zebrane dane (chyba najtrudniejsza część procesu) Przygotowanie danych (wczytanie je do pamięci, wyczyszczenie, doprowadzenie do postaci łatwej do zinterpretowania przez komputer – jednym słowem przetworzenie) Wybór […]

DSP2017: Pierwsze kroki w projekcie – raport 1

Krótko o tematyce projektu Jak pisałem ostatnio, dzisiaj będzie pierwsza notka raportowa o projekcie i kilka informacji dodatkowych. Najważniejszą i chyba najtrudniejszą kwestię stanowiła decyzja dotycząca wyboru danych, czyli praktycznie całego tematu wokół którego będzie kręcił się projekt. Zależało mi na tym by to o czym piszę było interesujące dla zwykłego ludka, więc odrzuciłem pomysły […]

Machine Learning – z czym to się je?

Jak pisałem w swego rodzaju wstępniaku do DSP2017 mój projekt będzie dotyczył uczenia maszynowego (by być uczciwym dodam, że podstaw :)). Podejrzewam, że większość osób związanych z programowaniem spotkało się już z tym terminem, nie wszyscy jednak muszą wiedzieć o czym dokładnie mowa i to przede wszystkim dla nich jest ten wpis. Czym więc jest […]