Aktuálně, 5. června: trénování

• Cvičení do hodiny: písemná práce
• Doporučený cíl: opravte kód, aby se síť něco naučila.
  Dobře naučená síť umí správně rozpoznávat květiny při validaci (ověřování). Výzva tedy je, dostaňte co největší val_accuracy.
  1. Při trénování hned první krok je příliš velký, takže se váhy v síti nastaví na nesmyslná čísla a z toho se už pak nedokážou zachránit. Musíme zmenšit velikost kroku learning_rate, aby trénování vůbec doběhlo:
     
  2. Jakmile začne accuracy stoupat přes 0.2, znamená to, že se síť něco učí. Abyste to zkoušeli rychleji, můžete zmenšit počet opakování epochs=1 a spouštět trénování ručně znovu a znovu. Nebo naopak můžete nastavit větší počet epoch a nechat to běžet hodinu, zatímco se věnujete něčemu jinému.
  3. Veškerá chytrost, kterou tomu můžeme věnovat, bude směřovat do architektury sítě. Důležitý ukazatel, jak složitou síť máme, je celkový počet parametrů (to jsou váhy spojů mezi neurony). Síť s mnoha miliony parametrů zabere hodně paměti a bude se pomalu trénovat.
     
  4. Vyzkoušejte si na začátek sítě (před vrstvu Flatten) přidat vrstvy, které umějí pracovat s obrázky:
     • Conv2D, která dokáže rozpoznávat opakující se vzory v obrázku
     • MaxPooling2D, která se nic neučí a prostě obrázek zmenší na poloviční šířku i výšku
       
  • V tomhle cvičení jde docela snadno dosáhnout val_accuracy větší než 50 %. Dostat víc než 60 % už mi připadá jako velký úspěch.
  • Jestli se vám povede dostat vysoké accuracy, ale nízké val_accuracy, znamená to, že se síť perfektně naučila poznávat fotky, které zná, ale obecně vzato květinám nerozumí. To sice není dobře naučená síť, ale je to úspěch pro účely našeho semináře, a budeme se tomu věnovat 19. června.

z minula: trénovatelné parametry

• Cvičení do hodiny: písemná práce:
  1. označte chyby ve funkcích nejblizsi,
  2. u každé funkce fn určete (pokud možno stručně), co dělá.
• Teorie: parametry neuronové sítě, aproximace obecných funkcí, trénování
• Cíl: vyzkoušejte si natrénovat síť od nuly
  1. Udělejte si kopii ukázky Retraining an Image Classifier z minula.
  2. Rozbalte kód v části "Set up flowers dataset" a opravte data_dir na f"{data_dir}/flower_photos":
     
  3. Vymažte část modelu, která se stahuje z keras_hub (síť pak bude mnohem menší a rychlejší).
  4. Místo vymazané části přidejte vrstvu Flatten a potom jednu nebo několik vrstev typu Dense.
     
  5. Pošlete mi screenshot ukazující všechny vrstvy modelu a screenshot ukazující graf s výsledky.
  6. Napište (stačí věta), jaká vám vychází úspěšnost na trénovací a na validační sadě, a jak tomu rozumíte.

Zadání na 4. čtvrtletí

• 15. května: N4 klasifikátor v Colab
  • Cvičení do hodiny:
    1. Přihlaste se svým Google účtem do prostředí Colab
    2. Projděte si základní přehled, abyste rozuměli, co Colab umí. Odhadněte, co (oproti Pythonu na vašem počítači) neumí.
  • Cíle:
    1. Na stránce Retraining an Image Classifier klikněte na Run in Google Colab
    2. Pomocí rozbalovací nabídky vpravo nahoře přepněte běhové prostředí na grafickou kartu T4, připojte se k ní a počkejte, až se virtuální počítač spustí.
    3. Projděte celou ukázku kromě poslední části (TensorFlow Lite nebudeme potřebovat).
    4. Pošlete mi screenshot výstupů, které považujete za relevantní, a k nim svoje stručné vysvětlení (stačí věta).
    5. Kromě toho napište svoje zhodnocení, co ta celá ukázka říká (stačí druhá věta).
• 14. května: obhajoba seminárních prací.
• 24. dubna: N3 neuronová síť
  • Cvičení do hodiny: trénování neuronové sítě v kódu train.py na datech mnist.npz.
  • Cíle:
    1. Spusťte kód a počkejte, až se neuronová síť natrénuje. Program můžete spouštět opakovaně, výsledky vždycky budou trochu jiné. Jeden výstup mi pošlete do chatu (jako text nebo jako screenshot).
    2. Napište vysvětlení, co ten textový výstup programu znamená. Stačí jedna věta, a je v pořádku tipovat, ale vysvětlete každou část, co program vypisuje.
    3. Napište svoje zhodnocení, jak na tom je tenhle výstup programu oproti jiným, kdy jste ho spouštěli. Stačí jedna věta a je v pořádku napsat jen od oka, jak vám to připadá.
• 10. dubna: N2 opravdové bludiště
  • Cvičení do hodiny: bludiste.py
    1. doplňte funkci nakresli_caru.
       • pozor, má kreslit na dvojnásobných souřadnicích, než jaké dostala.
  • Cíle:
    2. doplňte funkci vsechny_hrany.
       • Například na bludišti 3x2 má vypsat 7 hran: [((0, 0), (1, 0)), ((0, 0), (0, 1)), ((0, 1), (1, 1)), ((0, 1), (0, 2)), ((0, 2), (1, 2)), ((1, 0), (1, 1)), ((1, 1), (1, 2))].
       • O chlup jednodušší je vynechat poslední sloupec a poslední řádek. Potom stačí z každého bodu udělat čáru doprava a dolů. Až vám tohle bude fungovat, přidáte ten sloupec a řádek a máte hotovo.
    3. doplňte funkci najdi_praotce.
       • když slovnik.get(dite) vrací hodnotu None, tak jsme zatím žádného otce neurčili. V takovém případě má funkce vrátit rovnou ten bod: return dite
       • když otec = slovnik.get(dite) vrátí nějaký výsledek, tak chceme možná vrátit tenhle výsledek: return otec. Jestli ale on sám má nějakého otce, musíme pokračovat dál.
    4. na konci programu smažte nakresli_caru((0, 0), (0, 4)) a nakresli_caru((0, 4), (4, 4)), aby program kreslil jenom bludiště.
  • Teorie: vlastně jsme implementovali Kruskalův algoritmus na minimální kostru v grafu, kde váhy hran nastavíme náhodně.
• 3. dubna: N1 bludiště
  • Cíl: program nakreslí bludiště.
  • Jak se to pozná: černé pixely označují zeď a z rohu do rohu bludiště vede nějaká cesta.
  • Jak postupovat:
    1. Nainstalujte numpy a matplotlib
    2. Vytvořte prázdné pole np.ones((výška, šířka))
    3. Některé části pole programem nastavte na nuly
    4. Zobrazte výsledek pomocí matplotlib.imshow
  • Cvičení do hodiny:
    • np.py
    • Upravte program tak, aby nakreslil dům a stromeček (nebo jiný roztomilý obrázek podle vašeho vkusu).

Organizace čtvrtého čtvrtletí

Ve čtvrtém čtvrtletí naučíme několik neuronových sítí a prověříme, kolik jste se naučili vy sami.

• Na začátku každé hodiny bude na webu zadání práce. Během hodiny se na zadání letmo podíváme.
  • Termín odevzdání je důsledně před začátkem následující hodiny.
  • Splnit práci jde buďto fungujícím kódem, nebo vysvětlením (stačí jeden odstavec), jak jste postupovali a proč to nešlo.
  • Na hodině můžu vyžadovat, abyste odevzdaný kód vysvětlili nebo k vysvětlení napsali kus kódu. Jestli vyjde najevo, že svojí odevzdané práci vůbec nerozozumíte, neuznám ji.
• Na začátku každé hodiny si dáme krátké cvičení.
  • Termín odevzdání je během hodiny (např. 7:55).
  • Pokud na hodině nejste, máte termín až do začátku následující hodiny.
  • Cvičení se počítá do závěrečného hodnocení.
• Za 70 % úkolů splněných včas je jednička na závěrečném vysvědčení, pak to jde dolů po 15 %.
  • Počítají se do toho i čtyři úlohy ze třetího pololetí.

• ✓: splněno kódem, V: splněno vysvětlením
• R: možná splněno, pokud kódu rozumíte
• ⏲: nebylo odevzdáno včas, ✘: vůbec neodevzdáno

Zadání z 3. čtvrtletí

• 27. března: P4 slovo v kontextu
  • Cíl: program, který nabízí nejlepší slovo vzhledem k tomu, co jsme už napsali.
  • Jak se to pozná: máte lidským jazykem určené, co pro váš program znamená "kontext".
  • Jak postupovat:
    1. Stáhněte si program kontext.py, spusťte ho a pochopte, jak funguje.
    2. Zamyslete se a napište komentář na začátek programu: co z předcházejícího textu má vliv na předpovídané slovo.
    3. Změňte způsob, jak se počítá context a ověřte, že program dělá to, co jste naplánovali v bodě 1.
    4. (bonus) Upravte, co program dělá, když neví.
• 20. března: P3 slova v textu
  • Cíl: program, který v zadaném textu najde nejčastější slovo.
  • Jak se to pozná: na začátku programu je ukázkový text. Když program spustíte, tak má vypsat slovo, které se v tom textu vyskytuje pětkrát.
  • Jak postupovat:
    1. Stáhněte si program nejcastejsi.py a vyzkoušejte si ho spustit. Všimněte si, že neříká pravdu: slovo "nespravedlností" se v textu vyskytuje jen jednou. Skóre se počítá špatně.
    2. Upravte funkci ohodnot, aby každému slovu spočítala, kolikrát se v textu vyskytuje.
    3. Zkontrolujte, že program říká pravdu, a odevzdejte ho.
• 13. března: P2 nejlepší slovo
  • Cíl: program, který nabízí (v nějakém ohledu) nejlepší slovo
  • Jak se to pozná: máte lidsky napsané, jaké slovo je nejlepší nabídnout, a když několikrát zkoušíte psát text, nabídne se vám správné slovo
  • Jak postupovat:
    1. Zamyslete se a napište komentář na začátek programu: když máme víc možných slov se stejným začátkem, tak jaké slovo je nejlepší nabídnout.
    2. Rozmyslete si (to nemusíte psát), co program potřebuje vědět nebo vypočítat, aby to slovo našel.
    3. Poraďte se s lidmi a roboty a napište program do funkce predict.
• 27. února: P1
  1. zprovozněte aplikaci main.py s hlavní stránkou index.html. Podrobnější návod:
     • začněte tím, že soubory stáhnete do nové složky, a pak v ní otevřete terminál (nebo Powershell): cd "Nová Složka"
     • virtuální prostředí s názvem venv vytvoříme příkazem v terminálu: python3 -m venv venv
     • pak je potřeba ho aktivovat: venv/Scripts/activate.ps1
     • pak nainstalovat FastApi: python3 -m pip install fastapi[standard]
     • pak ho spustit: fastapi dev main.py
     • Že aplikace funguje, poznáte, když se podíváte na adresu 127.0.0.1:8000 a otevře se vám tam stránka s textovým políčkem.
  2. zařiďte, aby aplikace nabízela k doplnění slova, která jsme už napsali.
• 6. února jednohubky:
  • webová stránka s políčkem pro psaní textu, které nabízí možnosti "foo" a "bar"
  • webová služba (s pomocí FastAPI), která na /suggest vrací seznam [1, 2, 3]
  • funkce, kterou když voláme opakovaně, vrací posledních pět hodnot, co dostala jako parametr

• ✓: splněno kódem, V: splněno vysvětlením
• ⏲: nebylo odevzdáno včas, ✘: vůbec neodevzdáno

Zadání z 2. čtvrtletí

• L1 Písmeno v seznamu (do 28. listopadu).
• L2 Fronta (do 5. prosince)
• L3 Parkoviště (do 12. prosince)
• L4 Výraz (do 19. prosince)
• L5 Rým (do 9. ledna)
• L6 Počty (do 16. ledna)
• L7 Stoupání (do 24. ledna)

Tabulka z druhého čtvrtletí

Zadání z 1. čtvrtletí

• Z1 Hello, World! (do 19. září)
• Z2 Popis parametru (do 26. září)
• Z3 Oblíbená rovnice (do 3. října)
• Z4 Popis postavy (do 17. října)
• Z5 Autentizace (do 24. října)
• Z6 Šikovná mocnina (do 7. listopadu)
• Z7 Hloupá odmocnina (do 14. listopadu).

Tabulka z prvního čtvrtletí