Deep Learning

• Kategorie:
  1. Ebooki i Audiobooki »
  2. Informatyka
  1. Ebooki i Audiobooki »
  2. Technika
• Redakcja: Aaron Courville, Ian Goodfellow, Yoshua Bengio
• Język wydania: polski
• ISBN: 978-83-01-19583-0
• ISBN druku: 978-83-01-19583-0
• Liczba stron: 900
• Sposób dostarczenia produktu elektronicznego
  Produkty elektroniczne takie jak Ebooki czy Audiobooki są udostępniane online po uprzednim opłaceniu (PayU, BLIK) na stronie Twoje konto > Biblioteka.

  Pliki można pobrać zazwyczaj w ciągu kilku-kilkunastu minut po uzyskaniu poprawnej autoryzacji płatności, choć w przypadku niektórych publikacji elektronicznych czas oczekiwania może być nieco dłuższy.

  Sprzedaż terytorialna towarów elektronicznych jest regulowana wyłącznie ograniczeniami terytorialnymi licencji konkretnych produktów.
• Ważne informacje techniczne
• Minimalne wymagania sprzętowe:
  • procesor: architektura x86 1GHz lub odpowiedniki w pozostałych architekturach
  • Pamięć operacyjna: 512MB
  • Monitor i karta graficzna: zgodny ze standardem XGA, minimalna rozdzielczość 1024x768 16bit
  • Dysk twardy: dowolny obsługujący system operacyjny z minimalnie 100MB wolnego miejsca
  • Mysz lub inny manipulator + klawiatura
  • Karta sieciowa/modem: umożliwiająca dostęp do sieci Internet z prędkością 512kb/s
• Minimalne wymagania oprogramowania:
  • System Operacyjny: System MS Windows 95 i wyżej, Linux z X.ORG, MacOS 9 lub wyżej, najnowsze systemy mobilne: Android, iPhone, SymbianOS, Windows Mobile
  • Przeglądarka internetowa: Internet Explorer 7 lub wyżej, Opera 9 i wyżej, FireFox 2 i wyżej, Chrome 1.0 i wyżej, Safari 5
  • Przeglądarka z obsługą ciasteczek i włączoną obsługą JavaScript
  • Zalecany plugin Flash Player w wersji 10.0 lub wyżej.
• Informacja o formatach plików:
  • PDF - format polecany do czytania na laptopach oraz komputerach stacjonarnych.
  • EPUB - format pliku, który umożliwia czytanie książek elektronicznych na urządzeniach z mniejszymi ekranami (np. e-czytnik lub smartfon), dając możliwość dopasowania tekstu do wielkości urządzenia i preferencji użytkownika.
  • MOBI - format zapisu firmy Mobipocket, który można pobrać na dowolne urządzenie elektroniczne (np.e-czytnik Kindle) z zainstalowanym programem (np. MobiPocket Reader) pozwalającym czytać pliki MOBI.
  • Audiobooki w formacie MP3 - format pliku, przeznaczony do odsłuchu nagrań audio.
• Rodzaje zabezpieczeń plików:
  • Watermark - (znak wodny) to zaszyfrowana informacja o użytkowniku, który zakupił produkt. Dzięki temu łatwo jest zidentyfikować użytkownika, który rozpowszechnił produkt w sposób niezgodny z prawem.
  • Brak zabezpieczenia - część oferowanych w naszym sklepie plików nie posiada zabezpieczeń. Zazwyczaj tego typu pliki można pobierać ograniczoną ilość razy, określaną przez dostawcę publikacji elektronicznych. W przypadku zbyt dużej ilości pobrań plików na stronie WWW pojawia się stosowny komunikat.

  Więcej informacji o publikacjach elektronicznych

1. Wprowadzenie 1
1.1. Kto powinień przeczytać tę książkę? 9
1.2. Historyczne trendy deep learningu 11

I Podstawy matematyki stosowanej i systemów uczących się 27
2. Algebra liniowa 29
2.1. Skalary, wektory, macierze i tensory 29
2.2. Mnożenie macierzy i wektorów 32
2.3. Macierze jednostkowe i odwrotne 34
2.4. Zależność liniowa i zakres 35
2.5. Normy 37
2.6. Macierze i wektory specjalne 38
2.7. Rozkład na wartości własne 40
2.8. Dekompozycja wartości osobliwej 42
2.9. Uogólniona macierz odwrotna (Moore’a–Penrose’a) 43
2.10. Operator śladowy 44
2.11. Wyznacznik 45
2.12. Przykład: analiza głównych składowych 45

3. Prawdopodobieństwo i teoria informacji 51
3.1. Dlaczego prawdopodobieństwo? 52
3.2. Zmienne losowe 54
3.3. Rozkłady prawdopodobieństwa 54
3.4. Prawdopodobieństwo brzegowe 56
3.5. Prawdopodobieństwo warunkowe 57
3.6. Reguła łańcuchowa w prawdopodobieństwie warunkowym 57
3.7. Niezależność oraz niezależność warunkowa 58
3.8. Wartość oczekiwana, wariancja i kowariancja 58
3.9. Znane rozkłady prawdopodobieństwa 60
3.10. Użyteczne cechy elementarnych funkcji 65
3.11. Prawo Bayesa 68
3.12. Techniczne szczegóły zmiennych ciągłych 68
3.13. Teoria informacji 70
3.14. Strukturalne modele probabilistyczne 73

4. Obliczenia numeryczne 77
4.1. Nadmiar i niedomiar 77
4.2. Złe uwarunkowania 79
4.3. Optymalizacja gradientowa 79
4.4. Optymalizacja z ograniczeniami 89
4.5. Przykład: liniowa metoda najmniejszych kwadratów 92

5. Podstawy systemów uczących się 95
5.1. Algorytmy uczenia się 96
5.2. Pojemność, nadmierne dopasowanie i niedopasowanie 108
5.3. Hiperparametry i zbiory walidacyjne 118
5.4. Estymatory, obciążenie i wariancja 120
5.5. Metoda maksymalnej wiarygodności 129
5.6. Statystyki Bayesa 133
5.7. Algorytmy nadzorowanego uczenia się 138
5.8. Algorytmy nienadzorowanego uczenia się 143
5.9. Metoda gradientu stochastycznego 150
5.10. Tworzenie algorytmu dla systemu uczącego się 152
5.11. Wyzwania motywujące deep learning 153

II Głębokie sieci: nowoczesne praktyki 163
6. Głębokie sieci jednokierunkowe 165
6.1. Przykład: uczenie się funkcji XOR 168
6.2. Uczenie się oparte na gradiencie 173
6.3. Jednostki ukryte 188
6.4. Projekt architektury 195
6.5. Propagacja wsteczna i inne algorytmy rózniczkowania 201
6.6. Uwagi historyczne 221

7. Regularyzacja w deep learningu 225
7.1. Standardowe kary dla parametrów 227
7.2. Standardowe kary jako optymalizacja z ograniczeniami 234
7.3. Regularyzacja i problemy niedoograniczone 236
7.4. Powiększanie zbioru danych 237
7.5. Odporność na szum 239
7.6. Uczenie się częściowo nadzorowane 241
7.7. Uczenie się wielozadaniowe 242
7.8. Wczesne zatrzymanie 243
7.9. Wiązanie i współdzielenie parametrów 250
7.10. Rzadko wypełnione reprezentacje 252
7.11. Bagging i inne metody zespołowe 254
7.12. Odrzucanie 256
7.13. Szkolenie antagonistyczne 266
7.14. Odległość styczna, propagacja stycznej oraz klasyfikator stycznej do rozmaitości 268

8. Optymalizacja w celu szkolenia głębokich modeli 273
8.1. Czym uczenie się różni się od czystej optymalizacji 274
8.2. Wyzwania związane z optymalizacją sieci neuronowej 281
8.3. Podstawowe algorytmy 293
8.4. Strategie nadawania parametrom wartości początkowych 299
8.5. Algorytmy z adaptacyjną szybkością uczenia się 306
8.6. Aproksymacyjne metody drugiego rzędu 310
8.7. Strategie optymalizacji i meta-algorytmy 317

9. Sieci splotowe 331
9.1. Splot jako działanie 332
9.2. Uzasadnienie 334
9.3. Redukcja 340
9.4. Splot i redukcja jako nieskończenie silny rozkład aprioryczny 346
9.5. Warianty podstawowej funkcji splotowej 347
9.6. Strukturalne wyjścia 358
9.7. Typy danych 359
9.8. Efektywne algorytmy splotu 361
9.9. Cechy losowe lub nienadzorowane 362
9.10. Neuronaukowe podstawy sieci splotowych 364
9.11. Sieci splotowe a historia deep learningu 371

10. Modelowanie sekwencyjne: sieci rekurencyjne i rekursywne 373
10.1. Rozwijanie grafów obliczeniowych 375
10.2. Rekurencyjne sieci neuronowe 378
10.3. Dwukierunkowe rekurencyjne sieci neuronowe 393
10.4. Architektury koder-dekoder i sekwencja do sekwencji 394
10.5. Głębokie sieci rekurencyjne 397
10.6. Rekursywne sieci neuronowe 399
10.7. Problem z zależnościami długoterminowymi 400
10.8. Sieci stanu echa 403
10.9. Nieszczelne jednostki i inne strategie dla wielu skali czasowych 406
10.10. Długa pamięć krótkoterminowa i inne bramkowane sieci RNN 408
10.11. Optymalizacja zależności długoterminowych 412
10.12. Pamięć jawna 416

11. Metodologia praktyczna 421
11.1. Metryki wydajności 422
11.2. Modele domyślnej linii bazowej 425
11.3. Decyzja, czy zbierać więcej danych 426
11.4. Wybór hiperparametrów 428
11.5. Strategie debugowania 437
11.6. Przykład: rozpoznawanie liczb wielocyfrowych 441

12. Zastosowania 445
12.1. Deep learning wielkoskalowy 445
12.2. Rozpoznawanie obrazów 455
12.3. Rozpoznawanie mowy 461
12.4. Przetwarzanie języka naturalnego 464
12.5. Inne zastosowania 482

III Badania na polu deep learningu 491
13. Liniowe modele czynnikowe 495
13.1. Probabilistyczna analiza PCA i analiza czynnikowa 496
13.2. Analiza składowych niezależnych (ICA 497
13.3. Powolna analiza cech 500
13.4. Rzadkie kodowanie 502
13.5. Poznawanie rozmaitości w analizie PCA 506

14. Autokodery 509
14.1. Autokodery niekompletne 510
14.2. Autokodery z regularyzacją 511
14.3. Reprezentacyjna potęga, rozmiar warstwy i głębokość 515
14.4. Stochastyczne kodery i dekodery 516
14.5. Autokodery z odszumianiem 517
14.6. Poznawanie rozmaitości z użyciem autokoderów 522
14.7. Autokodery kurczliwe 527
14.8. Predykcyjna rzadka dekompozycja 530
14.9. Zastosowania autokoderów 531

15. Poznawanie reprezentacji 533
15.1. Zachłanne nienadzorowane szkolenie wstępne warstwa po warstwie 535
15.2. Transfer poznawania i adaptacja dziedziny 544
15.3. Częściowo nadzorowane oswabadzanie czynników przyczynowych 548
15.4. Reprezentacja rozproszona 554
15.5. Wykładnicze zyski z głębokości 560
15.6. Wskazówki do wykrywania przyczyn podstawowych 562

16. Strukturalne modele probabilistyczne deep learningu 567
16.1. Trudności w modelowaniu niestrukturalnym 568
16.2. Używanie grafów do opisu struktury modelu 572
16.3. Próbkowanie z modeli graficznych 589
16.4. Zalety modelowania strukturalnego 591
16.5. Poznawanie zależności 591
16.6. Wnioskowanie i wnioskowanie przybliżone 592
16.7. Strukturalne modele probabilistyczne w ujęciu deep learningu 594

17. Metody Monte Carlo 599
17.1. Próbkowanie i metody Monte Carlo 599
17.2. Próbkowanie istotnościowe 601
17.3. Metody Monte Carlo z łańcuchem Markowa 604
17.4. Próbkowanie Gibbsa 608
17.5. Problem mieszania między odseparowanymi trybami 609

18. Zmagania z funkcją podziału 615
18.1. Gradient wiarygodności logarytmicznej 616
18.2. Stochastyczna maksymalna wiarygodność i kontrastywna dywergencja 617
18.3. Pseudowiarygodność 625
18.4. Dopasowywanie oceny i stosunku 628
18.5. Dopasowywanie ocen z odszumianiem 630
18.6. Estymacja kontrastywna szumu 630
18.7. Szacowanie funkcji podziału 633

19. Wnioskowanie przybliżone 641
19.1. Wnioskowanie jako optymalizacja 642
19.2. Maksymalizacja oczekiwania 644
19.3. Wnioskowanie MAP i rzadkie kodowanie 645
19.4. Wariacyjne wnioskowanie i uczenie się 648
19.5. Poznawanie wnioskowania przybliżonego 661

20. Głębokie modele generatywne 665
20.1. Maszyny Boltzmanna 665
20.2. Ograniczone maszyny Boltzmanna 667
20.3. Głębokie sieci przekonań 671
20.4. Głębokie maszyny Boltzmanna 674
20.5. Maszyny Boltzmanna dla danych rzeczywistych 688
20.6. Splotowe maszyny Boltzmanna 695
20.7. Maszyny Boltzmanna dla strukturalnych lub sekwencyjnych wartości wynikowych 697
20.8. Inne maszyny Boltzmanna 698
20.9. Propagacja wsteczna przez losowe działania 700
20.10. Skierowane sieci generatywne 704
20.11. Pobieranie próbek z autokoderów 724
20.12. Generatywne sieci stochastyczne 727
20.13. Inne schematy generowania 729
20.14. Szacowanie modeli generatywnych 730
20.15. Konkluzja 733

Bibliografia 735

Skorowidz 800