Materi 07 · Core ML

Neural Networks & Deep Learning

Inspirasinya dari otak manusia, tapi matematikanya jauh berbeda. Pahami perceptron, multi-layer network, activation function, dan backpropagation — fondasi semua AI modern.

⏱ 32 Menit🎯 Intermediate📚 Module 7/15

1. Neuron Biologis vs Buatan

Neural network ML tidak persis meniru otak. Inspirasi struktural, tapi mekanika berbeda. Anggap saja sebagai "fungsi matematika kompleks yang flexible".

Visualisasi Neural Network 3-Layer

Input Layer

Hidden Layer

Output Layer

2. Perceptron — Unit Dasar

Diciptakan Frank Rosenblatt 1958. Inspirasi neural network modern.

Single Neuron Computation z = Σ(wᵢ · xᵢ) + b
output = activation(z)
// w = weights, x = input, b = bias

3. Activation Functions

📐

Sigmoid

σ(z) = 1/(1+e⁻ᶻ). Output 0-1. Klasik tapi vanishing gradient di deep nets.

⚡

ReLU

max(0, z). Default modern. Cepat, tidak vanishing untuk z>0.

🌊

Tanh

tanh(z). Output -1 sampai 1. Centered around 0.

🎯

Softmax

Multi-class output. Probabilitas yang sum=1.

✨

GELU

Modern, dipakai di Transformer (BERT, GPT).

🔥

Leaky ReLU

Variant ReLU yang tidak "mati" untuk z negatif.

4. Backpropagation — Cara Network Belajar

Algoritma Backprop 1. Forward pass: hitung output dari input
2. Hitung loss: L(y_true, y_pred)
3. Backward pass: hitung ∂L/∂w untuk setiap weight
4. Update weight: w = w − η · ∂L/∂w
5. Repeat untuk banyak iterations (epochs)

💡 Insight

Chain Rule = Magic of Deep Learning

Backprop hanya aplikasi chain rule dari kalkulus untuk hitung gradient di setiap layer secara efisien. Tanpa backprop, training deep network impossible.

5. Optimizer Modern

Optimizer	Karakter	Kapan Pakai
SGD	Sederhana, basic gradient descent	Baseline, pemahaman
Momentum	SGD + akumulasi gradien	Lebih stabil, faster convergence
RMSprop	Adaptive learning rate per param	RNN, non-stationary loss
Adam	Momentum + RMSprop combined	Default modern. Hampir selalu
AdamW	Adam dengan decoupled weight decay	Transformer training

6. Regularization — Mencegah Overfitting

Dropout: randomly "matikan" neuron saat training. Memaksa network tidak tergantung 1 path.
L1/L2 weight regularization: penalti pada magnitude weight di loss function.
Early stopping: stop training saat validation loss mulai naik.
Batch normalization: normalize output layer agar training stabil.
Data augmentation: flip, rotate, crop image untuk dataset lebih variatif.

7. Studi Kasus

🌟 Real World

AlphaFold: Neural Net Solve Biology Grand Challenge

DeepMind AlphaFold (2020) menggunakan deep neural network untuk memprediksi struktur 3D protein dari sekuens amino acid — masalah open 50 tahun di biologi.

Dampak: 200+ juta struktur protein di-predict gratis, mempercepat penelitian obat-obatan & penyakit. Pelajaran: neural network bukan hanya untuk image/text — bisa solve masalah ilmiah fundamental.

📝 Tugas

Build First Neural Network

Pakai PyTorch atau TensorFlow di Google Colab.
Load dataset MNIST (digit klasifikasi 0-9).
Build neural network sederhana: Input(784) → Hidden(128, ReLU) → Hidden(64, ReLU) → Output(10, Softmax).
Train 10 epochs dengan Adam optimizer + cross-entropy loss.
Plot training curve. Hitung test accuracy.
Eksperimen: tambahkan dropout, ganti activation, ubah hidden size — bandingkan.

Rangkuman

Neural network = stack of linear transformations + non-linear activation.
Activation: ReLU (default), GELU (modern transformer), Softmax (output multi-class).
Backprop = chain rule untuk hitung gradient efisien di deep network.
Adam = optimizer default modern. Mulai dari sini.
Regularization wajib: dropout, weight decay, batch norm, early stopping.