Materi 12 · Deep Learning · ⭐ Featured

Generative AI & Large Language Models

Era baru AI sejak ChatGPT 2022. Pelajari cara LLM bekerja, prompt engineering, RAG (Retrieval Augmented Generation), fine-tuning, dan diffusion models untuk image generation.

⏱ 35 Menit🎯 Advanced📚 Module 12/15

1. Apa Itu Generative AI?

Generative AI = sistem yang membuat konten baru (text, image, audio, video, code) yang belum pernah ada sebelumnya. Berbeda dengan discriminative AI yang hanya mengklasifikasi/memprediksi label dari input.

Tipe Generative AI Modern

Text: ChatGPT, Claude, Gemini, Llama. Image: DALL-E, Midjourney, Stable Diffusion. Audio: ElevenLabs, Suno. Video: Sora, Runway. Code: GitHub Copilot, Cursor, Claude Code. 3D: Meshy, Luma AI.

2. Cara LLM Bekerja

LLM = neural network besar (miliaran parameter) yang dilatih memprediksi token berikutnya dari konteks sebelumnya. Surprisingly simple objective, tapi muncul kemampuan emergent yang kompleks.

Next Token Prediction P(token_next | token_1, token_2, ..., token_n)
// Probabilitas token berikutnya given semua token sebelumnya

Generation Strategies greedy: pilih token dengan prob tertinggi
sampling: random sample dari distribusi
top-k: sample dari top-k tokens
top-p: sample dari tokens yang akumulasi prob ≥ p
temperature: control "kreativitas" (0=deterministik, 1=normal, >1=kreatif)

3. Prompt Engineering

📝

Zero-shot

Berikan task langsung tanpa contoh. Model harus paham dari instruksi.

🎯

Few-shot

Berikan 1-5 contoh input-output. Model belajar pola dari context.

🧠

Chain-of-Thought

Minta model "berpikir step-by-step". Hasil lebih akurat untuk reasoning.

Best Practices

Be specific: "Tulis blog 1000 kata tentang AI di Indonesia, audience mahasiswa, tone akademis-friendly".
Provide context: kasih background relevan sebelum task.
Define format: "Output dalam JSON dengan key: title, summary, tags".
Set persona: "Bertindaklah sebagai SEO expert dengan 10 tahun pengalaman".
Use delimiters: separate input dengan ###, """, atau XML tags.
Iterate: jarang prompt pertama optimal. Refine berdasarkan output.

4. RAG — Retrieval Augmented Generation

Solve Hallucination dengan External Knowledge

LLM punya knowledge cutoff dan bisa "halusinasi". RAG = ambil dokumen relevan dari knowledge base sendiri, masukkan ke prompt sebagai context. Model menjawab berdasarkan context, bukan hanya training data.

RAG Pipeline 1. Embedding documents → vector database
2. User query → embed → similarity search top-K
3. Append retrieved docs to prompt context
4. LLM generate answer based on context

Vector DB: Pinecone, Weaviate, Chroma, Qdrant, pgvector.
Embedding model: OpenAI ada-002, sentence-transformers, Cohere Embed.
Chunking strategy: bagi dokumen jadi chunks 500-1000 token dengan overlap.
Re-ranking: setelah retrieval, re-rank top-K dengan model cross-encoder.

5. Fine-tuning vs Prompt Engineering vs RAG

Pendekatan	Pakai Saat	Cost
Prompt Engineering	Default. Coba dulu.	Murah, instant
Few-shot Prompting	Butuh format/style spesifik	Murah, sedang
RAG	Butuh knowledge eksternal/private	Sedang, infra cost
Fine-tuning	Butuh perilaku/style sangat khusus	Mahal, butuh data
Pre-training	Hampir tidak pernah	Sangat mahal (jutaan $)

6. AI Agents — Beyond Chat

Agent = LLM dengan kemampuan execute tools (search web, call API, run code, file system) untuk multi-step task.

ReAct pattern: Reasoning + Acting. Model bergantian "think" dan "act".
Tool use: LLM panggil function dengan parameter, dapatkan hasil, lanjut reasoning.
Memory: short-term (conversation), long-term (database).
Frameworks: LangChain, LlamaIndex, AutoGPT, Claude Agents, OpenAI Assistants.

7. Diffusion Models — Image Generation

Cara Kerja Stable Diffusion / DALL-E

Forward process: tambahkan noise pada gambar bertahap sampai jadi pure noise.
Reverse process: train neural network untuk denoise — predict step demi step gambar asli.
Conditioning: pakai text encoder (CLIP) untuk guide generation berdasarkan prompt.

8. Studi Kasus

🌟 Real World

Klinik Pintar: AI Medical Assistant Indonesia

Klinik Pintar membangun AI medical assistant berbasis LLM Indonesia + RAG dari guidelines kedokteran lokal. Dokter bisa tanya diagnosis dan obat dengan konteks pasien.

Pelajaran: RAG + domain expertise > vanilla GPT untuk vertical use case. Investasi knowledge base lokal jadi competitive moat.

📝 Tugas

Build RAG Application

Pakai Python + LangChain + OpenAI API (atau Claude API).
Pilih 5-10 PDF (mis. paper, dokumen kuliah).
Build pipeline: chunk → embed → store di Chroma/FAISS.
Implement query: retrieve top-3 chunks → prompt LLM dengan context.
Evaluasi: 10 pertanyaan, bandingkan jawaban RAG vs vanilla LLM.
Bonus: build simple Streamlit UI untuk chat interface.

Rangkuman

Generative AI = sistem yang create content baru, berbeda dengan classifier.
LLM = next-token prediction di skala — emergent abilities muncul dari skala.
Prompt engineering: zero-shot, few-shot, chain-of-thought.
RAG = solve hallucination dengan knowledge eksternal. Default modern untuk knowledge-intensive task.
Fine-tuning hanya jika prompt + RAG tidak cukup.
AI Agents = LLM + tools + memory untuk multi-step task.
Diffusion models = revolusi image generation dengan denoising approach.