Bài giảng Học sâu và ứng dụng - Bài 12: Mô hình sinh dữ liệu - Trường Đại học Bách khoa Hà Nội
1
Bài 12:
Mô hình sinh dữ liệu
2
Nội dung
• Giới thiệu về mô hình sinh
• Mô hình tự mã hóa Autoencoder
• GANs
3
Giới thiệu về mạng sinh dữ liệu
4
Học giám sát và không giám sát
Học giám sát
Học không giám sát
• Dữ liệu: x
Real-time stereo
• Dữ liệu: (x, y)
x là dữ liệu, y là nhãn
x là dữ liệu, không nhãn!
• Mục đích: Học hàm số
để ánh xạ x → y
• Mục đích: Học một cấu
trúc ẩn hay một cấu
trúc nền tảng nào đó
của dữ liệu
• Ví dụ: Phân loại, hồi
quy, phát hiện đối
tượng, phân đoạn ngữ
nghĩa, dịch máy…
• Ví dụ: phân cụm, giảm
chiều…
6
Mô hình sinh
• Mục đích: Nhận đầu vào một tập mẫu huấn luyện sinh
ra từ một phân bố nào đó và học một mô hình để có
thể biểu diễn lại phân bố đó
• Làm sao để học pmodel(x) tương tự với pdata(x)?
7
Tại sao cần mô hình sinh?
• Vì nó có thể khám phá ra các thông tin ẩn nền tảng
trong dữ liệu
• Sử dụng phân bố ẩn học được để sinh ra dữ liệu đa
dạng và cân bằng hơn (debias)
8
Tại sao cần mô hình sinh?
• Phát hiện ngoại lệ (outlier): Làm sao để phát hiện một
sự kiện mới học hiếm xảy ra?
• Sử dụng mô hình sinh để học phân bố dữ liệu, từ đó
xác định ngoại lệ dựa trên phân bố học được.
9
Mô hình tự mã hóa
Autoencoder
10
Autoencoder
• Là mô hình không giám sát cho phép học biểu diễn
đặc trưng với số chiều nhỏ hơn từ tập huấn luyện
không có nhãn
• “Encoder” học ánh xạ từ dữ liệu x vào không gian ẩn z
có số chiều thấp hơn
11
Autoencoder
• Làm sao để học không gian ẩn?
• Huấn luyện mô hình sử dụng đặc trưng ẩn z để khôi
phục lại dữ liệu gốc ban đầu
• “Decoder” ánh xạ đặc trưng ẩn z ngược trở lại để khôi
phục thông tin dữ liệu đầu vào ꢁꢀ
12
Autoencoder
• Làm sao để học không gian ẩn?
• Huấn luyện mô hình sử dụng đặc trưng ẩn z để khôi
phục lại dữ liệu gốc ban đầu
• Hàm mục tiêu không cần nhãn!
13
Số chiều không gian ẩn ảnh hưởng
chất lượng khôi phục dữ liệu
• Autoencoder là một kiểu nén dữ liệu.
• Số chiều không gian ẩn càng nhỏ càng tạo ra nút thắt
cổ chai (bottleneck) lớn khi huấn luyện
14
Autoencoders để học biểu diễn
• Các lớp ẩn thắt cổ chai ép mạng học biểu diễn ẩn nén
thông tin dữ liệu vào
• Hàm mục tiêu tái tạo ép biểu diễn ẩn phải mã hóa
được càng nhiều thông tin từ dữ liệu vào càng tốt
• Autoencoding = Automatically encoding data
15
Variational Autoencoders (VAEs)
16
Xem xét lại Autoencoders
• Mỗi chiều trong vector mã hoá (encoding vector) chứa
giá trị đơn, là đại diện cho một thuộc tính ẩn từ dữ liệu
đầu vào
17
Variational Autoencoders
• Mỗi thuộc tính ẩn là một phân bố xác suất
18
Decoder trong VAEs
• Khi giải mã từ trạng thái ẩn, lấy mẫu ngẫn nhiên từ
phân phối của mỗi thuộc tính ẩn để sinh ra vector đầu
vào cho bộ giải mã
19
Tối ưu VAE
20
Tải về để xem bản đầy đủ
65 trang
20260
Free
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Học sâu và ứng dụng - Bài 12: Mô hình sinh dữ liệu - Trường Đại học Bách khoa Hà Nội", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bai_giang_hoc_sau_va_ung_dung_bai_12_mo_hinh_sinh_du_lieu_tr.pdf
