›
›

Bài giảng Học sâu và ứng dụng - Bài 9: Mạng hồi quy - Trường Đại học Bách khoa Hà Nội

Download
1
Bài 9:  
Mạng hồi quy  
2
Nội dung  
• Bài toán dự đoán chuỗi  
• Mạng hồi quy thông thường  
• Lan truyền ngược theo thời gian (BPTT)  
• Mạng LSTM và GRU  
• Một số áp dụng  
3
Bài toán dự đoán chuỗi  
4
Bài toán dự đoán chuỗi  
• Trước giờ, ta chỉ tập trung vào vấn đề dự đoán với đầu  
vào và đầu ra kích thước cố định  
• Chuyện gì sẽ xảy ra nếu đầu vào và đầu ra là một  
chuỗi có kích thước thay đổi?  
5
Phân lớp văn bản  
• Phân loại sắc thái (sentiment): phân loại bình luận một  
nhà hàng hay một bộ phim hay một sản phẩm là tích  
cực hay tiêu cực  
• “The food was really good” - “Thức ăn rất ngon”  
• “Máy hút bụi bị hỏng trong vòng hai tuần”  
• “Bộ phim có những phần buồn tẻ, nhưng tổng thể là rất đáng  
xem”  
• Cần dùng đặc trưng gì và mô hình phân loại gì để giải  
quyết bài toán này?  
6
Phân loại sắc thái  
• “The food was really good”  
Classifier  
h5  
Trạng thái ẩn  
“Memory”  
“Context”  
h1  
h4  
h2  
h3  
“good”  
“was”  
“food”  
“really”  
“The”  
Recurrent Neural Network (RNN)  
7
Mô hình ngôn ngữ  
8
Mô hình ngôn ngữ  
• Character RNN  
9
Image source  
Character RNN  
Kí tự đầu ra yi  
Lớp đầu ra (biến  
đổi tuyến tính +  
softmax)  
ꢀ ꢁ!, ꢁ", … , ꢁ#  
#
= ꢂ ꢀ(ꢁ$|ꢁ!, … , ꢁ$&!)  
$%!  
#
≈ ꢂ ꢃ'(ꢁ$|ℎ$)  
$%!  
Trạng thái ẩn hi  
Mã hóa One-hot xi  
Ký tự đầu vào  
10  
Sinh mô tả bức ảnh  
• Cho một bức ảnh, cần sinh ra một câu mô tả nội dung  
bức ảnh  
“The dog is hiding”  
11  
Sinh mô tả bức ảnh  
“hiding”  
“is”  
“STOP”  
“The”  
“dog”  
Bộ phân loại  
Bộ phân loại  
Bộ phân loại  
Bộ phân loại  
Bộ phân loại  
h4  
h3  
h5  
h1  
h2  
h1  
h4  
h3  
h0  
h2  
“hiding”  
“START”  
“is”  
“dog”  
“The”  
CNN  
12  
Dịch máy  
https://translate.google.com/  
13  
Dịch máy  
• Nhiều đầu vào – nhiều đầu ra (hay còn gọi là  
sequence to sequence)  
“is”  
“Matches” “Nature”  
“nature”  
“Correspondances” “La”  
14  
Tổng hợp các loại dự đoán  
Phân loại  
video  
Sinh mô  
tả ảnh  
Phân  
lớp  
ảnh  
Phân  
loại sắc  
thái câu  
Dịch máy  
mức  
frame  
15  
Mạng hồi quy thông thường  
16  
Mạng hồi quy  
Recurrent Neural Network (RNN)  
yt  
Đầu ra tại thời điểm t  
Bộ phân loại  
Hồi quy:  
Trạng thái ẩn tại  
thời điểm t  
ℎ! = ꢀ"(ꢁ!, ℎ!#$)  
ht  
old  
function input at  
new  
Lớp ẩn  
state  
of W  
time t  
state  
xt  
Dữ liệu vào tại thời điểm t  
17  
Duỗi (unroll) RNN  
y3  
y2  
Bộ phân loại  
h3  
y1  
h3  
Bộ phân loại  
Lớp ẩn  
h2  
h2  
Bộ phân loại  
Lớp ẩn  
h1  
h1  
x3  
Lớp ẩn  
t = 3  
x2  
h0  
t = 2  
x1  
t = 1  
18  
RNN thông thường  
ht  
ℎꢄ = ꢀꢅ(ꢁꢄ, ℎꢄꢆꢇ)  
W
ꢁꢄ  
= tanh ꢂ  
ℎꢄꢆꢇ  
xt  
ht-1  
J. Elman, Finding structure in time, Cognitive science 14(2), pp. 179–211, 1990  
19  
RNN thông thường  
ht  
ℎꢄ = ꢀꢅ(ꢁꢄ, ℎꢄꢆꢇ)  
W
ꢁꢄ  
= tanh ꢂ  
ℎꢄꢆꢇ  
xt  
ht-1  
ꢁꢀ − ꢁꢁꢀ  
ꢁꢀ + ꢁꢁꢀ  
ꢃ ꢂ  
tanh ꢀ =  
= 2ꢂ 2ꢀ − 1  
tanh ꢂ  
20  
Image source  
Tải về để xem bản đầy đủ
pdf 58 trang Thùy Anh 14940 Free
Download
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Học sâu và ứng dụng - Bài 9: Mạng hồi quy - Trường Đại học Bách khoa Hà Nội", để tải tài liệu gốc về máy hãy click vào nút Download ở trên

File đính kèm:

  • pdfbai_giang_hoc_sau_va_ung_dung_bai_9_mang_hoi_quy_truong_dai.pdf