Bài giảng Học sâu và ứng dụng - Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2) - Trường Đại học Bách khoa Hà Nội
1
Bài 11:
Một số ứng dụng học sâu
trong xử lý ngôn ngữ tự nhiên
(Phần 2)
2
Nội dung
1. Bài toán sinh văn bản: Character-RNN
2. Giới thiệu về bài toán dịch máy
3. Mô hình NMT
4. Cơ chế chú ý (attention)
3
Bài toán sinh văn bản:
Character-RNN
4
Character-RNN
• Từ vựng:
[h, e, l, o]
• Ví dụ huấn
luyện mô
hình với xâu
“hello”
5
Character-RNN
• Từ vựng:
[h, e, l, o]
• Khi suy diễn:
Mỗi lần sinh một ký
tự và ký tự này được
dùng làm đầu vào
cho bước tiếp theo
6
Character-RNN
7
Character-RNN
8
Character-RNN
9
Character-RNN
• The Stacks Project: Sách nguồn mở về hình học đại số
10
Character-RNN
11
Character-RNN
12
Character-RNN
13
Character-RNN
14
Character-RNN
15
Character-RNN
16
Giới thiệu về bài toán dịch máy
17
Dịch máy
• Google translate
18
Dịch máy – Machine Translation
• Dịch máy (MT) là thao tác dịch một câu x từ một ngôn
ngữ (gọi là ngôn ngữ nguồn) sang một câu y trong
ngôn ngữ khác (gọi là ngôn ngữ đích)
19
Dịch máy – Machine Translation
• Bắt đầu từ những năm
1950
• Dịch từ Nga sang Anh
(nhu cầu xuất phát từ
chiến tranh lạnh)
• Hệ thống dịch chủ yếu
theo quy tắc (rule-
based), dùng từ điển
để ánh xạ các từ tiếng
Nga sang tiếng Anh
20
Tải về để xem bản đầy đủ
74 trang
16820
Free
Bạn đang xem 20 trang mẫu của tài liệu "Bài giảng Học sâu và ứng dụng - Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2) - Trường Đại học Bách khoa Hà Nội", để tải tài liệu gốc về máy hãy click vào nút Download ở trên
File đính kèm:
- bai_giang_hoc_sau_va_ung_dung_bai_11_mot_so_ung_dung_hoc_sau.pdf
