Bài giảng Trí tuệ nhân tạo - Bài 8: Học máy

Trí Tuệ Nhân Tạo

(Artificial Intelligence)

Thân Quang Khoát

khoattq@soict.hust.edu.vn

Viện Công nghệ thông tin và Truyền thông

Trường Đại Học Bách Khoa Hà Nội

Năm 2020

Nội dung môn học:

n Giới thiệu về Trí tuệ nhân tạo

n Tác tử

n Giải quyết vấn đề: Tìm kiếm, Thỏa mãn ràng buộc

n Logic và suy diễn

n Biểu diễn tri thức

n Biểu diễn tri thức không chắc chắn

n Học máy

q Giới thiệu về học máy

q Phân lớp Naïve Bayes

q Học dựa trên các láng giềng gần nhất

Trí Tuệ Nhân Tạo

2

Giới thiệu về Học máy

n Học máy (ML - Machine Learning) là một lĩnh vực nghiên cứu của Trí

tuệ nhân tạo (Artificial Intelligence)

n Câu hỏi trung tâm của ML:

→ “How can we build computer systems that automatically improve with

experience, and what are the fundamental laws that govern all learning

processes?” [Mitchell, 2006]

n Vài quan điểm về học máy:

→ Một quá trình nhờ đó một hệ thống cải thiện hiệu suất (hiệu quả hoạt

động) của nó [Simon, 1983]

→ Việc lập trình các máy tính để tối ưu hóa một tiêu chí hiệu suất dựa trên

các dữ liệu hoặc kinh nghiệm trong quá khứ [Alpaydin, 2010]

Trí Tuệ Nhân Tạo

Một máy học

n Ta nói một máy tính có khả năng học nếu nó tự cải thiện hiệu suất

hoạt động Pcho một công việc Tcụ thể, dựa vào kinh nghiệm Ecủa

nó.

n Như vậy một bài toán học máy có thể biểu diễn bằng 1 bộ (T, P, E)

• T: một công việc (nhiệm vụ)

• P: tiêu chí đánh giá hiệu năng

• E: kinh nghiệm

Trí Tuệ Nhân Tạo

Ví dụ bài toán học máy (1)

Lọc thư rác (email spam filtering)

•T: Dự đoán (để lọc) những thư điện tử

nào là thư rác (spam email)

•P: số lượng thư điện tử gửi đến được

phân loại chính xác

•E: Một tập các thư điện tử (emails)

mẫu, mỗi thư điện tử được biểu diễn

Thư rác?

Thư

thường

bằng một tập thuộc tính (vd: tập từ

khóa) và nhãn lớp (thư thường/thư rác)

tương ứng

Thư

rác

Trí Tuệ Nhân Tạo

5

Ví dụ bài toán học máy (2)

Nhận dạng chữ viết tay

nT: Nhận dạng và phân loại các

từ trong các ảnh chữ viết

nP: Tỷ lệ (%) các từ được nhận

dạng và phân loại đúng

Từ nào?

nE: Một tập các ảnh chữ viết,

trong đó mỗi ảnh được gắn với

một định danh của một từ

we do in the right way

Trí Tuệ Nhân Tạo

6

Ví dụ bài toán học máy (3)

Gán nhãn ảnh

n T: đưa ra một vài mô tả ý nghĩa của

1 bức ảnh

n P: ?

n E: Một tập các bức ảnh, trong đó mỗi ảnh

đã được gán một tập các từ mô tả ý nghĩa của chúng

Máy học (1)

n Học một ánh xạ (hàm):

f : x

!

y

• x: quan sát (dữ liệu), kinh nghiệm

• y: phán đoán, tri thức mới, kinh nghiệm mới, …

n Hồi quy (regression): nếu y là một số thực

n Phân loại (classification): nếu y thuộc một tập rời rạc (tập nhãn lớp)

Trí Tuệ Nhân Tạo

8

Máy học (2)

n Học từ đâu?

q Từ các quan sát trong quá khứ (tập học).

{x₁, x₂, …, x_N}; {y₁, y₂,…, y_M}

n Sau khi đã học:

q Thu được một mô hình, kinh nghiệm, tri thức mới.

q Dùng nó để suy diễn (phán đoán) cho quan sát trong tương lai.

Y = f(x)

Trí Tuệ Nhân Tạo

9

Hai bài toán học cơ bản

n Học có giám sát (supervised learning): cần học một hàm

y = f(x) từ tập học {{x₁, x₂, …, x_N}; {y₁, y₂,…, y_N}} sao cho

y_i≅ f(x_i).

q Phân loại (phân lớp): nếu y chỉ nhận giá trị từ một tập rời rạc,

chẳng hạn {cá, cây, quả, mèo}

q Hồi quy: nếu y nhận giá trị số thực

n Học không giám sát (unsupervised learning): cần học

một hàm y = f(x) từ tập học cho trước {x₁, x₂, …, x_N}.

q Y có thể là các cụm dữ liệu.

q Y có thể là các cấu trúc ẩn.

Trí Tuệ Nhân Tạo

10

Học có giám sát: ví dụ

n Lọc thư rác

n Phân loại trang web

n Dự đoán rủi ro tài chính

n Dự đoán biến động chỉ số chứng khoán

n Phát hiện tấn công mạng

Trí Tuệ Nhân Tạo

11

Học không giám sát: ví dụ (1)

n Phân cụm (clustering)

q Phát hiện các cụm dữ liệu, cụm tính chất,…

n Community detection

n Phát hiện các cộng đồng trong mạng xã hội

Trí Tuệ Nhân Tạo

12

Học không giám sát: ví dụ (2)

n Trends detection

q Phát hiện xu hướng, thị yếu,…

n Entity-interaction analysis

Trí Tuệ Nhân Tạo

13

Quá trình học máy: cơ bản

Tập học

(Training set)

Huấn luyện

Tập dữ liệu

(Dataset)

hệ thống

Tập thử nghiệm

(Test set)

Thử nghiệm

hệ thống

đã học

Trí Tuệ Nhân Tạo

14

Quá trình học máy: toàn diện

Tập học

(Training set)

Huấn luyện

Tập dữ liệu

(Dataset)

hệ thống

Tập tối ưu

(Validation set)

Tối ưu hóa

các tham số

(nếu có)

Tập thử nghiệm

(Test set)

Thử nghiệm

hệ thống

đã học

Trí Tuệ Nhân Tạo

15

Thiết kế một hệ thống học (1)

n Lựa chọn các ví dụ học (training/learning examples)

• Các thông tin hướng dẫn quá trình học (training feedback) được chứa

ngay trong các ví dụ học, hay là được cung cấp gián tiếp (vd: từ môi

trường hoạt động)

• Các ví dụ học theo kiểu có giám sát (supervised) hay không có giám sát

(unsupervised)

• Các ví dụ học nên tương thích với (đại diện cho) các ví dụ sẽ được làm

việc bởi hệ thống trong tương lai (future test examples)

n Xác định hàm mục tiêu (giả thiết, khái niệm) cần học

• F: X → {0,1}

• F: X → Một tập các nhãn lớp

• F: X → R⁺(miền các giá trị số thực dương)

• …

Trí Tuệ Nhân Tạo

16

Thiết kế một hệ thống học (2)

n Lựa chọn cách biểu diễn cho hàm mục tiêu cần học

• Hàm đa thức (a polynomial function)

• Một tập các luật (a set of rules)

• Một cây quyết định (a decision tree)

• Một mạng nơ-ron nhân tạo (an artificial neural network)

• …

n Lựa chọn một giải thuật học máy có thể học (xấp xỉ) được

hàm mục tiêu

• Phương pháp học hồi quy (Regression-based)

• Phương pháp học quy nạp luật (Rule induction)

• Phương pháp học cây quyết định (ID3 hoặc C4.5)

• Phương pháp học lan truyền ngược (Back-propagation)

• …

Trí Tuệ Nhân Tạo

17

Các vấn đề trong Học máy (1)

n Giải thuật học máy (Learning algorithm)

• Những giải thuật học máy nào có thể học (xấp xỉ) một hàm

mục tiêu cần học?

• Với những điều kiện nào, một giải thuật học máy đã chọn

sẽ hội tụ (tiệm cận) hàm mục tiêu cần học?

• Đối với một lĩnh vực bài toán cụ thể và đối với một cách

biểu diễn các ví dụ (đối tượng) cụ thể, giải thuật học máy

nào thực hiện tốt nhất?

Trí Tuệ Nhân Tạo

18

Các vấn đề trong Học máy (2)

n Các ví dụ học (Training examples)

• Bao nhiêu ví dụ học là đủ?

• Kích thước của tập học (tập huấn luyện) ảnh hưởng thế

nào đối với độ chính xác của hàm mục tiêu học được?

• Các ví dụ lỗi (nhiễu) và/hoặc các ví dụ thiếu giá trị thuộc

tính (missing-value) ảnh hưởng thế nào đối với độ chính

xác?

Trí Tuệ Nhân Tạo

19

Các vấn đề trong Học máy (3)

n Quá trình học (Learning process)

• Chiến lược tối ưu cho việc lựa chọn thứ tự sử dụng (khai

thác) các ví dụ học?

• Các chiến lược lựa chọn này làm thay đổi mức độ phức

tạp của bài toán học máy như thế nào?

• Các tri thức cụ thể của bài toán (ngoài các ví dụ học) có

thể đóng góp thế nào đối với quá trình học?

Trí Tuệ Nhân Tạo

20

Bài giảng Trí tuệ nhân tạo - Bài 8: Học máy - Thân Quang Khoát