PPt2 - Single Layer

Chia sẻ: Pham Thanh Hai | Ngày: | Loại File: PPT | Số trang:42

Thêm vào BST

Báo xấu

99
lượt xem 24
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Supervised Learning: Qúa trình dạy và dữ liệu test, Dữ liệu dạy cho mạng (training set) có dạng (input,target). Perceptron một lớp: Tổng quát hóa cho các mạng perceptron một lớp với nhiều neurons: Các neuron có đầu ra độc lập với nhau. Mỗi weight chỉ tác động lên một trong các đầu

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: PPt2 - Single Layer

Supervised Learning  Qúa trình dạy và dữ liệu test  Dữ liệu dạy cho mạng (training set) có dạng (input,target) Faculty of Electronics and Telecommunications, HUT 1 1 Bangkok, Jun. 14 – 23, 2006
Perceptron: kiến trúc  Xét mạng neural feed-forward một lớp và chỉ có một neuron: M M Faculty of Electronics and Telecommunications, HUT 2 2 Bangkok, Jun. 14 – 23, 2006
Perceptron một lớp  Tổng quát hóa cho các mạng perceptron một lớp với nhiều neurons: M M • Các neuron có đầu ra độc lập với nhau • Mỗi weight chỉ tác động lên một trong các đầu ra Faculty of Electronics and Telecommunications, HUT 3 3 Bangkok, Jun. 14 – 23, 2006
Perceptron: Mô hình neuron  McCulloch-Pitts perceptron là NN 1 lớp với hàm activation phi tuyến ϕ(.) là hàm thể hiện dấu (sign function) + 1 if v ≥ 0 j (v ) =  − 1 if v < 0 b (bias) x1 w1 w2 v ϕ (v) y x2 wn xn Faculty of Electronics and Telecommunications, HUT 4 4 Bangkok, Jun. 14 – 23, 2006
Perceptron dùng để phân loại  Perceptron này được dùng để phân.  Với các mẫu thuộc các lớp C1, C2, dùng các mẫu này dạy cho mạng perceptron để mạng phân loại chính xác các nhóm mẫu:  Nếu đầu ra là +1 thì đầu vào được gán vào nhóm C1  Nếu đầu ra là -1 thì đầu vào được gán vào nhóm C2 Faculty of Electronics and Telecommunications, HUT 5 5 Bangkok, Jun. 14 – 23, 2006
Dạy cho mạng Perceptron  Dạy để mạng có thể thực hiện nhiệm vụ phân loại dữ liệu đưa vào; thực tế là tìm các giá trị phù hợp cho weights.  Xét về mặt hình học, đó là tìm ra hyper- plane dùng để phân biệt nhóm dữ liệu vào. Faculty of Electronics and Telecommunications, HUT 6 6 Bangkok, Jun. 14 – 23, 2006
Perceptron xét theo hình học 2 Biểu thức: ∑w x i =1 i i + w0 = 0 Đầu vào gồm các vector giá trị thực 2 chiều. Mặt phẳng phân tách không gian đầu vào thành hai miền, mỗi miền ứng với một lớp: x2 decision decision boundary region for C1 x1 C2 w1x1 + w2x2 + w0 = 0 Faculty of Electronics and Telecommunications, HUT 7 7 Bangkok, Jun. 14 – 23, 2006
Ví dụ chức năng AND  Hàm AND được biểu diễn như dưới đây:  Điểm trắng ứng với false, và đen ứng với true ở đầu ra  -1 có nghĩa là false, +1 nghĩa là true đối với đầu vào -1 AND -1 = false -1 AND +1 = false +1 AND -1 = false +1 AND +1 = true Faculty of Electronics and Telecommunications, HUT 8 8 Bangkok, Jun. 14 – 23, 2006
Ví dụ về chức năng AND, cont.  Phân biệt true và false theo hình dưới Faculty of Electronics and Telecommunications, HUT 9 9 Bangkok, Jun. 14 – 23, 2006
Ví dụ về chức năng AND, cont.  Xem perceptron học để trở thành hàm AND: Faculty of Electronics and Telecommunications, HUT 10 10 Bangkok, Jun. 14 – 23, 2006
Ví dụ về chức năng XOR  Hàm XOR như sau: -1 XOR -1 = false -1 XOR +1 = true +1 XOR -1 = true +1 XOR +1 = false Perceptron không thể học các hàm không thể phân biệt tuyến tính Faculty of Electronics and Telecommunications, HUT 11 11 Bangkok, Jun. 14 – 23, 2006
Ví dụ về chức năng XOR, cont.  Quan sát perceptron cố gắng học cho hàm XOR Faculty of Electronics and Telecommunications, HUT 12 12 Bangkok, Jun. 14 – 23, 2006
Ví dụ về nhận dạng -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 -1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Faculty of Electronics and Telecommunications, HUT 13 13 Bangkok, Jun. 14 – 23, 2006
Ví dụ về nhận dạng, cont.  Dạy cho perceptron như thế nào để nhận dạng được số 3 này?  Gán 1 cho các weights có giá trị đầu vào bằng 1, và gán +1 cho các weights có giá trị đầu vào bằng +1, và gán –63 cho bias.  Sau đó đầu ra sẽ bằng 1 khi được biểu diễn với số 3 đúng, và bằng –1 đối với các mẫu khác. Faculty of Electronics and Telecommunications, HUT 14 14 Bangkok, Jun. 14 – 23, 2006
Ví dụ về nhận dạng, cont. -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 -1 +1 +1 +1 -1 -1 -1 +1 -1 -1 -1 +1 -1 -1 -1 -1 -1 -1 -1 +1 -1 -1 -1 -1 +1 +1 +1 +1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 Faculty of Electronics and Telecommunications, HUT 15 15 Bangkok, Jun. 14 – 23, 2006
Ví dụ về nhận dạng, cont.  Điều gì nếu có sự khác chút xíu so với số 3 được nhận dạng, giống như trong hình trên?  Số 3 với một bit bị hỏng tạo ra tổng bằng 1.  Nếu bias được set ở –63 thì mọi số 3 bị hỏng 1 bit đều được nhận dạng, Faculty of Electronics and Telecommunications, HUT 16 16 Bangkok, Jun. 14 – 23, 2006
Perceptron: Thuật toán học  Các biến và các tham số ở lần lặp thứ n của thuật toán học: x (n) = vector vào (n), …, x (n)] = [+1, x (n), x Faculty of Electronics and Telecommunications, HUT 17 17 Bangkok, Jun. 14 – 23, 2006
Giải thuật học với bước tăng cố định n=1; gán w(n) giá trị ngẫu nhiên; while (thực hiện cho tới khi hết mẫu) Lấy một mẫu vào (x(n),d(n)) w(n+1) = w(n) + ηd(n)x(n); n = n+1; end-while; η Là một số thực Faculty of Electronics and Telecommunications, HUT 18 18 Bangkok, Jun. 14 – 23, 2006
Ví dụ về nhận dạng, cont. Xét tập mẫu dùng để dạy C1 ∪ C2, C1 = {(1,1), (1, -1), (0, -1)} lớp này có nhãn 1 C2 = {(-1,-1), (-1,1), (0,1)} lớp này có nhãn -1 Dạy cho perceptron trên tập C1 ∪ C2 Faculty of Electronics and Telecommunications, HUT 19 19 Bangkok, Jun. 14 – 23, 2006
Việc thực hiện Xem xét tập dùng để dạy C’1 ∪ C’2, với thành phần đầu tiên cố định bằng 1 (bias như extra weight): (1, 1, 1), (1, 1, 1), (1, 0, 1) ,(1,1, 1), (1,1, 1), (1,0,1) Thay thế x bằng x cho tất cả x ∈ C2’ và dùng luật update sau: w(n) + h x(n) if wT (n) x(n) ≤ 0 w(n + 1) =  w(n) otherwise Epoch = áp dụng luật update vào mỗi mẫu của tập dạy. Quá trình học kết thúc khi weights không thay đổi. Faculty of Electronics and Telecommunications, HUT 20 20 Bangkok, Jun. 14 – 23, 2006