Tóm tắt Luận án Tiến sĩ Toán học: Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức

BỘ GIÁO DỤC VÀ ĐÀO TẠO<br /> <br /> VIỆN HÀN LÂM<br /> KHOA HỌC VÀ CÔNG NGHỆ VN<br /> <br /> HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ<br /> <br /> Lê Anh Tú<br /> <br /> PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG<br /> NƠRON TỰ TỔ CHỨC<br /> <br /> Chuyên ngành: Cơ sở toán học cho tin học<br /> Mã số:<br /> <br /> 62 46 01 10<br /> <br /> TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC<br /> <br /> Hà Nội - 2016<br /> <br /> Công trình được hoàn thành tại: Học viện Khoa học và Công nghệ - Viện Hàn<br /> lâm Khoa học và Công nghệ Việt Nam<br /> <br /> Người hướng dẫn khoa học: PGS.TS. NGUYỄN QUANG HOAN<br /> <br /> Phản biện 1: .................................................................................................<br /> .....................................................................................................................<br /> Phản biện 2: .................................................................................................<br /> .....................................................................................................................<br /> Phản biện 3: .................................................................................................<br /> .....................................................................................................................<br /> <br /> Luận án được bảo vệ trước Hội đồng chấm luận án cấp Học viện<br /> họp tại: .........................................................................................................<br /> .....................................................................................................................<br /> <br /> Vào hồi<br /> <br /> giờ<br /> <br /> ngày<br /> <br /> tháng<br /> <br /> năm<br /> <br /> Có thể tìm hiểu luận án tại thư viện: ...........................................................<br /> <br /> 1<br /> MỞ ĐẦU<br /> Mạng nơron bản đồ tự tổ chức (SOM - Self Organizing Map) được đề xuất bởi giáo sư Teuvo<br /> Kohonen vào năm 1980. Nó còn được biết đến với các tên gọi khác là: Bản đồ đặc trưng tự tổ chức<br /> (SOFM - Self Organizing Feature Map) hay mạng nơron tự tổ chức, hay đơn giản hơn là mạng nơron<br /> Kohonen.<br /> Điểm mạnh của SOM là khả năng khai thác các mối liên hệ có tính cấu trúc trong không gian dữ<br /> liệu thông qua một bản đồ đặc trưng, nên nó có thể được phát triển để giải quyết nhiều bài toán thực<br /> tiễn hiện nay. Tuy nhiên, bản thân mạng nơron SOM vẫn còn tồn tại nhiều nhược điểm dẫn tới những<br /> khó khăn và khả năng ứng dụng thực tiễn bị hạn chế. Do vậy, các nghiên cứu về cải tiến cấu trúc và<br /> thuật toán học của mạng nơron SOM đã được nhiều nhà nghiên cứu quan tâm. Các nghiên cứu cải<br /> tiến mạng nơron SOM được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán<br /> học của mạng.<br /> Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm:<br /> Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang. Các cấu trúc này có đặc<br /> điểm chung là ban đầu mạng có kích thước nhỏ, sau đó mở rộng trong quá trình huấn luyện tùy thuộc<br /> vào đặc tính của tập dữ liệu huấn luyện.<br /> Nhóm thứ hai gồm các cấu trúc cải tiến tăng trưởng theo chiều dọc, còn gọi là cấu trúc cây (với<br /> mỗi nút của cây là một nơron) hoặc cấu trúc cây phân tầng (với mỗi nút của cây là một mạng nơron<br /> SOM hoặc một biến thể của SOM). Các cấu trúc cây có thể cố định trước kích thước, nhưng cũng có<br /> thể tăng trưởng kích thước trong quá trình huấn luyện, do đó, còn được gọi là cấu trúc cây tăng trưởng.<br /> Các cấu trúc cây được đưa ra chủ yếu nhằm mục đích biểu diễn tính chất phân cấp của dữ liệu.<br /> Các cải tiến về thuật toán học của mạng có thể chia làm hai nhóm chính: các thuật toán học cải<br /> tiến sử dụng phương pháp học không giám sát và các thuật toán học cải tiến sử dụng phương pháp<br /> học giám sát hoặc bán giám sát. Nhóm thứ hai hình thành các biến thể với tên gọi chung là các mạng<br /> nơron SOM giám sát hoặc bán giám sát.<br /> Trên cơ sở nghiên cứu về mạng nơron SOM gốc và các biến thể của SOM về cấu trúc và phương<br /> pháp học, có một số vấn đề tồn tại cần tiếp tục nghiên cứu phát triển như sau:<br /> Thứ nhất, đề xuất các phương thức cải thiện chất lượng bản đồ đặc trưng khác so với các phương<br /> thức đã có trước đây; nghiên cứu cải thiện chất lượng biểu diễn dữ liệu của các mạng nơron SOM cải<br /> tiến. Đây là một hướng nghiên cứu mở do hiện nay các nghiên cứu cải thiện chất lượng các mạng<br /> nơron SOM cải tiến chưa có nhiều.<br /> Thứ hai, cả SOM gốc và hầu hết các biến thể của SOM chủ yếu được thiết kế cho mục tiêu biểu<br /> diễn dữ liệu (biểu diễn sự phân bố hoặc sự phân cấp của dữ liệu) nên khi ứng dụng SOM cho các mục<br /> đích khác cần nghiên cứu các phương án cải tiến phù hợp. Ví dụ, mạng nơron SOM chưa có phương<br /> án phân loại dữ liệu chính xác, do đó khả năng ứng dụng SOM để giải quyết các vấn đề của khai phá<br /> dữ liệu (ví dụ như phân lớp và phân cụm) còn hạn chế.<br /> Thứ ba: do sử dụng phương pháp học không giám sát nên quá trình học của SOM thiếu thông tin<br /> hướng dẫn để nâng cao hiệu quả ứng dụng trong một số bài toán thực tế, ví dụ như bài toán phân lớp<br /> dữ liệu.<br /> Các tồn tại trên là lý do lựa chọn và đưa ra các mục tiêu nghiên cứu của đề tài luận án. Mục tiêu<br /> nghiên cứu của đề tài luận án gồm:<br /> 1. Đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM.<br /> 2. Cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân lớp, phân cụm<br /> dữ liệu.<br /> Các nội dung nghiên cứu này được thực nghiệm trong phạm vi dữ liệu dạng vector thuộc tính số<br /> thực; không áp dụng với các loại dữ liệu khác. Chương trình thực nghiệm được cài đặt bằng ngôn<br /> <br /> 2<br /> ngữ lập trình C# và tiến hành thực nghiệm trên các tập dữ liệu đã được công bố sử dụng máy tính<br /> máy tính cá nhân (Chipset Core i5 - 1.7GHz, RAM 6GB).<br /> Nội dung của luận án bao gồm 4 chương. Chương đầu trình bày nghiên cứu tổng quan về nội<br /> dung của đề tài. Các chương còn lại trình bày các đóng góp của luận án. Nội dung của từng chương<br /> có thể tóm tắt như sau:<br /> Chương 1 trình bày nghiên cứu tổng quan về mạng nơron nhân tạo, mạng nơron SOM; tập trung<br /> phân tích các hạn chế và biện pháp khắc phục các hạn chế của SOM trên cơ sở nghiên cứu các biến<br /> thể được cải tiến từ SOM.<br /> Chương 2 trình bày các nghiên cứu liên quan đến vấn đề đánh giá và cải thiện chất lượng bản<br /> đồ đặc trưng của mạng nơron SOM từ đó đưa ra hai đề xuất, gồm: Thứ nhất, đưa ra tham số điều<br /> chỉnh của hàm lân cận đối xứng dạng mũ. Tham số điều chỉnh được xác định riêng cho mỗi tập dữ<br /> liệu, cho phép giảm đồng thời cả lỗi lượng tử và lỗi hình trạng của mạng. Thứ hai, đưa ra thuật toán<br /> điều chỉnh trọng số nơron để giảm lỗi lượng tử của mạng, cho phép giảm lỗi lượng tử của mọi bản đồ<br /> mà không quan tâm đến các tham số cấu hình mạng, cũng như không gia tăng thêm các tham số khác.<br /> Nội dung của đề xuất gồm một định nghĩa, một định lý, một hệ quả và một thuật toán.<br /> Chương 3 trình bày các nghiên cứu liên quan đến cải tiến SOM giám sát hoặc bán giám sát nói<br /> chung và áp dụng cho bài toán phân lớp nói riêng, từ đó đề xuất một cấu trúc SOM phân tầng tăng<br /> trưởng và thuật toán học bán giám sát cho mục đích phân lớp dữ liệu. Mô hình đề xuất có thể hoạt<br /> động như một mô hình phân lớp truyền thống (100% dữ liệu huấn luyện có gán nhãn) hoặc mô hình<br /> phân lớp bán giám sát.<br /> Chương 4 trình bày các nghiên cứu liên quan đến việc cải tiến SOM áp dụng cho bài toán phân<br /> cụm dữ liệu, từ đó đưa ra hai đề xuất cải tiến cấu trúc và thuật toán học SOM, gồm: Thứ nhất, cải tiến<br /> thuật toán học của SOM cho phép từng bước hình thành các cụm và hiệu chỉnh các nơron thuộc về<br /> mỗi cụm trong quá trình học của mạng. Thứ hai, đưa ra một cấu trúc SOM mở rộng hai lớp và thuật<br /> toán huấn luyện tương ứng cho mục đích phân cụm dữ liệu. Tiếp theo trình bày kết quả thực nghiệm<br /> của các phương thức đề xuất và so sánh kết quả với một số phương thức phân cụm khác.<br /> CHƯƠNG 1: TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC<br /> 1.1. Tổng quan về mạng nơron nhân tạo<br /> Mục này cung cấp các kiến thức tổng quan về mạng nơron nhân tạo gồm: khái niệm, các dạng kiến<br /> trúc căn bản, các phương pháp học, xu hướng phát triển các mạng nơron hiện nay.<br /> 1.2. Mạng nơron tự tổ chức<br /> <br /> b<br /> <br /> 1.2.1. Cấu trúc mạng nơron tự tổ chức<br /> Mạng nơron SOM có cấu trúc đơn lớp (Kohonen,<br /> 2001), gồm: các tín hiệu vào và lớp ra (được gọi là lớp<br /> Kohonen), trong đó, tất cả các đầu vào được kết nối<br /> đầy đủ với mọi nơron trên lớp ra Kohonen.<br /> <br /> a<br /> <br /> 1.2.2. Thuật toán học của mạng nơron tự tổ chức<br /> Thuật toán học của mạng nơron tự tổ chức hay<br /> thuật toán SOM (Kohonen, 2001), gồm 4 bước:<br /> Bước 1- Khởi tạo: Kích thước mạng (là kích thước lớp<br /> Kohonen), vector trọng số của các nơron: khởi tạo giá<br /> trị ngẫu nhiên, bán kính lân cận, tỉ lệ học khởi tạo.<br /> <br /> Hình 1. 1 Minh họa cấu trúc SOM với<br /> lớp Kohonen 2 chiều<br /> <br /> Bước 2- Cạnh tranh: Với mỗi mẫu đầu vào x(t)Rn tại lần huấn luyện thứ t, tìm nơron khớp nhất với<br /> mẫu x(t). Nơron c được gọi là nơron khớp nhất (BMU) nếu thỏa mãn công thức:<br /> <br /> 3<br /> <br /> <br /> <br /> dist  x  t   wc  min x t   wi<br /> i<br /> <br /> <br /> <br /> (1.1)<br /> <br /> Bước 3- Hợp tác: Cơ sở cho sự hợp tác giữa các nơron là phạm vi ảnh hưởng của BMU hay còn gọi<br /> là bán kính lân cận của BMU (ký hiệu Nc(t)). Nc(t) được xác định theo công thức:<br />  t<br /> N c  t   N 0 exp   <br />  <br /> <br /> (1.2)<br /> <br /> trong đó: t là lân huấn luyện (hay lần học); N 0 là bán kính lân cận khởi tạo; Nc  t  là bán kính lân<br /> cận của BMU tại lần học thứ t;  <br /> <br /> T<br /> là hằng số thời gian, với T là tổng số lần học.<br /> log  N 0 <br /> <br /> Bước 4- Thích nghi: Điều chỉnh trọng số của BMU và các nơron trong bán kính lân cận của BMU<br /> theo công thức:<br /> <br /> wi  t  1  wi t   L t  hci t  v  wi t <br /> <br /> <br /> <br /> (1.3)<br /> <br /> trong đó:<br /> -<br /> <br /> hci(t) là hàm nội suy theo khoảng cách (hay hàm lân cận), được xác định theo công thức:<br /> <br />  r r 2 <br /> c<br /> i<br /> <br /> hci  t   exp  <br /> 2<br />  2 Nc t  <br /> <br /> <br /> -<br /> <br /> (1.4)<br /> <br /> với rc và ri là vị trí tương ứng của nơron c và nơron i trong lớp Kohonen.<br /> L  t  là tỉ lệ học tại lần lặp thứ t, với 0  L  t   1 ). L  t  có thể là một hàm tuyến tính, hàm mũ...<br /> Công thức (1.5) là một ví dụ của hàm xác định tỉ lệ học.<br /> t <br /> <br /> L  t   L0  1  <br /> T<br /> <br /> <br /> (1.5)<br /> <br /> trong đó: L0 là tỉ lệ học khởi tạo (0