Luận án Tiến sĩ Kỹ thuật: Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:140

Thêm vào BST

Báo xấu

15
lượt xem 5
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án Tiến sĩ Kỹ thuật "Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng" trình bày các nội dung chính sau: Quá trình phát triển mạng nơron nhân tạo, phân loại mạng nơron; Kết quả thử nghiệm CNN bậc cao cho bộ nhớ liên kết, thử nghiệm CNN đa tương tác trên nền tảng STM32 và FPGA.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Kỹ thuật: Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng

i BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA --***-- NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI, NĂM 2022
ii BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA --***-- NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC 1. PGS.TS. NGUYỄN QUANG HOAN 2. TS. NGÔ VĂN SỸ HÀ NỘI, NĂM 2022
i MỤC LỤC LỜI CAM ĐOAN ........................................................................................................i LỜI CẢM ƠN ........................................................................................................ ....ii DANH MỤC CÁC TỪ VIẾT TẮT ......................................................... ..... ...........iii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC............................................................ ... v DANH MỤC BẢNG .................................................................................................vii DANH MỤC HÌNH VẼ .......................................................................................... viii MỞ ĐẦU.....................................................................................................................1 1. Tính cấp thiết của luận án ....................................................................................... 1 2. Mục tiêu nghiên cứu của luận án ............................................................................3 3. Đối tượng và phạm vi nghiên cứu...........................................................................3 4. Phương pháp nghiên cứu.........................................................................................3 5. Đóng góp của luận án..............................................................................................3 6. Cấu trúc của luận án................................................................................................4 CHƯƠNG 1. TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO ................................... 5 1.1 Tổng quan về mạng nơron nhân tạo ...................................................................... 5 1.1.1 Mô hình cấu trúc mạng nơron nhân tạo ........................................................ 5 1.1.1.1 Mô hình một nơ ron Mc.Culloch Pitts's ................................................. 5 1.1.1.2 Phân loại mạng nơron nhân tạo ............................................................. 8 1.1.2 Học trong mạng nơron nhân tạo ................................................................. 13 1.1.2.1 Học có tín hiệu chỉ đạo ........................................................................ 13 1.1.2.2 Học không có tín hiệu chỉ đạo ............................................................. 14 1.2 Mạng nơron tế bào chuẩn của Leon O. Chua...................................................... 15 1.2.1 Láng giềng r ................................................................................................ 16 1.2.2 Sơ đồ nguyên lý hoạt động ......................................................................... 16 1.2.3 Mô hình toán học của mạng nơron tế bào ................................................... 18 1.2.4 Mạch điện của một tế bào ........................................................................... 19 1.2.5 Mô hình hình học của nơron tế bào chuẩn................................................... 21 1.2.6 Động học của mạng nơ ron tế bào ............................................................. 22
ii 1.2.6.1 Giới hạn trạng thái xij của mạng nơ ron tế bào chuẩn ....................... 23 1.2.6.2 Hàm Lyapunov của mạng nơron tế bào chuẩn .................................... 23 1.2.6.3 Phương pháp xây dựng hàm E(t) .......................................................... 23 1.2.6.4 Chứng minh đạo hàm của hàm E(t) không dương ............................... 24 1.2.6.5 Xác định của hàm Lyapunov E(t)......................................................... 25 1.3 Tình hình nghiên cứu CNN trên thế giới và Việt Nam ...................................... 26 1.3.1 Nghiên cứu về cấu trúc của CNN ............................................................... 26 1.3.1.1 Mạng nơron tế bào một lớp và có trễ ................................................... 26 1.3.1.2 Mạng nơron tế bào nhiều lớp ............................................................... 26 1.3.1.3 Mạng nơron tế bào lai mờ .................................................................... 26 1.3.1.4 Mạng nơron tế bào bậc cao .................................................................. 27 1.3.2 Ổn định của mạng nơron tế bào ................................................................... 28 1.3.3 Học trong mạng nơron tế bào ..................................................................... 29 1.3.3.1 Học tìm A, B, RPLA ............................................................................. 29 1.3.3.2 Bộ nhớ liên kết .................................................................................... 29 1.3.4 Ứng dụng mạng nơron tế bào ..................................................................... 29 1.3.4.1 Ứng dụng mạng nơron tế bào trên thế giới .......................................... 30 1.3.4.2 Ứng dụng mạng nơron tế bào tại Việt Nam ......................................... 30 1.3.5 Nhận xét ...................................................................................................... 31 1.4 Phát biểu bài toán nghiên cứu ............................................................................ 31 1.5 Kết luận chương 1 .............................................................................................. 32 CHƯƠNG 2. PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠ RON TẾ BÀO BẬC CAO ............................. 34 2.1. Mạng nơron tế bào bậc hai ................................................................................. 34 2.1.1 Mô hình toán học của mạng nơron tế bào bậc hai ...................................... 34 2.1.2 Ổn định mạng nơron tế bào bậc hai ............................................................ 36 2.1.3 Chứng minh hàm E(t) là hàm bị chặn ......................................................... 37 2.1.4 Chứng minh đạo hàm của hàm E(t) không dương ...................................... 38 2.1.5 Tính ổn định trạng thái xij (t) và đầu ra yij (t) của CNN bậc hai ................. 41 2.1.6. Mô hình hình học của mạng nơron tế bào bậc hai......................................43
iii 2.2. Mạng nơ ron tế bào bậc cao ............................................................................... 46 2.2.1 Mô hình của mạng nơron tế bào bậc cao ..................................................... 46 2.2.2 Ổn định mạng nơ ron tế bào bậc cao ........................................................... 47 2.2.3 Chứng minh hàm E(t) cho CNN bậc cao là hàm bị chặn .......................... . 47 2.2.4 Chứng minh đạo hàm hàm E(t) cho CNN bậc cao không dương .............. . 49 2.2.5. Ổn định trạng thái xij (t) và ổn định đầu ra yij (t) của CNN bậc cao .......... 54 2.3. Mô phỏng cấu trúc và xác định tính ổn định của CNN bậc cao ........................ 56 2.3.1. Bài toán mô phỏng .................................................................................. ... 56 2.3.2. Kịch bản mô phỏng ..................................................................................... 57 2.3.3. Công cụ mô phỏng ...................................................................................... 58 2.3.4. Thuật toán .................................................................................................. 58 2.3.5 Kết quả mô phỏng CNN .............................................................................. 59 2.3.6 Nhận xét ...................................................................................................... 61 2.4 Kết luận chương 2 ............................................................................................. . 62 CHƯƠNG 3. BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO .............................................. 63 3.1 Bộ nhớ liên kết ................................................................................................... 63 3.2 Bộ nhớ liên kết trong mạng nơron tế bào........................................................... 63 3.2.1 Bộ nhớ liên kết của CNN chuẩn ................................................................. 63 3.2.1.1 Mô hình toán học cấu trúc bộ nhớ liên kết .......................................... 63 3.2.1.2 Bộ nhớ lên kết A(i, j;k,l) ..................................................................... 65 3.2.1.3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm bộ nhớ liên kết ..... 70 3.2.2 Bộ nhớ liên kết sử dụng CNN bậc hai ......................................................... 73 3.2.2.1 Mô hình toán học cấu trúc bộ nhớ liên kết bậc hai ........................... .. 73 3.2.2.2 Mô hình học hay bộ nhớ lên kết bậc hai .............................................. 74 3.2.2.3 Bài toán nhận dạng mẫu sử dụng CNN bậc hai làm bộ nhớ liên kết ... 80 3.2.3 Kết luận ....................................................................................................... 84 3.3 Mô hình ứng dụng thử nghiệm CNN bậc cao ..................................................... 85 3.3.1 Mô hình tích hợp CNN bậc hai với STM32 và FPGA ................................ 85 3.3.1.1 Kiến trúc của FPGA ............................................................................. 85
iv 3.3.1.2 Xử lý ảnh trên nền STM2 .................................................................... 86 3.3.1.3 CNN bậc hai trên nền tảng FPGA và STM2 ....................................... 87 3.3.1.4 Bàn luận và đánh giá............................................................................ 88 3.3.2 Một số ứng dụng khác của CNN bậc cao .................................................... 88 3.3.2.1 Ứng dụng CNN bậc hai trong bài toán nuôi trồng .............................. 88 3.3.2.2 Ứng dụng CNN bậc hai trong cảnh báo sớm cho bệnh nhân dung thuốc kháng Vitamin K .............................................................................................. 91 3.4 Kết luận chương 3 ............................................................................................... 95 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN .................................... 96 1. Kết luận ................................................................................................................ 96 2. Hướng phát triển của luận án ............................................................................... 96 CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH ..................................... 97 TÀI LIỆU THAM KHẢO ......................................................................................... 98 PHỤ LỤC 1 ............................................................................................................. 107 PHỤ LỤC 2 ............................................................................................................. 116 PHỤ LỤC 3 ............................................................................................................ 118 PHỤ LỤC 4 ............................................................................................................ 123
i LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả được công bố với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ công trình nào khác. Tác giả luận án Nguyễn Tài Tuyên
ii LỜI CẢM ƠN Luận án được thực hiện tại Viện Nghiên cứu Điện tử, Tin học, Tự động hóa, dưới sự hướng dẫn của PGS. TS. Nguyễn Quang Hoan và TS. Ngô Văn Sỹ. Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS. TS. Nguyễn Quang Hoan, TS. Ngô Văn Sỹ người đã động viên, trao đổi nhiều kiến thức và chỉ bảo tôi vượt qua những khó khăn để hoàn thành luận án này. Tôi cũng xin gửi lời cảm ơn chân thành tới Viện trưởng, TS. Nguyễn Thế Truyện, PGS.TSKH. Nguyễn Hồng Vũ và các nhà khoa học khác tại Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), bộ Công Thương đã có những trao đổi, góp ý để tôi hoàn thiện luận án và giúp đỡ tôi trong quá trình học tập, nghiên cứu. Xin gửi lời cảm ơn đến Ban Giám đốc Học viện Công nghệ Bưu chính Viễn thông đã tạo điều kiện, quan tâm giúp đỡ để tôi có thể hoàn thành luận án. Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, những người đã luôn ủng hộ, giúp đỡ và hỗ trợ tôi về mọi mặt để tôi hoàn thành luận án. Tác giả luận án Nguyễn Tài Tuyên
iii DANH MỤC CÁC TỪ VIẾT TẮT ART Adaptive Resonance Theory Lý thuyết cộng hưởng thích nghi ARM Advanced RISC Machine Bộ xử lý dựa trên kiến trúc RISC BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều CNN Cellular Neural Networks Mạng nơron tế bào CNN-UM CNN Universal Machine Máy tính vạn năng CNN CMOS Complementary Metal Oxide Chất bán dẫn ôxit kim loại bù Semiconductor IEEE Institute of Electrical and Electronics Viện Kỹ sư Điện và Điện tử Engineers FIRDDCNNs Fuzzy Delayed Reaction-Diffusion Mạng nơron tế bào khuếch tán mờ Cellular Neural Networks có trễ. FPGA Field Programmable Gate Array Mảng cổng logic có thể lập trình được HiCNN Higher-order Cellar Neural Network Mạng nơron tế bào bậc cao HSYNC Horizontal SYNChronization Đồng bộ ngang IO Input Outside Đầu vào bên ngoài INR International Normalized Ratio Tỷ lệ chuẩn hóa quốc tế về đông máu LUT Look Up Table Bảng dò tìm MCNN Multi-Layer Cellular Neural Mạng nơron tế bào nhiều lớp Networks MCUs Microcontroller Unit Bộ vi điều khiển MLP Multi-Layer Perceptron Perceptron nhiều lớp MTA Magyar Tudományos Akadémia Viện Hàn lâm Khoa học Hungary PC Personal Computer Máy tính cá nhân PE Processing Element Phần tử xử lý RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RC Resistor, Capacitor Điện trở, tụ điện
iv RBF Radial Basis Function Hàm cơ sở xuyên tâm RISC Reduced Instruction Set Computer Máy tính có tập lệnh đơn giản hóa ROM Read Only Memory Bộ nhớ chỉ đọc RPLA Recurrent Perceptron Learning Thuật toán học perceptron hồi quy Algorithm SC-CNN State Controlled Cellular Neural Mạng nơron tế bào điều chỉnh Network trạng thái SOM Self-Organizing Feature Maps Bản đồ tự tổ chức STM32 ST Microelectronic 32 Mạch tích hợp vi điều khiển 32 bit của STMicroelectronics TCP/IP Transmission Control Protocol/ Giao thức điều khiển truyền nhận/ Internet Protocol Giao thức liên mạng UART Universal Asynchronous Receiver/ Bộ truyền nhận dữ liệu nối tiếp Transmitter không đồng bộ VLSI Very-Large-Scale Integration Mạch tích hợp cỡ lớn VSYNC Vertical Synchronization Đồng bộ dọc
v DANH MỤC CÁC KÝ HIỆU TOÁN HỌC Ký hiệu Diễn giải A(i,j; k,l;…;q,z) Các tham số phản hồi đến tế bào thứ (i,j) từ các đầu ra (k,l;…;q,z) của mạng nơron tế bào bậc cao B(i,j; k,l;…;q,z) Các tham số đầu vào ngoài đến tế bào thứ (i,j) từ các đầu vào (k,l;…;q,z) của mạng nơron tế bào bậc cao C Tụ điện của tế bào (i,j) C(i,j); C(k,l) Tế bào tại (i,j); (k,l) Emax Giá trị lớn nhất của hàm Lyapunov hoặc hàm năng lượng F (.) Hàm mô tả cấu trúc G(.) Vectơ hàm tương tác đầu ra gi (.) Hàm tương tác đầu ra của nơron thứ i g(x j ) Hàm truyền đạt (Transfer Function) hay hàm kích hoạt (Activation Function) hay hàm chặn (Squashing Function) của nơron j I hoặc W0 Độ lệch (Bias) hoặc ngưỡng (Threshold) của nơron I ij Ngưỡng, xác định ngưỡng kích thích hay ức chế (hằng số) M Số hàng của mảng (ma trận) nơron tế bào N Số cột của mảng (ma trận) nơron tế bào N r (i, j ); N r (k , l ) Các tế bào láng giềng N của tế bào (i,j); (k,l) với bán kính r R , Rx , R y Điện trở tương ứng với tế bào (i,j), với trạng thái x, đầu ra y u Vectơ đầu vào ngoài uij ; uk ,l Biến vào (ij) và (kl) của nơron tế bào v (t ) Tổng các đầu vào mô tả thế năng tác động ở thân nơron vi Tổng các đầu vào của nơron j Wij Độ lệch trọng số kết nối nơron thứ j tới nơron thứ i wij Trọng số ngoài đến tế bào (ij) w jk Trọng số tương ứng với các đầu vào thứ k tới nơron j
vi wkl Trọng số phản hồi từ đầu ra của tế bào (kl) x (t ) Vectơ trạng thái xij (t ) ; xkl (t ) Biến trạng thái của tế bào (ij); (kl) yij (t ) ; ykl (t ) Đầu ra của nơron tế bào (ij); (kl)  Hệ số chỉ tốc độ học  Tích phân xij (t ) ; I Tuyệt đối với biến xij(t) hoặc với giá trị I
vii DANH MỤC BẢNG Bảng 3.1 Ma trận kết nối giữa đầu vào i, j và đầu ra k, l .......................................... 65 Bảng 3.2 Ma trận A(i, j; k , l ) vectơ Y ...................................................................... 66 Bảng 3.3 Ma trận A(i, j; k , l ) , vectơ Y và trạng thái X ............................................. 66 Bảng 3.4 Gọi lại mẫu đã được học của bộ nhớ liên kết CNN chuẩn ....................... 71 Bảng 3.5 Bộ nhớ liên kết CNN chuẩn nhận mẫu sai 1 bit ....................................... 72 Bảng 3.6 Ma trận A(i, j; k , l; m, n) của bộ nhớ liên kết CNN bậc hai ...................... 75 Bảng 3.7 Pha học của bộ nhớ liên kết CNN bậc hai ................................................ 75 Bảng 3.8 Tính vectơ trạng thái của bộ nhớ liên kết CNN bậc hai ........................... 76 Bảng P3.1 Tính số đầu vào ngoài của một tế bào với bán kính r ........................... 120 Bảng P3.2 Tính số đầu vào ngoài của tế bào dạng tổng quát với bán kính r ......... 121
viii DANH MỤC HÌNH VẼ Hình 1.1 Mô hình nơron McCulloch-Pitts .................................................................. 5 Hình 1.2 Hàm tuyến tính ............................................................................................. 6 Hình 1.3 Hàm bước nhảy đơn cực .............................................................................. 6 Hình 1.4 Hàm Sigmoid đơn cực.................................................................................. 7 Hình 1.5 Hàm Sigmoid lưỡng cực .............................................................................. 7 Hình 1.6 Phân loại mạng nơron nhân tạo .................................................................... 8 Hình 1.7 Năng lượng mạng E(x) .............................................................................. 11 Hình 1.8 Minh họa cấu trúc mạng liên kết hai chiều ............................................... 12 Hình 1.9 Mạng nơron tế bào có kích thước M  N .................................................... 15 Hình 1.10 Sơ đồ nguyên lý của một tế bào .............................................................. 16 Hình 1.11 Sơ đồ khối của một tế bào ....................................................................... 17 Hình 1.12 Hàm đầu ra tương ứng với phương trình (1.33b) ..................................... 19 Hình 1.13 Mạch điện của một rơron tế bào .............................................................. 19 Hình 1.14 Sơ đồ của CNN chuẩn trên Matlab .......................................................... 21 Hình 1.15 Mẫu [A B I] của CNN chuẩn .................................................................... 22 Hình 1.16 Một số kiểu lưới điển hình của CNN ....................................................... 22 Hình 1.17 Mô hình đa tương tác tương ứng công thức 1.50 ..................................... 32 Hình 2.1 Cấu trúc của nơron tế bào bậc 2 trên Matlab với r=1, M=3, N=3.............. 44 Hình 2.2 Sơ đồ cấu trúc mạng nơron tế bào bậc 2 trên Matlab ghép theo mảng A và B của tế bào có kích thước (44).......................................................... 45 Hình 2.3 Kết quả đầu ra x11, x22 theo (kịch bản 1) trên Matlab .............................. 59 Hình 2.4 Kết quả đầu ra y11, y22 theo (kịch bản 1) trên Matlab ............................. 60 Hình 2.5 Kết quả đầu ra x11, x22 theo (kịch bản 2) trên Matlab .............................. 60 Hình 2.6 Kết quả đầu ra y11, y22 theo (kịch bản 2) trên Matlab ............................. 60 Hình 2.7 Kết quả đầu ra x11, x22 theo (kịch bản 3) trên Matlab .............................. 61 Hình 2.8 Kết quả đầu ra y11, y22 theo (kịch bản 3) trên Matlab ............................. 61 Hình 3.1 Mô hình bộ nhớ liên kết của CNN chuẩn .................................................. 64
ix Hình 3.2 Sơ đồ khối CNN chuẩn làm bộ nhớ liên kết .............................................. 68 Hình 3.3 Sơ đồ CNN chuẩn làm bộ nhớ liên kết ...................................................... 69 Hình 3.4 Cấu trúc CNN bậc hai được sử dụng làm bộ nhớ liên kết ....................... 74 Hình 3.5 Sơ đồ khối CNN bậc hai làm bộ nhớ liên kết ........................................... 78 Hình 3.6 Sơ đồ kết nối của CNN bậc hai làm bộ nhớ liên kết ................................. 79 Hình 3.7 Kiến trúc của FPGA ................................................................................... 85 Hình 3.8 Hệ thống thu thập và xử lý ảnh dùng vi điều khiển ................................... 86 Hình 3.9 Sơ đồ hệ thống thu thập xử lý ảnh trên nền tảng FPGA và STM32 .......... 87 Hình 3.10 Mối quan hệ trong hệ thống nuôi trồng thông minh ................................ 89 Hình 3.11 Tính tương tác đa chiều của CNN bậc hai trong hệ thống ....................... 89 Hình 3.12 Sơ đồ hệ thống Smart Farm sử dụng HiCNN và STM32 ........................ 90 Hình 3.13 Sơ đồ khối gửi thông tin cảnh báo sớm cho bệnh nhân sử dụng thuốc kháng Vitamin K ................................................................................................. 92 Hình 3.14 Sơ đồ khối chức năng cảnh báo sớm cho bệnh nhân sử dụng thuốc kháng Vitamin K ................................................................................................. 93
1 MỞ ĐẦU Ngày nay, trong khoa học và công nghệ, mạng nơron được nhắc đến như một lĩnh vực hiện đại và thời sự của trí tuệ nhân tạo, rất được quan tâm và phát triển. Mạng nơron tạo nên sức mạnh nổi trội nhờ khả năng tính toán song song [7, 16, 48] và khả năng học [21, 31, 35, 90]. Trong ứng dụng, mạng nơron rất hiệu quả cho tính toán thông minh [68, 71], đặc biệt cho lớp các bài toán nhận mẫu (nhận dạng) và xử lý ảnh [12, 17, 18]. Mạng nơron học sâu, tích chập [35, 52, 53] là một mạng nơron nhiều lớp mang lại hiệu quả cao và đang là vấn đề nóng trên thế giới. Một nhóm mạng khác là mạng hồi quy, điển hình và phát triển nhất là CNN [15, 22, 59, 75] đã được chế tạo thành máy tính nơron mảng đa năng [64] và được coi là thân thiện với mạng nơron học sâu [25]. Luận án hướng về CNN đa tương tác (CNN bậc cao), phát triển từ CNN chuẩn của Leon O. Chua [11] được đề xuất năm 1988. Leon O. Chua là người đạt giải thưởng thường niên đầu tiên của IEEE Gustav Robert Kirchhoff năm 2005 về phát minh ra mạng CNN và thành công trong chế tạo máy tính nơron đầu tiên trên thế giới. 1. Tính cấp thiết của luận án a) Những ưu điểm nổi bật của mạng CNN - Thứ nhất, điều hấp dẫn nhất với tác giả khi nghiên cứu CNN là mạng này đã được chế tạo thành máy tính nơron mảng tương tự [64] đầu tiên trên thế giới. Đây là một kết quả đạt được từ mơ ước con người muốn có một máy tính nơron phỏng theo hoạt động giống bộ não của con người. Trước Leon O. Chua, Hopfield [14, 24] đã thử nghiệm mạng nơron Hopfield trên mạch khuếch đại toán tử nhưng chưa xây dựng các thiết bị đó thành máy tính. Mặt khác, máy tính CNN là loại máy tính mảng nơron tương tự, phải chăng đây là thời kỳ máy tính mảng tương tự [64] hiện diện trong vòng xoáy trôn ốc kế tiếp thời kỳ rực rỡ của máy tính số. - Thứ hai, bản thân CNN thuộc lớp mạng nơron hồi quy, nên có khả năng học không có tín hiệu chỉ đạo, có thể dùng làm bộ nhớ tự liên kết [30, 85]. Các mạng hồi quy trước CNN như Hopfield [14, 24], BAM [32, 41, 46] có dung lượng nhớ thấp, trong khi CNN có dung lượng nhớ cao hơn [30, 85].
2 - Thứ ba, CNN tạo thành một mạng hai chiều với (M  N) tế bào. Mỗi một tế bào của CNN được mô tả bằng một một phương trình vi phân [11]. Như một hệ động học, toàn bộ mạng CNN tạo thành một hệ phương trình vi phân [4]. CNN là mô hình hệ phương trình vi phân và có thể giải bằng cả phần cứng [65] và phần mềm [3]. - Thứ tư, thực tế chỉ ra rằng khi nghiên cứu CNN ở viện Hàn lâm Khoa học Việt Nam [51, 61, 69] cho thấy máy tính mảng nơron tương tự cho kết quả xử lý ảnh với tốc độ cao. Minh chứng được thể hiện với bài toán đếm số lượng tà vẹt trên đường ray tàu hoả cao tốc của Việt Nam với độ chính xác đáng khâm phục. b) Những vấn đề mà CNN chưa được quan tâm - Cấu trúc CNN có độ phức tạp lớn. Nhưng với công nghệ hiện nay có thể giải quyết được bằng phần cứng và phần mềm, cơ sở dữ liệu lớn (Big data). Bằng chứng là mạng nơron học sâu với hàng trăm lớp đã không còn là vấn đề trở ngại trên cơ sở điện toán đám mây. Đây là lợi thế cho tác giả triển khai CNN bậc cao với độ phức tạp lớn. - Bộ nhớ liên kết dùng CNN hiện nay ít được đề cập tới, trong khi mạng Hopfield và mạng BAM đã có tổng kết và đánh giá về khả năng nhớ [58]. Đây là vấn đề sẽ được đề cập đến trong chương 3 của luận án. - Mặc dù cấu trúc của CNN đã tiến tới cấu trúc CNN nhiều lớp. Nhưng đang dừng lại ở liên kết tuyến tính cho đầu vào và cho phản hồi (được trình bày ở chương 1). Trong các công trình nghiên cứu, hầu như chưa thấy liên kết đầu vào và phản hồi dạng đa thức bậc 2 và bậc 3 v.v… Trong thực tế, khi áp dụng giải hệ phương trình vi phân không chỉ có mảng đầu vào và mảng phản hồi tuyến tính mà tồn tại các đầu vào và phản hồi dạng đa thức. c) Lý do chọn đề tài Căn cứ vào những hạn chế và hướng mở của CNN nêu trên, tác giả kế thừa và phát triển CNN chuẩn thành CNN bậc cao (đa tương tác đầu vào và đa tương tác phản hồi). Hy vọng rằng, khi tiệm cận hướng CNN bậc cao, tác giả sẽ có ít nhiều được bổ sung, đóng góp cho lớp mạng có nhiều hứa hẹn này.
3 2. Mục tiêu nghiên cứu của luận án a) Kế thừa cấu trúc CNN chuẩn của Leon O. Chua [11], tác giả phát triển thành cấu trúc CNN bậc cao (đa tương tác đầu vào và đa tương tác đầu ra). b) Xây dựng và chứng minh các điều kiện đảm bảo cho CNN bậc cao ổn định sử dụng tiêu chuẩn ổn định đầy đủ. c) Thử nghiệm cấu trúc CNN đa tương tác dùng làm bộ nhớ liên kết và một vài khả năng ứng dụng khác. 3. Đối tượng và phạm vi nghiên cứu a) Về lý thuyết - Tác giả sử dụng phương pháp quy nạp để xây dựng mô hình và chứng minh tính ổn định cho CNN bậc hai sau đó suy diễn cho CNN bậc cao. - Tác giả tập trung phát triển cấu trúc CNN bậc cao (đa tương tác), xét tính ổn định CNN bậc cao. b) Về ứng dụng - Sử dụng phần mềm Matlab và Java để mô phỏng và kiểm chứng tính ổn định của mạng CNN bậc cao. - Sử dụng CNN bậc cao làm bộ nhớ liên kết. - Kiểm chứng khả năng thực hiện CNN trên các mạch điện tử (FPGA) và các ứng dụng khác. 4. Phương pháp nghiên cứu a) Kế thừa mô hình chuẩn của Leon O. Chua và tiêu chuẩn ổn định đầy đủ. Phát triển mô hình tuyến tính thành mô hình liên kết dạng đa thức và tìm điều kiện để mạng CNN ổn định. b) Mô phỏng, thử nghiệm một số ứng dụng. 5. Đóng góp của luận án Luận án đặt ra ba vấn đề cần phải giải quyết bao gồm: a) Thứ nhất, đề xuất mô hình CNN bậc cao.
4 b) Thứ hai, tìm hàm E(t) (tương tự hàm Lyapunov) để chứng minh mạng được đề xuất là ổn định đầy đủ. c) Thứ ba, minh chứng khả năng ứng dụng CNN bậc cao. 6. Cấu trúc của luận án Nội dung của luận án được kết cấu như sau: Chương một, trình bày quá trình phát triển mạng nơron nhân tạo; phân loại mạng nơron; học và xấp xỉ mạng nơron; một số ứng dụng mạng nơron…; trình bày các khái niệm về CNN chuẩn của Leon O. Chua. Trên cơ sở nghiên cứu tổng quan, tác giả đưa ra hướng nghiên cứu CNN bậc cao. Chương hai, trên cơ sở mạng chuẩn của Leon O. Chua, tác giả đề xuất mô hình CNN bậc cao; đề xuất hàm E(t) cho mạng được phát triển; chứng minh tính ổn định của CNN bậc cao; mô phỏng CNN bậc hai trên môi trường Matlab. Chương ba, trình bày kết quả thử nghiệm CNN bậc cao cho bộ nhớ liên kết; thử nghiệm CNN đa tương tác trên nền tảng STM32 và FPGA. Kết quả thử nghiệm trên môi trường Matlab và một số khả năng ứng dụng khác.
5 CHƯƠNG 1 TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO Chương này, tác giả trình bày nghiên cứu tổng quan mạng nơron tế bào (CNN), gồm bốn nội dung chính: i) Tổng quan về mạng nơron nhân tạo; ii) Mạng nơron tế bào; iii) Tình hình nghiên cứu CNN tại Việt Nam và thế giới; iv) phát biểu bài toán nghiên cứu trong luận án. 1.1 Tổng quan về mạng nơron nhân tạo CNN là một trong hàng trăm cấu trúc đi kèm với luật học khác nhau của mạng nơron nhân tạo. Nó có những đặc điểm chung và riêng so với các cấu trúc, luật học và có tính kế thừa từ mạng nơron khác. Do vậy, tác giả điểm qua các cấu trúc và luật học của mạng nơron. 1.1.1 Mô hình cấu trúc mạng nơron nhân tạo 1.1.1.1 Mô hình một nơron của Mc.Culloch Pitts's Năm 1943, McCulloch-Pitts đề xuất mô hình một nơron nhân tạo (Hình 1.1) [60] và sau này tên của tác giả được sử dụng đặt tên cho nơron. Nơron McCulloch- Pitts còn được gọi là đơn vị (phần tử) xử lý (Processing Element: PE), một nút (Node) hay một tế bào (tên được dùng trong mạng CNN) là mô hình đánh dấu mốc khởi đầu cho sự phát triển của các thế hệ mạng nơron nhân tạo. Trong (Hình 1.1) nơron j nhận nhiều tín hiệu vào u jk (với k=1..n) từ các nơron khác hoặc từ phía phản hồi tới nơron j và xử lý chúng để thu được tín hiệu ra v j . Như vậy, một nơron có thể coi là một hệ thống nhiều đầu vào (Multi-Input), một đầu ra (Single Output). +1 u j1 w j1 Ij ... xj yj vj u jk w jk  H(vj) g(x j ) ... u jn w jn Hình 1.1 Mô hình nơron McCulloch-Pitts