Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 12 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chương 12 Neural NLP<br /> Học sâu<br /> Word2vec<br /> Phân loại cảm xúc dựa trên CNN<br /> IT4772 Xử lý ngôn ngữ tự nhiên<br /> Viện CNTT-TT, ĐHBKHN<br /> <br /> Dịch máy dựa trên RNN<br /> <br /> 2<br /> <br /> Chương 12 Neural NLP<br /> Học sâu<br /> Neuron nhân tạo<br /> <br /> INFORMATION EXTRACTION<br /> <br /> NATURAL LANGUAGE UNDERSTANDING<br /> <br /> END-TO-END<br /> APPLICATIONS<br /> <br /> NATURAL LANGUAGE GENERATION<br /> <br /> DATA + LINGUISTICS + MACHINE LEARNING<br /> <br /> 3<br /> <br /> 4<br /> <br /> Chương 12 Neural NLP<br /> Học sâu<br /> Mạng neuron tiến<br /> <br /> Chương 12 Neural NLP<br /> Học sâu<br /> Mạng nhân chập<br /> <br /> 5<br /> <br /> Chương 12 Neural NLP<br /> Học sâu<br /> Mạng neuron hồi quy<br /> <br /> https://adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-NeuralNetworks/<br /> 6<br /> <br /> Chương 12 Neural NLP<br /> Học sâu<br /> Ước lượng tham số<br /> ●<br /> <br /> 7<br /> <br /> Lan truyền ngược<br /> –<br /> <br /> Pha tiến: tính toán đạo hàm của hàm l ỗi d ựa trên<br /> tham số của mạng neuron<br /> <br /> –<br /> <br /> Pha lùi: cập nhật tham số của mạng neuron d ựa<br /> trên đạo hàm tính được<br /> <br /> 8<br /> <br /> Chương 12 Neural NLP<br /> Học sâu<br /> Một số ứng dụng<br /> ●<br /> <br /> ●<br /> <br /> Chương 12 Neural NLP<br /> Word2vec<br /> <br /> Ứng dụng mạng nhân chập cho bài toán phân<br /> loại ảnh<br /> Ứng dụng mạng neuron hồi quy cho bài toán<br /> nhận diện tiếng nói<br /> <br /> 9<br /> <br /> Chương 12 Neural NLP<br /> Word2vec<br /> <br /> 10<br /> <br /> Chương 12 Neural NLP<br /> Phân loại cảm xúc dựa trên CNN<br /> <br /> 11<br /> <br /> 12<br /> <br /> Chương 12 Neural NLP<br /> Dịch máy dựa trên RNN<br /> <br /> Chương 12 Neural NLP<br /> Nhận xét<br /> ●<br /> <br /> Tạo ra trào lưu “end-to-end NLP”<br /> <br /> ●<br /> <br /> Ưu điểm:<br /> <br /> ●<br /> <br /> –<br /> <br /> Biểu diễn văn bản tốt hơn<br /> <br /> –<br /> <br /> Đạt độ chính xác cao hơn khi có nhi ều d ữ li ệu<br /> <br /> Nhược điểm<br /> –<br /> <br /> 13<br /> <br /> Q&A<br /> <br /> hieunk@soict.hust.edu.vn<br /> 15<br /> <br /> Độ diễn giải thấpKhó tuning mô hình<br /> <br /> 14<br /> <br />