Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 5 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chương 5 Hệ hỏi - đáp<br /> Hệ hỏi – đáp<br /> Chatbot<br /> IT4772 Xử lý ngôn ngữ tự nhiên<br /> Viện CNTT-TT, ĐHBKHN<br /> <br /> 2<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi - đáp<br /> INFORMATION EXTRACTION<br /> ●<br /> <br /> NATURAL LANGUAGE UNDERSTANDING<br /> <br /> Trả lời các câu hỏi dưới dạng ngôn ng ữ t ự<br /> nhiên<br /> câu hỏi<br /> <br /> END-TO-END<br /> APPLICATIONS<br /> <br /> câu trả lời<br /> Siri, could you tell me where<br /> can I find a husband who<br /> just talk and give me money<br /> whenever I want?<br /> <br /> NATURAL LANGUAGE GENERATION<br /> <br /> Uhm, let me think...<br /> Maybe you should try<br /> combining a cassette<br /> and an ATM.<br /> <br /> DATA + LINGUISTICS + MACHINE LEARNING<br /> ...<br /> 3<br /> <br /> 4<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi - đáp<br /> Tiêu chí<br /> <br /> IR<br /> <br /> QA<br /> <br /> Đầu vào<br /> <br /> Câu truy vấn dưới dạng từ<br /> khóa<br /> <br /> Câu hỏi<br /> <br /> Yêu cầu<br /> <br /> Liên quan<br /> <br /> Chính xác<br /> <br /> Đầu ra<br /> <br /> Các văn bản<br /> <br /> Câu trả lời<br /> <br /> ●<br /> <br /> Câu hỏi đóng:<br /> Ai?<br /> Ai là tác giả của cuốn sách “Suối nguồn t ươi tr ẻ”?<br /> Tác phẩm “Suối nguồn tươi trẻ” do ai sáng tác?<br /> Tiểu thuyết “Suối nguồn tươi trẻ” được viết bởi nhà văn<br /> nào?<br /> Ai là người đầu tiên dịch “Suối nguồn t ươi tr ẻ” sang ti ếng<br /> Việt?<br /> <br /> 5<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> 6<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Câu hỏi đóng:<br /> <br /> ●<br /> <br /> Bao giờ?<br /> <br /> Câu hỏi đóng<br /> Ở đâu?<br /> <br /> Bài hát “Người lạ ơi” được viết khi nào?<br /> Bài “Người lạ ơi” được sáng tác năm nào?<br /> Tác phẩm “Người lạ ơi” được sáng tác vào thời điểm<br /> nào?<br /> <br /> Tuyên ngôn độc lập được đọc ở đâu?<br /> Tuyên ngôn độc lập được viết ở đâu?<br /> Địa điểm nổ ra Cách mạng tháng Tám ở đâu?<br /> <br /> 7<br /> <br /> 8<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Câu hỏi đóng<br /> <br /> ●<br /> <br /> Bao nhiêu?<br /> <br /> Câu hỏi đóng<br /> Đúng/sai, lựa chọn<br /> <br /> Một ngày cần uống ít nhất bao nhiêu n ước?<br /> Lượng nước tối thiểu phải uống một ngày là bao nhiêu?<br /> <br /> Có phải Mặt trời và các hành tinh quay xung quanh Trái<br /> Đất không?<br /> Nếu cùng lúc có tín hiệu điều khiển của đèn báo và c ảnh<br /> sát giao thông thì tuân theo cái nào?<br /> Trong bài toán phân tích từ loại có nh ất thi ết ph ải ti ến<br /> hành tách từ không?<br /> <br /> 9<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> 10<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Câu hỏi mở<br /> <br /> ●<br /> <br /> Định nghĩa<br /> <br /> Câu hỏi mở<br /> Giải thích<br /> <br /> Xử lý ngôn ngữ tự nhiên là gì?<br /> NLP là gì?<br /> Ngôn ngữ tự nhiên là gì?<br /> <br /> Tại sao tách từ trong tiếng Việt l ại ph ức t ạp h ơn ti ếng<br /> Anh?<br /> Vì sao từ Trái đất không thể quan sát đ ược toàn b ộ b ề<br /> mặt Mặt Trăng?<br /> Do đâu giải Nobel không có lĩnh vực Toán học?<br /> <br /> 11<br /> <br /> 12<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> <br /> Câu hỏi mở<br /> So sánh<br /> Con voi và con kiến con nào nặng hơn?<br /> Đường thẳng và đường cong đường nào ngắn hơn?<br /> Số lượng dân ở đô thị hay nông thôn nhiều h ơn?<br /> <br /> From Dan Jurafsky (2018)<br /> 13<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> ●<br /> <br /> 14<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> <br /> Phân loại câu hỏi<br /> <br /> ●<br /> <br /> Chuẩn hóa câu hỏi<br /> <br /> Tìm loại câu trả lời tương ứng với câu h ỏi<br /> <br /> Xóa bỏ các từ để hỏi, từ dừng<br /> <br /> Vd: “Ai là triệu phú?” → PERSON<br /> <br /> Chuyển sang dạng từ khóa<br /> Chuyển sang dạng câu khẳng định<br /> <br /> 15<br /> <br /> 16<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> ●<br /> <br /> Ma trận từ - văn bản<br /> <br /> Tìm kiếm văn bản<br /> Sử dụng nền tảng tìm kiếm thông tin đ ể thu v ề các<br /> văn bản liên quan đến câu truy v ấn<br /> <br /> 17<br /> <br /> 18<br /> <br /> From Information Retrieval by D. Manning et al. 2008<br /> <br /> Tf-idf<br /> <br /> 19<br /> <br /> From Information Retrieval by D. Manning et al. 2008<br /> <br /> ●<br /> <br /> tf-idf(t,d) = tf(t,d) x idf(t)<br /> <br /> ●<br /> <br /> idf(t) = log ( N / df(t) )<br /> <br /> 20<br /> <br />