Luận văn Thạc sĩ Khoa học máy tính: Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:67

Thêm vào BST

Báo xấu

26
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề tài này nghiên cứu về ngôn ngữ ký hiệu Việt Nam, phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam sử dụng găng tay cảm biến, trên cơ sở đó xây dựng phần mềm nhúng tự động nhận dạng ngôn ngữ ký hiệu Việt Nam tích hợp với găng tay cảm biến. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học máy tính: Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN CÔNG THÀNH NGHIÊN CỨU HỆ THỐNG NHẬN DẠNG NGÔN NGỮ KÝ HIỆU VIỆT NAM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2017
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN CÔNG THÀNH NGHIÊN CỨU HỆ THỐNG NHẬN DẠNG NGÔN NGỮ KÝ HIỆU VIỆT NAM Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 THÁI NGUYÊN - 2017
MỤC LỤC CHƯƠNG 1 TỔNG QUAN VỀ NGÔN NGỮ KÍ HIỆU VIỆT NAM........ 3 1.1. Khái niệm và vai trò của ngôn ngữ ký hiệu ............................................ 3 1.2. Đặc điểm ngôn ngữ học của ngôn ngữ ký hiệu ...................................... 6 1.3. Ngôn ngữ ký hiệu Việt Nam ................................................................... 8 1.4. Các phương pháp nhận biết ngôn ngữ kí hiệu ........................................ 9 1.4.1. Nhận biết bằng phân tích hình ảnh ................................................... 9 1.4.2. Nhận biết bằng cảm biến ................................................................ 10 CHƯƠNG 2 GĂNG TAY CẢM BIẾN........................................................ 12 2.1. Cảm biến cong ...................................................................................... 12 2.2. Cảm biến gia tốc ................................................................................... 18 2.4. Mô hình găng tay cảm biến................................................................... 32 CHƯƠNG 3 PHƯƠNG PHÁP NHẬN DẠNG NGÔN NGỮ KÍ HIỆU VIỆT NAM DÙNG GĂNG TAY CẢM BIẾN VÀ ỨNG DỤNG .............. 35 3.1. Tập dữ liệu nhận dạng........................................................................... 35 3.2. Thuật toán phân lớp và nhận dạng ........................................................ 37 3.2.1. Chương trình thu thập dữ liệu ......................................................... 37 3.2.2. Xử lý dữ liệu ................................................................................... 40 3.2.3. Giới thiệu về WPF .......................................................................... 52 3.2.4. Áp dụng WPF mô phỏng bàn tay ................................................... 53 3.3. Kết quả nhận dạng và đánh giá ............................................................. 54 KẾT LUẬN .................................................................................................... 57 TÀI LIỆU THAM KHẢO ............................................................................ 59
DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Hình 1.1: Ngôn ngữ kí hiệu trong hệ thống Arthrological ............................... 5 Hình 1.2. Mô hình hệ thống nhận dạng bàn tay .............................................. 10 Hình 2.1.Cảm biến độ cong............................................................................. 12 Hình 2.2.Các vị trí của cảm biến độ cong ....................................................... 13 Hình 2.3. Mô hình các cảm biến gắn trên găng tay ........................................ 13 Hình 2.4. Mạch ghép nối cảm biến cong ........................................................ 14 Hình 2.5. Mạch flash ADC với 4 bộ so sánh. ................................................. 16 Hình 2.6. Analog và digital của hàm sin. ........................................................ 17 Hình 2.7. Cảm biến gia tốc ADXL345 ........................................................... 18 Hình 2.8. Gia tốc tĩnh theo trục z .................................................................... 19 Hình 2.9. Hệ trục tọa độ trên cảm biến và bàn tay.......................................... 20 Hình 2.10. Cách xác định các góc Proper Euler ............................................. 22 Hình 2.11. Hình chiếu trục Z lên hệ trục chuẩn .............................................. 22 Hình 2.12. Hình chiếu trục Y lên hệ trục chuẩn ............................................. 23 Hình 2.13. Góc Tait-Bryan (đường cơ sở y’ được kí hiệu màu vàng)............ 24 Hình 2.14. Ứng dụng Góc Tait- Bryan trong hàng không .............................. 25 Hình 2.15. Hiện tượng Gimbal khi Pitch = 90 độ ........................................... 25 Hình 2.16. Các góc Yaw, Pitch và Roll .......................................................... 26 Hình 2.17. Sự thay đổ i tra ̣ng thái ứng với các góc. ........................................ 27 Hình 2.18.Tính toán góc nghiêng từ accelerometer ........................................ 28 Hình 2.19. Sơ đồ chân Atmega32 ................................................................... 29 Hình 2.20. Mô hình hệ thống thu thập dữ liệu ................................................ 33
Hình 3.1. Bảng kí hiệu bàn tay tiếng việt........................................................ 36 Hình 3.2 Các dấu thanh trong ngôn ngữ kí hiệu Việt Nam ............................ 37 Hình 3. 1.Tư tưởng của thuật toán DTW ........................................................ 41 Hình 3.2. Các đường wraping. ........................................................................ 42 Hình 3.3. Các yêu cầu với đường wraping. .................................................... 46 Hình 3.4. Các đường wraping có thể. ............................................................. 47 Hình 3.5 : Thuật toán nhận dạng ngôn ngữ kí hiệu Việt Nam ........................ 49 Hình 3.5. Phân nhóm dữ liệu đầu vào dựa trên Ax ......................................... 50 Hình 3.6. .NET Framework 3.0 ...................................................................... 52 Hình 3.7. Mô hình ba chiều của bàn tay. ........................................................ 53 Bảng 1: Kết quả nhận dạng ngôn ngữ kí hiệu Việt Nam ................................ 56
LỜI CAM ĐOAN Tôi là: Nguyễn Công Thành Lớp: CK13 Khoá học: 2014 - 2016 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 Cơ sở đào tạo: Trường Đại học Công nghệ thông tin và Truyền thông Thái Nguyên. Giáo viên hướng dẫn: TS. Phùng Trung Nghĩa Tôi xin cam đoan luận văn “Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam” này là công trình nghiên cứu của riêng tôi dưới sự hướng dẫn của TS. Phùng Trung Nghĩa và sự giúp đỡ của NCS. Nguyễn Thị Bích Điệp. Các số liệu sử dụng trong luận văn là trung thực. Các kết quả nghiên cứu được trình bày trong luận văn chưa từng được công bố tại bất kỳ công trình nào khác. Thái Nguyên, ngày tháng năm 2017 HỌC VIÊN Nguyễn Công Thành
LỜI CẢM ƠN Học viên xin gửi lời cảm ơn chân thành tới TS. Phùng Trung Nghĩa, Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên, người đã tận tình hướng dẫn giúp học viên hoàn thành luận văn tốt nghiệp. Học viên cũng xin gửi lời cảm ơn sâu sắc đến các thầy cô giáo của Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên, cùng các thầy cô giáo của Viện Công nghệ thông tin - Viện khoa học Việt Nam đã nhiệt tình giảng dạy, truyền đạt kiến thức cho học viên trong suốt 2 năm học để học viên có thể hoàn thành được luận văn của mình. Nguyễn Công Thành
1 MỞ ĐẦU Theo số liệu thống kê của WHO năm 2000, trên thế giới có khoảng 250 triệu người khiếm thính, chiếm 4,2 % dân số. Do khả năng nghe bị suy giảm nên khả năng giao tiếp bằng lời ở cộng đồng người khiếm thính bị hạn chế rất nhiều. Để thay thế cho khả năng giao tiếp bằng tiếng nói, ngôn ngữ ký hiệu, là ngôn ngữ sử dụng biểu diễn của bàn tay và cơ thể đã ra đời. Trên thế giới, đã có nhiều nghiên cứu phát triển các dịch vụ thông dịch ngôn ngữ ký hiệu và các sản phẩm công nghệ nhằm hỗ trợ người khiếm thính trong giao tiếp xã hội. Một số sản phẩm nổi bật như găng tay chuyển đổi ngôn ngữ ký hiệu thành giọng nói [1], các phần mềm dịch từ văn bản/giọng nói sang ngôn ngữ ký hiệu hay các từ điển tra cứu ngôn ngữ ký hiệu online [2]. Hiện nay theo thống kê, Việt Nam có khoảng trên 2.5 triệu người khiếm thính [3]. Với sự quan tâm đặc biệt của Đảng và Nhà nước, đã có nhiều trường học, trung tâm hỗ trợ dạy học và việc làm riêng cho người khiếm thính. Việc phát triển sản phẩm ứng dụng công nghệ để phát huy ngôn ngữ ký hiệu nhằm nâng cao trình độ, tiếp nhận thông tin, khả năng giao tiếp cho người khiếm thính ở Việt Nam rất ít và kém hiệu quả [6]. Vì vậy việc đề xuất một giải pháp để xây dựng một hệ thống nhận dạng ngôn ngữ kí hiệu Việt Nam là cần thiết. Trong nghiên cứu này, học viên nghiên cứu về ngôn ngữ ký hiệu Việt Nam, phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam sử dụng găng tay cảm biến, trên cơ sở đó xây dựng phần mềm nhúng tự động nhận dạng ngôn ngữ ký hiệu Việt Nam tích hợp với găng tay cảm biến. Nội dung chính của luận văn bao gồm 3 chương: Chương 1. Tổng quan về ngôn ngữ ký hiệu Việt Nam Chương 2. Găng tay cảm biến
2 Chương 3. Phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam dùng găng tay cảm biến và ứng dụng Khi viết báo cáo này học viên đã cố gắng để đạt được những mục tiêu và định hướng nghiên cứu đề ra ban đầu, song điều kiện thời gian và năng lực còn hạn chế nên không tránh khỏi thiếu sót. Học viên mong nhận được sự góp ý của thầy giáo hướng dẫn, thầy cô giáo để học viên có được những kinh nghiệm thực tế và bổ ích để sau này có thể xây dựng được một chương trình hoàn thiện hơn.
3 CHƯƠNG 1 TỔNG QUAN VỀ NGÔN NGỮ KÍ HIỆU VIỆT NAM 1.1. Khái niệm và vai trò của ngôn ngữ ký hiệu Ngôn ngữ ký hiệu (hay ngôn ngữ kí hiệu, thủ ngữ) là ngôn ngữ dùng những biểu hiện của bàn tay thay cho âm thanh của tiếng nói. Ngôn ngữ ký hiệu do người điếc tạo ra nhằm giúp họ có thể giao tiếp với nhau trong cộng đồng của mình và tiếp thu tri thức của xã hội. Việc thay thế âm thanh của tiếng nói có thể liên quan đến đồng thời sự kết hợp các hình dạng tay, hướng và chuyển động của bàn tay, cánh tay hoặc cơ thể, và nét mặt để thể hiện trôi chảy những suy nghĩ của người nói. Ngôn ngữ kí hiệu có nhiều điểm tương đồng với ngôn ngữ nói (đôi khi được gọi là "ngôn ngữ bằng miệng" - mà phụ thuộc chủ yếu vào âm thanh), đó là lý do tại sao ngôn ngữ học xem xét cả hai dạng ngôn ngữ là ngôn ngữ tự nhiên. Tuy nhiên cũng có một số khác biệt đáng kể giữa các ngôn ngữ ký hiệu và ngôn ngữ nói. Đặc biệt không nên nhầm lẫn ngôn ngữ kí hiệu với ngôn ngữ cơ thể, là một loại giao tiếp phi ngôn ngữ. Bất cứ đâu trong cộng đồng người khiếm thính trên thế giới, ngôn ngữ ký hiệu đều được phát triển. Ngôn ngữ kí hiệu không chỉ được sử dụng bởi người điếc mà nó cũng được sử dụng bởi những người có thể nghe thấy, nhưng thể chất bị hạn chế để có thể nói chuyện bình thường. Ngôn ngữ kí hiệu có những thuộc tính ngôn ngữ riêng biệt. Hiện nay, hàng trăm ngôn ngữ ký hiệu được sử dụng trên thế giới và phát triển trong cộng đồng người khiếm thính ở tất cả các quốc gia. Một số ngôn ngữ ký hiệu có được công nhận pháp lý, trong khi một số khác thì chỉ mang tính cục bộ, địa phương. Một quan niệm sai lầm phổ biến là tất cả các ngôn ngữ ký hiệu là trên toàn thế giới là hoàn toàn giống nhau hoặc ngôn ngữ ký hiệu là một ngôn ngữ quốc tế. Thực tế thì không phải vậy, mỗi quốc gia có hơn ngôn ngữ ký hiệu bản
4 địa riêng của mình, và thậm chí một quốc gia có nhiều hơn một loại ngôn ngữ kí hiệu mang tính chất đặc trưng của từng địa phương trong quốc gia đó. Mặc dù, có thể nhận thấy ngôn ngữ ký hiệu có thể chia sẻ với nhau với nhau, cho dù trong cùng một nước hoặc mở rộng phạm vi bên ngoài một quốc gia. Từ những năm 384-322 TCN Aristotle, triết gia vĩ đại của Hy Lạp, tuyên bố rằng: "Người điếc không thể giáo dục được. Nếu không nghe được, con người không thể học được". Tuyên bố này đặt nền móng cho việc xây dựng một ngôn ngữ riêng cho người điếc. Một trong những ghi chép sớm nhất về ngôn ngữ ký hiệu là từ thế kỷ thứ V trước Công nguyên, trong Plato 's Cratylus , Socrates nói: “ If we hadn't a voice or a tongue, and wanted to express things to one another, wouldn't we try to make signs by moving our hands, head, and the rest of our body, just as dumb people do at present? (Tạm dịch: “ Nếu chúng ta không có một giọng nói hay một cái lưỡi, và muốn thể hiện mọi điều với nhau, chúng ta sẽ phải cố gắng để tạo ra dấu hiệu bằng cách di chuyển bàn tay, đầu, và một phần cơ thể như cách người câm họ làm có phải không? " [4] Cho đến thế kỷ 19, hầu hết những gì chúng ta biết về lịch sử ngôn ngữ ký hiệu chỉ giới hạn trong bảng chữ cái bằng tay (hệ thống fingerspelling) đã được phát minh ra để tạo điều kiện chuyển giao từ một ngôn ngữ nói đến một ngôn ngữ ký hiệu, chứ không phải là một loại ngôn ngữ riêng. Trong năm 1620, Juan Pablo Bonet xuất bản một cuốn sách nói về rút gọn chữ và nghệ thuật giảng dạy cho người câm ở Madrid. [5] Nó được coi là luận thuyết hiện đại đầu tiên của dấu hiệu ngữ âm học ngôn ngữ, đặt ra một phương pháp giáo dục bằng miệng cho người khiếm thính và một bảng chữ cái của ngôn ngữ kí hiệu.
5 Tại Anh, bảng chữ cái bằng tay cũng đã được sử dụng cho một số mục đích, chẳng hạn như thông tin liên lạc bí mật, [6] nói trước công chúng, hay giao tiếp của người khiếm thính. [7] Năm 1648, John Bulwer mô tả "Master Babington", một người đàn ông bị điếc thành thạo trong việc sử dụng một bảng chữ cái, người vợ có thể trò chuyện với anh ta một cách dễ dàng, ngay cả trong bóng tối thông qua việc sử dụng các ký hiệu xúc giác . [8] Năm 1680, George Dalgarno bố một nghiên cứu [9] , trong đó ông đã trình bày phương pháp riêng của mình về giáo dục người khiếm thính, trong đó có một bảng chữ cái "arthrological", bằng cách chỉ vào các khớp khác nhau của các ngón tay và lòng bàn tay của bàn tay trái. Hệ thống Arthrological đã được sử dụng một thời gian. Hình 1.1: Ngôn ngữ kí hiệu trong hệ thống Arthrological Ngôn ngữ kí hiệu thường có khá ít mối liên hệ với ngôn ngữ cho tiếng nói của các vùng mà ngôn ngữ đó phát sinh sinh. Mối tương quan giữa ký hiệu và ngôn ngữ nói là phức tạp và khác nhau tùy thuộc vào quốc gia hơn là phụ thuộc chỉ vàocác ngôn ngữ nói. Ví dụ, Mỹ, Canada, Anh, Úc và New Zealand đều có tiếng Anh là ngôn ngữ chính của họ, nhưng ngôn ngữ American Sign (ASL), được sử dụng ở Mỹ và hầu hết các bộ phận của Canada, có nguồn gốc từ Ngôn ngữ ký hiệu của Pháp trong khi nó khác biệt với phương ngữ trong ngôn ngữ kí hiệu của Anh, Úc và New Zealand [17] Tương tự như vậy, các ngôn ngữ kí hiệu của Tây Ban Nha và Mexico là rất khác nhau, mặc dù Tây Ban Nha là ngôn ngữ quốc gia của mỗi nước, [18] và ngôn ngữ ký hiệu được sử dụng trong
6 Bolivia dựa trên ASL hơn bất kỳ ngôn ngữ ký hiệu được sử dụng trong một quốc gia Tây Ban Nha [19] Biến thể cũng phát sinh trong một ngôn ngữ ký hiệu 'quốc gia' mà không nhất thiết phải tương ứng với sự khác biệt phương ngữ trong ngôn ngữ nói quốc gia; đúng hơn, chúng thường có thể tương quan đến vị trí địa lý của cộng đồng người điếc. [20] [21] 1.2. Đặc điểm ngôn ngữ học của ngôn ngữ ký hiệu Cũng như ngôn ngữ nói, ngôn ngữ ký hiệu của từng quốc gia, thậm chí là từng khu vực trong một quốc gia rất khác nhau. Điều đó là do mỗi quốc gia, khu vực có lịch sử, văn hóa, tập quán khác nhau nên ký hiệu để biểu thị sự vật hiện tượng cũng khác nhau. Chẳng hạn, cùng chỉ tính từ màu hồng thì ở Hà Nội người ta xoa vào má (má hồng), còn tại Thành phố Hồ Chí Minh lại chỉ vào môi (môi hồng). Điều tương tự cũng diễn ra khi có sự khác biệt lớn hơn trên tầm quốc gia, dẫn tới sự khác biệt của hệ thống từ vựng và ngữ pháp ngôn ngữ ký hiệu giữa các nước. Tuy nhiên, ký hiệu tất cả mọi nơi trên thế giới đều có những điểm tương đồng nhất định. Ví dụ: ký hiệu ‘uống nước’ thì nước nào cũng làm như nhau là giả bộ cầm cốc uống nước, ký hiệu ‘lái ô tô’ thì giả bộ cầm vô lăng ô tô quay quay, v.v. Mỗi người (dù bình thường hay câm điếc) đều có sẵn 30% kiến thức ngôn ngữ ký hiệu. Do ngôn ngữ ký hiệu phát triển hơn trong cộng đồng người khiếm thính, nên những người thuộc cộng đồng này của hai nước khác nhau có thể giao tiếp với nhau tốt hơn hai người bình thường nhưng mà không biết ngoại ngữ. Hai đặc điểm quan trọng nhất của NGÔN NGỮ KÍ HIỆU là tính giản lược và có điểm nhấn, VD: Tiếng Anh: “Today it is not so much beautiful as the sky clouds make gloomy” NGÔN NGỮ KÍ HIỆU: "It is NOT BEAUTIFUL, sky CLOUDS make GLOOMY ".
7 Do tính giản lược và có điểm nhấn nên cấu trúc ngữ pháp ngôn ngữ ký hiệu nhiều khi không thống nhất, cùng một câu có thể sắp xếp nhiều cách khác nhau (thường thì điểm nhấn được đưa lên đầu câu để gây hiệu quả chú ý). Một quan niệm sai lầm phổ biến là ngôn ngữ ký hiệu phụ thuộc vào ngôn ngữ nói. Ngôn ngữ kí hiệu, giống như tất cả các ngôn ngữ tự nhiên, được phát triển bởi những người sử dụng chúng, trong trường hợp này, những người khiếm thính, những người có thể có ít hoặc không có kiến thức của bất kỳ ngôn ngữ nói nào. Khi phát triển ngôn ngữ kí hiệu, đôi khi phải vay mượn các yếu tố từ ngôn ngữ nói, cũng giống như tất cả các ngôn ngữ vay mượn từ các ngôn ngữ khác. Trong nhiều ngôn ngữ kí hiệu, một bảng chữ cái (fingerspelling) có thể được sử dụng trong giao tiếp bằng cách vay một từ từ một ngôn ngữ nói, bằng cách quy định các chữ cái. Điều này thường được sử dụng cho tên riêng của người và nơi chốn; nó cũng được sử dụng trong một số ngôn ngữ cho các khái niệm mà không có kí hiệu có sẵn tại thời điểm đó. Fingerspelling đôi khi có thể là một nguồn gốc của những kí hiệu mới, chẳng hạn như kí hiệu khởi tạo Nhìn chung, mặc dù, ký ngôn ngữ độc lập với ngôn ngữ nói và phát triển theo con đường riêng. Ví dụ, Ngôn ngữ ký hiệu Anh và Ngôn ngữ ký hiệu Mỹ (ASL) là khá khác nhau và đôi bên cùng khó hiểu, mặc dù những người nghe của Anh và Mỹ có cùng ngôn ngữ nói. Các văn phạm của ngôn ngữ kí hiệu thường không giống ngôn ngữ nói được sử dụng trong các khu vực địa lý tương tự; trên thực tế, về mặt cú pháp, ASL có mối quan hệ với tiếng Nhật nhiều hơn là với tiếng Anh. Tương tự như vậy, các nước có sử dụng một ngôn ngữ nói duy nhất có thể có hai hoặc nhiều ngôn ngữ kí hiệu, hoặc một khu vực chứa nhiều hơn một ngôn ngữ nói có thể chỉ sử dụng một ngôn ngữ ký hiệu. Ở Nam Phi , có 11 ngôn ngữ
8 nói chính thức và một số lượng tương tự khác sử dụng rộng rãi ngôn ngữ nói. Tuy nhiên nó chỉ có một ngôn ngữ ký hiệu với hai biến thể do lịch sử của việc có hai tổ chức giáo dục lớn dành cho người điếc ở các khu vực địa lý khác nhau. 1.3. Ngôn ngữ ký hiệu Việt Nam Việt Nam có khoảng 2,5 triệu người khiếm thính (Theo số liệu của cuộc tổng điều tra dân số và nhà ở VN tháng 12/2009) bao gồm người Điếc, người nghe kém và người mới bị mất thính lực. Do khả năng nghe bị suy giảm nên khả năng giao tiếp bằng lời nói tự nhiên của người khiếm thính rất hạn chế. Vì vậy, để đáp ứng nhu cầu giao tiếp, người khiếm thính phải sử dụng một thứ ngôn ngữ đặc biệt: Ngôn ngữ kí hiệu. Ngôn ngữ kí hiệu là ngôn ngữ chủ yếu được cộng đồng người khiếm thính sử dụng nhằm chuyển tải thông tin qua cử chỉ, điệu bộ, nét mặt thay cho lời nói. Hiện nay, ở Việt Nam, cả ba thuật ngữ ngôn ngữ kí hiệu, ngôn ngữ kí hiệu hay thủ ngữ đều đang được sử dụng để chỉ hệ thống cử chỉ, nét mặt mà người khiếm thính dùng để giao tiếp. Tuy nhiên, hai thuật ngữ Thủ ngữ và Ngôn ngữ kí hiệu là không thực sự chính xác vì thủ ngữ theo tiếng Hán có nghĩa là “ngôn ngữ của đôi tay, ngôn ngữ bằng tay”. Tuy nhiên tất cả các ngôn ngữ kí hiệu trên thế giới đều có 5 phương tiện và cách thức biểu hiện sau: - Vị trí của bàn tay - Hình dạng bàn tay - Hướng của lòng bàn tay - Hướng của chuyển động lòng bàn tay - Biểu hiện của nét mặt . Những điểm khác biệt trong ngữ pháp cấu tạo từ của ngôn ngữ kí hiệu và tiếng Việt chứng tỏ ngôn ngữ kí hiệu Việt Nam là một ngôn ngữ đích thực,
9 có ngữ pháp riêng biệt, độc lập với tiếng Việt. Nó hoàn toàn đáp ứng được vai trò là một hệ thống các tín hiệu đáp ứng được nhu cầu giao tiếp và là công cụ tư duy của người khiếm thính. Sử dụng ngôn ngữ kí hiệu, người dạy có thể truyền đạt một cách hữu hiệu nội dung kiến thức đến cho những học trò khiếm thính. hiệu chính là ngôn ngữ mẹ đẻ, ngôn ngữ thứ nhất của người khiếm thính. 1.4. Các phương pháp nhận biết ngôn ngữ kí hiệu Để xây dựng được một hệ thống nhận biết ngôn ngữ kí hiệu có khá nhiều phương pháp, sau đây chỉ giới thiệu về hai phương pháp nhận biết phổ biến được nghiên cứu trên thế giới: Nhận biết bằng phân tích hình ảnh và nhận biết bằng hệ cảm biến. 1.4.1. Nhận biết bằng phân tích hình ảnh Xử lý ảnh là một ngành khoa học có rất nhiều ứng dụng trong thực tế, như chơi game, điều khiển tự động hoặc mô phỏng chuyển động và nó cũng đã được áp dụng trong nghiên cứu về ngôn ngữ kí hiệu. Nhận biết ngôn ngữ kí hiệu qua qua ảnh (hoặc camera hay video) đã được nghiên cứu và phát triển từ lâu. Các ứng dụng dựa trên xử lý ảnh thu được các kết quả tốt và ngày càng phát triển mạnh mẽ. Để nhận dạng ngôn ngữ kí hiệu bằng phân tích hình ảnh, việc đầu tiên cần thiết phải làm là tìm những vùng có thông tin bên trong hình ảnh. Camera sẽ theo dõi sự di chuyển của bàn tay những người khiếm thính và sẽ lọc ra chuỗi hình ảnh phù hợp. Ngôn ngữ kí hiệu được nhận biết dựa trên hình ảnh và sự di chuyển của tay trích xuất từ các hình ảnh trên. Khả năng nhận biết của ngôn ngữ kí hiệu theo phương pháp này là phụ thuộc nhiều vào khoảng cách, tuỳ thuộc vào độ xa gần mà cho ta sự nhận biết có thể là chính xác hay không chính xác. Ngoài ra chất lượng hình ảnh cũng
10 ảnh hưởng nhiều đến kết quả, nhưng với sự phát triển mạnh mẽ của các thiết bị máy ảnh hay camera nâng cao rất nhiều chất lượng theo phương pháp này. 1.4.2. Nhận biết bằng cảm biến Khác với phương pháp sử dụng hình ảnh, phương pháp này thu thập dữ liệu từ bàn tay thông qua một hệ thống các cảm biển gắn trực tiếp trên bàn tay rồi truyền dữ liệu về PC để xử lý. Hình 1.1. Mô hình hệ thống nhận dạng bàn tay Hệ nhận biết bằng cảm biến bao gồm các thành phần:  Một máy tính xử lý dữ liệu.  Một hệ vi điều khiển thu thập dữ liệu.  Hệ thống loa (hoặc màn hình hiển thị).  Hệ thống cảm biến. Tay người có 17 điểm tích cực: 3 điểm trên mỗi ngón trỏ, ngón giữa, ngón áp út, ngón út, ngón cái và trên cổ tay. Chúng ta không cần lấy thông tin về tất cả các điểm để có thể nhận dạng bàn tay, mà chỉ cần các điểm quan trọng mà từ đó có thể mô phỏng lại được tư thế bàn tay khác nhau và gắn cảm biến vào các điểm đó để thu thập các thông số.
11 Thông số thu về từ hệ cảm biến sẽ thay đổi tùy theo các biến đổi trên bàn tay, sau đó truyền các thông số thu được cho vi điều khiển, vi điều khiển sẽ chuyển dữ liệu thành các chuẩn được quy định trước và truyền dữ liệu cho máy tính xử lý, kết quả sẽ được đưa ra loa hoặc hiển thị dạng văn bản trên màn hình. Do không thể truyền trực tiếp dữ liệu từ hệ cảm biến về máy tính nên cần hệ thống vi điều khiển làm trung gian kết nối với máy tính, tuy nhiên với sự phát triển của hệ thống nhúng hiện nay, hệ vi điều khiển có thể rất mạnh mẽ thay thế được cho các máy tính với cấu hình cao (tương tự như các smartphone) nên có thể không cần máy tính để xử lý dữ liệu, chúng có thể trực tiếp xử lý dữ liệu và xuất ra các thiết bị nghe nhìn bằng các chuẩn có sẵn. Trong phạm vi của luận văn này, học viên áp dụng phương pháp thứ hai, ngoài các thuận lợi của phương pháp này, hệ thống có khả năng áp dụng sang các lĩnh vực khác như điều khiển tự động, giao tiếp người-máy, thực tại ảo, ...
12 CHƯƠNG 2 GĂNG TAY CẢM BIẾN Như đã trình bày ở chương 1, học viên xây dựng hệ thống nhận dạng theo phương pháp sử dụng hệ thống cảm biến thu thập dữ liệu. Hệ thống bao gồm 2 phần, phần thứ nhất là thiết bị găng tay gồm hệ các cảm biến gắn trên một găng tay để cố định vị trí các cảm biến và phần hệ vi điều khiển để thu thập và truyền tải dữ liệu. Trong chương này học viên trình bày về cấu tạo và cách hoạt động của găng tay cảm biến. Hệ thống hoạt động dựa trên việc thu thập dữ liệu từ hệ thống các cảm biến gắn trên bàn tay thực. Để mô phỏng lại bàn tay học viên sử dụng 2 loại cảm biến: cảm biến độ cong gắn trên các ngón tay và cảm biến gia tốc gắn trên lưng của bàn tay. Phần hệ vi điều khiển học viên sử dụng KIT dựa trên Chip ATmega324U thuộc họ AVR. 2.1. Cảm biến cong Hình 2.1.Cảm biến độ cong Để xác định độ cong của các ngón tay, học viên sử dụng cảm biến độ uốn cong gắn dọc theo trục của các ngón tay. Cảm biến độ cong là một thanh điện trở dài mà điện trở sẽ thay đổi theo độ uốn cong của thanh, thanh càng cong lớn thì sẽ có điện trở càng lớn. Cảm biến được gắn cố định theo các khớp chuyển động trong các thiết bị để tính toán, được sử dụng trong các ứng dụng robot, xây dựng đơn giản hay các thiết bị y tế, vật lý trị liệu.
13 Cảm biến học viên sử dụng trong thiết bị là loại dài 2,2 inch, độ dài phù hợp để gắn trên ngón tay bao phủ một khớp, một ngón tay gắn 2 cảm biến. Thẳng Bẻ cong 45o Bẻ cong 90o Hình 2.2.Các vị trí của cảm biến độ cong Ở trạng thái thẳng điện trở của thanh là 25kΩ (có thể có sai số), khi uốn cong tối đa điện trở thanh sẽ tăng lên đến 45kΩ. Hình 2.3. Mô hình các cảm biến gắn trên găng tay Cách sử dụng cảm biến cong: Cảm biến cong được gắn trên các ngón tay , mỗi ngón tay 2 cảm biến gắn trên 2 khớp tích cực, khớp đầu ngón tay không có khả năng chuyển động tự do và cũng không quá ảnh hưởng đến quá trình nhận dạng nên bỏ qua. Riêng ngón cái chỉ 2 cảm biến cong là không đủ,