zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Kỹ Thuật - Công Nghệ

» Kiến trúc - Xây dựng

Bài giảng Thống kê học ứng dụng trong quản lý xây dựng: Phần 7 - TS. Nguyễn Duy Long

Chia sẻ: Star Star | Ngày: | Loại File: PDF | Số trang:22

Báo xấu

70
lượt xem 10
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Phần 7 - Các kiểm nghiệm giả thuyết về các phần. Chương này gồm có những nội dung chính sau: Các kiểm nghiệm giả thiết về các phần (Testing hypotheses about proportions), phần thêm về kiểm nghiệm. Mời tham khảo để biết thêm các nội dung chi tiết.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Thống kê học ứng dụng trong quản lý xây dựng: Phần 7 - TS. Nguyễn Duy Long

9/8/2010 Phần 07 Nguyễn Duy Long, Tiến Sỹ Bộ môn Thi Công và QLXD ©2010, Nguyễn Duy Long, Tiến Sỹ 1  Các kiểm nghiệm giả thiết về các phần  Phần thêm về kiểm nghiệm ©2010, Nguyễn Duy Long, Tiến Sỹ 2 1
9/8/2010 Testing Hypotheses about Proportions ©2010, Nguyễn Duy Long, Tiến Sỹ 3  Trong thống kê học, một giả thiết đề nghị một mô hình cho thế giới.  Rồi xem về dữ liệu… liệu 1. Nếu dữ liệu nhất quán với mô hình, ta không có lý do để không tin giả thiết. ◦ Dữ liệu nhất quán với mô hình thêm phần hỗi trợ (lend support) giả thiết, nhưng không chứng minh (prove) nó. Hay… 2. Nếu dữ liệu không nhất quán với mô hình, ta cần chọn h xem dữ liệu liệ có ó không khô nhất hấ quán á đủ để không tin vào mô hình. ◦ Nếu chúng không đủ nhất quán, có thể từ chối (reject) mô hình. ©2010, Nguyễn Duy Long, Tiến Sỹ 4 2
9/8/2010  Nghĩ về logic trong xét xử: ◦ Để chứng minh ai đó có tội, ta bắt đầu bằng giả định họ vô tội. tội ◦ Ta giữ lại giả thiết đó đến khi các chứng cứ làm nó không thể vượt ngoài một nghi ngờ hợp lý. ◦ Khi và chỉ khi đó, ta từ chối giả thiết vô tội và tuyên bố người đó có tội.  Logic dùng trong các xét xử được dùng giống trong các kiểm nghiệm giả thiết trong thống kê học: ◦ Bắt đầu đầ bằng bằ giả iả định đị h giả iả thiết là đúng. đú ◦ Xem dữ liệu có nhất quán với giả thiết. ◦ Nếu như vậy, tất cả những gì ta có thể làm là giữ lại giả thiết mà ta đã bắt đầu. Nếu không như vậy, thì như hội thẩm đoàn, ta tự hỏi chúng không thể nằm ngoài một nghi ngờ hợp lý không. ©2010, Nguyễn Duy Long, Tiến Sỹ 5  Công ty xây dựng sản xuất ống bê tông ly tâm và muốn ngăn chặn vết nứt. ◦ Qui trình sản xuất hiện thời cho thấy chỉ 80% ống bê tông là không có vết nứt. ◦ Kỹ thuật mới được kiểm nghiệm với 400 ống bê tông đúc thử có 17% bị nứt. ◦ Công ty tranh luận về việc chuyển qui trình mới này, nhưng sẽ mất thời gian và tiền bạc.  Công ty này muốn biết họ có thể kết luận một cách hợp lý rằng qui trình mới cải thiện vấn đề nứt. ©2010, Nguyễn Duy Long, Tiến Sỹ 6 3
9/8/2010  Đặc tính thống kê là ta có thể định lượng mức độ nghi ngờ của chúng ta. ◦ Có thể dùng mô hình được đề nghị bởi giả thiết để tính xác suất mà biến cố ta chứng kiến có thể xảy ra.  Xác suất đó được gọi là giá trị p (p-value). ◦ Giá trị p càng nhỏ, biến cố càng ít xảy ra, cho giả thiết đúng. ©2010, Nguyễn Duy Long, Tiến Sỹ 7  Giả thiết rỗng (null hypothesis), viết tắt H0, mô tả thông số mô hình quần thể đang quan tâm và đề nghị một giá trị cho thông số đó. đó ◦ Ví dụ, H0: p = 0.20, như trong ví dụ sự nứt của ống bê tông  Ta muốn so sánh dữ liệu của chúng ta với giá trị mà ta kỳ vọng với H0 là đúng. ◦ Có thể làm điều này bằng cách tìm ra bao nhiêu độ lệch chuẩn từ giá trị đề nghị.  Sẽ hỏi cơ hội có kết quả đó nếu giả thiết rỗng là đúng. ©2010, Nguyễn Duy Long, Tiến Sỹ 8 4
9/8/2010  Kiểm nghiệm giả thiết giống với xét xử ở tòa án.  Giả thiết rỗng là bị can vô tội.  Rồi ồ trình bày chứng cứ - dữ liệu được thu thập.  Rồi đánh giá chứng cứ: “Các dữ liệu này khả dĩ xảy ra một cách hợp lý và tình cờ nếu giả thiết rỗng đúng?”  Cuối cùng, ta phải quyết định “không khả dĩ ra sao về vấn đề không khả dĩ (How unlikely is “unlikely”?) ◦ Một số người đặt những tiêu chuẩn cứng – 1 của 20 (0(0.05) 05) hay 1 của 100 (0.01). ◦ Nhưng nếu bạn phải ra quyết định, bạn phải phán xét trong tình huống cụ thể là xác suất đủ nhỏ để có “nghi ngờ hợp lý” (“reasonable doubt”) ©2010, Nguyễn Duy Long, Tiến Sỹ 9  Khi dữ liệu nhất quán với mô hình từ giả thiết rỗng, giá trị p cao và ta không thể bác bỏ giả thiết rỗng. ◦ T Ta phải hải giữ iữ giả iả thiết rỗng. ỗ ◦ Nếu ta không thể chứng minh nó; ta không chấp nhận giả thiết rỗng… ◦ … thay vào đó, ta “thất bại trong việc bác bỏ giả thiết rỗng” (“fail to reject the null hypothesis”) khi dữ liệu nhất quán với mô hình giả thiết rỗng và phù hợp với những gì ta có thể kỳ vọng từ sự biến đổi trong lấy mẫu (natural sampling variability).  Nếu giá Nế iá trịị p là đủ nhỏ, hỏ ta sẽ “bác “bá bỏ giả iả thiết hiế rỗng” ỗ ” (“reject the null hypothesis”) vì những gì ta quan sát thấy là rất không thể mô hình rỗng đúng. ©2010, Nguyễn Duy Long, Tiến Sỹ 10 5
9/8/2010  Nếu chứng cứ là không đủ mạnh để bác bỏ giả định vô tội, bồi thẩm đoàn sẽ tuyên “vô tội” (“not guilty”)  Trong thống ố kê học, ta thất ấ bại trong việc bác bỏ giả thiết rỗng. ◦ Không bao giờ tuyên bố giả thiết rỗng là đúng. ◦ Thỉnh thoảng ta nói giả thiết rỗng vẫn được giữ.  Trong xét xử, trách nhiệm chứng minh thuộc về bên khởi tố.  Trong kiểm nghiệm giả thiết, trách nhiệm chứng minh thuộc về các xác nhận không thường. ◦ Giả thiết rỗng là bình thường, giả thiết thay thế (alternative hypothesis) là không bình thường. ©2010, Nguyễn Duy Long, Tiến Sỹ 11  Bốn phần cơ bản của một kiểm nghiệm giả thiết: 1. Các giả thiết (Hypotheses) 2. Mô hình (Model) 3. Sự tính toán (Mechanics) 4. Kết luận (Conclusion)  Xem chi tiết tiếp sau đây… ©2010, Nguyễn Duy Long, Tiến Sỹ 12 6
9/8/2010 1. Các giả thiết ◦ Giả thiết rỗng: để thực hiện một kiểm nghiệm giả iả thiết, thiết trước t ướ tiên tiê phải hải chuyển h ể câuâ hỏi ta t quan tâm thành một phát biểu về các tham số của mô hình.  Tổng quát, ta có H0: tham số (parameter) = giá trị được giả thiết (hypothesized value). ◦ Giả thiết hiế thay h thế:hế giả iả thiết hiế thay h thế, hế HA, chứa hứ các giá trị của tham số mà ta chấp nhận nếu ta bác bỏ giả thiết rỗng. ©2010, Nguyễn Duy Long, Tiến Sỹ 13 2. Mô hình  Để bắt đầu mộtộ kiểm nghiệm g ệ g giả thiết,, chỉ ra mô hình mà bạn sẽ dùng để kiểm nghiệm giả thiết rỗng và thông số quan tâm.  Tất cả các mô hình đều cần các giả định, phát biểu các giả định và kiểm tra các điều kiện tương ứng.  Bạn có thể kết thúc với một phát biểu như sau: ◦ “Vì các điều kiện đã thỏa, tôi có thể mô hình phân phối mẫu của phần với một mô hình chuẩn.” ◦ Có thể có trường hợp bạn sẽ nói “Vì các điều kiện không thỏa, tôi không thể tiếp tục với sự kiểm nghiệm.” ©2010, Nguyễn Duy Long, Tiến Sỹ 14 7
9/8/2010  Các điều kiện cần thiết cho kiểm nghiệm z một phần (one-proportion z-test) giống với khoảng z một phần (one proportion z-interval). Ta kiểm nghiệm giả thiết H0: p = p0 tính trị số thống kê kiểm nghiệm, z: z   pˆ  p0  SD  pˆ  p0 q0 Điểm quan trọng nhưng dễ sai: để với SD  pˆ   n tính SD dùng giá trị po  Khi các điều ề kiện thỏa và giả thiết ế rỗng ỗ là đúng, trị số ố thông kê nghiểm nghiệm này theo mô hình chuẩn tắc, vì thế ta có thể dùng mô hình này để có giá trị p. Bảng z, có z để tìm giá trị p ©2010, Nguyễn Duy Long, Tiến Sỹ 15 3. Tính toán  Tính trị số thông kê kiểm nghiệm từ dữ liệu.  Các kiểm ể nghiệm khác nhau có các công thức khác nhau và trị số thống kê kiểm nghiệm khác nhau.  Sau tính toán, ta có giá trị p. ◦ Giá trị p là xác suất mà giá trị thống kê được quan sát có thể xảy ra nếu mô hình rỗng đúng. Nói cách khác, giá trị p là xác suất có điều kiện: xác suất mà các kết quả quan sát át có ó thể xảyả ra nếu ế giả iả thiết rỗng ỗ là đúng. đú ◦ Nếu p đủ nhỏ, ta bác bỏ giả thiết rỗng. ©2010, Nguyễn Duy Long, Tiến Sỹ 16 8
9/8/2010 4. Kết luận ◦ Kết luận về một kiểm nghiệm giả thiết luôn là một phát biểu về giả thiết rỗng. ◦ Kết luận phải luôn phát biểu hoặc bác bỏ hoặc giữ (thất bại trong việc bác bỏ giả thiết rỗng). ◦ Kết luận nên phát biểu trong ngữ cảnh của nó. ©2010, Nguyễn Duy Long, Tiến Sỹ 17 1. Tùy thuộc vào ta kiểm nghiệm gì và quan tâm tìm kiếm gì, có ba giả thiết thay thế khả dĩ: 1. HA: thông số < giá trị được giả thiết hay 2. HA: thông số ≠ giá trị được giả thiết hay 3. HA: thông số > giá trị được giả thiết ©2010, Nguyễn Duy Long, Tiến Sỹ 18 9
9/8/2010  HA: thông số ≠ giá trị được gọi là thay thế 2 phương (two-sided alternative) vì ta quan tâm sự chệch cả hai bên của giá trị giả thiết ế rỗng. ỗ  Cho thay thế hai phương, giá trị p là xác suất lệch theo hai hướng từ giá trị giả thiết rỗng. ©2010, Nguyễn Duy Long, Tiến Sỹ 19  Hai giả thiết thay thế khác được gọi là thay thế một phương (one-sided alternatives).  Th thế một Thay ột phương hươ tậ trung tập t các á độ lệch lệ h từ giá iá trị giả thiết rỗng chỉ theo một hướng.  Giá trị p cho thay thế một phương là xác suất lệch chỉ một hướng của sự thay thế từ giá trị giả thiết rỗng. ©2010, Nguyễn Duy Long, Tiến Sỹ 20 10
9/8/2010  Đâu là giả thiết rỗng và giả thiết thay thế dùng trong các tình huống sau? 1. Sản ả xuấtấ ống ố bê tông ô l tâm ly â trong víí dụ d trên ê 2. Bạn muốn biết nếu dùng một loại thảo dược trong hai tháng có thể giảm cân. 3. Bạn là một chủ tiệm spa, bạn muốn biết nếu quảng cáo trên báo của bạn hiệu quả (đo lường bằng số khách hàng hằng tuần) 4. Ban nghĩ rằng tiêu thụ nhiên liệu của xe cẩu của bạn có thể khác với tiêu thụ đưa ra của nhà sản xuất. ©2010, Nguyễn Duy Long, Tiến Sỹ 21  Giá trị p nhỏ ra sao để bạn có thể bác bỏ giả thiết rỗng?  Tiêu chí quyết ế định phụ thuộc tình huống. ố  Yếu tố nữa để chọn giá trị p là tầm quan trọng của vấn đề cần kiểm nghiệm.  Đừng chỉ tuyên bố giả thiết rỗng là bị bác hay không bị bác. ◦ Báo cáo giá trị p để thể hiện “sức mạnh” của chứng cứ đối với giả thiết. ©2010, Nguyễn Duy Long, Tiến Sỹ 22 11
9/8/2010  Trở lại ví dụ: Với qui trình hiện tại có 80% ống bê tông không bị nứt. Kỹ thuật mới được thử nghiệm sản xuất 400 ống có kết quả 17% bị nứt. nứt  Công ty bê tông muốn biết kỹ thuật mới giảm tỷ lệ nứt không. 1. Phát biểu giả thiết. (Ho) 2. Chỉ ra mô hình và kiểm tra các điều kiện cần thiết để sử dụng nó. 3. Nếu có thể tiếp tục từ bước 2, tính trị số thông kê kiểm nghiệm và giá trị p 4. Kết luận ©2010, Nguyễn Duy Long, Tiến Sỹ 23  Giá trị p là 0.0668. Chỉ 6.7% khả năng kết quả từ qui trình thử nghiệm là do sự biến đổi tự nhiên variation) Ta có thể bác bỏ giả thiết (natural variation). rỗng?  Trong thực tế, ta chỉ ra giá trị “trần” (cut-off) cho giá trị p trước khi phân tích. ◦ Nếu ta chọn 5%, ta sẽ giữ lại giả thiết rỗng. ©2010, Nguyễn Duy Long, Tiến Sỹ 24 12
9/8/2010  Tại một vùng xa chỉ khoảng 30% giếng được đào là tìm đủ nước ở độ sâu 30 mét hay nhỏ hơn. Một người đàn ông địa phương cho rằng có thể tìm nước bằng cách “dò mạch nước” – dùng gậy để chỉ giếng nên đào ở đâu. Bạn kiểm tra 80 khách hàng của anh ta và thấy rằng 27 khách hàng có giếng 30 mét hay nhỏ hơn. Bạn kết luận gì về “thủ pháp” của anh ta? Biết rằng giá trị p khoảng 5% để có chứng cứ xác đáng. ©2010, Nguyễn Duy Long, Tiến Sỹ 25 More about tests ©2010, Nguyễn Duy Long, Tiến Sỹ 26 13
9/8/2010  Khi giá trị p nhỏ, cho ta biết dữ liệu là hiếm với giả thiết rỗng đã cho.  Hiếm như thế nào là “hiếm”? hiếm ? Ta có thể xác định sự kiện hiếm một cách tùy tiện bằng cách đặt một ngưỡng cho giá trị p của ta. ◦ Nếu p dưới điểm đó, ta bác bỏ H0. Ta gọi kết quả là đáng kể về mặt thông kê (statistically significant) hay ta có thể nói là kiểm nghiệm là đáng kể ở mức đó (“significant at that level”). ◦ Ngưỡng này là mức alpha, còn gọi là mức đáng kể (significance level), viết tắt . ◦ Các mức alpha là 0.10, 0.05, và 0.01.  Bạn nói gì nếu giá trị p là không thấp hơn ? ◦ Bạn không chấp nhận giả thiết rỗng. Bạn chỉ giữ lại hay thất bại trong bác bỏ nó. ©2010, Nguyễn Duy Long, Tiến Sỹ 27  Ý bạn là gì khi nói kiểm nghiệm là đáng kể về thống kê (statistically significant)? ◦ Ý ta là trị số thống kê kiểm nghiệm, nghiệm z, z có giá trị p tương ứng thấp hơn mức alpha mà bạn chọn.  Đừng nghĩ rằng đáng kể về thống kê thì tự động có tầm quan trọng hay ảnh hưởng thực tiễn. ◦ Ta có một sự thay đổi nhỏ (nhỏ hơn 1%) đáng kể về thống kê, nếu kích thước mẫu đủ lớn.  Mặt khác, nếu mẫu không đủ lớn, thậm chí có sự khác nhau lớn về tài chính hay khoa học cũng có thể không đáng kể về thống kê. ©2010, Nguyễn Duy Long, Tiến Sỹ 28 14
9/8/2010  Ở phần 06, khi tạo mức tin chắc, ta lấy giá trị tới hạn (critical value, z*) tương ứng với mức tin chắc đã chọn. chọn  Ta cũng dùng các giá trị tới hạn trong kiểm nghiệm giả thiết. ◦ z* phụ thuộc vào  và kiểm nghiệm 1 hay 2 phương.  Một khi tính trị thống kê kiểm nghiệm, z, thay vì dùng bảng Z để tìm giá trị p, chỉ kiểm tra nó trực tiếp với các giá trị tới hạn. Ví dụ, với kiểm nghiệm một phương, đuôi trên (upper tail): ◦ z > z*, thì hì bác bá bỏ H0. ◦ z< z*, thất bại trong việc bác bỏ H0. ◦ Vẫn hữu ích khi tìm giá trị p, để định lượng kết quả không khả dĩ ra sao, nếu giả thiết rỗng đúng. ©2010, Nguyễn Duy Long, Tiến Sỹ 29  Một số giá trị tới hạn thường gặp từ mô hình chuẩn ◦ Với đuôi dưới (lower tail), z* âm  1-phương 2-phương 0.05 1.645 1.96 0.01 2.28 2.575 0.001 3.09 3.29 ©2010, Nguyễn Duy Long, Tiến Sỹ 30 15
9/8/2010  Khi giả thiết thay thế là  Khi giả thiết thay thế là một phương, giá trị tới hai phương, giá trị giới hạn đặt tất ấ cả  chỉ h chia hạn hi đôi  cho h hai h i một bên: đuôi: Giá trị tới hạn Giá trị tới hạn Giá trị tới hạn ©2010, Nguyễn Duy Long, Tiến Sỹ Slide 21- 31  Ví dụ này chỉ sự tương ứng giữa trị số thống kê kiểm nghiệm (z), giá trị tới hạn z* , giá trị p và mức alpha, .  Ta đã nghe ĐHBK có 60% nam sinh viên nhưng muốn kiểm tra xem phần trăm này đã thay đổi. Ta chấp nhận mức đáng kể  = 4% như vượt ngoài nghi ngờ hợp lý.  Ta thực hiện lấy mẫu ngẫu nhiên 250 sinh viên ĐHBK và thấy rằng 140 là nam. Giả định rằng các điều kiện thỏa thỏa. 1. Các giả thiết là gì? 2. Giá trị tới hạn z*, với mức alpha đã cho? 3. Tính z, trị số thống kê kiểm nghiệm 4. Ta giữ hay bác bỏ H0? 5. Giá trị p? ©2010, Nguyễn Duy Long, Tiến Sỹ 32 16
9/8/2010  Tóm tắt tính toán: ◦ Ta cần kiểm nghiệm 2 phương với  = 4% z= -1.29, Giá trị = 9.9% =2% =2% Giá trị tới hạn Giá trị tới hạn z* = -2.05 z 2.05 z* = 2.05 z  Vì z > z* hay -1.29 > -2.05, ta giữ H0 hay một cách tương đương,  Giá trị p = .0985 > .02 = α/2, ta giữ H0 ©2010, Nguyễn Duy Long, Tiến Sỹ 33  Khoảng tin chắc và kiểm nghiệm giả thiết được xây dựng với các phép tính giống nhau. ◦ Giống các giả định và điều kiện. kiện ◦ Cả hai dùng giá trị tới hạn, z*.  Có thể xấp xỉ một kiểm nghiệm giả thiết bằng cách xem xét khoảng tin chắc. (sự xấp xỉ sẽ tốt hơn khi p0 và pˆ tiến gần nhau) ◦ Chỉ hỏi giá trị giả thiết rỗng có nhất quán với khoảng tin chắc cho thông số với mức tin chắc tương ứng. ©2010, Nguyễn Duy Long, Tiến Sỹ 34 17
9/8/2010  Vì khoảng tin chắc là hai phương, chúng tương ứng với kiểm nghiệm hai phương. ◦ Tổng quát, quát khoảng tin chắc với mức tin chắc C% tương ứng với kiểm nghiệm hai phương với mức  là 100 – C%.  Mối liện hệ giữa khoảng tin chắc và kiểm nghiệm giả thiết một phương phức tạp hơn. ◦ Khoảng tin chắc với mức tin chắc C% tương ứng với kiểm nghiệm giả thiết một phương với mức  là ½(100 – C)%. ©2010, Nguyễn Duy Long, Tiến Sỹ 35  Thậm chí với nhiều chứng cứ, ta vẫn có thể có kết luận sai.  Khi thực hiện kiểm nghiệm giả thiết, ta có thể sai theo hai cách: 1. Giả thiết rỗng đúng, nhưng ta sai lầm bác bỏ nó – sai sót loại 1 (Type I error). 2. Giả thiết rỗng sai, nhưng ta thất bại trong bác bỏ nó – sai sót loại II (Type II error).  Bốn tình huống trong kiểm nghiệm giả thiết… ©2010, Nguyễn Duy Long, Tiến Sỹ 36 18
9/8/2010  Bốn tình huống trong kiểm nghiệm giả thiết: Sự Thật H0 Đúng H0 Sai Quyết Bác H0 Sai Sót Loại I OK Định của (α) Tôi Giữ H0 OK Sai Sót Loại II (β)  Trở lại với sự tương đồng trong xét xử, nếu thất bại trong luận tội người thật sự có tội là sai sót loại I, sự tương đồng của sai sót loại II là gì? ©2010, Nguyễn Duy Long, Tiến Sỹ 37  Sai sót loại I xảy ra thường xuyên ra sao? ◦ Vì sai sót loại I là bác giả thiết rỗng thật, xác suất tạo sai sót ó loại l i I là mức ứ . ◦ Với  là 5%, ta có 5% cơ hội tạo sai sót loại I ©2010, Nguyễn Duy Long, Tiến Sỹ 38 19
9/8/2010  Khi H0 sai nhưng ta thất bại trong bác bỏ nó, ta tạo ra sai sót loại II. ◦ Khả năng của kiểm nghiệm nhận ra giả thiết sai gọi là sức mạnh (power) của kiểm nghiệm – xác suất bác bỏ đúng giả thiết rỗng sai. ◦ Gán  cho xác suất của sai sót này. Sức mạnh của kiểm nghiệm là 1 – . ◦ Đánh giá  khó hơn vì ta không biết giá trị của thông số. ◦ Không có giá trị duy nhất cho . Thực tế, có một tập các , mỗi giá trị cho mỗi giá trị thông số sai. ©2010, Nguyễn Duy Long, Tiến Sỹ 39  Một cách để tập trung sự chú ý của ta vào một  cụ thể là nghĩ về kích thước ảnh hưởng (effect size).  Ta có thể giảm  cho tất cả các giá trị thông số thay thế bằngg cách tăngg . ◦ Có thể giảm  nhưng tăng cơ hội của sai sót loại I. ◦ “Sức căng” giữ sai sót loại I và II là tất yếu.  Các duy nhất để giảm cả hai loại sai sót là thu thập nhiều dữ liệu hơn. ©2010, Nguyễn Duy Long, Tiến Sỹ 40 20

CÓ THỂ BẠN MUỐN DOWNLOAD

LV.15: Bộ Đồ Án Tốt Nghiệp Chuyên Ngành Cơ Khí

65 tài liệu

2418 lượt tải

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.