Tóm tắt bài giảng Lý thuyết thông tin

TOÙM TAÉT BAØI GIAÛNG<br /> LYÙ THUYEÁT THOÂNG TIN<br /> <br /> CHÖÔNG 1:<br /> <br /> TIN TÖÙC<br /> <br /> 1-1 HEÄ THOÁNG TRUYEÀN TIN (HT3)<br /> Nguoàn<br /> tin<br /> <br /> Si(t)<br /> <br /> Kênh tin<br /> <br /> S0(t)<br /> <br /> Nhận tin<br /> <br /> Nhieãu<br /> <br /> <br /> Nguoàn tin:<br /> <br /> + Laø taäp hôïp caùc tin HT3 duøng ñeå laäp caùc baûn tin khaùc<br /> nhau trong söï truyeàn.<br /> + Nguoàn tin ñöôïc moâ hình hoaù toaùn hoïc baèng boán quaù<br /> trình sau:<br /> - Quaù trình ngaãu nhieân lieân tuïc.<br /> Quaù trình ngaãu nhieân rôøi raïc.<br /> - Daõy ngaãu nhieân lieân tuïc.<br /> - Daõy ngaãu nhieân rôøi raïc.<br /> <br /> <br /> Keânh tin: laø nôi dieãn ra söï truyeàn lan cuûa tín hieäu<br /> mang tin vaø chòu taùc ñoäng cuûa nhieãu.<br /> S0(t) = Nm (t). Si(t) + Na(t)<br /> <br /> + Si(t): Tín hieäu vaøo & S0(t): tín hieäu ra cuûa keânh tin<br /> + Nm (t), Na(t) : ñaëc tröng cho nhieãu nhaân, nhieãu coäng.<br /> Lyù thuyeát thoâng tin<br /> <br /> trang: 1<br /> <br /> <br /> <br /> Nhaän tin: laø ñaàu cuoái cuûa HT3 laøm nhieäm vuï khoâi<br /> phuïc tin töùc ban ñaàu.<br /> Nguoàn tin (1)<br /> <br /> Nhaän tin (1’)<br /> <br /> Maõ hoùa nguoàn (2)<br /> <br /> Giaûi maõ nguoàn (2’)<br /> <br /> Maõ hoùa keânh (3)<br /> <br /> Giaûi maõ keânh (3’)<br /> <br /> Boä ñieàu cheá (4)<br /> <br /> Giaûi ñieàu cheá (4’)<br /> <br /> Phaùt cao taàn (5)<br /> <br /> Keânh tin<br /> <br /> Thu cao taàn (5’)<br /> <br /> Heä thoáng truyeàn tin soá (rôøi raïc)<br /> <br /> <br /> Hai vaán ñeà cô baûn cuûa heä thoáng truyeàn tin:<br /> <br /> + Vaán ñeà hieäu suaát, noùi caùch khaùc laø toác ñoä truyeàn tin<br /> cuûa heä thoáng.<br /> + Vaán ñeà ñoä chính xaùc, noùi caùch khaùc laø khaû naêng<br /> choáng nhieãu cuûa heä thoáng.<br /> 1-2 SOÁ ÑO THOÂNG TIN<br /> a. Löôïng ño tin töùc: Nguoàn A coù m tín hieäu ñaúng xaùc<br /> xuaát, moät tin do nguoàn A hình thaønh laø moät daõy n<br /> kyù hieäu ai baát kyø (ai  A).<br /> Lyù thuyeát thoâng tin<br /> <br /> trang: 2<br /> <br /> –<br /> <br /> Löôïng tin chöùa trong moät ai baát kyø:<br /> I(ai)=logm<br /> <br /> -<br /> <br /> (1)<br /> <br /> Löôïng tin chöùa trong moät daõy x goàm n kyù hieäu:<br /> I(x) = n.log m<br /> <br /> (2)<br /> <br /> Ñôn vò löôïng ño thoâng tin thöôøng ñöôïc choïn laø<br /> cô soá 2.<br /> -<br /> <br /> Khi m kyù hieäu cuûa nguoàn tin coù xaùc xuaát khaùc<br /> nhau vaø khoâng ñoäc laäp thoáng keâ vôùi nhau thì<br /> I(xi) = log (1/p(ai))<br /> <br /> <br /> <br /> (3)<br /> <br /> Löôïng tin rieâng:<br /> I(xi) = -log p(xi)<br /> <br /> (4)<br /> <br /> Laø löôïng tin ban ñaàu ñöôïc xaùc ñònh baèng xaùc<br /> xuaát tieân nghieäm.<br /> <br /> <br /> Löôïng tin coøn laïi cuûa xi sau khi ñaõ nhaän ñöôïc yj<br /> ñöôïc xaùc ñònh baèng xaùc xuaát haäu nghieäm.<br /> x<br /> I ( xi / yi )   log p( i )<br /> (5)<br /> yj<br /> <br /> <br /> <br /> Löôïng tin töông hoã:<br /> <br /> p(<br /> I ( xi ; yi )  I ( xi )  I ( xi / yi )  log<br /> <br /> <br /> xi<br /> )<br /> yj<br /> <br /> p( xi )<br /> <br /> (6)<br /> <br /> Ñaëc tính cuûa löôïng tin:<br /> + I(xi)  I(xi ; yi)<br /> <br /> (7)<br /> <br /> + I(xi)  0<br /> <br /> (8)<br /> <br /> Lyù thuyeát thoâng tin<br /> <br /> trang: 3<br /> <br /> + I(xi.yi) = I(xi) + I(yi) - I(xi; yi)<br /> <br /> (9)<br /> <br /> Khi caëp xi, yj ñoäc laäp thoáng keâ vôùi nhau thì I(xi; yi)<br /> =0<br /> <br /> <br /> Ta coù: I(xi. yi) = I(xi) + I(yi)<br /> (10)<br /> Löôïng tin trung bình: laø löôïng tin töùc trung bình<br /> chöùa trong m kyù hieäu baát kyø cuûa nguoàn ñaõ cho.<br /> <br /> I ( x)   p( x) log p( x)<br /> <br /> (11)<br /> <br /> X<br /> <br /> <br /> <br /> Löôïng tin töông hoã trung bình:<br /> I ( X , Y )   p( x, y) log<br /> XY<br /> <br /> <br /> <br /> p( x / y )<br /> p ( x)<br /> <br /> (12)<br /> <br /> Löôïng tin rieâng trung bình coù ñieàu kieän:<br /> <br /> I (Y / X )   p( x, y) log( y / x)<br /> <br /> (13)<br /> <br /> XY<br /> <br /> b. Entroâpi nguoàn rôøi raïc: laø moät thoâng soá thoáng keâ cô<br /> baûn cuûa nguoàn. Veà yù nghóa vaät lyù ñoä baát ngôø vaø<br /> löôïng thoâng tin traùi ngöôïc nhau, nhöng veà soá ño<br /> chuùng baèng nhau:<br /> <br /> H ( X )  I ( X )   p( x) log p( x)<br /> <br /> (1)<br /> <br /> Entropi: ñoä baát ngôø<br /> <br /> <br /> Ñaëc tính cuûa Entroâpi H(X):<br /> + H(X)  0<br /> + H(X) = 0 khi nguoàn tin chæ coù moät kyù hieäu<br /> + H(X)max khi xaùc suaát xuaát hieän caùc kyù hieäu cuûa<br /> nguoàn baèng nhau.<br /> <br /> Lyù thuyeát thoâng tin<br /> <br /> trang: 4<br /> <br /> (2 taäp tin: xo, yo vôùi po, p1. P1 =1-po<br /> H(x) = -po.logpo –p1.logp1=-po.logpo – (1-po)log(1po)<br /> <br /> <br /> Entroâpi ñoàng thôøi: laø ñoä baát ñònh trung bình cuûa moät<br /> caëp (x,y) baát kyø trong tích XY.<br /> <br /> H ( XY )    p( x, y) log p( x, y)<br /> <br /> (2)<br /> <br />  XY<br /> <br /> <br /> <br /> Entroâpi coù ñieàu kieän:<br /> <br /> H ( X / Y )    p( x, y) log p( x / y)<br /> <br /> (3)<br /> <br />  XY<br /> <br /> 1-3 THOÂNG LÖÔÏNG CUÛA KEÂNH THOÂNG TIN:<br /> <br /> <br /> Toác ñoä thieát laäp tin cuûa nguoàn:<br /> R= n0.H(X) (bps)<br /> <br /> (1)<br /> <br /> + H(X); entroâpi cuûa nguoàn.<br /> + n0 : soá kyù hieäu ñöôïc laäp trong moät ñôn vò thôøi gian<br /> <br /> <br /> Thoâng löôïng cuûa keânh C laø löôïng thoâng tin toái ña<br /> keânh cho ñi qua trong moät ñôn vò thôøi gian maø<br /> khoâng gaây sai nhaàm. C(bps)<br /> <br /> <br /> <br /> Thoâng thöôøng R < C, ñeå R tieán tôùi gaàn C ta duøng<br /> pheùp maõ hoaù thoáng keâ toái öu ñeå taêng Entroâpi.<br /> <br /> a. Thoâng löôïng keânh rôøi raïc khoâng nhieãu:<br /> C = Rmax = n0. H(X)max<br /> <br /> (bps)<br /> <br /> (2)<br /> <br /> Ñoä dö cuûa nguoàn:<br /> <br /> Lyù thuyeát thoâng tin<br /> <br /> trang: 5<br /> <br />