Dự thảo tóm tắt Luận án Tiến sĩ Toán học: Lựa chọn biến bằng phương pháp Bayes biến phân với dữ liệu lớn

Chia sẻ: Acacia2510 _Acacia2510 | Ngày: | Loại File: PDF | Số trang:26

Thêm vào BST

Báo xấu

31
lượt xem 1
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu của luận án là đề xuất phương pháp mới khắc phục những hạn chế này, dựa trên phương pháp Bayes biến phân thích nghi với một dạng l1-norm; nghiên cứu mở rộng mô hình này cho trường hợp y là đa biến.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Dự thảo tóm tắt Luận án Tiến sĩ Toán học: Lựa chọn biến bằng phương pháp Bayes biến phân với dữ liệu lớn

I HÅC QUÈC GIA H NËI TR×ÍNG I HÅC KHOA HÅC TÜ NHIN o Thanh Tòng LÜA CHÅN BIN BNG PH×ÌNG PHP BAYES BIN PHN VÎI DÚ LIU LÎN Chuy¶n ng nh : Lþ thuy¸t X¡c su§t v Thèng k¶ To¡n håc M¢ sè: 62.46.01.06 DÜ THO TÂM TT LUN N TIN S TON HÅC H NËI 2018
Cæng tr¼nh ÷ñc ho n th nh t¤i: Tr÷íng ¤i håc Khoa håc Tü nhi¶n - ¤i håc Quèc gia H Nëi Ng÷íi h÷îng d¨n khoa håc: -PGS.TS. TRN MINH NGÅC -TS. TRN MNH C×ÍNG Ph£n bi»n 1:.................................................................................................... Ph£n bi»n 2:.................................................................................................... Ph£n bi»n 3:.................................................................................................... Luªn ¡n s³ ÷ñc b£o v» tr÷îc Hëi çng c§p ¤i håc Quèc gia ch§m luªn ¡n ti¸n s¾ håp t¤i Tr÷íng ¤i håc Khoa håc Tü nhi¶n, ¤i håc Quèc gia H Nëi v o hçi ..... gií ..... ng y ..... th¡ng ..... n«m 20 ... Câ thº t¼m hiºu luªn ¡n t¤i: - Th÷ vi»n Quèc gia Vi»t Nam - Trung t¥m Thæng tin - Th÷ vi»n, ¤i håc Quèc gia H Nëi
MÐ U Lüa chån mæ h¼nh l mët b i to¡n cì b£n trong thèng k¶ công nh÷ trong nhi·u l¾nh vüc khoa håc kh¡c. Gi£ sû r¬ng chóng ta ÷ñc cho mët tªp hñp c¡c mæ h¼nh ph£n ¡nh mët lo¤t c¡c c§u tróc ti·m n«ng trong dú li»u v nhi»m vö l chån trong sè â mët mæ h¼nh gi£i th½ch tèt nh§t ho°c phò hñp nh§t vîi dú li»u. Câ r§t nhi·u ph÷ìng ph¡p lüa chån mæ h¼nh nêi ti¸ng nh÷ ph÷ìng ph¡p hñp lþ cüc ¤i ph¤t, ph÷ìng ph¡p Bayes, ph÷ìng ph¡p thüc nghi»m. Còng vîi sü ph¡t triºn cõa khoa håc v cæng ngh», nhu c¦u thüc hi»n c¡c b i to¡n lîn v phùc t¤p ng y c ng ÷ñc n¥ng cao, ái häi c¦n ph£i ph¡t triºn nhúng thuªt to¡n nhanh phò hñp vîi c¡c b i to¡n â. Ph÷ìng ph¡p Bayes bi¸n ph¥n (Variational Bayes: VB) ra íi nh¬m gi£i quy¸t nhu c¦u thi¸t y¸u â, ÷ñc ph¡t triºn v ùng döng rëng r¢i tø giúa nhúng n«m 1990. Trong nhi·u tr÷íng hñp ta ¢ bi¸t d¤ng mæ h¼nh ho°c ¢ x¡c ành ÷ñc c§u tróc cõa mæ h¼nh. Khi â v§n · c¦n quan t¥m l chån bi¸n cho mæ h¼nh. Nâ l tr÷íng hñp °c bi»t (nh÷ng thæng döng nh§t) cõa b i to¡n lüa chån mæ h¼nh. Gi£ sû Y l bi¸n ÷ñc quan t¥m v X1 , X2 , ..., Xp l tªp c¡c bi¸n ëc lªp câ thº gi£i th½ch hay dü o¡n Y . V§n · °t ra l c¦n chån lüa c¡c bi¸n quan trång, tùc l lüa chån mët tªp con tø p bi¸n â, câ £nh h÷ðng nh§t ¸n Y º ÷a ra mæ h¼nh biºu di¹n tèt nh§t mèi quan h» giúa Y v c¡c bi¸n ÷ñc chån. Möc ti¶u 1. Mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t (Generalized Linear Mixed Models: GLMMs) câ nhi·u ùng döng rëng r¢i trong thüc t¸ nh÷ng lüa chån bi¸n cho GLMMs trong tr÷íng hñp nhi·u bi¸n ÷ñc xem l mët b i to¡n khâ. C¡c ph÷ìng ph¡p lüa chån bi¸n cê iºn th¼ bà h¤n ch¸ bði mët sè ½t bi¸n, ph÷ìng 1
ph¡p cõa Groll et al [29] v Schelldorfer et al [45] câ thº thüc hi»n lüa chån bi¸n cho GLMMs trong tr÷ìng hñp nhi·u bi¸n. Tuy nhi¶n, v¨n cán nhi·u v§n · Do º c£i ti¸n trong c¡ch ti¸p cªn cõa Groll et al [29] v Schelldorfer et al [45]. â möc ti¶u thù nh§t cõa chóng tæi l · xu§t ph÷ìng ph¡p mîi khc phöc nhúng h¤n ch¸ n y, düa tr¶n ph÷ìng ph¡p Bayes bi¸n ph¥n th½ch nghi vîi mët ph¤t d¤ng l1-norm. Möc ti¶u 2. Trong thüc t¸, h¦u h¸t dú li»u ÷ñc ph¡t sinh tø têng thº khæng çng nh§t. º mæ h¼nh hâa dú li»u nh÷ vªy th¼ mæ h¼nh hçi quy hén hñp (Mixtures Regression Models: MRMs) ÷ñc cho l phò hñp nh§t v¼ nâ cho ph²p mæ t£ chi ti¸t ph¥n phèi cõa tøng cöm dú li»u. Câ hai v§n · c¦n gi£i quy¸t trong b i to¡n lüa chån mæ h¼nh ð ¥y, thù nh§t l x¡c ành sè th nh ph¦n hay sè cöm dú li»u v thù hai l chån bi¸n cho mæ h¼nh. C¡c ph÷ìng ph¡p cê iºn th÷íng thüc hi»n ri¶ng r³ hai v§n · n y v ë ch½nh x¡c ch÷a cao. º t«ng t½nh linh ëng, t½nh m·m d´o cho mæ h¼nh, ng÷íi ta cán nghi¶n cùu c£ c¡c tr÷íng hñp m ph¥n phèi cõa tøng cöm dú li»u l h m cõa c¡c bi¸n hçi quy z , tr÷ìng hñp n y gåi l mæ h¼nh hçi quy ìn bi¸n linh ëng ¢ ÷ñc ¢ ÷ñc xem x²t trong Tran et al [50] , Nott et al [38] v Villani et al [52], trong â mªt ë câ i·u ki»n p(y|z) cõa bi¸n ¡p ùng y mët chi·u ÷ñc mæ h¼nh hâa theo mªt ë cõa mët hén hñp c¡c ph¥n phèi chu©n vîi t§t c£ c¡c th nh ph¦n trung b¼nh, ph÷ìng sai v x¡c su§t trën l c¡c h m tuy¸n t½nh cõa c¡c hi»p bi¸n z . Tran et al [50] ¢ nghi¶n cùu mæ h¼nh ÷îc l÷ñng mªt ë hçi quy vîi c¡c hén hñp cõa k ph¥n phèi chu©n câ ph÷ìng sai phö thuëc (Regression Density Estimation with Mixtures of k Heteroscedastic Normals: RDE-MHN(k)) k z z z z X p(y| ) = πj ( )N (y|µj ( ), σj2 ( )) j=1 z z trong â x¡c xu§t trën πj ( ), trung b¼nh µj ( ) v ph÷ìng sai σj2 ( ) l c¡c h m z z z z cõa c¡c tê hñp tuy¸n t½nh cõa , c¡c πj ( ) ≥ 0 v kj=1 πj ( ) = 1. Tran et al [50] P 29 Groll, Andreas and Tutz, Gerhard (2012), Variable selection for generalized linear mixed models by L1-penalized estimation, Springer US, 1 - 18. 45 Schelldorfer, J urg and Meier, Lukas and B uhlmann, Peter (2013), GLMMLasso: An Algorithm for High-Dimensional Generalized Linear Mixed Models Using l1-Penalization, Journal of Computational and Graphical Statistics. 50 Tran, Minh-Ngoc and Nott, David J. and Leng, Chenlei. (2012), The predictive Lasso, Statistics and Computing, 22, 1069 - 1084. 2
· xu§t mët thuªt to¡n nhanh düa tr¶n ph÷ìng ph¡p Bayes bi¸n ph¥n cho ph²p thüc hi»n çng thíi lüa chån c¡c bi¸n, lüa chån sè th nh ph¦n k v ÷îc l÷ñng tham sè. Ph÷ìng ph¡p cõa Tran et al [50] câ thº gi£i quy¸t v§n · cüc ¤i àa ph÷ìng trong vi»c lüa chån k , v câ thº ¡p döng cho tr÷íng hñp nhi·u bi¸n (sè l÷ñng bi¸n câ thº lîn hìn k½ch th÷îc m¨u). Tuy nhi¶n, Tran et al [50], Nott et al [38] v Villani et al [52] ch¿ mîi nghi¶n cùu tr¶n mæ h¼nh n y vîi y l ìn bi¸n, Do â möc ti¶u thù tr÷íng hñp y l a bi¸n ch÷a ÷ñc nghi¶n cùu thüc hi»n. hai cõa chóng tæi l nghi¶n cùu mð rëng mæ h¼nh n y cho tr÷íng hñp y l a bi¸n. Tø nhúng lþ do tr¶n, chóng tæi x¡c ành èi t÷ñng nghi¶n cùu cõa luªn ¡n l chån bi¸n c¡c cho mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t (General- ized Linear Mixed Models: GLMMs) v c¡c mæ h¼nh hçi quy mªt ë nhi·u bi¸n linh ëng (Multivariate Regression Density Estimation with Mixtures of Normals model: MRDE-MN). Luªn ¡n sû döng ph÷ìng ph¡p Bayes bi¸n ph¥n º x¥y düng thuªt to¡n lüa chån bi¸n nhanh çng thíi ÷îc l÷ñng tham sè mæ h¼nh. Cö thº luªn ¡n ¢ ¤t ÷ñc nhúng k¸t qu£ nh÷ sau: 1. Chóng tæi ¢ x¥y düng mët thuªt to¡n Bayes bi¸n ph¥n º thüc hi»n çng thíi lüa chån bi¸n v ÷îc l÷ñng tham sè trong GLMM, kþ hi»u l VBGLMM. Thuªt to¡n ÷ñc · xu§t düa tr¶n ph÷ìng ph¡p Bayes bi¸n ph¥n º ÷îc l÷ñng mët mode hªu nghi»m k¸t hñp vîi ph÷ìng ph¡p Bayes th½ch nghi Lasso. Ph÷ìng ph¡p VB mode hªu nghi»m cõa chóng tæi câ thº ÷ñc ¡p döng cho vi»c lüa chån bi¸n trong c¡c ùng döng kh¡c, ch¯ng h¤n nh÷ lüa chån hi»p ph÷ìng sai. Ph÷ìng ph¡p VBGLMM ÷ñc · xu§t công câ thº ÷ñc mð rëng th nh (i) lüa chån nhâm bi¸n trong GLMMs b¬ng c¡ch sû döng Lasso ph¤t nhâm (Yuan and Lin [53] ); (ii) lüa chån bi¸n ÷ñc sp x¸p trong GLMMs b¬ng ph¤t tuy»t èi 38 Nott, D. J. and Tan, S. L. and Villani, M. and Kohn, R. (2011), Regression density estimation with variational methods and stochastic approximation, Journal of Computational and Graphical Statistics. 52 Villani, M. and Kohn, R. and Giordani, P. (2009), Regression density estimation using smooth adaptive Gaussian mixtures, Journal of Econometrics, 153, 155 - 173. 53 Yuan, M. and Lin, Y. (2006), Model selection and estimation in regression with grouped variables, Journal of the Royal Statistical Society, Series B, 68, 49 - 67. 3
têng hñp (Zhao et al [54] ). 2. Chóng tæi · xu§t mæ h¼nh hçi quy mªt ë nhi·u bi¸n linh ëng vîi vi»c trën c¡c ph¥n phèi chu©n câ ph÷ìng sai phö thuëc (MRDE- MN), x¥y düng thuªt to¡n Bayes bi¸n ph¥n thüc hi»n çng thíi chån bi¸n, ÷îc l÷ñng tham sè v x¡c ành sè th nh ph¦n cõa mæ h¼nh. Nëi dung cõa luªn ¡n gçm ba ch÷ìng: Ch÷ìng 1: Mët sè kh¡i ni»m v k¸t qu£ cì b£n Ch÷ìng 2: Chån bi¸n cho mæ h¼nh hçi quy tuy¸n t½nh hên hñp têng qu¡t Ch÷ìng 3: Mæ h¼nh hçi quy mªt ë nhi·u bi¸n linh ëng Ch÷ìng 1: Ki¸n thùc chu©n bà 1.1 Mët sè ph¥n phèi th÷íng g°p Mët sè ph¥n phèi th÷íng g°p nh÷ ph¥n phèi Beta, Gamma, Gamma ng÷ñc, chu©n mët chi·u, chu©n nhi·u chi·u v ph¥n phèi Wishart l nhúng ph¥n phèi quan trång ÷ñc · cªp ¸n trong luªn ¡n. 1.2 Hå mô v Mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t 1.2.1 Hå mô Gi£ sû bi¸n ng¨u nhi¶n Y câ ph¥n phèi x¡c su§t phö thuëc v o tham sè η , ÷ñc gåi l thuëc hå mô n¸u h m mªt ë câ d¤ng yη − ζ(η) f (y|η) = exp + c(y, φ) , φ 54 Zhao, P., Rocha, G. and Yu, B. (2009), The composite absolute penalties family for grouped and hierarchical variable selection. The Annals of Statistics, 37, 3468 - 3497. 4
trong â η ÷ñc gåi l tham sè ch½nh tc cõa hå mô, φ l tham sè t l», ζ(·) v c(·) l c¡c h m ¢ bi¸t. C¡c ph¥n phèi chu©n mët chi·u, nhà thùc v Poisson ·u thuëc hå mô. 1.2.2 Mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t Chóng ta th÷íng quen thuëc vîi mæ h¼nh hçi quy tuy¸n t½nh thæng th÷íng (khi bi¸n phö thuëc y l bi¸n li¶n töc), hay mæ h¼nh hçi quy logistic (khi y l bi¸n nhà ph¥n). GLMs (Generalized linear models) l mët lîp c¡c mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t cho nhi·u kiºu dú li»u cõa bi¸n phö thuëc y câ ph¥n phèi thuëc hå mô, ÷ñc tr¼nh b y trong Nelder and Wederburn [37] v Annette and Adrian [12] . Gi£ sû y = (y1 ,y2 ,...,yn )0 , mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t ÷ñc x¡c ành bði ba th nh ph¦n: - H m mªt ë thuëc hå mô yi ηi −ζ(ηi ) f (yi |β) = exp +c(yi ,φ) , φ trong â ηi ,i=1,2,...,n l tham sè ch½nh tc cõa hå mô; tham sè t l» φ câ thº ¢ bi¸t ho°c ch÷a bi¸t, ζ(·) v c(·) l c¡c h m ¢ bi¸t. - Th nh ph¦n tuy¸n t½nh η = Xβ trong â η = (η1 ,η2 ,...,ηn )0 ; β l p-vector h» sè £nh h÷ðng cè ành; X l n×p ma trªn thi¸t k¸ ùng vîi y¸u tè £nh h÷ðng cè ành. - H m li¶n k¸t Tham sè ch½nh tc ηi li¶n h» ìn trà vîi ký vång câ i·u ki»n µi =E(yi |β) thæng qua h m li¶n k¸t g(·); g(µi ) = ηi vîi i = 1,2,...,n. H m li¶n k¸t ÷ñc x¡c ành tòy thuëc v o d¤ng hçi quy. 37 Nelder J.A. and Wederburn R. W. M. (1972), Generalized linear models, Journal of the Royal Statistical Society Series A 135, 370 - 384. 12 Annette J. Dobson and Adrian G B£nett (2008), An Introduction to Generalized Linear Models, Taylor Francis Group Boca Raton London New York. 5
1.3 Mæ h¼nh hçi quy trën Trong tr÷íng hñp mæ h¼nh dú li»u ÷ñc ph¡t sinh tø mët qu¦n thº khæng çng nh§t th¼ mæ h¼nh hçi quy trën l phò hñp nh§t (Mixture of Regression Models: MRMs). Cho Y l mët bi¸n ¡p ùng ÷ñc quan t¥m v z = (z1 ,z2 ,...,zn )0 l vector c¡c hi»p bi¸n ÷ñc cho l câ £nh h÷ðng ¸n Y . Ta nâi (z,Y ) tu¥n theo MRMs n¸u h m mªt ë câ i·u ki»n cõa Y ÷ñc cho bði z câ d¤ng K X p(y|z,Ψ) = πk f (y|θk (z),φk ), k=1 trong â f (y|θ,φ) thuëc mët hå c¡c h m mªt ë cõa Y , K l sè th nh ph¦n, θk (z)=g(x0 βk ) vîi k=1,2,...,K ÷ñc cho bði h m li¶n k¸t g(·), Ψ=(β1 ,...,βK ,Φ,π) vîi β k =(βk1 ,βk2 ,...,βkp )0 , Φ=(φ1 ,φ2 ,...,φK )0 v π =(π1 ,π2 ,...,πK−1 )0 sao cho πk >0 v K k=1 πk = 1. C¡c πk , k = 1,2,...,K ÷ñc gåi l x¡c su§t trën. H m li¶n k¸t g(·) P ÷ñc x¡c ành theo d¤ng cõa f (y|θ,φ) l Chu©n, Nhà thùc hay Poisson. 1.4 Ph÷ìng ph¡p bi¸n ph¥n Bayes Suy luªn Bayes v· p(θ|y) ÷ñc düa v o ành lþ Bayes i·u ch¿nh p(θ)p(y|θ) p(θ|y) = . p(y) i·u quan trång l ph¥n phèi h¥u nghi»m p(θ|y) th÷íng l ph¥n phèi khæng bi¸t m ph£i sû döng mët ph÷ìng ph¡p x§p x¿ º x§p x¿ nâ. Ph÷ìng ph¡p Bayes bi¸n ph¥n (Variational Bayesian: VB) l c¡c kÿ thuªt x§p x¿ ph¥n phèi hªu nghi»m trong suy luªn Bayes (xem Ormerod and Wand [40] , Ch÷ìng 10 Christopher M. Bishop [17] ). 40 Ormerod, J. T. and Wand, M. P. (2010), Explaining Variational Approximations, Journal of the American Statistical Association, 64, 140 - 153. 17 Christopher M. Bishop. (2006) , Pattern Recognition and Machine Learning, Springer Science + Business Media, LLC.. 6
1.4.1 Cì sð to¡n håc Gi£ sû câ dú li»u y vîi h m hñp lþ p(y|θ) trong â θ ∈ Rd l tham sè ch÷a bi¸t v ph¥n phèi ti¶n nghi»m cõa θ l p(θ). Ph÷ìng ph¡p VB x§p x¿ ph¥n phèi hªu nghi»m p(θ|y) ∝ p(θ)p(y|θ) bði mët h m mªt ë q(θ) cõa θ trong mët lîp ph¥n phèi d¹ xû lþ, q(θ) ÷ñc chån sao cho cüc tiºu kho£ng c¡ch Kullback-Leibler giúa q(θ) v p(θ|y): q(θ) Z KL(qkp) = q(θ) log dθ, (1.1) p(θ|y) t÷ìng ÷ìng vîi cüc ¤i p(y, θ) Z L(q) = q(θ) log dθ. (1.2) q(θ) Gi£ sû q(θ) ÷ñc khai triºn th nh K khèi q(θ) = q1 (θ1 )×...×qK (θK ). Ph÷ìng ph¡p Bayes bi¸n ph¥n s³ cho ta cæng thùc x§p x¿ c¡c qτi∗ (θi ) vîi i = 1,...,K l pei (y, θi ) (1.9) qτi∗ (θi ) ≈ pei (θi |y) = R ∝ exp E−θi (log p(y, θ)) . pei (y, θi )dθi Qu¡ tr¼nh cªp nhªt c¡c tham sè cõa qτi∗ (θi ) theo cæng thùc 1.9 s³ l m t«ng gi¡ trà cõa L(q). Tø â câ thuªt to¡n VB têng qu¡t câ d¤ng: 1. Khði trà τi vîi i = 1,...,K . 2. L¦n l÷ñt cªp nhªt c¡c τi theo k¸t qu£ nhªn ÷ñc tø (1.9). 3. L°p l¤i b÷îc 2 cho ¸n khi hëi tö. i·u ki»n døng câ thº düa v o sü c£i thi»n L(q) ho°c düa v o sü hëi tö cõa tham sè ch½nh n o â qua c¡c váng l°p. Tuy thuëc v o ph¥n phèi qτi∗ (θi ) câ thuëc c¡c ph¥n phèi ¢ bi¸t hay khæng m ta câ hai d¤ng Bayes bi¸n ph¥n l MFVB v FFVB. 1.4.2 Tr÷íng hñp MFVB Tr÷íng hñp n y pei (θi |y) thuëc mët hå ph¥n phèi câ thº nhªn bi¸t ÷ñc n¶n thæng qua (1.9) s³ cho ta d¤ng h m mªt ë cõa θi thuëc mët lîp ph¥n phèi n o â ¢ bi¸t, ta câ thº d¹ d ng x¡c ành tham sè τi∗ cõa qτi∗ (θi ) ch½nh l c¡c tham sè °c tr÷ng cõa ph¥n phèi n y. 7
1.4.3 Tr÷íng hñp FFVB Tr÷íng hñp nay pei (θi |y) khæng thuëc mët hå ph¥n phèi câ thº nhªn bi¸t ÷ñc n¶n thæng qua (1.9) d¤ng h m mªt ë cõa θi s³ khæng thuëc mët lîp ph¥n phèi n o â ¢ bi¸t n¶n ta khæng x¡c ành tham sè τi∗ cõa qτi∗ (θi ) nh÷ trong tr÷íng hñp MFVB m c¦n chån cho qτi∗ (θi ) mët d¤ng ph¥n phèi cè ành rçi ¡p döng mët kÿ thuªt gi£i b i to¡n tèi ÷u (1.1) ho°c (1.2). 1.5 Mët sè thuªt to¡n tèi ÷u sû döng trong luªn ¡n Trong luªn ¡n n y ¢ sû döng thuªt to¡n Newton - Raphson, thuªt to¡n x§p x¿ ng¨u nhi¶n v thuªt to¡n ¤o h m theo h÷îng. 1.5.1 Thuªt to¡n Newton - Raphson Thuªt to¡n Newton - Raphson ÷ñc sû döng º t¼m nghi»m x§p x¿ cõa ph÷ìng tr¼nh f (x) = 0. 1.5.2 Thuªt to¡n x§p x¿ ng¨u nhi¶n cho FFVB Salimans and Knowles [43] ¢ · xu§t ph÷ìng ph¡p x§p x¿ hªu nghi»m tèi ÷u VB tr÷íng hñp FFVB. °t C = Eq [Te(θ)0 Te(θ)] v g = Eq [Te(θ)0 logp(θ,y)]. Khi â ηe=C −1 g . Salimans and Knowles [43] cªp nhªt C v g theo trång sè Monte Carlo, t¤o m¨u ìn θt∗ tø ph¥n phèi x§p x¿ hªu nghi»m qηt (θ) t¤i méi váng l°p t, v sû döng c¡c cæng thùc cªp nhªt gt+1 = (1−w)gt +wˆ gt Ct+1 = (1−w)Ct +wCˆt (1.23) ˆt = Te(θt∗ )0 Te(θt∗ ). w ÷ñc èi vîi mët sè w ∈[0;1] trong â gˆt = Te(θt∗ )0 logp(θt∗ ,y) v C chån õ b² sao cho £m b£o sü hëi tö cõa thuªt to¡n. 43 Salimans, T. and Knowles, D. A. (2013), Fixed-form variational posterior approximation through stochastic linear regression. Erasmus University Rotterdam. 8
1.5.3 Thuªt to¡n ¤o h m theo h÷îng Ph÷ìng ph¡p ¤o h m theo h÷îng (Coordinate Gradient Descent: CGD) ÷ñc giîi thi»u trong Tseng et al [51] tø n«m 2006 nh¬m gi£i b i to¡n tèi ÷u cüc tiºu cho h m khæng trìn t¡ch ÷ñc câ d¤ng minFc (x) = min f (x)+cP (x) x x trong â c > 0, P : Rn → (−∞;∞] l h m ch½nh quy, lçi, núa li¶n töc d÷îi v f l h m trìn tr¶n mët tªp con mð cõa Rn . Ch÷ìng 2: Chån bi¸n cho mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t 2.1 Giîi thi»u chung Mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t (Generalized linear mixed models: GLMMs) cán gåi l mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t vîi y¸u tè £nh h÷ðng ng¨u nhi¶n ho°c mæ h¼nh dú li»u dåc. Mæ h¼nh GLMMs công l mët mð rëng tø mæ h¼nh tuy¸n t½nh têng qu¡t, ngh¾a l th nh ph¦n tuy¸n t½nh câ d¤ng η = Xβ +Zb. Nâ ÷ñc ùng döng rëng r£i º thi¸t lªp mæ h¼nh dú li»u cöm phö thuëc. 2.2 C§u tróc ph¥n c§p cõa GLMMs Gi£ sû trong mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t câ yi =(yi1 ,...,yini )0 l vector ¡p ùng cõa èi t÷ñng thù i, i = 1,...,m. Cho y¸u tè £nh h÷ðng ng¨u nhi¶n bi , c¡c yij câ ph¥n phèi ëc lªp vîi h m mªt ë yij ηij − ζ(ηij ) f (yij |β, bi ) = exp + c(yij , φ) , φ 51 Tseng, Paul and Yun, Sangwoon (2009), A coordinate gradient descent method for nonsmooth separable minimization. Springer-Verlag, 137, 387 - 423. 9
trong â ηij l tham sè ch½nh tc li¶n h» ìn trà vîi ký vång câ i·u ki»n µij = E(yij |β,bi ) thæng qua h m li¶n k¸t g(·), g(µij ) = ηij . Vector h» sè £nh h÷ðng cè ành l β = (β0 ,β1:p 0 )0 vîi β0 l h» sè ch°n v β1:p = (β1 ,...,βp )0 . Tham sè t l» φ câ thº ¢ bi¸t ho°c ch÷a bi¸t, ζ(·) v c(·) l c¡c h m ¢ bi¸t. Vector ηi =(ηi1 ,...,ηini )0 ÷ñc mæ h¼nh l ηi = β0 1ni +X i β1:p +Z i bi , trong â 1ni l vector gçm to n 1, X i l mët ni ×p ma trªn thi¸t k¸ èi vîi y¸u tè £nh h÷ðng cè ành v Z i l mët ni ×u ma trªn thi¸t k¸ èi vîi y¸u tè £nh h÷ðng ng¨u nhi¶n (trong â u l k½ch th÷îc cõa bi ). H m hñp lþ câ i·u ki»n câ y¸u tè £nh h÷ðng ng¨u nhi¶n b l m Yni Y 1 0 p(y|β, b, φ) = f (yij |β, bi ) = exp (y η − 10 ζ(η)) + c(y, φ) , i=1 j=1 φ trong â ζ(η) ÷ñc hiºu l h m t¡c ëng tr¶n tøng th nh ph¦n. Chóng tæi xem x²t suy luªn Bayes vîi mæ h¼nh ph¥n c§p nh÷ sau: y|β,b,φ ∼ p(y|β,b,φ), (2.1) b|Q ∼ N (0,Q−1 b ), Q ∼ Wishart(S0 ,ν0 ), p(β0 ) ∼ 1, λj βj |λj ∼ DE(λj ) = exp(−λj |βj |), j = 1,...,p, 2 sr λj ∼ Gamma(r,s) = (λj )r−1 exp(−sλj ), Γ(r) 2.3 Ph÷ìng ph¡p VB ÷îc l÷ñng mode hªu nghi»m Gi£ sû θ = (θ1 ,θ2 ), trong â θ1 l vector cõa c¡c tham sè m mode hªu nghi»m cõa chóng ang ÷ñc quan t¥m , v θ2 l mët vector cõa c¡c tham sè kh¡c. Khi â ph¥n phèi hªu nghi»m VB câ d¤ng q(θ) = δτ1 (θ1 )qτ2 (θ2 ), (2.3) vîi δτ1 (θ1 ) l mët mªt ë khèi tªp trung t¤i τ1 v τ1 s³ l ÷îc l÷ñng cõa mode hªu nghi»m cõa θ1 . Cæng thùc cªp nhªt τ1∗ v τ2∗ s³ l 10
Z τ1∗ (τ2 ) = arg max qτ2 (θ2 ) log p(y, τ1 , θ2 )dθ2 , (1.4') τ1 v Z p(y, τ1 , θ2 ) τ2∗ (τ1 ) = arg max qτ2 (θ2 ) log dθ2 . (1.6') τ2 qτ2 (θ2 ) 2.4 Ph÷ìng ph¡p VB º chån bi¸n v ÷îc l÷ñng tham sè cho GLMMs Vi»c chån bi¸n v ÷îc l÷ñng tham sè s³ ÷ñc thüc hi»n çng thíi b¬ng thuªt to¡n VB. p Y q(θ) = q(β)q(Q)q(φ)q(b) q(λj ), (2.4) j=1 trong â chóng tæi chån q(β) = δβ q (β) v q(b) l ph¥n phèi chu©n vîi trung b¼nh µqb v ma trªn hi»p ph÷ìng sai Σqb . 2.4.1 Ph¥n phèi hªu nghi»m tèi ÷u VB cho β Tø cæng thùc (1.4'), ÷îc l÷ñng mode β q ÷ñc cªp nhªt bði    1 Z Xp  0 0 q (2.5) β = argmax [ ] y η−1 ζ(η)) q(b)db− [λj ]|βj | , β  φ  j=1 trong â [.] l kþ hi»u ký vång vîi hªu nghi»m VB t÷ìng ùng. °t 1 Z 0 0 (2.6) f (β) = [ ] 1 ζ(η)) − y η q(b)db. φ khi â (2.5) t÷ìng ÷ìng vîi    p X  q β = arg min F (β) = f (β) + [λj ]|βj | . (2.7) β   j=1 Chóng tæi ¡p döng ph÷ìng ph¡p ¤o h m theo h÷îng (Coordinate Gradient Descent: CGD) cõa Tseng et al [51] (xem Schelldorfer et al [45]) º gi£i quy¸t b i to¡n (2.7). 11
2.4.2 Ph¥n phèi hªu nghi»m tèi ÷u VB cho b Tr÷íng hñp hçi quy chu©n. q q Tø cæng thùc (1.9) nhªn ÷ñc q(b) ∼ N (µb ,Σb ) vîi 1 0 −1 Σqb = [Qb ] + [ 2 ]Z Z , σ 1 0 µqb = [ 2 ] y Z − β X Z Σqb , 0 0 σ Tr÷íng hñp hçi quy kh¡c. °t 1 1 h(b) = − b0 [Qb ]b+[ ](y 0 η−10 ζ(η)), 2 φ khi â q(b) ∝ eh(b) , chóng tæi sû döng ph÷ìng ph¡p x§p x¿ Gauss º x§p x¿ q(b) q q b¬ng ph¥n phèi chu©n vîi trung b¼nh µb v ma trªn hi»p ph÷ìng sai Σb ÷ñc cªp nhªt theo cæng thùc −1 1 0 µqb ∗ =b , Σqb ¨ ) Z + [Qb ] = [ ]Z diag ζ(η ∗ . (2.9) φ trong â η ∗ =Xβ q +Zb∗ v b∗ ÷ñc x¡c ành b¬ng ph÷ìng ph¡p Newton-Raphson vîi ¤o h m bªc nh§t v bªc hai cõa h(b) l u(b) v H(b). 2.4.3 Ph¥n phèi hªu nghi»m tèi ÷u VB cho Q Tø cæng thùc (1.9) nhªn ÷ñc q(Q) ∼ Wishart(S q ,ν q ) vîi ν q v S q ÷ñc cªp nhªt theo cæng thùc m !−1 0 X ν q = ν0 + m, S q = S0−1 + (µqbi µqbi + Σqbi ) , (2.10) i=1 2.4.4 Ph¥n phèi hªu nghi»m tèi ÷u VB cho λ q q q q Tø cæng thùc (1.9) nhªn ÷ñc q(λj )∼ Gamma(αλj ,βλj ) vîi αλj v βλj ÷ñc cªp nhªt theo cæng thùc αλq j = r + 1, βλq j = |βjq | + s, (2.11) 12
2.4.5 Ph¥n phèi hªu nghi»m tèi ÷u VB cho φ Trong nhi·u tr÷íng hñp nh÷ hçi quy Poisson v hçi quy logic th¼ φ l mët h¬ng sè ¢ bi¸t. Trong nhúng tr÷íng hñp kh¡c, chóng ta câ thº °t mët ph¥n phèi ti¶n nghi»m th½ch hñp tr¶n φ º hªu nghi»m tèi ÷u VB (2.12) q(φ) ∝ exp E−φ (log p(y, θ)) , thuëc hå ph¥n phèi câ thº nhªn bi¸t ÷ñc. 2.4.6 Lüa chån c¡c si¶u tham sè èi vîi ti¶n nghi»m cho λj , ng÷íi ta câ thº sû döng ti¶n nghi»m p(λj ) ∝ 1/λj , ngh¾a l r =s=0. Trong luªn ¡n n y, chóng tæi sû döng ph÷ìng ph¡p thüc nghi»m Bayes nh÷ trong Park and Casella [41] v Leng et al [34] º chån r. Vi»c cªp nhªt tham sè s câ ph¦n d¹ hìn, câ thº °t mët ph¥n phèi ti¶n nghi»m Gamma tr¶n s, khi â ph¥n phèi hªu nghi»m tèi ÷u VB cõa s công l mët ph¥n phèi Gamma. Tuy nhi¶n, chóng tæi nh¥n th§y r¬ng èi vîi b i to¡n cao chi·u th¼ cè ành s nhúng gi¡ trà r§t b² s³ cho k¸t qu£ tèt hìn. 2.4.7 Thuªt to¡n VB Sau khi x¥y düng ÷ñc c¡c cæng thùc º cªp nhªt c¡c tham sè nh÷ tr¶n, chóng tæi câ thuªt to¡n VB º thüc hi»n çng thíi vi»c chån bi¸n v ÷îc l÷ñng tham sè cho mæ h¼nh GLMMs. Thuªt to¡n VBGLMM. 1. Khði trà β q v S q (v q(φ) n¸u câ ¡p döng). q q 2. Cªp nhªt αλj v βλj theo (2.11). q q 3. Cªp nhªt µb v Σb theo (2.9) 41 Park, T. and Casella, G. (2008), The Bayesian Lasso, Journal of the American Statistical Associa- tion, 103, 681 - 686. 41 Leng, C. and Tran, M.-N. and Nott, D. J. (2013), Bayesian adaptive Lasso, The Annals of the Institute of Statistical Mathematics. 13
4. Cªp nhªt S q theo (2.10). 5. Cªp nhªt β q theo (2.5). 6. Cªp nhªt q(φ) (n¸u câ ¡p döng). 7. L°p l¤i c¡c b÷îc 2-6 cho ¸n khi hëi tö. 2.5 Ùng döng 2.5.1 Nghi¶n cùu mæ phäng Trong ph¦n n y, chóng tæi mæ phäng c¡c bë dú li»u tø mæ h¼nh hçi quy Poisson v tø mæ h¼nh hèi quy logic câ £nh h÷ðng hén hñp. K¸t qu£ cho th§y ph÷ìng ph¡p ti¸p cªn VBGLMM cõa chóng tæi tèt hìn r§t nhi·u so vîi ph÷ìng ph¡p GLMMLASSO cõa Groll et al [29] v· t§t c£ c¡c ch¿ ti¶u ÷ñc ¡nh gi¡, °c bi»t l CFR v CPU. 2.5.2 Ùng döng tr¶n dú li»u thüc Chóng tæi ¢ ch¤y thû nghi»m tr¶n bë dú li»u ung th÷ da (Skin scaner dataset) cõa Greenberg et al [27] l mët thû nghi»m l¥m s ng ÷ñc ti¸n h nh º kiºm tra hi»u qu£ cõa beta-carotene trong vi»c ng«n ngøa ung th÷ da khæng ¡c t½nh v bë dú li»u s¡u th nh phè (six cities dataset) trong Fitzmaurice and Laird [25] . K¸t qu£ cõa ph÷ìng ph¡p VBGLMM cõa chóng tæi công r§t tèt, ho n to n phò hñp vîi nhúng ¡nh gi¡ cõa hå. 27 Greenberg, E. R. and Baron, J. A. and Stevens, M. M. and Stukel, T. A. and Mandel, J. S. and Spencer, S. K. and Elias, P. M. and Lowe, N. and Nierenberg, D. N. and Bayrd G. and Vance, J. C. (1989), The skin cancer prevention study: design of a clinical trial of beta-carotene among persons at high risk for nonmelanoma skin cancer, Controlled Clinical Trials, 10, 153 - 166. 25 Fitzmaurice, G. and Laird, N. (1993) , A likelihood-based method for analysing longitudinal binary responses, Biometrika, 80, 141 - 151. 14
2.6 K¸t luªn ch÷ìng 2 Chóng tæi ¢ mæ t£ mët thuªt to¡n VB nhanh thüc hi»n çng thíi lüa chån bi¸n v ÷îc l÷ñng tham sè trong GLMM. Thuªt to¡n ÷ñc · xu§t düa tr¶n ph÷ìng ph¡p VB º ÷îc l÷ñng mët mode hªu nghi»m k¸t hñp vîi Bayes th½ch nghi Lasso. Ph÷ìng ph¡p VBGLMM ÷ñc · xu§t công câ thº ÷ñc mð rëng th nh: 1. Lüa chån nhâm bi¸n trong GLMM b¬ng c¡ch sû döng Lasso ph¤t nhâm (Yuan and Lin [53]). 2. Lüa chån bi¸n ÷ñc sp x¸p trong GLMM b¬ng c¡ch sû döng ph¤t tuy»t èi têng hñp (Zhao et al [54]). Ch÷ìng 3: ×îc l÷ñng v lüa chån mæ h¼nh cho mæ h¼nh hçi quy mªt ë nhi·u bi¸n linh ëng 3.1 Giîi thi»u chung Gi£ sû y l mët vector d-chi·u c¡c bi¸n ¡p ùng li¶n töc v z l mët vector p-chi·u c¡c hi»p bi¸n ti·m n«ng. Trong ch÷ìng n y chóng tæi quan t¥m ¸n v§n · ph¥n t½ch mæ h¼nh hçi quy mªt ë f (y|z) b¬ng c¡ch sû döng hén hñp c¡c ph¥n phèi chu©n a chi·u. ×îc l÷ñng mªt ë hçi quy ìn bi¸n linh ëng ¢ ÷ñc xem x²t trong c¡c cæng tr¼nh cõa Tran et al [50], Nott et al [38] v Villani et al [52]. Chóng tæi mð rëng mæ h¼nh ìn bi¸n n y th nh mæ h¼nh câ y l a bi¸n ÷ñc gåi l mæ h¼nh ÷îc l÷ñng mªt ë hçi quy a bi¸n vîi hén hñp c¡c ph¥n phèi chu©n (Multivariate Regression Density Estimation with Mixtures of Normals model: MRDE-MN). Chóng tæi ph¡t triºn mët thuªt to¡n Bayes bi¸n ph¥n nhanh º thüc hi»n mët c¡ch çng thíi vi»c ÷ìc l÷ñng c¡c tham sè, lüa chån c¡c bi¸n câ þ ngh¾a v x¡c ành sè th nh ph¦n cõa mæ h¼nh. Ph÷ìng ph¡p cõa chóng tæi x¥y düng düa tr¶n ph÷ìng ph¡p cõa Tran et al [50]. 15
3.2 Mæ h¼nh MRDE-MN Gi£ sû D = {(y (i) ,z (i) ),i = 1,...,n} l tªp c¡c quan s¡t cõa (y,z). Mæ h¼nh MRDE-MN câ thº vi¸t th nh (i) y (i) |δ (i) = k, T = {T1 , ..., TK } ∼ Nd (y (i) |µk , Tk−1 ), i = 1, ..., n; k = 1, ..., K, (3.2) trong â δ (i) l mët bi¸n ng¨u nhi¶n ti·m ©n ÷ñc dòng º x¡c ành th nh ph¦n (i) cõa y (i) , δ (i) ∈ {1,...,K}. v Tk = Σ−1 k . Vector trung b¼nh µk ÷ñc mæ h¼nh bði (i) (i) (i) µk = (β 0k1 v 1 , ..., β 0kd v d )0 , (i) trong â v j l mët tªp con cõa z (i) v β kj ∈ Rpj . C¡c x¡c su§t trën ÷ñc mæ h¼nh bði exp(γ 0k w(i) ) πk (w(i) ) = P (δ (i) = k|γ) = PK , exp(γ 0 w (i) ) g=1 g trong â w(i) , l mët tªp con cõa z (i) . Chóng tæi x²t c¡c ph¥n phèi ti·n nghi»m tr¶n β, T v γ β kj ∼ Npj (0, β0−1 I), j = 1, ..., d, k = 1, ..., K, Tk ∼ Wishart(ν0 , V0 −1 ), k = 1, ..., K, γ ∼ Ns (0, γ0−1 I), 3.2.1 Ph¥n phèi hªu nghi»m tèi ÷u VB cho β Ph¥n phèi hªu nghi»m tèi ÷u VB cho β kj l q(β kj ) = Npj (µβkj ,Σβkj ), k = 1,...,K; j = 1,...,d, trong â n !−1 (i) (i) X Σβkj = β0 I + qik [Tk ]j,j v j (v j )0 , (3.7) i=1 n ! (i) (i) (i) X µβkj = Σβkj qik [Tk ]j,j yj +[Tk ]j,−j [sk,−j ] v j , (3.8) i=1 16
3.2.2 Ph¥n phèi hªu nghi»m tèi ÷u VB cho Tk Ph¥n phèi hªu nghi»m tèi ÷u VB cõa Tk l q(Tk ) = Wishart(νk ,Vk−1 ) trong â hai tham sè νk v Vk ÷ñc cªp nhªt theo cæng thùc n n (i) (i) (i) X X νk = ν0 + qik , Vk = V0 + qik [sk ][sk ]0 + Varq (sk ) , (3.9) i=1 i=1 3.2.3 Ph¥n phèi hªu nghi»m tèi ÷u VB cho q ik T÷ìng tü nh÷ tr¶n, tø cæng thùc (1.9) ta câ n 1 1 1 (i) (i) (i) o qik ∝ exp log pik (µγ ) + [log |Tk |] − [sk ]0 [Tk ][sk ] − tr [Tk ]Varq (sk ) , 2 2 2 (3.10) Pd trong â [log|Tk |]= h=1 Ψ (νk +1−h)/2 +dlog2−log|Vk | vîi Ψ(x)=∂Γ(x)/Γ(x) l h m diagamma. 3.2.4 Ph¥n phèi hªu nghi»m tèi ÷u VB cõa γ Tø cæng thùc (1.9) ta câ n X K n 1 −1 0 X o q(γ) ∝ exp − γ0 γ γ + qik log pik (γ) . (3.11) 2 i=1 k=1 Ph¥n phèi n y khæng câ d¤ng ch½nh tc, theo Tran et al [50], chóng tæi sû döng mët ph¥n phèi Dirac delta q(γ) = δµγ (γ) tªp trung t¤i iºm µγ èi vîi x§p x¿ VB tr¶n γ , ngh¾a l , ch¿ quan t¥m ¸n ÷îc l÷ñng iºm cho γ . Tham sè µγ ÷ñc ÷îc l÷ñng b¬ng mode cõa (3.11). T¤i iºm hëi tö, chóng tæi sû döng ph÷ìng ph¡p x§p x¿ Gauss º x§p x¿ q(γ) b«ng mët ph¥n phèi x§p x¿ chu©n q opt (γ) vîi trung b¼nh µγ v ma trªn hi»p ph÷ìng sai Σγ l ma trªn Hessian ÷ñc t½nh t¤i mode cõa ph¥n phèi hªu nghi»m ð tr¶n. 3.2.5 Cªn d÷îi L(q) Theo cæng thùc (1.2) cªn d÷îi cõa logp(y|θ) l L(q) = [log p(y, θ)] − [log q(θ)] = [log p(θ)] + [log p(y|θ)] − [log q(θ)]. (3.12) 17
3.2.5 Thuªt to¡n VB cho mæ h¼nh MRDE-MN Sau khi ¢ x¥y düng ÷ñc c¡c cæng thùc º cªp nhªt c¡c tham sè cõa mæ h¼nh theo ph÷ìng ph¡p Bayes bi¸n ph¥n, chóng tæi i ¸n thuªt to¡n VB cho mæ h¼nh MRDE-MN nh÷ sau: Thuªt to¡n 1. 1. Cªp nhªt Σβkj v µβkj , j = 1,...,d, k = 1,...,K nh÷ trong (3.7) v (3.8). 2. Cªp nhªt νk v Vk , k = 1,...,K nh÷ trong (3.9). 3. Cªp nhªt qik , i = 1,...,n, k = 1,...,K nh÷ trong (3.10). 4. Cªp nhªt µγ l mode cõa ph¥n phèi (3.11). 5. L°p l¤i c¡c b÷îc 1-4 cho ¸n khi døng. 3.3 Lüa chån sè th nh ph¦n Ph¦n n y · cªp ¸n v§n · cüc ¤i àa ph÷ìng v chån sè l÷ñng th nh ph¦n b¬ng c¡ch i·u ch¿nh thuªt to¡n t¡ch v hñp nh§t. ¦u ti¶n chóng tæi khði t¤o sè th nh ph¦n K sû döng ph÷ìng ph¡p Calinski and Harabasz [16] º chån sè cöm. Vîi K ban ¦u, sau khi thuªt to¡n 1 ¢ hëi tö, chóng tæi xem x²t hñp nh§t hai th nh ph¦n ho°c t¡ch mët th nh ph¦n cho ¸n khi giîi h¤n d÷îi khæng ÷ñc c£i thi»n th¶m núa. Kþ hi»u θ ∗ v L∗ biºu thà ÷îc l÷ñng tham sè v giîi h¤n d÷îi tèi a sau khi thuªt to¡n 1 ¢ hëi tö. Hñp nh§t hai th nh ph¦n. Hai th nh ph¦n ÷ñc coi l hñp lþ nh§t cho vi»c hñp nh§t n¸u chóng g¦n nhau theo mët ngh¾a n o â. Ð ¥y chóng tæi sû döng sü sai kh¡c Kullback-Leibler (KL) º o l÷íng sü t÷ìng çng. Þ t÷ðng l cè gng k¸t hñp c¡c c°p th nh ph¦n hñp lþ nh§t cho ¸n khi giîi h¤n d÷îi ÷ñc c£i thi»n ho°c sè ho¤t ëng hñp nh§t v÷ñt qu¡ sè ÷ñc ch¿ ành tr÷îc Mmerge max . 16 Calinski, R. B. and Harabasz, J. (1974) , A dendrite method for cluster analysis, Communications in Statistics, 3, 1 - 27. 18