Statistics中的模型側(cè)重于統(tǒng)計(jì)分析技術(shù), 而Modeler則側(cè)重于數(shù)據(jù)挖掘技術(shù)。它們都依據(jù)現(xiàn)有數(shù)據(jù),運(yùn)用某個(gè)或某幾個(gè)特定的算法,來預(yù)測(cè)用戶所關(guān)注信息的未來值。Statistics 和 Modeler提供眾多的預(yù)測(cè)模型,這使得它們可以應(yīng)用在多種商業(yè)領(lǐng)域中:如超市商品如何擺放可以提高銷量;分析商場(chǎng)營銷的打折方案,以制定新的更為有效的方案;保險(xiǎn)公司分析以往的理賠案例,以推出新的保險(xiǎn)品種等等,具有很強(qiáng)的商業(yè)價(jià)值。
Statistics和 Modeler產(chǎn)品中含有大量基于高級(jí)數(shù)學(xué)統(tǒng)計(jì)算法的預(yù)測(cè)模型,為了保證算法的嚴(yán)密性及結(jié)果的精確性,模型往往還需要許多詳細(xì)的參數(shù)設(shè)定,這樣就要求用戶具有一定的統(tǒng)計(jì)專業(yè)知識(shí),只有理解預(yù)測(cè)模型中的各項(xiàng)設(shè)置及運(yùn)算結(jié)果的真實(shí)意義,才有可能結(jié)合結(jié)果做出正確的決策判斷;另外,為了滿足不同行業(yè)用戶的需求,Statistics和 Modeler涉及到數(shù)學(xué)領(lǐng)域中多個(gè)不同的范疇,即使專業(yè)用戶也很難了解所有模型,從而挑選出最適合他們應(yīng)用的模型。
本系列文章從實(shí)際問題出發(fā),通過一些實(shí)際生活中常見的商業(yè)問題來引出IBM SPSS 軟件家族中的典型預(yù)測(cè)模型,手把手地指導(dǎo)用戶如何在軟件中對(duì)該模型進(jìn)行設(shè)置,如何查看運(yùn)行結(jié)果,講解運(yùn)行結(jié)果的真實(shí)意義,最后引申到如何將該結(jié)果應(yīng)用于解決這個(gè)具體的商業(yè)問題中來。用這種最直觀簡(jiǎn)單的方式使即使缺乏統(tǒng)計(jì)學(xué)背景的用戶也能容易地理解這些預(yù)測(cè)模型,從而很好地使用我們的產(chǎn)品。 同時(shí),文中也涉及了一定的統(tǒng)計(jì)知識(shí),使具有專業(yè)知識(shí)的用戶能依此線索盡可能多的了解我們的產(chǎn)品的方方面面,從而選擇最適合他們問題的模型。
該模型利用數(shù)據(jù)挖掘的技術(shù),在海量數(shù)據(jù)中依據(jù)該模型的獨(dú)特算法發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的規(guī)律性聯(lián)系,進(jìn)而提供具有洞察力的分析解決方案。以下我們將通過一則超市銷售商品的案例,利用 IBM SPSS Modeler 產(chǎn)品中的“關(guān)聯(lián)規(guī)則模型”,來分析商品交易流水?dāng)?shù)據(jù),以其發(fā)現(xiàn)合理的商品擺放規(guī)則,來幫助提高銷量。文中將詳細(xì)地描述產(chǎn)品的設(shè)置和使用方法,以及對(duì)計(jì)算結(jié)果的分析及應(yīng)用。
式 1中面包是規(guī)則前項(xiàng)(Antecedent),牛奶是規(guī)則后項(xiàng) (Consequent)。實(shí)例數(shù)(Instances)表示所有購買記錄中包含面包的記錄的數(shù)量。支持度(Support)表示購買面包的記錄數(shù)占所有的購買記錄數(shù)的百分比。規(guī)則支持度(Rule Support)表示同時(shí)購買面包和牛奶的記錄數(shù)占所有的購買記錄數(shù)的百分比。置信度(confidence)表示同時(shí)購買面包和牛奶的記錄數(shù)占購買面包記錄數(shù)的百分比。提升(Lift)表示置信度與已知購買牛奶的百分比的比值,提升大于 1 的規(guī)則才是有意義的。關(guān)聯(lián)規(guī)則式 1的支持度 2% 意味著,所分析的記錄中的 2% 購買了面包。置信度 60% 表明,購買面包的顧客中的 60% 也購買了牛奶。如果關(guān)聯(lián)滿足最小支持度閾值和最小置信度閾值,就說關(guān)聯(lián)規(guī)則是有意義的。這些閾值可以由用戶或領(lǐng)域?qū)<以O(shè)定。就顧客購物而言,根據(jù)以往的購買記錄,找出滿足最小支持度閾值和最小置信度閾值的關(guān)聯(lián)規(guī)則,就找到顧客經(jīng)常同時(shí)購買的商品。
此數(shù)據(jù)屬于表格格式數(shù)據(jù),每條記錄表示顧客的一次購物。記錄的字段包括卡號(hào)、顧客基本信息、付款方式和商品名稱(每個(gè)商品一個(gè)字段 , 該商品字段值為 T, 表示購買該商品 , 值為 F 表示未購買,具體可參考表 2, 表格格式數(shù)據(jù))。商品名稱都有 fruitveg(水果蔬菜),freshmeat(生鮮肉),dairy(奶制品),cannedveg(罐裝蔬菜),cannedmeat(罐裝肉),fozenmeal(凍肉),beer(啤酒), wine(酒類),softdrink(軟飲),fish(魚), confectionery(甜食)。如何對(duì)這些數(shù)據(jù)進(jìn)行分析和處理,本節(jié)會(huì)給出詳細(xì)的演示。
類型節(jié)點(diǎn)是顯示和設(shè)置數(shù)據(jù)每個(gè)字段的類型、格式和角色。從界面下方的“字段選項(xiàng)”卡中,將“類型”節(jié)點(diǎn)拖放到界面中,接著將數(shù)據(jù)節(jié)點(diǎn)和類型節(jié)點(diǎn)連接起來,或者直接在“字段選項(xiàng)”卡中雙擊“類型”節(jié)點(diǎn),將兩者連接起來。這時(shí)雙擊打開“類型”節(jié)點(diǎn),此時(shí)“類型”節(jié)點(diǎn)中顯示了數(shù)據(jù)的字段和其類型,點(diǎn)擊“類型”節(jié)點(diǎn)界面上的“讀取值”按鈕,這時(shí)會(huì)將數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)讀取過來。如下圖所示。
輸入表示該字段可供建模使用,目標(biāo)表示該字段為建模的預(yù)測(cè)目標(biāo),兩者表示該字段為布爾型的輸入字段,無表示該字段不參與建模。Apriori 節(jié)點(diǎn)需要一個(gè)或多個(gè)輸入字段和一個(gè)或多個(gè)目標(biāo)字段,輸入字段和輸出字段必須是符號(hào)型字段。在此可以選擇一個(gè)或多個(gè)字段為目標(biāo)字段,表明該模型的預(yù)測(cè)目標(biāo)字段;對(duì)于 Apriori 建模節(jié)點(diǎn),也可以不設(shè)置目標(biāo)字段,則需要在建模節(jié)點(diǎn)中設(shè)置“后項(xiàng)”。
過濾節(jié)點(diǎn),將不參與的字段排除在外。該步驟為可選步驟。從“字段選項(xiàng)”卡中選擇“過濾”節(jié)點(diǎn),并將其拖入到界面中,將“過濾”節(jié)點(diǎn)加入到流中。雙擊打開“過濾”節(jié)點(diǎn),在不參與建模字段的箭頭上點(diǎn)擊,會(huì)出現(xiàn)一個(gè)紅叉,表示該字段被過濾掉了,不參與建模,如圖所示。
網(wǎng)絡(luò)節(jié)點(diǎn),建立此節(jié)點(diǎn)的目的是為了讓用戶首先可以直觀的看到商品之間的關(guān)聯(lián)程度,有一個(gè)感性認(rèn)識(shí)。選擇“圖形”選項(xiàng)卡中的“網(wǎng)絡(luò)”節(jié)點(diǎn),將此拖入界面,將“網(wǎng)絡(luò)”節(jié)點(diǎn)加入流中,與“過濾”節(jié)點(diǎn)連接起來。雙擊打開網(wǎng)絡(luò)節(jié)點(diǎn),在“字段”列表中選擇添加字段,可以將所有的商品字段添加進(jìn)來;也可以點(diǎn)擊“僅顯示真值標(biāo)志”,將只顯示那些“兩者”的字段,如圖所示。圖 6. 網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)置
第五步,添加“建模”節(jié)點(diǎn)到流中,開始關(guān)聯(lián)規(guī)則模型設(shè)置和使用的篇章。首先點(diǎn)擊界面下方“建模”選項(xiàng)卡,再點(diǎn)擊“關(guān)聯(lián)”分類,將 Apriori 節(jié)點(diǎn)拖放到界面中,連接該節(jié)點(diǎn)到過濾節(jié)點(diǎn)上,或者雙擊 Apriori 節(jié)點(diǎn)。接著設(shè)置 Apriori 節(jié)點(diǎn)的參數(shù),建立關(guān)聯(lián)規(guī)則模型。雙擊打開 Apriori 節(jié)點(diǎn),如下圖所示。
分區(qū)允許您使用指定字段將數(shù)據(jù)分割為幾個(gè)不同的樣本,分別用于模型構(gòu)建過程中的訓(xùn)練、測(cè)試和驗(yàn)證階段。如果設(shè)置了“分區(qū)”,除了在此選擇分區(qū)字段外,還需要在“模型”選項(xiàng)卡中,勾上“使用分區(qū)數(shù)據(jù)”的選擇框。關(guān)于“分區(qū)”的概念、作用和使用方法,本文不做詳細(xì)介紹。
從結(jié)果可以看出,通過關(guān)聯(lián)規(guī)則模型挖掘出了三個(gè)規(guī)則,分別是規(guī)則一,購買了凍肉(frozenmeal)和罐裝蔬菜(cannedveg)的顧客都會(huì)購買啤酒(beer);規(guī)則二,購買了凍肉的顧客都會(huì)購買啤酒;規(guī)則三,購買了罐裝蔬菜的顧客都會(huì)購買啤酒。其中,第一列代表結(jié)果,而下一列代表?xiàng)l件,后面的列包含規(guī)則信息,如置信度、支持度和提升等。
市場(chǎng)分析員對(duì)于模型結(jié)果的三條規(guī)則和規(guī)則信息,如何分析得出結(jié)論呢?首先分析第一條規(guī)則,購買了凍肉和罐裝蔬菜的顧客會(huì)購買啤酒,此規(guī)則中購買了凍肉和罐裝蔬菜的記錄有 173 條,占 17.3%,同時(shí)購買了凍肉、罐裝蔬菜和啤酒的記錄占 14.6%,而在購買了凍肉和罐裝蔬菜的顧客中會(huì)有 84.393% 的顧客會(huì)購買啤酒,并且提升為 2.88,表明此規(guī)則的相關(guān)性很強(qiáng),部署能力和置信度類似,可以不考慮。對(duì)于規(guī)則二三,可以同樣分析。問題的關(guān)鍵是,哪些規(guī)則信息才能作為評(píng)判標(biāo)準(zhǔn)。通過對(duì)規(guī)則信息的分析和了解,建議將置信度和提升作為選擇規(guī)則的標(biāo)準(zhǔn),因?yàn)橹眯哦饶芊从吵鲆?guī)則預(yù)測(cè)的準(zhǔn)確程度,提升值越大,規(guī)則的相關(guān)性越強(qiáng)。據(jù)此,可以將規(guī)則一作為分析結(jié)果。
本文通過一個(gè)實(shí)際的商業(yè)場(chǎng)景,引入了 IBM SPSS Modeler 關(guān)聯(lián)規(guī)則模型,首先給出了關(guān)聯(lián)規(guī)則的相關(guān)概念,接著帶領(lǐng)您一步一步的創(chuàng)建了數(shù)據(jù)流,并且介紹了模型的建立和設(shè)置,并且對(duì)結(jié)果進(jìn)行了分析。您可以將本模型應(yīng)用到其他的場(chǎng)景中,如網(wǎng)絡(luò)日志分析、銀行潛在客戶分析、電子商務(wù)的捆綁銷售等。