PS0 — 忘了寫在前面

請問要為便秘的人生來點浣腸嗎？

機率與統計 (Probability & Statistics, PS) 是今年突然興起寫作的一個主題 (可以從標籤裡面選擇，通常寫作時間的順序代表我對這個主題從淺到深的討論，我們用P&S0、P&S1、P&S2…表示閱讀順序)，這個主題主要是想抒發對於生活當中所遭遇到的事情的一些看法，特別是從數學的角度來切入。人生不如意事十之八九，不過偶爾也會有神來一筆 (Deus ex machina) 喜 (洗) 出 (洗) 望 (睡) 外的時候，所以這些被稱作黑天鵝效應的便秘出血現象總是令人魂牽夢縈，甚至懷疑是大腸癌上身，所以它們到底是神性的安排，還是天定的命運呢？統計與機率就是幫助我們撥雲見日，替生活人生浣腸以達通體舒暢的甘油球~すげぇ。
　撇開數學不談，我們只要掌握統計學的基本概念，我們便可以操作一些軟件來幫助我們分析資料，統計學家最常用的是R或Stan，可惜俺是搞物理的，這兩個我都不會，我最熟悉的是Mathematica。同Fortran、Python和Ruby等等，它們都是非常直觀而且容易上手的語言，差別在於Mathematica是商用軟體需要摳摳，不過其實他可以很容易找到對應的Python套件來替代，語法也很容易轉換。如果有機會在某些特定的主題裡面，也許我會用到Python來呈現！內文當中的數學方程式是使用\(\LaTeX\)語法並在google blogger裡外掛MathJax來呈現。
　另外P&S這個分類的文章受到許多書和文章的啟發，由於這是個on-going topic，當我有參考到新的書籍和文章時，我會在這裡增補，參考資料 (通常是專業書籍與期刊文章) 與隨手閱讀 (通常是面向大眾的讀物) 的順序按增補的時間先後而非字母排列，reference的格式採用：作者, 標題, 出版社 (出版年)，特此說明！

參考資料 (References)

在這個分類的寫作裡面，如果我引用到參考資料裡的某本書籍或文章，例如我引用的第二本Bruce et al.的書，那麼我會就會以ref. 2的方式註明在該段落後面。
  1. S. Brandt, Data Analysis 4e, Springer (2014)
  2. P. Bruce and A. Bruce, Practical Statistics for Data Scientists, O'Reilly (2017)
  3. 吳作樂與吳秉翰, 圖解統計與大數據, 五南 (2016)
  4. G. Cowan, Statistical Data Analysis, Oxford (1998)
  5. Ž. Ivezić et al., Statistics, Data Mining, and Machine Learning in Astronomy, Princeton (2014)
  6. J. V. Stone, Bayes' Rule, Sebtel (2015)

隨手閱讀 (Reading list)

隨手閱讀如果引用的話會直接說可以在哪本讀物裡找到，不會像參考資料一樣以ref. x的方式註明。
  1. B. Christian and T. Griffiths, 決斷的演算, 行路 (2017) (原文書名為Algorithm to Live By, Henry Holt (2016))
  2. N. N. Taleb, The Black Swan 2e, Random House (2010) (中文版黑天鵝效應由大塊文化出版，但我光看試讀本就感覺翻得辭不達意，建議看原文本，非常精彩)
  3. J. Barzun, 從黎明到衰頹, 貓頭鷹 (2018) (原文書名為From Dawn to Decadence, Harper Collins (2001))
  4. 中井悅司, 机器学习入门之道, 人民邮电 (2018) (原文是ITエンジニアのための機械学習理論入門, 技術評論社 (2015))

留言

張貼留言

這個網誌中的熱門文章

物理雜記3 - Ising模型與模擬退火

圖片
Ising模型主要是用來描述物質的鐵磁性 (ferromagnetism)，是由德國物理學家Ernst Ising在1920左右提出了處理一維的解析解。該模型包含了每個晶格上原子的自旋 (spin) 參數，兩兩相鄰的原子彼此間可以是偏好處在共同的態上 (都是自旋向上)  或是處在相反的態上 (一上一下)，而外部的磁場會對該晶格上的自旋狀態施加能量，導致其偏向某一個方向。在這篇文章裡，我們不重複Ising當年複雜的數學解析解，而且該解也只能適用在1D的狀態，對於2D以上的系統目前並沒有解析解，所以我們將要另闢蹊徑，採用MCMC模擬的方式來決定一個系統終態每個晶格上自旋的排列情形。 一、Ising模型簡介 考慮一個由圖1所構成的晶格系統，晶格上的點都代表一顆原子，而黑白則表原子的自旋狀態，我們用黑表示向下而白表示向上，所以這個binary系統可以用更簡潔的\(\pm 1\)來表示每個原子可能的自旋 (即這個系統的樣本空間\(\Omega=\{+1,-1\}\))，另外為了方便，我們採用物理學的習慣將自旋表示為希臘字母\(\sigma_{n}\)，下標\(n\)可以想像成在 n 處原子的自旋態。原則上討論的都是一個由費米子 (fermions) 構成的系統，所以自旋應該用\(\pm \frac{1}{2}\)來表述，但在計算機上我們用\(\pm 1\)比較乾脆且簡潔。另外補充一下冷知識自然界已知的物質幾乎由費米子構成，僅有媒介作用力的粒子是玻色子 (bosons)，它們的差別在於費米子有半整數 (即不能約化成整數的分數) 自旋而玻色子則是整數自旋。 圖1. 晶格系統，黑白點分別代表該處原子的自旋狀態，黑表向下，白表向上。紅色的箭頭指出中心原子的4位鄰居\(m\) 　Ising模型假定了每個晶格上的原子的自旋都會受其鄰居 (neighbors \(\mathcal{N}\)) 的狀態影響，例如圖1中間白色的原子雖然他在這一刻是處在\(+1\)的狀態，但根據其週邊四個鄰居 (分別是3白1黑) 的況，它仍有一定的機會會在下一刻翻轉自旋的狀態。 　對一個給定位置 n 的原子，它和它的周圍鄰居構成的局部區域 (local area) 形成的一個系統的能量由Ising模型給出 \[ E_n = -\sum_{m\in \mathcal{N}} J
閱讀完整內容

PS7 - 小專題: 為何高斯分佈擁有最大熵?

圖片
高爾頓板，或稱做quincunx，是由Galton爵士 (1822-1911) 所發明用來驗證中央極限定理 (CLT) 的裝置。它也是第一位討論均值回歸 (regression to the mean) 現象的科學家，但同時亦是優生學 (eugenics) 這樣錯誤觀念的推廣者 在 上篇雜記 的結尾我們提到了對於一個趨於穩態的系統擁有最大的熵，而這也是統計力學的直接應用，用物理的角度來講便是當系統平衡時 Gibbs 自由能不再變化 (\(\Delta G =0\))，而在此時會對應到系統的熵有全域極大值 (global maximum)。故大自然很多現象都已經處於穩態的狀況下，我們對這個現象的母體做抽樣，所得到的觀測樣本應也有最大熵，則描述這些觀測樣本最好的分佈便是符合該條件下擁有最大熵的機率分佈。而指數族的分佈符合最大熵的特點，我們在這個小專題內便嘗試證明高斯與二項式分佈在連續和離散的隨機變量下的條件擁有最大熵的性質。 一、機率熵 在 上篇雜記 裡裡我們探討了夏儂熵，或者稱作資訊量\(I\)的意含，所以一個系統內 (我們這裡就不再用系綜這種彆扭的歷史名詞了) 每個成員出現的機率是\(p_i\)，則對該系統的熵可以用夏儂熵公式來表示 \[ I(p) = -\sum_i p_i \ln p_i. \tag{7.1} \] 所以對某一組 連續 機率分佈函數\(p(x)\)，其中\(x\)是隨機變量，則將(7.1)的求和符號改成積分後有 \[ I(p) = -\int p(x)\ln p(x) dx, \tag{7.2} \] 稱為機率分佈\(p(x)\)的 機率熵 ，而積分的上下限則看隨機變量的範圍，例如高斯分佈就是\(\pm \infty\)。如果今天我們有兩組機率分佈\(p(x)\)和\(q(x)\)，我們便可以定義它們之間的 相對熵 ，或稱作 KL散度 (Kullback-Leibler divergence)，定義為 \[ D_{KL}(q,p)\equiv\int q(x)\ln \left(\frac{q(x)}{p(x)}\right) dx = I(q,p)-I(q)\geq 0, \tag{7.3} \] 是 正定的 (positively defined)，其中 \[ I(q,p)=-\int q(x)\ln p(x) d
閱讀完整內容

IA9a - K-means分群與EM算法: 理論

圖片
市場內分門別類的產品 原則上 K-means分群 是 EM算法 (expectation-maximization algorithm) 的一個特例，相較於EM從似然函數 (likelihood) 的方式出發並導出不同資料點對不同群 (或稱聚類、簇，cluster) 的貢獻度，K-means單純用歐氏距離來分類，雖然這加快了K-means算法的計算效率，但顯然的這麼naïve的方法會產生明顯的缺陷。但仍讓我們會先從簡單的K-means開始，並探討K-means算法的結果在某些情況下和人類肉眼辨識的結論會產生明顯的歧義，接著再推進到通用的EM算法，除了 python 的demo外，我也會證明在數學上如何從EM得到K-means的極限 (僅限高斯混合的情況)，而在這個part內，讓我們先從數學理論的角度來面。 一、K-means分群 今天如果我有一大坨資料共120個點如圖1所示，從資料的散佈趨勢來看，很明顯的分成兩群，那我們是不是可以有一個演算法來自動化將資料點如同我們臆測的一樣分成兩袋？一個最簡單的發法便是使用K-means分群，而這個大寫K表示群的數量，以圖1而言，我們猜測K=2，所以是個2-means分群問題。 圖1. 資料散佈圖 (普魯士藍) 與初始化的紅綠兩點 　所以為了達成分群，我們需要先初始化兩個點，這兩個點代表兩群的中心。事實上，初始化的位置不必要一定剛好在兩群的中心，可以是任意挑選的地方，但為了計算方便，我們會將起始化的兩點開始在靠近資料點的平均值附近，如同圖1中紅綠兩點。我們將這兩個初始化的點叫作\(p_k\)其中\(k=1,2\)表示第\(k\)群。另外將資料點的集合用\(\mathbf{D}=\{d_1,d_2\cdots d_n \cdots d_{120}\}\)表示，所以我們計算每個點\(d_n=(x_{d_n},y_{d_n})\)和\(p_k=(x_{p_k},y_{p_k})\)的歐氏距離 \[ \ell_{n,k}=\sqrt{(x_{d_n}-x_{p_k})^2+(y_{d_n}-y_{p_k})^2}. \tag{1} \] 若該點和\(p_1\)的距離小於和\(p_2\)的距離 (\(\ell_{n,1}<\ell_{n,2}\))，則我們說\(d_n\)比較靠近\(p_1\)且應該
閱讀完整內容