SIC ITUR AD ASTRA

PASIEKA / SCIENCE PHOTO LIBRARY Data analysis is simply a dialogue with the data —S. F. Gull 一、機率到底告訴我們了什麼? 假定我們有兩枚六面骰A和B每面為標記為1~6的整數，我們如何確定兩枚骰子都是公正的? 即每個面骰出的機率皆為1/6。古典機率的概念告訴我們若擲兩枚骰子多次，並記錄每面出現的次數，如果一枚骰子是公正的，那麼理論上每面出現的次數相同或接近相同。 圖1.  骰A (粉藍) 與骰B (粉紅) 各擲50次每面出現的次數 　現在我擲50次並記錄兩枚骰子每個面出現的次數，並用將其畫成直方圖如圖1所示，從記錄的結果來看，我可以斷定哪個骰子是公正的嗎? 看起來好像不行，那如果我改成擲100次、1000次就可以分別公不公正了嗎? 換個方向來看，也許我們不在乎骰子是否公正，我們在乎的是用我們觀測的資料集\(D\)，它是否可以告訴我們骰子每面出現的機率分佈是什麼? 都是同一組資料，一個是基於古典推論 (classical inference)，另一個則是貝氏推論 (Bayesian inference)。對於古典推論，即頻率論而言，我們有以下原則 (tenets)： 機率對應到的是事件出現的頻率，它們是真實世界的 客觀呈現 (objective properties) 參數是固定的 (未測量前是未知的)，比如六面骰每面擲出的機率可以是這裡提到的參數。這裡的參數對應的是柏拉圖世界的量，如果是一枚六面公正骰，那麼每面擲出的機率一定是1/6，不可能有波動 (fluctuation) 當我們重複步驟愈多次 (如擲骰的次數)，那麼每面出現的頻率應該是一個可以被定義的量 (即收斂，如果該量會產生波動則不收斂) 但對於貝氏推論而言，它則是基於如下的態度 (stance)： 機率是對 主觀信念 (subjective beliefs, prior ) 的描述，而不受限於資料出現的頻率長遠來看是否是一個定值 我們對於模型參數 (例如每個面出現的機率) 的推論給出的是它位於“某個值”的機率分佈，這個分佈代表的是我們對這個參數有多清楚 (不清楚的話該參數就會是一個很大的範圍) 關於古典推論的原則是沒有問題的，非黑即白，但對於貝氏...

Concert of Putti in the Clouds (unknown date), Wenceslaus Hollar Can several angels be in the same place? —Summa Theologica 引言來自中世紀神學家聖托馬斯．阿奎納 (St. Thomas Aquinas, 1225-1274) 的 神學大全  ( Summa Theologica ) 第一部問題52，後來成為中世紀經院哲學 (scholasticism) 在探討歸謬法 ( reductio ad absurdum ) 中的經典問題：有多少天使在針頭上跳舞？(How many angels can dance on the head of a pin?) 不過討論這種問題如同爭論白馬非馬邪，後來也被隱射為不切實際、空想哲學家的成語！撇開這些泛泛迂腐的哲學論證，在問到底有多少天使在針頭上跳舞時我們牽涉到了一個關於信念的議題，我有多相信天使佔有物理實體？如果天使沒有實體，那麼任何地方都可以容納無限多的天使，如果天使有一定的體積，那麼不管在大的空間，可以容納的天使數量都是有限的。基於我們 先驗的 (prior) 信念配上觀測的數據而導出 後驗的 (posterior) 推論，這就是 貝氏分析 (Bayesian analysis) 的基本想法。之後將會深入探討我們人在無時無刻所做的決定，都是根據貝氏分析的方式來下決策，不過在這之前，讓我們先回到最基本的機率開始！ 一、立春落雨透清明，條件機率 雨都基隆平均一年有200天將近3/5都在下雨，隨機從一年中抽出10天，大概有5至6天會是雨天，這是運用了平均的概念。不過我們換個情境，如果今天我抽出某一天告訴你那天是雨天，試問隔天下雨和出太陽的機率誰高？這個時候我們會發現平均率失準了，因為跟在雨天的隔天也是下雨天的機率總是特別高，大概抽出10天雨天，隔天也是雨天的數量會接近8天，也就是超過4/5而不是以一年平均的3/5。 圖1.  共同處在菱形A與圓形B中的事件稱作A交集B (A∩B)，若是包含所有A與B的事件集合便稱做A聯集B (A∪B)，這樣的圖形此稱作 文氏圖 (Venn diagram) 　所以上面的情境中是基於第一天是雨天的條件 (c...

A single death is a tragedy; a million is a statistic —J. Stalin 一、消失的風險 作者N. N. Taleb以一則軼事作為引子，在17世紀發現澳洲以前，除了白天鵝外，歐洲人並不知道有黑天鵝的存在。如果你告訴一個當時的歐洲人說有黑色的天鵝，必然招來訕笑。爾後，黑天鵝效應被作者用來借代那些被認為不可能存在，或是高度發生不能 (highly improbable) 的事件 (我認為比較有趣的反而是被宰的火雞故事)。 　對於黑天鵝事件，我們總是無法預測它的到來，例如911事件、雷曼兄弟事件，車禍和天災……等等。在事件發生前總是一片祥和平靜，我們自以為做好了萬全的準備，但直到爆發前，我們從來不知道我們是多麼的脆弱與無知。所以黑天鵝事件代指發生機率極低，低到不認為會發生的事情，而黑天鵝效應則稱之其衝擊無比之大，足以劇烈的影響受它感染的客體。所以黑天鵝並不是一個絕對的概念，而是相對的，今天Alice投資在股市的大量資產受次級房貸的崩潰而一夕化為廢紙，對投資完全沒有概念也無意觸碰的Bob來講並不是隻黑天鵝。能夠被計算出的風險並不是真正的風險，我們應該著重在預防那些不能被真正預測的事件上面，考量自己的承受度再來決定是否要涉足該地區。 　表面上看來，作者有些反智，甚至在文中強烈的批評其他學者對於他的攻訐，不過文人自古相輕，特別是那些選擇說出真話與我們確實是無知的人，如同國王新衣裡天真的孩子一樣，可惜我們會發現在學術的圈子內，受到訕笑與修正的不是這些中央教條 (central dogma)，反而是指出錯誤的人，不少蛋頭學者用更加匪夷所思的論調與調變來維繫搖搖欲墜又脆弱的知識大廈。或許他們護航的並不是真理，而是那些能讓他們作威作福招搖撞騙的舒適圈吧？ 二、柏拉圖式愚昧 在這本書裡黑天鵝事件與效應是同義詞，一體兩面，事件發生必帶來相應的效應，避免麻煩我用黑天鵝現象 (phenomenon，指事件的發生與後續的效應) 來代指兩者。 　我們喜歡從複雜紛亂的現實世界中找出規律，這類的柏拉圖主義，對於數學與物理學家最能深感其奧妙。不過Taleb卻指出了這其中的缺陷，我們的現實不可能完美地對應到柏拉圖的理想國，這些玄妙又精準的數學語言所提供的預測，在與我們現實世界交會並失效的邊界便稱作 柏拉圖圈 (Pl...

在粒子物理學中，我們已知自然界有四種基本的作用力：重力、電磁力、弱力和強力 1 ，以及數以百計的基本粒子 2 ，這些粒子與作用力構成了人類已知的宇宙，描述它們的理論即稱為標準模型 (Standard Model)，處在標準模型的粒子都是能夠透過人類建造在地面上的實驗所量測，但目前有一些觀測和理論預言了其他可能的粒子存在，像是暗物質或超對稱粒子，他們便不屬於標準模型的範疇，標準模型也沒有容納這些新粒子的空間，所以我們認為標準模型只是一個有效理論 (effective theory)，亦即它不是普適的而是只在某種狀態下是可以描述這個宇宙的 (比如說當物質所帶的能量超過某著閾值後，標準模型便不能正確的描述他的行為了)，超出這個狀態外，標準模型便不適用了。所以找到一個普適的理論，便是理論物理學所追尋的聖杯 (holy grail)。 1  在能量極高 (溫度很高的同義詞) 的狀態下，電力和弱力可以統合成同一種數學表述，叫做電弱力。大部分的理論物理學家相信在太初大霹靂 (差不多就是神說要有光的那一刻!!!) 的時候，這四種力會統合成單一種表述，不過目前沒有證據也沒有決定性的數學理論來描述 2  不包含暗物質及超伴子。暗物質假想是使星系成為星系並維持其運作的基本物質，天文學觀測已經有強烈的證據認為暗物質 (或能產生相同效應的東西) 需要存在，但由於與一般物質的作用力太微弱，目前尚未觀察到暗物質粒子直接的證據。超伴子 (sparticle) 是超對稱理論預言的產物，目前沒有證據支持超對稱理論的存在 (但也沒有否證它的存在XD，只能說inconclusive) 一、眾裡尋它千百度：新物理 所以我們到底怎麼建造探測器，並確定探測器所量到的數據是符合標準模型的還是與標準模型有偏差的？這些新物理都是來自未知的理論與現象，根本無法估量，更別說預測新物理可能的行為了。雖然有不少建模專家，致力於建造一個比標準模型更廣泛的理論並給出預測，像超對稱理論便是，不過理論就是理論，在沒真的被測量到以前，都只是紙上談兵！而對實驗學家而言，這些百家爭鳴的理論沒有一個是重要的，反正都是理論學家在嘴砲而已，真正重要的是已知的東西，把已知的東西搞清楚後，我們才能談論什麼叫做未知！ 　有一種探測器叫做微中子 (neutrino, \(\nu\)) 探測器，微中子由於與其它標...

清院本清明上河圖—虹橋市集 (1736)，陳枚等五人 多少長安名利客，機關用盡不如君 — 黃庭堅《牧童詩》 一、數據有道理？ 人生有很多面臨抉擇的時刻，雖然說不上是生死的訣別，大部分反倒是一些小家子氣的事情。今天想吃法國菜，但選哪間餐廳比較好呢？餐廳A得了4.1顆星而餐廳B只有3.5顆，所以表示A比較好囉？可是餐廳B的主廚比較帥耶>///<、另外出國訂旅館也是、向網路賣家買東西也先要看評價，甚至求神問卜也要打聽哪家廟比較靈驗、或信徒比較多，好像我許的願望比較有機會實現。 　而對於商業經營者而言，每週消費者點清燉牛肉麵的數量比紅燒牛肉麵多了78碗，所以清燉牛肉麵銷量似乎較好，應該多備double的料以備不時之需？同樣的網頁廣告，用格式二的方式呈現在上週比格式一每天平均多出31次點擊數，所以格式二比較吸靚？ 　日常生活中，不僅僅是個人，也包含了企業，都不斷地在從大量的資料中希望能看出一絲端倪，來幫助我們做下一步的決定。這個決定攸關個體的利益，我做的決定是不是能幫助我獲得更多的快樂、更大的利潤？但是我們所看到，所掌握的數據，真的就如同表面的呈現這麼簡單嗎？背後是否藏有更多的秘密？讓我們來一窺數據世界的虛虛實實！ 二、仰觀俯察，通德類情：母體與樣本 1. 見微知著，抽樣數據 前面的文章已經談到了真實的 母體數量 (population) 之龐大，我們不可能殫精竭慮的遍歷所有群體中的個體，而是會從中採集一定數量的 樣本 (sample)，這個過程就稱作 取樣 (或採樣、抽樣，sampling)，以期能夠從這些樣本能夠展現出母體本身的特性，或甚至可以用來推斷母體在未來可能的趨勢與行為，見圖1。 圖1. 母體 (population) 與樣本 (sample)，重繪自ref. 2的Figure 2-1  　為了能夠使採集的樣本具有 代表性  (representativeness)，採樣的過程必須是隨機，即 隨機採樣 (random sampling)。例如總統選舉的民調是對台灣的國民做隨機電訪，雖說電訪應該是隨機的，但不同年齡層、不同性別、或居住在不同地區對政黨支持或是議題支持則有可能展現出不同的趨勢。所以在電訪時應盡量使樣本散居在台灣各地 1 ，則可以避免天龍國觀點或...

請問要為便秘的人生來點浣腸嗎？ 機率與統計 ( P robability & S tatistics, P S ) 是今年突然興起寫作的一個主題 (可以從標籤裡面選擇，通常寫作時間的順序代表我對這個主題從淺到深的討論，我們用P&S0、P&S1、P&S2…表示閱讀順序)，這個主題主要是想抒發對於生活當中所遭遇到的事情的一些看法，特別是從數學的角度來切入。人生不如意事十之八九，不過偶爾也會有神來一筆 (Deus ex machina) 喜 (洗) 出 (洗) 望 (睡) 外的時候，所以這些被稱作黑天鵝效應的便秘出血現象總是令人魂牽夢縈，甚至懷疑是大腸癌上身，所以它們到底是神性的安排，還是天定的命運呢？統計與機率就是幫助我們撥雲見日，替生活人生浣腸以達通體舒暢的甘油球~すげぇ。 　撇開數學不談，我們只要掌握統計學的基本概念，我們便可以操作一些軟件來幫助我們分析資料，統計學家最常用的是R或Stan，可惜俺是搞物理的，這兩個我都不會，我最熟悉的是Mathematica。同Fortran、Python和Ruby等等，它們都是非常直觀而且容易上手的語言，差別在於Mathematica是商用軟體需要摳摳，不過其實他可以很容易找到對應的Python套件來替代，語法也很容易轉換。如果有機會在某些特定的主題裡面，也許我會用到Python來呈現！內文當中的數學方程式是使用\(\LaTeX\)語法並在google blogger裡外掛MathJax來呈現。 　另外P&S這個分類的文章受到許多書和文章的啟發，由於這是個on-going topic，當我有參考到新的書籍和文章時，我會在這裡增補， 參考資料 (通常是專業書籍與期刊文章) 與 隨手閱讀 (通常是面向大眾的讀物) 的順序按增補的時間先後而非字母排列，reference的格式採用：作者, 標題 , 出版社 (出版年)，特此說明！ 參考資料 (References) 在這個分類的寫作裡面，如果我引用到參考資料裡的某本書籍或文章，例如我引用的第二本Bruce et al .的書，那麼我會就會以ref. 2的方式註明在該段落後面。 S. Brandt, Data Analysis 4e , Springer (2014) P. Bruce and A. Bru...

Fortuna (1754), Tadeusz Kuntze 世間多少荒唐事，何獨神仙有是哉 一、眾言落花本有意 每周接到騷擾電話的次數、補教名師表示今年指考物理科非常的簡單，可我怎麼都不會寫！我在台灣算是低收入戶嗎？股票投資會賺錢嗎？醫療險推銷員說台灣人一生花在在醫療上的經費平均超過300萬，早買賺愈多、半(扮)仙老師鐵口直斷年過40接下來會遭婦女病纏身……等等。 　生活中總充滿著無盡的變數與不確定性，正是這種混沌的狀態，另我們感到迷惘，甚至很怕遭逢意外人生便從此跌入谷底萬劫不復。甚至當大家說發生的機率很低時卻發生在我身上，這是因為我太幸運還是因為業障積太多，就跟老婆子的陳年宿便一樣令人擔憂。所以在傻傻的以為有買有保庇時，其實簽的都是滿紙荒唐言，一把辛酸淚；都云買家癡，誰解其中味？~笑！ 二、是偶然還是注定？統計分布 (statistical distribution) 在討論到底這件事會不會發生的問題時，問題本身看似單一，但不同時刻同個問題可能有不同的發生機率，這就是事件對時間的分布。尤有甚者，同個問題還可以劃分出不同的子事件\(A_i\)，其中\(A_1\)好發於年輕族群、\(A_2\)則在壯年、\(A_3\)較易於發生在男人生上……這也是分布，而且是更複雜，含有更多維度(multi-dimensional)資訊的分布(我知道你在想什麼，但絕對不是像星際效應那種蟲洞黑洞的時空維度XD)。我們接著來看看這些看似隨機而且雜亂的事件，其中到底蘊含了什麼奧妙？又該怎麼看待發生在每個人身上的機率這件事？ 1. 關於事件分布的二三事 在開始討論統計分布以前，我們先來預備一些基本知識。首先對真實世界而言，母體(沒有人在演駭客任務!)的事件數是非常大量，或者可以說趨近於無限大(\(\infty\))，基本上我們不可能有時間與人力去普查一個無限大量的事件，所以我們會對母體做採樣(sampling)，採集出來的結果就稱作樣本(sample)，如果採集的過程是隨機的，那麼這一組樣本資料則可視為是隨機變量(random variables)。 圖1.  房間粒子溫度採樣，非按照比例繪製 　直接看圖1會比較好理解，假設一個房間內有大量的粒子，每個粒子有不同的溫度\(T_i\)，我們不可能把每個粒子都抓...