在了解 GPU 與 GPU 之間的差異前,我們先來看看計算機是如何計算加減乘除的。
以 CPU 計算乘法為例,CPU 需要先去得 Memory 的資料才可以進行運算,計算完成後還需要把結果放入 Memory 中。
接著來看看矩陣乘法。
想想看,如果是電腦會怎麼運作?有很多種可能吧!例如可以重複的做剛剛提到的單一運算式的方法,也可以先將所有資料都先讀取到 CPU,在進行所有運算,最後再將結果儲存回 Memory 中。