前 言

高性能計算是信息領域的前沿高新技術，在保障國家安全、推動國防科技進步、促進尖端武器發展方面具有直接推動作用，是衡量一個國家綜合實力的重要標志之一。隨著信息化社會的飛速發展，人類對信息處理能力的要求越來越高，不僅石油勘探、氣象預報、航天國防、科學研究等需求高性能計算，而且金融、政府、教育、企業、網絡游戲等更廣泛的領域對高性能計算的需求也在迅猛增長，百億億次計算（Exascale）已提上研究日程，人們正期待著未來采用百億億次計算機解決更大規模、更加復雜的問題。

21世紀多核、眾核時代已經來臨，高性能計算產業正在經歷一場深刻的變革，并行計算將是未來的發展趨勢，也將再次成為研究熱點。目前主流的集群架構系統，采用CPU同構模式，其單節點內擁有十幾個甚至幾十個CPU計算核心已非罕事，大規模計算應用中一次甚至可以利用數十萬個以上CPU核心，然而采用CPU同構架構系統將面臨著性能功耗比、性能訪存比、并行效率等巨大挑戰。而采用CPU+GPU的異構架構進行通用科學計算，利用GPU眾核技術進行加速，在業界已掀起一陣熱潮，但其也面臨著細粒度并行算法、編程效率、大規模計算性能等重大挑戰。如何在提高大規模計算系統性能、提高軟件生產力的同時縮短編程周期，降低功耗將是我們思考和關注的焦點。

Intel公司推出了基于集成眾核（Many Integrated Core，MIC）架構的至強融核（Intel® Xeon PhiTM）系列產品，用于解決高度并行計算問題。該產品雙精度性能達到每秒一萬億次以上，它基于現有的x86架構，支持OpenMP、pThread、MPI等多種業內熟悉的并行編程模型，采用傳統的C/C++/Intel® CilkTM Plus和Fortran等語言進行軟件開發，其特點以編程簡單（引語方式）著稱，具有豐富的工具鏈支持。對于采用傳統CPU平臺很難實現性能進一步提升的部分應用，使用MIC可以帶來性能的大幅提升，并且CPU與MIC可以共用一份代碼，在x86架構下實現CPU+MIC異構協同計算的完美結合，為廣大高性能計算用戶提供了全新的計算解決方案。

浪潮-Intel中國并行計算聯合實驗室從2011年8月24日成立以來，就一直參與MIC技術研究，并在MIC平臺開展實際的高性能計算應用項目工作，為Intel® Xeon PhiTM系列產品最終順利推出，貢獻了自己的一份力量。我們在深入了解MIC軟硬件的同時，也積累了大量的開發經驗。我們很榮幸能夠參與到這場高性能計算的技術革命當中，并作為先行者，將MIC技術介紹給各位讀者。希望通過本書，能讓更多的讀者了解MIC技術，并享受到Intel® Xeon PhiTM系列產品帶來的好處。

本書適合的讀者

本書的主要目標是為開發人員提供一些幫助，使他們能夠學會使用Intel® Xeon PhiTM系列產品，并利用其開發、移植或優化并行程序。本書的主要內容是講述一些使用MIC技術時的編程語法、程序設計技術和優化手段，并基于我們的應用性能優化經驗，介紹一些在實際應用中遇到的問題和解決方案。

我們假設讀者擁有一定并行程序開發的基礎知識，但是對MIC技術知之甚少。本書并非講解并行計算原理或算法的書籍，因此假設讀者擁有相關原理和算法的知識，但是在面對具體并行算法時，本書仍然會進行描述。本書假設讀者熟悉OpenMP、MPI等并行編程常用的手段，但仍會對常用的語法進行簡要的介紹。本書假設讀者熟悉C/C++/Fortran中的一種或幾種編程語言，尤以熟悉C/C++為佳。但是，書中給出的許多思想和建議也同樣適合其他的高級語言，而且，如果以后Intel公司的Intel® Xeon PhiTM產品支持其他語言，絕大部分優化手段和應用經驗仍然可以適用。總的來說，此書大致適合三類人群：

高校、科研院所學生、老師及科研人員，研究并行，研究多核、眾核技術者；

IT從業人員，編寫高性能計算軟件，利用眾核提升程序性能，在高性能計算領域追求性能的開發人員尤為適用；

行業高性能計算領域應用人員，如石油勘探、生物基因、醫療圖像、金融、航空航天、氣象氣候、材料化學等人員，目的是利用MIC提升原CPU程序性能，從而提高生產力。

我們希望通過我們的努力能夠使得本書讓更多的讀者受益，具有更加廣泛的讀者群。

關于本書

由于MIC架構的特殊性，本書并不能被明確地歸到某一類中。這是一本介紹MIC編程語言的書，這是一本介紹Intel® Xeon PhiTM產品的書，這又是一本介紹并行編程優化的書。通過閱讀本書，我們希望讀者能夠盡量多地了解有關MIC的方方面面，更希望讀者能夠在未來的實踐中用上MIC技術，用好MIC技術。

本書由三篇組成。第一篇為“MIC基礎篇”，包括第1～8章，介紹MIC架構的基礎知識。其中：

第1章簡要回顧了并行計算的發展歷程，并對市面上現有的并行計算的硬件技術進行了對比，然后簡要介紹了MIC技術的情況，并給出了MIC技術的優勢。

第2章介紹了支撐MIC技術的軟硬件架構的相關知識。雖然沒有這些背景知識并不影響使用MIC編程，但深入了解MIC架構能夠編寫出更加適合MIC架構的程序。

第3章介紹了MIC運行、編程環境的安裝和配置。由于MIC技術包含獨立的硬件以及相關的驅動、編譯器、編程工具等一系列配套軟件，因此需要編程人員，尤其是系統配置人員對此有一定掌握。本章供需要配置系統的讀者閱讀。

第4章通過一個計算圓周率PI的小例子，直觀地展示了MIC程序的特點，并介紹了MIC程序背后的運行流程。

第5章介紹了MIC編程所需的背景知識，包括OpenMP和MPI的基本語法。如果已有這方面的基礎，可以跳過本章。

第6章介紹了MIC的編程模式、語法、環境變量、編譯選項等。通過本章的學習，可以掌握編寫自己的MIC程序的方法。

第7章介紹了MIC相關的調試和優化工具以及它們的用法。學會使用工具，可以為調試和優化帶來方便。

第8章介紹了Intel公司的一些可以用在MIC上的數學庫的用法，包括VML、FFT、Blas等。

第二篇為“性能優化篇”，包括第9章和第10章的內容。其中：

第9章首先講述了MIC優化的基本原則和策略，之后分不同方面詳細闡述了MIC優化的方法與使用場合。本章講述的內容已基本涵蓋MIC優化的主要方法，而且，除個別方法以外，大部分方法也通用于CPU并行計算編程的實踐當中。

第10章通過對并行計算中典型示例——矩陣乘法的優化，以理論結合實際的方式，一步步地詳細解釋了優化步驟是如何應用的。

第三篇為“工程開發篇”，包括第11章和第12章的內容。這是全書的最后一部分，其中：

第11章通過作者對自身團隊工程開發優化經驗的總結，提煉出一套并行程序開發在工程應用中的方法。對如何判斷一個串行或并行的CPU程序是否適用MIC進行計算，并且如何將程序移植到MIC上進行了討論。

第12章通過兩個實際生產中的案例，講述了MIC技術是如何對實際項目產生影響的。

本書前期由高效能服務器和存儲技術國家重點實驗室主任、浪潮-Intel中國并行計算聯合實驗室主任、浪潮集團高級副總裁王恩東牽頭，并明確寫作方向，對技術發展趨勢把關，浪潮-Intel中國并行計算聯合實驗室首席工程師張清具體負責制定寫作計劃、確定整本書的提綱、結構、每章節書寫的內容、風格和讀者定位。中期由張清組織和推進團隊寫作此書，并定期進行審閱，對執筆作者完成的章節內容的準確性、技術表述的深淺度、可讀性進行審核，并反饋修改意見，具體由浪潮-Intel中國并行計算聯合實驗室工程師沈鉑、張廣勇、盧曉偉、吳慶、王婭娟五位作者共同執筆，其中第1章由沈鉑撰寫，第2章由吳慶、沈鉑撰寫，第3章由王婭娟撰寫，第4章由沈鉑撰寫，第5章由沈鉑撰寫，第6章由沈鉑撰寫，王婭娟也參與了部分撰寫工作，第7章由吳慶撰寫，第8章由盧曉偉撰寫，第9章由張廣勇撰寫，沈鉑、王婭娟也參與了部分撰寫工作，第10章由張廣勇撰寫，第11章由沈鉑撰寫，第12章由盧曉偉、張廣勇撰寫。后期由王恩東、張清、Intel公司的何萬青（Warren）博士、Victor Lee（李匯強）博士審閱，張清負責最后內容審定、統稿。

本書中全部完整的源代碼已經過作者反復測試通過，但由于MIC技術尚處于起步階段，不能保證源代碼在更新版本中仍然可用。因此，如果編譯器或MIC執行環境有更新，請參閱相應版本的Intel官方手冊。

致謝

本書的出版是團體協作努力的結果。在此對為本書的編寫和出版提供了巨大幫助的人們致以誠摯的謝意。

我們首先感謝浪潮集團、Intel公司給我們這么好的一個平臺，提供我們在浪潮-Intel中國并行計算聯合實驗室工作的機會，讓我們有幸能研究MIC技術；

感謝浪潮集團領導對此書的大力支持，尤其要感謝浪潮集團高性能計算總監劉軍對我們提供人力、物力、財力上的大力支持，以及對幾位作者的關懷和鼓勵，此書才得以順利完成；

感謝Intel公司的Michael Casscles，何萬青博士，郭洪昌，David Scott博士，段小平，Victor Lee（李匯強）博士對我們并行計算聯合實驗室日常工作的技術和資源支持。尤其感謝何萬青博士在開始寫書前，為此書的寫作策劃提供經驗指導，讓我們寫書過程中少走很多彎路；特別感謝英特爾技術計算集團總經理Raj Hazra博士和技術計算市場總監Joe Curley等領導對整個浪潮-Intel中國并行計算聯合實驗室工作、業務的支持；

感謝我們的應用客戶：中國石油集團東方地球物理勘探有限責任公司，中國科學院生物物理研究所，西北工業大學，中國氣象科學研究院，山東大學與我們在MIC項目上進行合作。尤其感謝中國科學院生物物理研究所的孫飛研究員、張凱博士，西北工業大學的鐘誠文教授、李勤儉等允許我們將雙方合作的項目作為書中的實際案例呈現給讀者。

感謝浪潮集團，Intel公司對本書出版的大力支持，尤其感謝浪潮高性能服務器產品部蔣永昌經理、張影對此書出版的幫助，為我們寫書節省很多寶貴的時間；

感謝一起合作過的謝海波博士，楊曉哲，我們不會忘記那段快樂的時光；

感謝幾位作者的家人長期以來對作者的關心和生活上的照顧；

感謝中國水利水電出版社編輯們的辛勤勞動，尤其感謝策劃編輯周春元老師，責任編輯李炎老師認真負責的工作和對我們無理要求的寬容，沒有你們的幫助，這本書就不會面市。

最后，對前文未能提到的所有相關人員表示歉意，在此一并感謝。

MIC技術剛剛興起，書中也難免有錯誤和不能與時俱進的地方，我們對此表示深深的歉意，并懇請各位讀者多提寶貴意見。

張 清

浪潮-Intel中國并行計算聯合實驗室首席工程師

序一
序二
前言
第一篇 MIC基礎篇

第1章 MIC高性能計算 3
1.1 多核、眾核計算的發展 3
1.2 MIC技術簡介 6
1.3 為什么要選擇MIC 7
1.3.1 SMP 8
1.3.2 集群（cluster） 8
1.3.3 GPGPU 8
第2章 MIC硬件及軟件架構 11
2.1 MIC硬件架構 12
2.1.1 術語解析 12
2.1.2 MIC硬件架構概覽 13
2.1.3 MIC Core 15
2.1.4 環形互聯總線Ring 27
2.1.5 CLOCK 28
2.1.6 頁表（Page Tables） 28
2.1.7 系統接口 29
2.1.8 性能監控單元和事件管理器 35
2.1.9 電源管理 36
2.2 MIC軟件架構 37
2.2.1 概述 37
2.2.2 Bootstrap 39
2.2.3 Linux加載器 40
2.2.4 微操作系統（OS） 40
2.2.5 對稱通信接口（SCIF） 42
2.2.6 主機驅動 43
2.2.7 sysfs節點 45
2.2.8 MPI應用的MIC軟件棧 46
2.2.9 應用編程接口（API） 53
第3章 MIC安裝、環境配置 54
3.1 MIC環境配置 54
3.1.1 前期準備 54
3.1.2 安裝Host端的Linux操作系統 55
3.1.3 安裝MIC驅動 55
3.1.4 安裝在MIC上編譯C/C++的編譯器 59
3.2 SDK示例運行 61
第4章 第一個MIC實例——計算PI 63
第5章 OpenMP和MPI編程基礎 66
5.1 OpenMP基礎 66
5.1.1 OpenMP簡介 67
5.1.2 OpenMP編程模型 67
5.1.3 OpenMP語法簡要介紹 67
5.2 MPI基礎 72
5.2.1 啟動和終止MPI庫 73
5.2.2 獲取信息 73
5.2.3 發送和接收消息 74
第6章 MIC編程 77
6.1 MIC編程模型 77
6.2 應用模式 78
6.2.1 CPU原生模式 79
6.2.2 CPU為主MIC為輔模式 79
6.2.3 CPU與MIC對等模式 80
6.2.4 MIC為主CPU為輔模式 81
6.2.5 MIC原生模式 81
6.3 MIC基本語法 83
6.3.1 offload 83
6.3.2 變量和函數聲明 100
6.3.3 頭文件 101
6.3.4 環境變量 101
6.3.5 編譯選項 102
6.3.6 其他問題 104
6.4 MIC上的MPI 104
6.4.1 MIC上的MPI限制 104
6.4.2 MIC上MPI編程模型 105
6.4.3 MIC上的MPI環境配置 107
6.4.4 編譯及使用 109
6.4.5 MIC上的MPI示例 109
6.5 SCIF編程 112
6.5.1 什么是SCIF 112
6.5.2 SCIF的基本概念介紹 112
6.5.3 SCIF基本通信過程 114
6.5.4 SCIF用到的API函數 116
第7章 MIC軟件調試與性能分析工具 120
7.1 Intel軟件工具鏈對MIC的支持 120
7.2 MIC軟件調試工具IDB 121
7.2.1 IDB簡介 121
7.2.2 IDB的操作界面 121
7.2.3 IDB對MIC架構的支持與要求 122
7.2.4 使用IDB調試MIC程序 123
7.3 MIC性能分析工具VTune 146
第8章 Intel MIC MKL庫使用方法 161
8.1 Intel MKL核心函數庫介紹 161
8.2 在MIC卡上使用Intel MKL 162
8.2.1 編譯器輔助offload方式 163
8.2.2 自動offload方式 164
8.3 FFT在MIC上的使用 168
8.3.1 FFT簡介 168
8.3.2 FFT在MIC上的使用方法一 169
8.3.3 FFT在MIC上的使用方法二 172
8.4 BLAS在MIC上的使用 179
8.4.1 BLAS簡介 179
8.4.2 在MIC上調用BLAS庫方法 179

第二篇 性能優化篇

第9章 MIC性能優化 185
9.1 MIC性能優化策略 185
9.2 MIC優化方法 187
9.2.1 并行度優化 187
9.2.2 內存管理優化 190
9.2.3 數據傳輸優化 192
9.2.4 存儲器訪問優化 206
9.2.5 向量化優化 210
9.2.6 負載均衡優化 219
9.2.7 MIC線程擴展性優化 222
第10章 MIC優化示例：矩陣乘法 224
10.1 矩陣乘法串行算法 224
10.2 OpenMP多線程矩陣乘法 226
10.3 MIC多線程矩陣乘法 226
10.3.1 基本版本 226
10.3.2 向量化優化 227
10.3.3 SIMD指令優化 228
10.3.4 矩陣分塊乘法 230

第三篇 工程開發篇

第11章 基于MIC的HPC應用開發過程 251
11.1 熱點測試 252
11.1.1 準備工作 252
11.1.2 熱點測試及定位 253
11.2 程序分析 256
11.2.1 程序移植模式分析 256
11.2.2 計算規模分析 256
11.2.3 特點分析 257
11.2.4 熱點并行性分析 260
11.2.5 向量化分析 262
11.2.6 MIC內存分析 262
11.2.7 程序分析總結 263
11.3 MIC程序開發過程 263
11.3.1 基于CPU的OpenMP并行 264
11.3.2 基于MIC的線程擴展 265
11.3.3 單節點CPU+MIC協同并行 265
11.3.4 MIC集群并行 266
第12章 基于MIC的HPC應用實例 267
12.1 基于單節點CPU+MIC協同計算電子
斷層三維重構并行算法 268
12.1.1 電子斷層三維重構技術及SIRT
算法介紹 268
12.1.2 SIRT串行程序分析 271
12.1.3 基于OpenMP的SIRT并行程序
開發 273
12.1.4 基于MIC平臺的SIRT并行程序
開發 276
12.1.5 單節點多卡及CPU+MIC異構協
同計算架構設計 279
12.2 基于多節點CPU+MIC協同計算大渦
模擬并行算法 284
12.2.1 格子-Boltzmann大渦模擬算法
介紹 284
12.2.2 大渦模擬串行程序分析 288
12.2.3 基于OpenMP的大渦模擬并行
算法 290
12.2.4 基于MIC的大渦模擬并行算法 293
12.2.5 基于多節點CPU+MIC協同計算
平臺的大渦模擬并行算法 296
參考文獻 308

1. C程序設計實踐教程 [劉衛國]
2. C程序設計（慕課版） [劉衛國]
3. 程序設計基礎實踐教程（C/C++語言版） [張桂芬 葛麗娜]
4. C++案例項目精講 [主編 楊國興]
5. SwiftUI完全開發 [李智威 著]
6. MySQL數據庫項目式教程 [陳亞峰]
7. C語言程序設計習題與實驗指導（第二版） [主編 甄增榮 張賓]
8. C語言程序設計（第二版） [主編 甄增榮 田云霞]
9. Unity3D虛擬現實應用開發實踐 [主 編 劉龍]
10. Python程序設計 [主編 姜春磊 陳虹潔]
11. C語言程序設計實踐教程（活頁式） [主編 鄭茵 陳巍 滕泓虬]
12. 面向對象程序設計 [主編 張勇 張平華 趙小龍]
13. Python程序設計基礎及實戰 [主編　劉健]
14. C語言程序設計 [姜雪]
15. Python程序設計實踐教程 [王鶴琴 蔡正保]
16. C++程序設計實踐教程（第三版） [主編 劉衛國 曹岳輝]
17. C++程序設計（第三版） [主編 曹岳輝 劉衛國]
18. C語言程序設計項目化教程（活頁式） [主編 張利華 潘曉利]
19. 機器人流程自動化（RPA）實戰——基于UiPath [主編　金鑫]
20. Python 語言程序設計實踐指導 [主編　張雙獅]
21. Python程序設計案例教程 [主編 毛錦庚 鐘肖英 周賢來 ]
22. 基于.NET Core框架的分布式系統架構設計 [湯佳 著]
23. Python語言程序設計教程 [郭其標 房宜汕]
24. Python程序設計 [李國燕 王新強 劉佳 等編著]
25. Python程序設計項目化教程（活頁式） [主編　盧鳳偉]
26. Java編程基礎案例式教程 [主編 陳艷華 唐春蘭]
27. Python語言同步案例習題精解 [主編 肖朝暉]
28. Unity應用開發與實戰（微課版） [主 編 程永恒]
29. PHP程序設計項目化教程 [主 編 杜海穎]
30. 簡單易懂的Python入門教程 [［日］大澤文孝　著]