目录

涵盖NVIDIA GPU最常见问题的白皮书。

• 1. 前言
  • 1.1. 本指南适合哪些读者？
  • 1.2. 评估、并行化、优化、部署
    • 1.2.1. 评估
    • 1.2.2. 并行化
    • 1.2.3. 优化
    • 1.2.4. 部署
  • 1.3. 推荐与最佳实践
  • 1.4. 评估您的应用程序
• 2. 异构计算
  • 2.1. 主机与设备之间的差异
  • 2.2. 什么能在支持CUDA的设备上运行？
• 3. 应用性能分析
  • 3.1. 性能分析
    • 3.1.1. 创建配置文件
    • 3.1.2. 识别热点区域
    • 3.1.3. 理解扩展性
      • 3.1.3.1. 强扩展性与阿姆达尔定律
      • 3.1.3.2. 弱扩展性与古斯塔夫森定律
      • 3.1.3.3. 应用强扩展与弱扩展
• 4. 并行化您的应用程序
• 5. 入门指南
  • 5.1. 并行库
  • 5.2. 并行化编译器
  • 5.3. 编写代码以暴露并行性
• 6. 获取正确答案
  • 6.1. 验证
    • 6.1.1. 参考比较
    • 6.1.2. 单元测试
  • 6.2. 调试
  • 6.3. 数值精度与准确度
    • 6.3.1. 单精度与双精度
    • 6.3.2. 浮点数学运算不具备结合律
    • 6.3.3. IEEE 754 合规性
    • 6.3.4. x86 80位计算
• 7. 优化CUDA应用
• 8. 性能指标
  • 8.1. 计时
    • 8.1.1. 使用CPU计时器
    • 8.1.2. 使用CUDA GPU计时器
  • 8.2. 带宽
    • 8.2.1. 理论带宽计算
    • 8.2.2. 有效带宽计算
    • 8.2.3. Visual Profiler报告的吞吐量
• 9. 内存优化
  • 9.1. 主机与设备之间的数据传输
    • 9.1.1. 固定内存
    • 9.1.2. 计算与异步及重叠传输
    • 9.1.3. 零拷贝
    • 9.1.4. 统一虚拟寻址
  • 9.2. 设备内存空间
    • 9.2.1. 全局内存的合并访问
      • 9.2.1.1. 简单访问模式
      • 9.2.1.2. 顺序但未对齐的访问模式
      • 9.2.1.3. 未对齐访问的影响
      • 9.2.1.4. 跨步访问
    • 9.2.2. L2缓存
      • 9.2.2.1. L2缓存访问窗口
      • 9.2.2.2. 调优访问窗口命中率
    • 9.2.3. 共享内存
      • 9.2.3.1. 共享内存与内存存储体
      • 9.2.3.2. 矩阵乘法中的共享内存 (C=AB)
      • 9.2.3.3. 矩阵乘法中的共享内存 (C=AAT)
      • 9.2.3.4. 从全局内存到共享内存的异步拷贝
    • 9.2.4. 本地内存
    • 9.2.5. 纹理内存
      • 9.2.5.1. 附加纹理功能
    • 9.2.6. 常量内存
    • 9.2.7. 寄存器
      • 9.2.7.1. 寄存器压力
  • 9.3. 内存分配
  • 9.4. NUMA最佳实践
• 10. 执行配置优化
  • 10.1. 占用率
    • 10.1.1. 计算占用率
  • 10.2. 隐藏寄存器依赖
  • 10.3. 线程与块启发式策略
  • 10.4. 共享内存的影响
  • 10.5. 并发内核执行
  • 10.6. 多上下文环境
• 11. 指令优化
  • 11.1. 算术指令
    • 11.1.1. 除法模运算
    • 11.1.2. 循环计数器：有符号与无符号对比
    • 11.1.3. 倒数平方根
    • 11.1.4. 其他算术指令
    • 11.1.5. 小分数参数的指数运算
    • 11.1.6. 数学函数库
    • 11.1.7. 精度相关编译器标志
  • 11.2. 内存指令
• 12. 控制流
  • 12.1. 分支与发散
  • 12.2. 分支预测
• 13. 部署CUDA应用
• 14. 理解编程环境
  • 14.1. CUDA 计算能力
  • 14.2. 其他硬件数据
  • 14.3. 选择哪个计算能力目标
  • 14.4. CUDA Runtime
• 15. CUDA兼容性开发者指南
  • 15.1. CUDA 工具包版本管理
  • 15.2. 源代码兼容性
  • 15.3. 二进制兼容性
    • 15.3.1. CUDA 二进制 (cubin) 兼容性
  • 15.4. CUDA 跨小版本兼容性
    • 15.4.1. 在CUDA次要版本中的现有CUDA应用程序
      • 15.4.1.1. 处理新的CUDA功能和驱动程序API
      • 15.4.1.2. 使用PTX
      • 15.4.1.3. 动态代码生成
      • 15.4.1.4. 构建小版本兼容库的建议
      • 15.4.1.5. 在应用程序中利用次要版本兼容性的建议
• 16. 部署准备
  • 16.1. 检测CUDA可用性
  • 16.2. 错误处理
  • 16.3. 构建最大兼容性
  • 16.4. 分发CUDA运行时和库
    • 16.4.1. CUDA工具库再分发
      • 16.4.1.1. 需要重新分发的文件
      • 16.4.1.2. 重新分发CUDA库的安装位置
• 17. 部署基础设施工具
  • 17.1. Nvidia-SMI
    • 17.1.1. 可查询状态
    • 17.1.2. 可修改状态
  • 17.2. NVML
  • 17.3. 集群管理工具
  • 17.4. 编译器JIT缓存管理工具
  • 17.5. CUDA_VISIBLE_DEVICES
• 18. 推荐与最佳实践
  • 18.1. 整体性能优化策略
• 19. nvcc编译器选项
  • 19.1. nvcc
• 20. 通知
  • 20.1. 通知
  • 20.2. OpenCL
  • 20.3. 商标