目录

• 1. 简介
  • 1.1. 数据布局
  • 1.2. 新版与传统版 cuBLAS API
  • 1.3. 示例代码
• 2. 使用cuBLAS API
  • 2.1. 概述
    • 2.1.1. 错误状态
    • 2.1.2. cuBLAS 上下文
    • 2.1.3. 线程安全性
    • 2.1.4. 结果可复现性
    • 2.1.5. 标量参数
    • 2.1.6. 使用流实现并行计算
    • 2.1.7. 内核批处理
    • 2.1.8. 缓存配置
    • 2.1.9. 静态库支持
    • 2.1.10. GEMM算法的数值行为
    • 2.1.11. Tensor Core 使用指南
    • 2.1.12. CUDA Graphs 支持
    • 2.1.13. 64位整数接口
  • 2.2. cuBLAS 数据类型参考
    • 2.2.1. cublasHandle_t
    • 2.2.2. cublasStatus_t
    • 2.2.3. cublasOperation_t
    • 2.2.4. cublasFillMode_t
    • 2.2.5. cublasDiagType_t
    • 2.2.6. cublasSideMode_t
    • 2.2.7. cublasPointerMode_t
    • 2.2.8. cublasAtomicsMode_t
    • 2.2.9. cublasGemmAlgo_t
    • 2.2.10. cublasMath_t
    • 2.2.11. cublasComputeType_t
  • 2.3. CUDA 数据类型参考
    • 2.3.1. cudaDataType_t
    • 2.3.2. libraryPropertyType_t
  • 2.4. cuBLAS 辅助函数参考
    • 2.4.1. cublasCreate()
    • 2.4.2. cublasDestroy()
    • 2.4.3. cublasGetVersion()
    • 2.4.4. cublasGetProperty()
    • 2.4.5. cublasGetStatusName()
    • 2.4.6. cublasGetStatusString()
    • 2.4.7. cublasSetStream()
    • 2.4.8. cublasSetWorkspace()
    • 2.4.9. cublasGetStream()
    • 2.4.10. cublasGetPointerMode()
    • 2.4.11. cublasSetPointerMode()
    • 2.4.12. cublasSetVector()
    • 2.4.13. cublasGetVector()
    • 2.4.14. cublasSetMatrix()
    • 2.4.15. cublasGetMatrix()
    • 2.4.16. cublasSetVectorAsync()
    • 2.4.17. cublasGetVectorAsync()
    • 2.4.18. cublasSetMatrixAsync()
    • 2.4.19. cublasGetMatrixAsync()
    • 2.4.20. cublasSetAtomicsMode()
    • 2.4.21. cublasGetAtomicsMode()
    • 2.4.22. cublasSetMathMode()
    • 2.4.23. cublasGetMathMode()
    • 2.4.24. cublasSetSmCountTarget()
    • 2.4.25. cublasGetSmCountTarget()
    • 2.4.26. cublasLoggerConfigure()
    • 2.4.27. cublasGetLoggerCallback()
    • 2.4.28. cublasSetLoggerCallback()
  • 2.5. cuBLAS Level-1 函数参考
    • 2.5.1. cublasIamax()
    • 2.5.2. cublasIamin()
    • 2.5.3. cublasasum()
    • 2.5.4. cublasaxpy()
    • 2.5.5. cublascopy()
    • 2.5.6. cublasdot()
    • 2.5.7. cublasnrm2()
    • 2.5.8. cublasrot()
    • 2.5.9. cublasrotg()
    • 2.5.10. cublasrotm()
    • 2.5.11. cublasrotmg()
    • 2.5.12. cublasscal()
    • 2.5.13. cublasswap()
  • 2.6. cuBLAS Level-2 函数参考
    • 2.6.1. cublasgbmv()
    • 2.6.2. cublasgemv()
    • 2.6.3. cublasger()
    • 2.6.4. cublassbmv()
    • 2.6.5. cublasspmv()
    • 2.6.6. cublasspr()
    • 2.6.7. cublasspr2()
    • 2.6.8. cublassymv()
    • 2.6.9. cublassyr()
    • 2.6.10. cublassyr2()
    • 2.6.11. cublastbmv()
    • 2.6.12. cublastbsv()
    • 2.6.13. cublastpmv()
    • 2.6.14. cublastpsv()
    • 2.6.15. cublastrmv()
    • 2.6.16. cublastrsv()
    • 2.6.17. cublashemv()
    • 2.6.18. cublashbmv()
    • 2.6.19. cublashpmv()
    • 2.6.20. cublasher()
    • 2.6.21. cublasher2()
    • 2.6.22. cublashpr()
    • 2.6.23. cublashpr2()
    • 2.6.24. cublasgemvBatched()
    • 2.6.25. cublasgemvStridedBatched()
  • 2.7. cuBLAS Level-3 函数参考
    • 2.7.1. cublasgemm()
    • 2.7.2. cublasgemm3m()
    • 2.7.3. cublasgemmBatched()
    • 2.7.4. cublasgemmStridedBatched()
    • 2.7.5. cublasgemmGroupedBatched()
    • 2.7.6. cublassymm()
    • 2.7.7. cublassyrk()
    • 2.7.8. cublassyr2k()
    • 2.7.9. cublassyrkx()
    • 2.7.10. cublastrmm()
    • 2.7.11. cublastrsm()
    • 2.7.12. cublastrsmBatched()
    • 2.7.13. cublashemm()
    • 2.7.14. cublasherk()
    • 2.7.15. cublasher2k()
    • 2.7.16. cublasherkx()
  • 2.8. 类BLAS扩展
    • 2.8.1. cublasgeam()
    • 2.8.2. cublasdgmm()
    • 2.8.3. cublasgetrfBatched()
    • 2.8.4. cublasgetrsBatched()
    • 2.8.5. cublasgetriBatched()
    • 2.8.6. cublasmatinvBatched()
    • 2.8.7. cublasgeqrfBatched()
    • 2.8.8. cublasgelsBatched()
    • 2.8.9. cublastpttr()
    • 2.8.10. cublastrttp()
    • 2.8.11. cublasgemmEx()
    • 2.8.12. cublasGemmEx()
    • 2.8.13. cublasGemmBatchedEx()
    • 2.8.14. cublasGemmStridedBatchedEx()
    • 2.8.15. cublasGemmGroupedBatchedEx()
    • 2.8.16. cublasCsyrkEx()
    • 2.8.17. cublasCsyrk3mEx()
    • 2.8.18. cublasCherkEx()
    • 2.8.19. cublasCherk3mEx()
    • 2.8.20. cublasNrm2Ex()
    • 2.8.21. cublasAxpyEx()
    • 2.8.22. cublasDotEx()
    • 2.8.23. cublasRotEx()
    • 2.8.24. cublasScalEx()
• 3. 使用cuBLASLt API
  • 3.1. 概述
    • 3.1.1. 问题规模限制
    • 3.1.2. 启发式缓存
    • 3.1.3. cuBLASLt 日志记录
    • 3.1.4. 8位浮点数据类型(FP8)使用指南
    • 3.1.5. 禁用CPU指令集
    • 3.1.6. 原子同步
  • 3.2. cuBLASLt 代码示例
  • 3.3. cuBLASLt 数据类型参考
    • 3.3.1. cublasLtClusterShape_t
    • 3.3.2. cublasLtEpilogue_t
    • 3.3.3. cublasLtHandle_t
    • 3.3.4. cublasLtLoggerCallback_t
    • 3.3.5. cublasLtMatmulAlgo_t
    • 3.3.6. cublasLtMatmulAlgoCapAttributes_t
    • 3.3.7. cublasLtMatmulAlgoConfigAttributes_t
    • 3.3.8. cublasLtMatmulDesc_t
    • 3.3.9. cublasLtMatmulDescAttributes_t
    • 3.3.10. cublasLtMatmulHeuristicResult_t
    • 3.3.11. cublasLtMatmulInnerShape_t
    • 3.3.12. cublasLtMatmulPreference_t
    • 3.3.13. cublasLtMatmulPreferenceAttributes_t
    • 3.3.14. cublasLtMatmulSearch_t
    • 3.3.15. cublasLtMatmulTile_t
    • 3.3.16. cublasLtMatmulStages_t
    • 3.3.17. cublasLtNumericalImplFlags_t
    • 3.3.18. cublasLtMatrixLayout_t
    • 3.3.19. cublasLtMatrixLayoutAttribute_t
    • 3.3.20. cublasLtMatrixTransformDesc_t
    • 3.3.21. cublasLtMatrixTransformDescAttributes_t
    • 3.3.22. cublasLtOrder_t
    • 3.3.23. cublasLtPointerMode_t
    • 3.3.24. cublasLtPointerModeMask_t
    • 3.3.25. cublasLtReductionScheme_t
    • 3.3.26. cublasLtMatmulMatrixScale_t
  • 3.4. cuBLASLt API 参考文档
    • 3.4.1. cublasLtCreate()
    • 3.4.2. cublasLtDestroy()
    • 3.4.3. cublasLtDisableCpuInstructionsSetMask()
    • 3.4.4. cublasLtGetCudartVersion()
    • 3.4.5. cublasLtGetProperty()
    • 3.4.6. cublasLtGetStatusName()
    • 3.4.7. cublasLtGetStatusString()
    • 3.4.8. cublasLtHeuristicsCacheGetCapacity()
    • 3.4.9. cublasLtHeuristicsCacheSetCapacity()
    • 3.4.10. cublasLtGetVersion()
    • 3.4.11. cublasLtLoggerSetCallback()
    • 3.4.12. cublasLtLoggerSetFile()
    • 3.4.13. cublasLtLoggerOpenFile()
    • 3.4.14. cublasLtLoggerSetLevel()
    • 3.4.15. cublasLtLoggerSetMask()
    • 3.4.16. cublasLtLoggerForceDisable()
    • 3.4.17. cublasLtMatmul()
    • 3.4.18. cublasLtMatmulAlgoCapGetAttribute()
    • 3.4.19. cublasLtMatmulAlgoCheck()
    • 3.4.20. cublasLtMatmulAlgoConfigGetAttribute()
    • 3.4.21. cublasLtMatmulAlgoConfigSetAttribute()
    • 3.4.22. cublasLtMatmulAlgoGetHeuristic()
    • 3.4.23. cublasLtMatmulAlgoGetIds()
    • 3.4.24. cublasLtMatmulAlgoInit()
    • 3.4.25. cublasLtMatmulDescCreate()
    • 3.4.26. cublasLtMatmulDescInit()
    • 3.4.27. cublasLtMatmulDescDestroy()
    • 3.4.28. cublasLtMatmulDescGetAttribute()
    • 3.4.29. cublasLtMatmulDescSetAttribute()
    • 3.4.30. cublasLtMatmulPreferenceCreate()
    • 3.4.31. cublasLtMatmulPreferenceInit()
    • 3.4.32. cublasLtMatmulPreferenceDestroy()
    • 3.4.33. cublasLtMatmulPreferenceGetAttribute()
    • 3.4.34. cublasLtMatmulPreferenceSetAttribute()
    • 3.4.35. cublasLtMatrixLayoutCreate()
    • 3.4.36. cublasLtMatrixLayoutInit()
    • 3.4.37. cublasLtMatrixLayoutDestroy()
    • 3.4.38. cublasLtMatrixLayoutGetAttribute()
    • 3.4.39. cublasLtMatrixLayoutSetAttribute()
    • 3.4.40. cublasLtMatrixTransform()
    • 3.4.41. cublasLtMatrixTransformDescCreate()
    • 3.4.42. cublasLtMatrixTransformDescInit()
    • 3.4.43. cublasLtMatrixTransformDescDestroy()
    • 3.4.44. cublasLtMatrixTransformDescGetAttribute()
    • 3.4.45. cublasLtMatrixTransformDescSetAttribute()
• 4. 使用cuBLASXt API
  • 4.1. 概述
    • 4.1.1. 平铺设计方法
    • 4.1.2. 混合CPU-GPU计算
    • 4.1.3. 结果可复现性
  • 4.2. cuBLASXt API 数据类型参考
    • 4.2.1. cublasXtHandle_t
    • 4.2.2. cublasXtOpType_t
    • 4.2.3. cublasXtBlasOp_t
    • 4.2.4. cublasXtPinningMemMode_t
  • 4.3. cuBLASXt API 辅助函数参考
    • 4.3.1. cublasXtCreate()
    • 4.3.2. cublasXtDestroy()
    • 4.3.3. cublasXtDeviceSelect()
    • 4.3.4. cublasXtSetBlockDim()
    • 4.3.5. cublasXtGetBlockDim()
    • 4.3.6. cublasXtSetCpuRoutine()
    • 4.3.7. cublasXtSetCpuRatio()
    • 4.3.8. cublasXtSetPinningMemMode()
    • 4.3.9. cublasXtGetPinningMemMode()
  • 4.4. cuBLASXt API 数学函数参考
    • 4.4.1. cublasXtgemm()
    • 4.4.2. cublasXthemm()
    • 4.4.3. cublasXtsymm()
    • 4.4.4. cublasXtsyrk()
    • 4.4.5. cublasXtsyr2k()
    • 4.4.6. cublasXtsyrkx()
    • 4.4.7. cublasXtherk()
    • 4.4.8. cublasXther2k()
    • 4.4.9. cublasXtherkx()
    • 4.4.10. cublasXttrsm()
    • 4.4.11. cublasXttrmm()
    • 4.4.12. cublasXtspmm()
• 5. 使用 cuBLASDx API
• 6. 使用cuBLAS传统API
  • 6.1. 错误状态
  • 6.2. 初始化和关闭
  • 6.3. 线程安全性
  • 6.4. 内存管理
  • 6.5. 标量参数
  • 6.6. 辅助函数
  • 6.7. 一级、二级、三级函数
  • 6.8. 将旧版代码迁移至cuBLAS API
  • 6.9. 示例
• 7. cuBLAS Fortran绑定
• 8. 与其他库和工具的交互
  • 8.1. nvprune
• 9. 致谢
• 10. 通知
  • 10.1. 通知
  • 10.2. OpenCL
  • 10.3. 商标