坐标搜索 (CS)

class pypop7.optimizers.ds.cs.CS(problem, options)[source]

坐标搜索（CS）。

注意

CS 是最早的直接（模式）搜索方法，至少可以追溯到费米（1938年诺贝尔物理学奖）和梅特罗波利斯（1984年IEEE计算机协会计算机先驱奖）。鉴于现在它很少用于优化黑箱问题，强烈建议首先尝试其他更先进的大规模黑箱优化（LSBBO）方法。

其原始版本在最坏情况下每次迭代需要3**n - 1个样本，其中n是问题的维度。这种最坏情况的复杂性严重限制了其在LSBBO中的适用性。相反，这里我们为了简单起见使用了机会主义策略。更多详情请参见Torczon, 1997, SIOPT中的算法3。

又称交替方向法、交替变量搜索、轴向松弛、局部变异、罗盘搜索。

Parameters:

  • 问题 (字典) –

    问题参数包含以下常见设置 (键):

    • ’fitness_function’ - 需要最小化的目标函数 (函数),

    • ’ndim_problem’ - 维度数 (整数),

    • ’upper_boundary’ - 搜索范围的上限 (类数组),

    • ’lower_boundary’ - 搜索范围的下限 (类数组).

  • options (dict) –

    具有以下常见设置的优化器选项 (keys):

    • ’max_function_evaluations’ - 函数评估的最大次数 (int, 默认: np.inf),

    • ’max_runtime’ - 允许的最大运行时间 (float, 默认: np.inf),

    • ’seed_rng’ - 需要显式设置的随机数生成种子 (int);

    以及以下特定设置 (keys):

    • ’sigma’ - 初始全局步长 (float, 默认: 1.0),

    • ’x’ - 初始（起始）点 (array_like),

      • 如果未给出，将从均匀分布中随机抽取一个样本，其搜索范围由 problem[‘lower_boundary’] 和 problem[‘upper_boundary’] 限定。

    • ’gamma’ - 全局步长的递减因子 (float, 默认: 0.5).

示例

使用优化器来最小化著名的测试函数 Rosenbrock:

 1>>> import numpy
 2>>> from pypop7.benchmarks.base_functions import rosenbrock  # function to be minimized
 3>>> from pypop7.optimizers.ds.cs import CS
 4>>> problem = {'fitness_function': rosenbrock,  # define problem arguments
 5...            'ndim_problem': 2,
 6...            'lower_boundary': -5*numpy.ones((2,)),
 7...            'upper_boundary': 5*numpy.ones((2,))}
 8>>> options = {'max_function_evaluations': 5000,  # set optimizer options
 9...            'seed_rng': 2022,
10...            'x': 3*numpy.ones((2,)),
11...            'sigma': 1.0,
12...            'verbose_frequency': 500}
13>>> cs = CS(problem, options)  # initialize the optimizer class
14>>> results = cs.optimize()  # run the optimization process
15>>> # return the number of function evaluations and best-so-far fitness
16>>> print(f"CS: {results['n_function_evaluations']}, {results['best_so_far_y']}")
17CS: 5000, 0.1491367032979898
gamma

全局步长的递减因子。

Type:

float

sigma

最终的全局步长（在优化过程中会改变）。

Type:

float

x

初始（起始）点。

Type:

array_like

参考文献

Larson, J., Menickelly, M. 和 Wild, S.M., 2019. 无导数优化方法. Acta Numerica, 28, pp.287-404. https://tinyurl.com/4sr2t63j

Audet, C. 和 Hare, W., 2017. 无导数和黑箱优化。 柏林: 施普林格国际出版。 https://link.springer.com/book/10.1007/978-3-319-68913-5

Conn, A.R., Scheinberg, K. 和 Vicente, L.N., 2009. 无导数优化导论. SIAM. （请参考第7章方向直接搜索方法中的算法7.1（坐标搜索方法）。）

Torczon, V., 1997. 关于模式搜索算法的收敛性。 SIAM Journal on Optimization, 7(1), pp.1-25. https://epubs.siam.org/doi/abs/10.1137/S1052623493250780

费米, E. 和 梅特罗波利斯 N., 1952. 最小问题的数值解. 洛斯阿拉莫斯科学实验室.