python | joblib，一个强大的 Python 库！

大家好，欢迎来到IT知识分享网。

本文来源公众号“python”，仅用于学术分享，侵权删，干货满满。

原文链接：joblib，一个强大的 Python 库！

大家好，今天为大家分享一个强大的 Python 库 – joblib。

Github地址：https://github.com/joblib/joblib

在数据科学和机器学习的实践中，效率和性能至关重要。Python的joblib库提供了一个简单的解决方案，用于对重复计算进行缓存，以及高效地保存和加载大型数据，特别适用于有大量重复计算且计算成本高昂的任务。这篇文章将详细介绍joblib库的安装、特性、基础及高级功能，并通过实际应用场景展示其实用性。

1 安装

joblib库可以通过pip安装，这是最直接的方法：

pip install joblib 

这条命令将从Python包索引(PyPI)下载并安装joblib库。

2 特性

• 内存缓存：自动缓存函数的输出结果，避免重复计算。
• 高效存储：特别优化用于存储大型数组，使用joblib进行数据序列化和反序列化比Python标准的pickle更快。
• 并行计算支持：简化了并行计算的实现，能够轻松地在Python代码中实现多核处理。

3 基本功能

3.1 缓存函数结果

joblib提供了一个装饰器，可以用来缓存函数的计算结果，减少重复计算的时间。

from joblib import Memory memory = Memory("cachedir", verbose=0) @memory.cache def expensive_computation(a, b):     print("Computing...")     return a * b *  # 第一次调用，会计算并缓存结果 result = expensive_computation(12345, 67890) # 第二次调用，会直接从缓存读取结果 result = expensive_computation(12345, 67890) 

3.2 数据序列化和加载

joblib也用于高效序列化大型数据集，特别是NumPy数组。

import numpy as np from joblib import dump, load array = np.random.randn(1000, 1000) # 保存数组 dump(array, 'large_array.joblib') # 加载数组 loaded_array = load('large_array.joblib') 

4 高级功能

4.1 多核并行处理

joblib的Parallel和delayed工具使得在多核处理器上执行并行计算变得简单。这对于需要执行大量独立且重复的数据处理任务，如参数搜索和交叉验证在机器学习中的应用，特别有用。

from joblib import Parallel, delayed import math # 定义一个计算函数 def compute_log(x):     return math.log(x) # 并行计算列表中每个元素的对数 results = Parallel(n_jobs=4)(delayed(compute_log)(i) for i in range(1, 10)) print(results) 

在这个示例中，compute_log函数被并行调用，n_jobs=4表示同时使用四个核。

4.2 自定义并行后端

joblib允许选择或自定义并行计算的后端。

例如，可以使用loky（默认）、threading或multiprocessing作为后端来控制任务的执行方式。

from joblib import Parallel, delayed, parallel_backend def square(x):     return x * x # 使用threading后端 with parallel_backend('threading', n_jobs=2):     results_threading = Parallel()(delayed(square)(i) for i in range(10)) # 使用multiprocessing后端 with parallel_backend('multiprocessing', n_jobs=2):     results_multiprocessing = Parallel()(delayed(square)(i) for i in range(10)) print("Threading results:", results_threading) print("Multiprocessing results:", results_multiprocessing) 

在这个示例中，相同的计算任务在不同的后端上执行，展示了如何根据具体任务选择最适合的并行处理方式。

4.3 磁盘缓存的优化

joblib还提供了高级的磁盘缓存机制，这在处理大型数据集时非常有用。通过缓存函数的输出，可以避免重复的计算开销。

from joblib import Memory cache_dir = "joblib_cache" memory = Memory(cache_dir, verbose=0) @memory.cache def slow_function(x):     print("Running slow_function...")     return x * x * x # 第一次调用函数，结果会被缓存 result1 = slow_function(2) # 第二次调用相同参数的函数，将直接从缓存中获取结果 result2 = slow_function(2) print("Results:", result1, result2) 

这个示例展示了如何使用joblib的缓存装饰器来缓存耗时函数的结果，减少重复计算的需要。

5 实际应用场景

5.1 大数据集的处理

在处理大型数据集时，常常需要重复执行耗时的数据预处理步骤。使用joblib的缓存功能，可以显著减少重复计算的时间。

from joblib import Memory import numpy as np cache_dir = "joblib_cache" memory = Memory(cache_dir, verbose=0) @memory.cache def preprocess_data(data):     print("Preprocessing data...")     # 假设这是一个复杂的数据预处理步骤     return np.sqrt(data  2) # 大型数据集 large_data = np.random.rand() # 第一次执行，将会进行计算并缓存结果 processed_data = preprocess_data(large_data) # 第二次执行，将直接从缓存读取结果 processed_data = preprocess_data(large_data) 

5.2 机器学习模型的训练和参数搜索

在机器学习中进行模型训练和参数搜索时，可以利用joblib的并行处理功能来加速这一过程。

from sklearn.datasets import load_iris from sklearn.svm import SVC from sklearn.model_selection import ParameterGrid from joblib import Parallel, delayed data = load_iris() X, y = data.data, data.target # 参数网格 param_grid = {'C': [1, 10, 100], 'kernel': ['linear', 'rbf']} def train_model(params):     model = SVC(params)     model.fit(X, y)     return model.score(X, y) # 使用joblib并行处理不同的参数组合 results = Parallel(n_jobs=-1)(delayed(train_model)(params) for params in ParameterGrid(param_grid)) print("Model scores:", results) 

5.3 自动化脚本和定期任务

joblib可以用于自动化脚本中，尤其是那些涉及重复数据处理任务的脚本。

from joblib import Memory import time memory = Memory("cachedir", verbose=0) @memory.cache def fetch_and_process_data():     print("Fetching and processing data...")     # 模拟数据抓取和处理     time.sleep(2)  # 模拟耗时操作     return "Data processed" # 假设这个任务需要每天执行 for day in range(3):     result = fetch_and_process_data()     print(f"Day {day + 1}: {result}") 

6 总结

在本文中，详尽地探讨了Python的joblib库，这是一个专为重复计算优化而设计的库，特别适合于数据密集型任务。joblib通过其高效的内存缓存和并行计算功能，极大地提高了数据处理和分析的速度，从而在机器学习、数据预处理及自动化任务中展现出巨大的优势。我们介绍了joblib的安装方法、主要特性以及基本和高级功能，并通过一系列示例代码展示了这些功能的实际应用。无论是进行大规模数据集的处理，还是加速机器学习模型的训练和参数搜索，joblib都证明了其在提升效率和性能方面的显著能力。

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。