- 当前位置：首页 >应用开发 >三行Python代码，让数据预处理速度提高2到6倍
三行Python代码，让数据预处理速度提高2到6倍
发布时间：2025-11-04 18:55:34 来源：技术快报 作者：IT科技类资讯
Python 是代度提机器学习领域内的***编程语言，它易于使用，码让也有很多出色的数据库来帮助你更快处理数据。但当我们面临大量数据时，预处一些问题就会显现……
目前，理速大数据(Big Data)这个术语通常用于表示包含数十万数据点的代度提数据集。在这样的码让尺度上，工作进程中加入任何额外的数据计算都需要时刻注意保持效率。在设计机器学习系统时，预处数据预处理非常重要——在这里，理速我们必须对所有数据点使用某种操作。代度提
在默认情况下，码让Python 程序是数据单个进程，使用单 CPU 核心执行。预处而大多数当代机器学习硬件都至少搭载了双核处理器。理速这意味着如果没有进行优化，在数据预处理的时候会出现「一核有难九核围观」的情况——超过 50% 的算力都会被浪费。在当前四核处理器(英特尔酷睿 i5)和 6 核处理器(英特尔酷睿 i7)大行其道的时候，这种情况会变得更加明显。
幸运的是，Python 库中内建了一些隐藏的香港云服务器特性，可以让我们充分利用所有 CPU 核心的能力。通过使用 Python 的 concurrent.futures 模块，我们只需要 3 行代码就可以让一个普通的程序转换成适用于多核处理器并行处理的程序。
标准方法
让我们举一个简单的例子，在单个文件夹中有一个图片数据集，其中有数万张图片。在这里，我们决定使用 1000 张。我们希望在所有图片被传递到深度神经网络之前将其调整为 600×600 像素分辨率的形式。以下是你经常会在 GitHub 上看到的标准 Python 代码：
import glob import os import cv2 ### Loop through all jpg files in the current folder ### Resize each one to size 600x600 for image_filename in glob.glob("*.jpg"): ### Read in the image data img = cv2.imread(image_filename) ### Resize the image img = cv2.resize(img, (600, 600))上面的程序遵循你在处理数据脚本时经常看到的简单模式：
首先从需要处理内容的文件(或其他数据)列表开始。 使用 for 循环逐个处理每个数据，然后在每个循环迭代上运行预处理。让我们在一个包含 1000 个 jpeg 文件的文件夹上测试这个程序，看看运行它需要多久：
time python standard_res_conversion.py在我的酷睿 i7-8700k 6 核 CPU 上，运行时间为 7.9864 秒!在这样的高端 CPU 上，这种速度看起来是难以让人接受的，站群服务器看看我们能做点什么。
更快的方法
为了便于理解并行化的提升，假设我们需要执行相同的任务，比如将 1000 个钉子钉入木头，假如钉入一个需要一秒，一个人就需要 1000 秒来完成任务。四个人组队就只需要 250 秒。
在我们这个包含 1000 个图像的例子中，可以让 Python 做类似的工作：
将 jpeg 文件列表分成 4 个小组; 运行 Python 解释器中的 4 个独立实例; 让 Python 的每个实例处理 4 个数据小组中的一个; 结合四个处理过程得到的结果得出最终结果列表。这一方法的重点在于，Python 帮我们处理了所有棘手的工作。我们只需告诉它我们想要运行哪个函数，要用多少 Python 实例，剩下的就交给它了!只需改变三行代码。实例：
import glob import os import cv2 import concurrent.futures def load_and_resize(image_filename): ### Read in the image data img = cv2.imread(image_filename) ### Resize the image img = cv2.resize(img, (600, 600)) ### Create a pool of processes. By default, one is created for each CPU in your machine. with concurrent.futures.ProcessPoolExecutor() as executor: ### Get a list of files to process image_files = glob.glob("*.jpg") ### Process the list of files, but split the work across the process pool to use all CPUs ### Loop through all jpg files in the current folder ### Resize each one to size 600x600 executor.map(load_and_resize, image_files)从以上代码中摘出一行：
with concurrent.futures.ProcessPoolExecutor() as executor:你的 CPU 核越多，启动的 Python 进程越多，我的 CPU 有 6 个核。实际处理代码如下：
executor.map(load_and_resize, image_files)「executor.map()」将你想要运行的高防服务器函数和列表作为输入，列表中的每个元素都是我们函数的单个输入。由于我们有 6 个核，我们将同时处理该列表中的 6 个项目!
如果再次用以下代码运行我们的程序：
time python fast_res_conversion.py我们可以将运行时间降到 1.14265 秒，速度提升了近 6 倍!
注意：在生成更多 Python 进程及在它们之间整理数据时会有一些开销，所以速度提升并不总是这么明显。但是总的来说，速度提升还是非常可观的。
它总是那么快吗?
如果你有一个数据列表要处理，而且在每个数据点上执行相似的运算，那么使用 Python 并行池是一个很好的选择。但有时这不是***解决方案。并行池处理的数据不会在任何可预测的顺序中进行处理。如果你对处理后的结果有特殊顺序要求，那么这个方法可能不适合你。
你处理的数据也必须是 Python 可以「炮制」的类型。所幸这些指定类别都很常见。以下来自 Python 官方文件：
None, True, 及 False 整数、浮点数、复数 字符串、字节、字节数组 只包含可挑选对象的元组、列表、集合和字典 在模块顶层定义的函数(使用 def ，而不是 lambda ) 在模块顶层定义的内置函数 在模块顶层定义的类 这种类的实例，其 __dict__ 或调用__getstate__() 的结果是可选择的(参见「Pickling Class Instances」一节)。原文链接：
https://towardsdatascience.com/heres-how-you-can-get-a-2-6x-speed-up-on-your-data-pre-processing-with-python-847887e63be5
【本文是专栏机构“机器之心”的原创译文，微信公众号“机器之心( id: almosthuman2014)”】
戳这里，看该作者更多好文
- 电脑主机备件安装教程（手把手教你安装电脑主机备件，让你的电脑更强大）
- 双系统电脑教程（在一台电脑上运行Windows和Linux系统的指南）
- 电脑V7系统教程（一步一步学会电脑V7系统的使用技巧与窍门）
- 利用微PE将系统安装到U盘的教程（详细步骤帮助你实现便携的个人操作系统）
- 联想电脑CPU风扇错误的解决方法（探索联想电脑CPU风扇错误原因及应对措施）
- 电脑表格制作教程（轻松学会电脑表格的制作技巧与方法）
- 电梯大师电脑端安装教程（简易操作，轻松安装，快速上手！）
- 电脑本地服务连接错误的解决方法（如何快速排除电脑本地服务连接错误？）
- 解决三星硬盘无法装系统问题的有效方法（三星硬盘安装系统故障解决方法及步骤）
- 经典福克斯换电脑教程（全面了解福克斯换电脑，提升你的工作效率）
- 电脑显示程序出现未知错误，如何解决？（故障排除与解决方案）
- 用电脑剪辑制作教程卡片创意无限（通过电脑剪辑软件，手工制作教程卡片，让学习变得更有趣！）
- 电脑开机后显示内存错误的解决方法（诊断和修复内存错误问题）
- 电脑彩色涂鸦手绘教程（通过电脑彩色涂鸦手绘，释放你的想象力与艺术天赋）
- 光驱安装XP系统教程（详细教你如何使用光驱安装XP系统）
- 解决电脑运行错误的方法（有效应对电脑故障，让电脑恢复正常运行）
- 电脑系统连接宽带教程（一步步教你如何连接电脑系统与宽带）
- 快速设置PON网络（简明易懂的PON网络设置指南，帮助您快速上手）
- 宏碁电脑错误等待F1的解决方法（解决宏碁电脑错误等待F1的实用技巧）
- 电脑手绘服装表格教程（学习如何使用电脑软件手绘精美的服装表格）
随便看看
- Copyright © 2025 Powered by 三行Python代码，让数据预处理速度提高2到6倍,技术快报 滇ICP备2023006006号-46sitemap