再见！Python 循环，向量化已超神
再见！Python 循环，向量化已超神
gh_1d7504e4dee1
分享Python架构师，Python架构师教程、Python教程、Python微服务架构、Python分布式架构、Python高可用架构、Pycharm注册码、Pycharm教程、Python爬虫、Python数据分析等。
以下文章来源于数据STUDIO ，作者云朵君
点击领取《Python学习手册》，后台回复「福利」获取。『数据STUDIO』专注于数据科学原创文章分享，内容以 Python 为核心语言，涵盖机器学习、数据分析、可视化、MySQL等领域干货知识总结及实战项目。
使用向量化 -- Python中循环的超级快速替代品
我们在几乎所有的编程语言中都学习过循环。所以，默认情况下，只要有重复性的操作，我们就会开始实施循环。但是当我们处理大量的迭代（数百万/数十亿行）时，使用循环真是遭罪啊～，你可能会被卡住几个小时，后来才意识到这是行不通的。这就是在Python中实现向量化变得超级关键的地方。
什么是向量化？
向量化是在数据集上实现（NumPy）数组操作的技术。在后台，它对数组或系列的所有元素一次性进行操作（不像’for’循环那样一次操作一行）。
在这篇博客中，我们将看看一些用例，在这些用例中，我们可以很容易地用向量化代替Python循环。这将帮助你节省时间，并在编码方面变得更加熟练。
点击领取Python面试题手册
Python从入门到进阶知识手册
使用案例1: 寻找数字的总和
首先，我们来看看一个基本的例子，即在Python中使用循环和向量来寻找数字的总和。
使用循环
import time
start
= time.time()
# 遍历之和
total =
0
# 遍历150万个数字
for
item
in
range
(
0
,
1500000
):
total = total + item
print(
’sum is:’
+
str
(total))
end
= time.time()
print(
end
-
start
)
#1124999250000
#0.14 Seconds
使用向量化
import numpy as np
start = time.time()
# 向量化和--使用numpy进行向量化
# np.range创建从0到1499999的数字序列
print(np.sum(np.arange(1500000)))
end = time.time()
print(end - start)
##1124999250000
##0.008 Seconds
与使用范围函数的迭代相比，向量化的执行时间约18倍。在使用Pandas DataFrame时，这种差异将变得更加明显。
使用案例2:DataFrame数学运算
在数据科学中，当使用Pandas DataFrame时，开发者会使用循环来创建新的数学运算的派生列。
在下面的例子中，我们可以看到，在这样的用例中，循环可以很容易地被向量化所取代。
创建DataFrame
DataFrame是以行和列的形式存在的表格数据。
我们正在创建一个有500万行和4列的pandas DataFrame，其中充满了0到50之间的随机值。
import
numpy
as
np
import
pandas
as
pd
df = pd.DataFrame(np.random.randint(
0
,
50
,
size=(
5000000
,
4
)),
columns=(
’a’
,
’b’
,
’c’
,
’d’
))
df.shape
# (5000000, 5)
df.head()
我们将创建一个新的列’ratio’，以找到列’d’和’c’的比率。
使用循环
import time
start
= time.time()
# Iterating through DataFrame using iterrows
for
idx,
row
in
df.iterrows():
# creating a new column
df.at[idx,
’ratio’
] =
100
* (
row
[
"d"
] /
row
[
"c"
])
end
= time.time()
print(
end
-
start
)
### 109 Seconds
使用向量化
start = time.time()
df[
"ratio"
] = 100 * (df[
"d"
] / df[
"c"
])
end = time.time()
print(end - start)
### 0.12 seconds
我们可以看到DataFrame有了明显的改进，与python中的循环相比，向量化几乎快了1000倍。
使用案例3:DataFrame上If-else语句
我们实现了很多需要我们使用 "if-else" 类型逻辑的操作。我们可以很容易地用python中的向量化操作代替这些逻辑。
看一下下面的例子来更好地理解它（我们将使用在用例2中创建的DataFrame）。
想象一下，如何根据退出的列’a’的一些条件来创建一个新的列’e’。
使用循环
import time
start
= time.time()
# Iterating through DataFrame using iterrows
for
idx,
row
in
df.iterrows():
if
row.a ==
0
:
df.at[idx,
’e’
] = row.d
elif (row.a <=
25
) & (row.a >
0
):
df.at[idx,
’e’
] = (row.b)-(row.c)
else
:
df.at[idx,
’e’
] = row.b + row.c
end
= time.time()
print(
end
-
start
)
### Time taken: 177 seconds
使用向量化
start
= time.time()
df[
’e’
] = df[
’b’
] + df[
’c’
]
df.loc[df[
’a’
] <=
25
,
’e’
] = df[
’b’
] -df[
’c’
]
df.loc[df[
’a’
]==
0
,
’e’
] = df[
’d’
]
end
= time.time()
print(
end
-
start
)
## 0.28007707595825195 sec
与带有if-else语句的python循环相比，向量化操作要比循环快600倍。
使用案例4:解决机器学习/深度学习网络
深度学习要求我们解决多个复杂的方程，而且是针对数百万和数十亿行的方程。在Python中运行循环来解决这些方程是非常慢的，此时，向量化是最佳的解决方案。
例如，要计算以下多线性回归方程中数百万行的y值。
我们可以用向量化代替循环。
m1,m2,m3...的值是通过使用对应于x1,x2,x3...的数百万个值来解决上述方程而确定的（为了简单起见，只看一个简单的乘法步骤）
创建数据
>>
> import numpy as np
>>
>
# 设置 m 的初始值
>>
> m = np.random.rand(
1
,
5
)
array([[
0
.
49976103
,
0
.
33991827
,
0
.
60596021
,
0
.
78518515
,
0
.
5540753
]])
>>
>
# 500万行的输入值
>>
> x = np.random.rand(
5000000
,
5
)
使用循环
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)
total = 0
tic = time.process_time()
for i in range(0,5000000):
total = 0
for j in range(0,5):
total = total + x[i][j]*m[0][j]
zer[i] = total
toc = time.process_time()
print (
"Computation time = "
+ str((toc - tic)) +
"seconds"
)
####Computation time = 28.228 seconds
使用向量化
tic = time.process_time()
#dot product
np.dot(x,m.T)
toc = time.process_time()
print (
"Computation time = "
+ str((toc - tic)) +
"seconds"
)
####Computation time = 0.107 seconds
np.dot在后端实现了向量的矩阵乘法。与python中的循环相比，它的速度提高了165倍。
写在最后
Python中的向量化是非常快的，当在处理非常大的数据集时，建议你应该优先考虑向量化而不是循环。这样，随着时间的推移，你会逐渐习惯于按照向量化的思路来编写代码。
程序员技术交流群
扫码进群记得备注： 城市、昵称和技术方向 。
阅读更多
-
细思恐极，插上 U 盘就开始执行 Python 代码 -
【Pycharm教程】使用 PyCharm 构建 R 包 -
复旦发布中国版 ChatGPT ：MOSS