想提高计算速度？作为数据科学家你应该知道这些Python多线程、进程知识

发布时间：2019-09-19 09:56:41 所属栏目：建站来源：skura

导读：副标题#e# 每个数据科学项目迟早都会面临一个不可避免的挑战：速度问题。使用更大的数据集会导致处理速度变慢，因此最终必须想办法优化算法的运行时间。正如你们大多数人已经知道的，并行化是这种优化的必要步骤。python 为并行化提供了两个内置库：多处理

显然，你可以用它做很多事情，但这不在本文的范围内，所以我们不在这里讨论。如果你有兴趣了解更多信息，请查看这里和这里的文档：https://docs.python.org/3/library/threading.html 和 https://docs.python.org/3/library/threading.html 。

基准点

现在我们已经了解了实现并行化的代码是什么样子的，让我们回到性能问题上来。如前所述，线程不适合用于 CPU 限制的任务;在这些情况下，它最终成为一个瓶颈。我们可以使用一些简单的基准来验证这一点。

首先，让我们看看在我上面展示的代码示例中，线程处理与多处理是如何比较的。请记住，此任务不涉及任何类型的 IO，因此它是纯 CPU 绑定的任务。

想提高计算速度？作为数据科学家你应该知道这些Python多线程、进程知识

让我们看看一个 IO 绑定任务的类似基准。例如，以下函数：

import requestsdef func(number): 
   url = 'http://example.com/' 
   for i in range(number): 
       response = requests.get(url) 
       with open('example.com.txt', 'w') as output: 
           output.write(response.text)

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

4/8

首页

尾页