.NET 7 中新的速率限制器

07/28/2022 23:36:32 | China Standard Time

微软在 .NET 7 中发布了新的速率限制器，它将避免过去在速率限制方面遇到的任何问题。就性能而言，这款新的 .NET 速率限制器旨在以最小的开销处理数千个并发请求。在讨论新的速率限制器之前，我们需要先来了解一下速率限制是什么，它的用途以及它是如何工作的。

![.net7](https://corehome.oss-accelerate.aliyuncs.com/blogs/9dc859dc-324a-490b-8e85-de3da7b62664.jpg)

# 什么是速率限制？

在构建项目（ASP.NET Web API、Blazor 或者其他应用）之前，我们必须确保没有任何安全问题。速率限制是指通过设置最大访问速率来限制在特定时间范围内对某些资源的访问。

假设您有一个通过 API 连接到数据库的应用程序。这个数据库和API没有托管性能受限的服务器上，我们知道它每天可以处理大约100，000个请求。许多开发人员会想到这件事情：

- API 和数据库是否能够每天处理超过 100，000 个请求？
- 如果它超过该请求数会发生什么情况？
- 如果它无法处理更多的请求，会崩溃吗？

这就是创建速率限制概念的原因。在这种情况下，速率限制器（使用不同类型的算法）每天接受 100，000 个请求，并阻止超过该数量的任何请求。通过这种方式，我们可以确保服务永远不会饱和。

如果我们的应用程序中没有实现速率限制，我们通常会创建一个的网关来阻止过多的请求。

在 .NET 服务中实现速率限制可以防止 API 和 数据库 饱合，但这不是速率限制唯一的使用场景。

# 为什么我们需要并使用速率限制？

服务或功能饱和的问题不仅仅是由于非自愿行为造成的。也可能是由黑客或攻击者故意执行的，例如 DoS（拒绝服务）攻击。

假设我们有一个公共 API，它允许许多客户端同时访问。即使他们中的大多数是合法用户，但只要 API 允许公共访问，就有可能受到来自外部的攻击。

使用API速率限制还有助于**保护我们免受可能的Dos攻击**，甚至是机器人攻击，这些攻击是由攻击者控制的多台受感染的计算机（僵尸网络）。

我们可以通过 IP 地址（通常）、用户或任何标识符进行速率限制。

速率限制的另一种（更商业化的）用途是为服务或API（称为即用即付）提供订阅和计费功能。许多提供公共API的IaaS公司和云提供商确通过这种方式，保证其用户使用服务的时间不会超过他们支付的费用。

现在速率限制的概念已经很清楚，让我们看看并解释 Microsoft 在 .NET 7 中新发布的速率限制器。

# 新的速率限制

首先，我们有一个用于 MVC 应用程序或 Web API 的 [AspNetCoreRateLimit](https://www.nuget.org/packages/AspNetCoreRateLimit/) nuget 包（第三方），它也在 [Stefan Prodan](https://github.com/stefanprodan) 的 Github 中。这个新的速率限制器集成在 .NET 7 中，根据 Microsoft 的[说法](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/)，它将帮助我们将应用程序的流量保持在安全级别：

> “速率限制提供了一种保护资源的方法，以避免使您的应用程序不堪重负，并将流量保持在安全水平”

实际上，有许多算法可以用来做速率限制，Microsoft 已经决定在 .NET 7 中[提供 4 种主要算法](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/)。

## 并发限制

[并发限制器](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/#concurrency-limit)是速率限制的**最简单**解决方案。Microsoft 提供的此限制器负责限制最大并发请求数。通过指定限制数，限制器将拒绝下一个请求，因为它已超过允许的最大请求数。

假设您将限制设置为 50 个并发请求，这意味着一次只允许 50 个请求。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/b25bfe81-cef2-4730-aa5b-a687d69c7860.jpg)

如果出于任何原因生成了第 51 个请求，则该请求将因超出指定的限制而被拒绝。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/a38a520a-4d5c-4cb6-b688-04a38574d767.jpg)

通过 `RateLimitLease` 类，我们可以设定允许的请求数。

代码示例：

```csharp
public abstract class RateLimiter : IAsyncDisposable, IDisposable
{
	public abstract int GetAvailablePermits();
	public abstract TimeSpan? IdleDuration { get; }

	public RateLimitLease Acquire(int permitCount = 1);

	public ValueTask<RateLimitLease> WaitAsync(
		int permitCount = 1,
		CancellationToken cancellationToken = default
	);

	public void Dispose();
	public ValueTask DisposeAsync();
}
```

RateLimitLease 是 [System.Threading.RateLimiting](https://www.nuget.org/packages/System.Threading.RateLimiting) 的一部分，它提供了用于创建和配置速率限制器的算法，并且包含在 .NET 7 中。

## 令牌存储桶限制

[令牌桶](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/#token-bucket-limit)是微软发布的第二种算法。此算法根据定义的允许请求数进行限制。正如微软所说，它的名字描述了它是如何工作的，让我们用一个简单的例子来理解它。

假设我们有一个应用程序，而这个应用程序有一个虚构的桶。例如，此存储桶具有限制令牌（对应用程序的请求），并且其中只能容纳 50 个令牌。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/385aeeab-06a0-463d-82a6-e5476240e64c.jpg)

如果用户来并发出请求（1 个令牌），则会从存储桶中消耗此令牌，并保留 49 个令牌。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/10056603-af27-4299-a4a1-b142e99b201f.jpg)

现在，让我们想象一下，攻击者附带一个僵尸网络并生成100个令牌（100个请求）。由于之前还剩下49个免费令牌，因此只有攻击者发出的100个请求中的前49个将被处理，其余51个将被拒绝。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/4ca84761-85a3-46d9-b8e7-eb765b6b9f41.jpg)

在当前情况下，在存储桶中生成一些可用令牌之前，不会处理任何请求。这个过程每分钟发生一次。

## 固定窗口限制

Microsoft 在新的 .NET 速率限制器中发布的第三个算法是[固定窗口限制](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/#fixed-window-limit)。此算法在某些方面与令牌存储桶限制有些相似。

固定窗口限制负责在给定时间内允许一定数量的请求通过固定窗口。

为了以更实际的方式解释它，我们将采用微软的电影院示例。

让我们想象一下，我们面前有一个**50个座位**（最大容量为50个座位）的电影院。现在，在这个电影院里在放映时长2小时15分的《速度与激情9》电影。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/d986ab28-cb1a-4a9d-acdb-4ab0dd52e029.jpg)

50人进入并观看电影，但同时还有50人可以排队观看下一次会议。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/8bf83767-9468-4068-bcb5-763b16236722.jpg)

一旦第一场的2小时15分结束，观看电影的50人将离开，并为接下来的50人留下50个座位，依此类推。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/a32bda54-65a8-4dca-b440-98a26f11f737.jpg)

假设在本例中，它以 50 个周期为单位。

## 滑动窗口限制

用于速率限制的第四种算法是[滑动窗口](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/#sliding-window-limit)。滑动窗口限制类似于固定窗口限制，但增加了分区（也称为段）。

假设我们有一个 2 小时的窗口，此窗口分为 2 个段，每个段 1 小时，最多可以同时接受 40 个请求。现在，我们还有一个索引，它将指向当前的窗口。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/7d939d1b-00d6-4f24-8c9d-a7e8bdbd230a.jpg)

现在，在第一个小时内，我们会收到 20 个请求。这 20 个请求将直接转到索引所指向的当前段。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/c26fe312-016b-445e-93d6-82d6ee87557b.jpg)

第一个小时过后，窗口索引将转到下一个段，总容量为 20 个请求（因为其他 20 个请求在前一个段中被占用）。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/6669d1b4-7dad-416d-ac8b-21a4cfa76571.jpg)

在第二个小时中，有 10 个新请求传入，这些请求返回到索引指示的段，可用请求的数量将减少到 10 个请求。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/6bfb0a99-9594-4690-a6dc-4d24b814e70a.jpg)

同样，当第二个小时过去时，窗口索引将移动到下一个位置，并且由于在第一个小时内输入的前20个请求已被遗漏在窗口之外，因此这20个请求将被恢复，目前总共留下30个空闲请求。

![](https://corehome.oss-accelerate.aliyuncs.com/blogs/e1139187-196c-4f13-8fe5-605cee8c21e9.jpg)

## PartitionedRateLimiter

现在让我们看一下引入的另一个 API，以帮助处理更复杂的场景，即 PartitionedRateLimiter，您可能希望根据传入的速率更改速率限制行为，PartitionedRateLimiter 在这种情况下非常有用。它允许针对不同情况采用不同的并发限制策略，也可以是更复杂的方案，例如将 X 和 Y 分组到相同的并发限制下，但将 W 和 Z 分组到令牌存储桶限制下。

让我们看看这个例子：

```csharp
enum MyPolicyEnum
{
	One,
	Two,
	Admin,
	Default
}

var limiter = PartitionedRateLimiter.Create<string, MyPolicyEnum>(resource =>
{
	if (resource == "Policy1")
	{
		return RateLimitPartition.Create(MyPolicyEnum.One, key => new MyCustomLimiter());
	}
	else if (resource == "Policy2")
	{
		return RateLimitPartition.CreateConcurrencyLimiter(MyPolicyEnum.Two, key =>
			new ConcurrencyLimiterOptions(
				permitLimit: 2,
				queueProcessingOrder: QueueProcessingOrder.OldestFirst,
				queueLimit: 2
			)
		);
	}
	else if (resource == "Admin")
	{
		return RateLimitPartition.CreateNoLimiter(MyPolicyEnum.Admin);
	}
	else
	{
		return RateLimitPartition.CreateTokenBucketLimiter(MyPolicyEnum.Default, key =>
			new TokenBucketRateLimiterOptions(
				tokenLimit: 5,
				queueProcessingOrder: QueueProcessingOrder.OldestFirst,
				queueLimit: 1,
				replenishmentPeriod: TimeSpan.FromSeconds(5),
				tokensPerPeriod: 1,
				autoReplenishment: true
			)
		);
	}
});

RateLimitLease lease = limiter.Acquire(resourceID: "Policy1", permitCount: 1);

// ...

RateLimitLease lease = limiter.Acquire(resourceID: "Policy2", permitCount: 1);

// ...

RateLimitLease lease = limiter.Acquire(resourceID: "Admin", permitCount: 12345678);

// ...

RateLimitLease lease = limiter.Acquire(resourceID: "other value", permitCount: 1);
```

如果您想了解更多信息，请查看原始来源：[Microsoft PartitionedRateLimiter](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/#partitionedratelimiter)。

## RateLimiting middleware

此中间件通过 `Microsoft.AspNetCore.RateLimiting` NuGet 包提供。主要使用模式是配置一些速率限制策略，然后将这些策略附加到 EndPoint。

```csharp
var app = WebApplication.Create(args);

app.UseRateLimiter(
	new RateLimiterOptions()
		.AddConcurrencyLimiter(
			policyName: "get",
			new ConcurrencyLimiterOptions(
				permitLimit: 2,
				queueProcessingOrder: QueueProcessingOrder.OldestFirst,
				queueLimit: 2
			)
		)
		.AddNoLimiter(policyName: "admin")
		.AddPolicy(policyName: "post", partitioner: httpContext =>
		{
			if (!StringValues.IsNullOrEmpty(httpContext.Request.Headers["token"]))
			{
				return RateLimitPartition.CreateTokenBucketLimiter("token", key =>
					new TokenBucketRateLimiterOptions(
						tokenLimit: 5,
						queueProcessingOrder: QueueProcessingOrder.OldestFirst,
						queueLimit: 1,
						replenishmentPeriod: TimeSpan.FromSeconds(5),
						tokensPerPeriod: 1,
						autoReplenishment: true
					)
				);
			}
			else
			{
				return RateLimitPartition.Create("default", key => new MyCustomLimiter());
			}
		}
	)
);

app.MapGet("/get", context => context.Response.WriteAsync("get")).RequireRateLimiting("get");

app.MapGet("/admin", context => context.Response.WriteAsync("admin")).RequireRateLimiting("admin").RequireAuthorization("admin");

app.MapPost("/post", context => context.Response.WriteAsync("post")).RequireRateLimiting("post");

app.Run();
```

`RateLimiterOptions` 中包括了 `RejectionStatusCode` 允许我们自定义返回状态码（默认值为503）。对于更高级的用法，还有一个函数作为参数接收，该函数将在速率被限制后调用。

```csharp
new RateLimiterOptions()
{
	OnRejected = (context, cancellationToken) =>
	{
		context.HttpContext.StatusCode = StatusCodes.Status429TooManyRequests;
		return new ValueTask();
	}
};
```

如果您想了解更多信息，请查看原始来源：[Microsoft RateLimiting中间件](https://devblogs.microsoft.com/dotnet/announcing-rate-limiting-for-dotnet/#ratelimiting-middleware)。