吞吐量

吞吐量通常是指在給定時間段内處理的查詢或請求的數量。決定吞吐量上限的因素有兩個

1）可用硬件資源的數量，

2）系統中的資源分配和有效利用。

PS：以下是性能測試的主要概念和計算公式。

系統的吞吐量與請求的CPU消耗、外部接口、IO等密切相關。單個請求的 CPU 消耗越高，外部系統接口和 IO 影響速度越慢，系統吞吐量越低，反之亦然。

系統吞吐量參數

• QPS/TPS：每秒請求/事務的數量
• 并發：系統同時處理的請求/事務的數量
• Response Time：完成一個請求的時間（一般取平均響應時間）

理解了以上3個元素的含義後，可以推斷出它們之間的關系：QPS/TPS = 并發/平均響應時間

确定吞吐量

因此，系統的吞吐量通常由兩個因素決定：并發數和 QPS/TPS。每個系統的這 2 個值都有一個相對限值。隻要某個項目達到系統的最高值，系統的吞吐量就會達到最大值。如果請求數和并發數繼續增加，系統的吞吐量反而會降低。這是因為系統過載，上下文切換、内存等其他消耗導緻系統性能下降。

确定響應時間

系統的響應時間是系統将通過關鍵路徑的系統影響時間。關鍵路徑由 CPU 操作、IO、外部系統響應等組成。

我們在做系統設計的時候，需要考慮CPU操作、IO、外部系統響應因素的影響，以及對系統性能的初步估計。

除了 QPS、并發和響應時間，我們還需要考慮每日峰值。通過觀察系統的訪問日志發現，在用戶較多或TPS最高的情況下，除節假日和季節性因素外，每天同一時間段的訪問流量具有相對穩定的關系。

用戶數、QPS、響應時間和吞吐量之間的關系。

延遲

延遲是一個動作（由用戶或機器發起）在任何給定系統中産生其預期效果（其響應或輸出）所花費的時間。它在計算機網絡中最常被引用，它是請求通過網絡完成其單向或雙向（返回）行程所需的時間。在網絡請求的上下文中，延遲通常在低端以毫秒為單位，在高端以秒為單位。一個請求（和延遲的度量）可能隻是通過網絡連接的許多機器上的更大操作的一小部分（具有更高的延遲）。對于不面向用戶的工作負載，可接受的延遲可以用幾分鐘、幾小時或更長的時間來衡量。

低延遲的三個關鍵是：

1. 從動作源到數據或計算目的地的物理（或地理）短途旅行。
2. 在請求行程期間對任何數據的最小計算（數據應預先計算）。
3. 在其數據存儲中查找數據的最短時間（例如，通過在數據庫上使用良好的索引）。這在技術上也是計算。

延遲一般包括單向延遲和往返延遲。其單位一般為ms、s、min、hr等。

端到端延遲 =客戶端處理延遲 網絡延遲 服務器處理延遲

• 服務器處理延遲（計算延遲）：任務進入處理并完成處理所花費的時間。假設計算資源的可用量、有效利用率和能量轉換效率保持不變，任務調度算法将決定一個任務的處理延遲。

網絡延遲=發送延遲 傳播延遲 處理延遲 排隊延遲

• 發送延遲：主機或路由器發送一個數據幀所用的時間（數據幀的第一個比特到幀的最後一個比特）
• 傳輸延遲：數據幀長度（b）/信道帶寬（b/s）
• 傳播延遲：電磁波在機器外部的通道介質中傳播一定距離所需的時間（通道長度（m）/電磁波在通道上的傳播速度（m/s））
• 處理延遲：當主機或路由器接收到一個數據包時，需要一定的時間來處理，例如分析數據包的頭部，從數據包中提取數據，進行糾錯，或者找到合适的路由
• 排隊延遲：當一個數據包通過網絡傳輸時，它必須經過許多路由器。進入路由器後，數據包必須在輸入隊列中排隊進行處理。确定轉發接口後，必須在輸出隊列中排隊。

如果你發現我的任何文章對你有幫助或有用，麻煩點贊或者轉發。 謝謝！