您如何進行手動/一次性基於日誌的查詢？

我的應用引擎實例正在記錄傳入的請求，我希望能夠執行手動/一次性查詢以進行數據分析。

例如，我希望能夠確定在給定時間段內向每個端點發出了多少請求。所以一個 SQL 查詢可能看起來像這樣：

SELECT path, count(path)
FROM request_log
WHERE time >= :start_time AND time <= :end_time
GROUP BY path

基於日誌數據實現此類查詢的最簡單且最具成本效益的方法是什麼？

注意：每月的日誌攝取量略低於 1TB。

在 GCP 中，這將是一個兩步過程：

您應該能夠創建日誌過濾器：

• https://cloud.google.com/logging/docs/view/advanced-filters

然後使用這些日誌過濾器創建指標：

• https://cloud.google.com/logging/docs/logs-based-metrics/counter-metrics

這不會像 SQL 查詢那樣靈活或無縫，但過濾器應該為您提供一種選擇您感興趣的日誌的方法，並且指標應該允許您對它們進行計數。

如果您熱衷於使用 SQL，則需要將日誌數據導出到 Big Query。您可以在需要時手動執行此操作，也可以設置接收器以自動將符合條件的新日誌發送到 Big Query。導出數據後，您將使用 Big Query 服務在日誌上執行 SQL。

以下是將日誌數據導出到 Big Query 的連結：

• https://cloud.google.com/logging/docs/export/

引用自：https://dba.stackexchange.com/questions/213660