我們選用 Redshift 了!

我們選用 Redshift 了!

上一篇:PostgreSQL 效能優化(下):用 Array + GIN 把標籤變成索引

為什麼從 PostgreSQL 改用 Redshift?

前面三篇聚焦在標籤查詢的調校。正式環境還要做歷史統計,例如比較同一群客戶每月平均餘額的變化,以及不同產品的差異。

選型考量RDS for PostgreSQL(GIN 方案)Redshift
歷史資料的統計效率GIN 可先篩選;命中資料多時,仍要讀取並彙整大量紀錄欄式儲存與壓縮減少讀取量,並行處理分攤彙整工作
每日寫入更新的維護成本新增資料與更新標籤會增加 GIN 維護及清理工作省去 GIN 維護,仍有載入、更新與資料整理成本
運算資源與費用費用隨執行個體、IOPS 與儲存配置而變分析若非全天候,Serverless 隨用隨付可減少閒置運算支出;儲存費另計

這批資料每年約 20 TB,正式環境至少要分析兩年、共 40 TB 以上的歷史資料,同時承接每日寫入與更新。

40 TB 本身未超過 RDS for PostgreSQL 的最高儲存規格。我們最後選擇 Redshift,用欄式儲存與並行處理承接大量歷史統計,也不必另外建立與維護 GIN 索引。分析有閒置時段時,Serverless 隨用隨付也能減少運算支出。

Redshift 的 SUPER 陣列

上一篇提出把標籤轉成 PostgreSQL 的 text[] 陣列,再搭配 GIN 索引。換到 Redshift 後,標籤改存進 SUPER;它是可儲存陣列與物件的資料型態,沒有 GIN 的索引功能。

載入時用 SPLIT_TO_ARRAY 把 tag1;tag_VIP 拆成 ["tag1","tag_VIP"],後續就能直接比對完整標籤,不必再拆字串,也避免 LIKE '%tag_VIP%' 連 tag_VIP_plus 一起找到。

CREATE TEMP TABLE customer_tags_demo AS
SELECT 1001 AS customer_id,
       SPLIT_TO_ARRAY('tag1;tag_VIP', ';') AS tags;

SELECT DISTINCT c.customer_id
FROM customer_tags_demo AS c,
     c.tags AS tag
WHERE tag = 'tag_VIP';

c.tags AS tag 會逐個取出陣列裡的標籤,再用 tag = 'tag_VIP' 比對,預期找到客戶 1001。DISTINCT 則讓同一位客戶只出現一次。

資料筆數與每筆標籤越多,展開、比對的工作也越多。

實戰心得:資訊補齊後,重新選型

一開始選 PostgreSQL,是因為我最熟悉它,也能透過 pgvector 擴充套件做向量搜尋。

把正式環境的歷史分析需求、每日寫入更新,以及 AWS 費用一起評估後,團隊最後決定改用 Redshift。

延伸閱讀

Share :