Treasure Data から Snowflake への移行
動いている基盤を移した事例です。移行を決めた理由、製品比較、段階的な移行の進め方、つまずいた点を書いています。
オンプレミスのSASで動いていた分析基盤を、AWS上のデータ統合基盤へ。発注側が主導し、内製の実装と専門家との協業を組み合わせて作った案件です。
発注側が主導し、内製実装と専門家協業を組み合わせて、約1/3で実現した
「外注しなかった」のではありません。必要な専門家とは組んだうえでの数字です。
が代表。要件定義から保守・運用までの全工程に関与し、実装も担当しました。
投資額とランニングコストの比較です。処理速度やデータ件数の数字ではありません。
| 業種 | クレジットカード事業(大手流通小売グループ) |
|---|---|
| 案件 | データ分析統合基盤(データレイク)の構築 |
| 支援範囲 | 企画・要件整理から設計・構築・導入、保守運用まで |
| 立場 | 発注元企業の情報システム部門の社員として(プロジェクトマネジメント兼開発) |
| 体制 | チーム10名(うち開発1名)/関係者を含む全体15名 |
| 担当工程 | 要件定義・基本設計・詳細設計・実装・単体・結合テスト・総合テスト・保守運用(全工程) |
| 主な製品・技術 | AWS(VPC / EC2 / S3 / Redshift / Athena / Glue / Lambda / CloudTrail / IAM)、RDS(PostgreSQL)、Python 3.9、SQL(Presto)、Linux(RHEL8)、Prefect、Podman、JupyterLab |
| 成果 | 大手SIerの提案総額と比べて投資・運用コストを約1/3に抑制/PCI DSS監査に対応 |
作ったもの ── 4つの層
古い系統は文字コードが EBCDIC。UTF-8 に変換して初めて分析側で読める
取り込みと前処理の実行は Prefect で管理
カード事業なので PCI DSS の監査対象。権限と操作証跡を設計し、監査を通した
4つの層のうち、いちばん手がかかったのはデータ源です。古い系統の文字コード変換と、カード事業ゆえの監査要件が同時にかかってくるためです。
前職の大手流通小売企業では、企画と調整は社内、作るところはベンダー、という体制でした。回りはしますが、自分たちで作れないので、見積もりが妥当かを判断できません。
この案件でも大手SIerからの提案がありました。それに対して、発注側が主導してAWS上で作る案を組み、提案の総額に対して投資・運用コストが約1/3になることを示して、この進め方の承認を得ています。
基盤構築から、業務での活用へ段階的に広げる
構築後の展開を含めたスケジュールの一例。対象業務の優先度に応じて、使える範囲を広げます。
データを集約し、分析や業務連携に使える土台を整える。
ポイントの取引データから仕訳を作り、会計システムへ連携。
親会社のデータレイクと相互に連携し、活用できるデータを広げる。
Salesforce・DOMO・Google Appsと連携し、業務で使える形に。
期間は、対象範囲に合わせて。データ量・連携先・業務要件を整理し、基盤構築と、その後の業務展開を分けて計画します。
図は進め方を一般化したもので、各工程の長さを表すものではありません。連携機能の着手順は、業務の優先度に応じて調整します。
ポイントのトランザクションから会計仕訳を作って会計システムへ渡す処理、親会社のデータレイクとの相互連携(ETL用のSQLを自動生成するプログラムを作った)、そしてマーケティングオートメーションのための Salesforce・DOMO・Google Apps 連携(AWSとSalesforceの連携には Amazon AppFlow)。いずれも要件策定から設計・構築・テスト・導入まで担当しています。
いずれもカード会社ではなく、その前に在籍していた大手流通小売企業での、それぞれ別の案件です。
1997年からの7年はスーパーマーケットの服飾品売場で店長とバイヤー。その後はシステム企画とプロジェクトマネジメントに移り、電子マネーの発行、共通ポイントカードの導入、グループ共通のクレジット決済システムの導入を、関係者20〜30名規模で担当しました。
| 実績の主体 | 合同会社クラウドラブ設立前、代表・岩森吏央が事業会社の社員(情報システム部門)として担当した案件です。CloudLabという会社としての受注実績ではありません。 |
|---|---|
| 担当範囲 | 現状調査/システム企画/エンドユーザーとの要件策定/システム設計/環境構築支援/ベンダーコントロール/企画提案・要件整理資料の作成/構築/テスト/導入/PCI DSS監査対応。要件定義から保守・運用まで全工程に関与しています。 |
| プロジェクト体制 | チーム10名(うち開発1名)、関係者を含む全体15名。基盤の実装は代表1名が担当し、VPC・EC2 等のAWS環境構築の監修は外部のインフラベンダー、PCI DSS対応はコンサルタントと分担しています。 |
| 数字が指すシステム | 「投資・運用コスト約1/3」は、大手SIerから出ていた提案の総額と、内製で構築した場合の投資・運用コストとを比べた数字です。処理速度やデータ件数の数字ではありません。また、このページに併記している「社内伝票の99%ペーパーレス化」「端末購入コスト約30%削減」「入れ替えコスト20%削減」は、カード会社ではなく、その前に在籍していた大手流通小売企業での、それぞれ別の案件の数字です。 |
| 守秘のため一般化した部分 | 発注元の社名・グループ会社名・部署名・固有の業務名は伏せ、「大手流通小売グループのカード会社」と業種で書いています。製品名(AWS S3・Athena・Glue・Lambda・RDS 等)は伏せていません。 |
動いている基盤を移した事例です。移行を決めた理由、製品比較、段階的な移行の進め方、つまずいた点を書いています。
いまの基盤の費用と使われ方を分解する、移行計画を作る、ベンダー提案を利用する側の立場で見る。この3つをお引き受けしています。