データ基盤の移行は、規模や要件に合わせた計画づくりから。大手人材サービス企業での経験をもとに、候補の比較・検証から段階的な切り替え、運用改善までの進め方を紹介します。
規模と要件に合わせて、段階的に移行する
移行スケジュールの一例。工程ごとの確認を重ね、切り替えまでの見通しを立てます。
データ・連携・利用状況を棚卸し。候補製品をPOCで確かめる。
移行対象と優先順位を整理新基盤と運用を設計。検証方法、切替手順、切り戻し条件を決める。
手順と判定基準を合意対象を分けて移し、並行稼働でデータと業務への影響を確認する。
本番切替・安定稼働を確認監視と保守を続け、コストや処理性能、データ活用を改善する。
必要に応じて高度化を計画期間は、現状を確認してから。データ量・連携数・既存処理の複雑さ・検証範囲・契約更新時期に応じて、スケジュールを個別に組み立てます。
図は進め方を一般化したもので、各工程の長さを表すものではありません。移行後の高度化は、切り替え完了とは分けて計画します。
何から何へ移したか
| 業種 | 人材派遣・職業紹介事業 |
|---|---|
| 案件 | データ基盤の刷新（Treasure Data + AWS → Snowflake + TROCCO + AWS） |
| 支援範囲 | POC・現行基盤の保守から、移行、移行後の運用改善・高度化まで |
| 立場 | フリーランス。設計／テックリード（移行プロジェクトリード） |
| 体制 | チーム8名（うち開発4名）／関係者を含む全体10名 |
| 担当工程 | 要件定義・基本設計・詳細設計・実装・単体・結合テスト・総合テスト・保守運用（全工程） |
| 主な製品・技術 | Snowflake、Treasure Data、TROCCO、AWS（S3 / Glue / Lambda）、Python、SQL（Presto / Hive）、Linux、Salesforce、Marketo |
| 成果（フェーズ別） | 移行＝年間利用コスト1/5、データ処理速度1.5倍。移行後の高度化＝Salesforce / Marketo 向けのデータ連携を数時間から10分以内へ。移行前の現行基盤保守＝データ前処理を1時間から30分へ。 |
現状調査、新基盤に求める要件の策定、比較資料づくり、そして実際に動かしての検証。比較の軸は自社の使い方から決めます。カタログスペックを並べるだけでは決まりません。
移行後にいちばん効いた作り直し
連携ツールのコネクタでは数時間以上かかっていた処理を、64並列で組み直した。
Salesforce / Marketo 向けのデータ連携。この連携処理単体の数字で、基盤全体の処理時間ではありません。「数時間以上」は正確な計測値ではないため、長さの比では描いていません。
ほかに、関連会社向けS3出力の5GB制約に対して S3マルチパートアップロードとチャンク分割方式を設計しました。Snowflakeのステージ出力 → S3 → Lambdaトリガー → Glue起動 → API連携、というイベント駆動の流れに組み直しています。
| 実績の主体 | 合同会社クラウドラブ設立後、代表・岩森吏央がフリーランスのエンジニア（テックリード）として個人で参画した案件です。CloudLabという会社としての受注実績ではありません。 |
|---|---|
| 担当範囲 | 現状調査／製品比較とPOC／移行計画・段階計画の策定／新基盤のアーキテクチャ設計（全体構成・ネットワーク・AWSアカウント・セキュリティポリシー・DB設計）／運用設計（監視・権限・運用フロー・障害対応方針）／ガバナンス設計（権限・データ分類とタグ・マスキング）／構築のレビューと品質統制／移行の実行リード／移行後の運用保守と高度化。 |
| プロジェクト体制 | チーム8名（うち開発4名）、関係者を含む全体10名。代表は設計・テックリードとして参画しています。POCから移行、移行後の運用改善・高度化まで関与しました。 |
| 数字が指すシステム | 「年間利用コスト1/5・データ処理速度1.5倍」は、Treasure Data + AWS(S3) から Snowflake + TROCCO + AWS(S3) へ移した基盤全体を比べた数字です。「数時間 → 10分以内」は移行後の高度化フェーズで、Salesforce / Marketo 向けのデータ連携を AWS Glue / Lambda の64並列処理で作り直したときの、その連携処理単体の数字です。基盤全体の処理時間ではありません。「1時間から30分」は移行前、現行の Treasure Data 基盤でデータ前処理を改善したときの数字です。 |
| 守秘のため一般化した部分 | 発注元の社名・部署名・扱っているデータの中身は伏せ、「大手人材サービス企業」と業種で書いています。製品名（Treasure Data・Snowflake・TROCCO・AWS Glue / Lambda / S3・Salesforce・Marketo）は伏せていません。 |
こちらは移した側ではなく、ゼロから作った側の事例です。大手SIerの提案総額と比べて投資・運用コストを約1/3に抑えた案件の、体制と工程を書いています。
移行するかどうかを決める前の段階からご相談いただけます。費用の分解、候補比較とPOCの設計、ベンダー提案の第三者レビューをお引き受けしています。