小売・流通グループのカード会社で、データ統合基盤を内製で立ち上げた

オンプレミスのSASで動いていた分析基盤を、AWS上のデータ統合基盤へ。発注側が主導し、内製の実装と専門家との協業を組み合わせて作った案件です。

発注側が主導し、内製実装と専門家協業を組み合わせて、約1/3で実現した

「外注しなかった」のではありません。必要な専門家とは組んだうえでの数字です。

大規模外注案大手SIerの提案総額 100
採用した案発注側主導+内製実装+専門家協業 33
体制(●1つが1名)
プロジェクトチーム 10名
その他の関係者 5名(全体15名)

が代表。要件定義から保守・運用までの全工程に関与し、実装も担当しました。

専門家と組んだところ
  • AWS環境(VPC・EC2 等)構築の監修外部インフラベンダー
  • PCI DSS 対応コンサルタント

投資額とランニングコストの比較です。処理速度やデータ件数の数字ではありません。

案件の基礎情報を開く(業種・支援範囲・立場・体制・担当工程・使った製品)
業種クレジットカード事業(大手流通小売グループ)
案件データ分析統合基盤(データレイク)の構築
支援範囲企画・要件整理から設計・構築・導入、保守運用まで
立場発注元企業の情報システム部門の社員として(プロジェクトマネジメント兼開発)
体制チーム10名(うち開発1名)/関係者を含む全体15名
担当工程要件定義・基本設計・詳細設計・実装・単体・結合テスト・総合テスト・保守運用(全工程)
主な製品・技術AWS(VPC / EC2 / S3 / Redshift / Athena / Glue / Lambda / CloudTrail / IAM)、RDS(PostgreSQL)、Python 3.9、SQL(Presto)、Linux(RHEL8)、Prefect、Podman、JupyterLab
成果大手SIerの提案総額と比べて投資・運用コストを約1/3に抑制/PCI DSS監査に対応
やったこと

作ったもの、つまずいたところ

担当範囲と使用製品に基づく構成概要。必要な系統をEBCDICからUTF-8へ変換しS3へ集約。Prefectで取り込み・前処理を管理し、Athena、RDS、JupyterLabで活用。IAMとCloudTrailで権限・証跡を管理。物理配置・接続方式は省略しています。
小売・流通グループのデータ統合基盤担当範囲と使用製品に基づく構成概要。必要な系統をEBCDICからUTF-8へ変換しS3へ集約。Prefectで取り込み・前処理を管理し、Athena、RDS、JupyterLabで活用。IAMとCloudTrailで権限・証跡を管理。物理配置・接続方式は省略しています。図を拡大して見る ↗
図の内容をテキストで読む

作ったもの ── 4つの層

データ源
基幹系カード系その他の社内システム

古い系統は文字コードが EBCDIC。UTF-8 に変換して初めて分析側で読める

データ基盤
S3 データレイク

取り込みと前処理の実行は Prefect で管理

活用
Athena(Presto)で SQLRDS(PostgreSQL)JupyterLab で Python
ガバナンス
IAMCloudTrail

カード事業なので PCI DSS の監査対象。権限と操作証跡を設計し、監査を通した

4つの層のうち、いちばん手がかかったのはデータ源です。古い系統の文字コード変換と、カード事業ゆえの監査要件が同時にかかってくるためです。

背景

ベンダーに任せる前提を、一度疑うところから始まった

前職の大手流通小売企業では、企画と調整は社内、作るところはベンダー、という体制でした。回りはしますが、自分たちで作れないので、見積もりが妥当かを判断できません。

この案件でも大手SIerからの提案がありました。それに対して、発注側が主導してAWS上で作る案を組み、提案の総額に対して投資・運用コストが約1/3になることを示して、この進め方の承認を得ています。

その後

基盤ができたあとに続いた仕事

基盤構築から、業務での活用へ段階的に広げる

構築後の展開を含めたスケジュールの一例。対象業務の優先度に応じて、使える範囲を広げます。

  1. 01 基盤構築

    データ統合基盤を構築

    データを集約し、分析や業務連携に使える土台を整える。

  2. 02 業務連携

    会計仕訳を自動化

    ポイントの取引データから仕訳を作り、会計システムへ連携。

  3. 03 連携拡張

    グループ基盤と連携

    親会社のデータレイクと相互に連携し、活用できるデータを広げる。

  4. 04 活用拡張

    マーケティングへ活用

    Salesforce・DOMO・Google Appsと連携し、業務で使える形に。

期間は、対象範囲に合わせて。データ量・連携先・業務要件を整理し、基盤構築と、その後の業務展開を分けて計画します。

図は進め方を一般化したもので、各工程の長さを表すものではありません。連携機能の着手順は、業務の優先度に応じて調整します。

ポイントのトランザクションから会計仕訳を作って会計システムへ渡す処理、親会社のデータレイクとの相互連携(ETL用のSQLを自動生成するプログラムを作った)、そしてマーケティングオートメーションのための Salesforce・DOMO・Google Apps 連携(AWSとSalesforceの連携には Amazon AppFlow)。いずれも要件策定から設計・構築・テスト・導入まで担当しています。

その前

小売・流通の現場を15年見てきました

99%社内伝票のペーパーレス化発注・伝票レスシステム/2004–2007年
30%端末購入コストの削減大型家電の宅配システム刷新/2008–2010年
20%入れ替えコストの削減店舗システム機器の台数基準づくり/2007年〜

いずれもカード会社ではなく、その前に在籍していた大手流通小売企業での、それぞれ別の案件です。

1997年からの7年はスーパーマーケットの服飾品売場で店長とバイヤー。その後はシステム企画とプロジェクトマネジメントに移り、電子マネーの発行、共通ポイントカードの導入、グループ共通のクレジット決済システムの導入を、関係者20〜30名規模で担当しました。

実績の読み方

この事例の前提と範囲

実績の主体合同会社クラウドラブ設立前、代表・岩森吏央が事業会社の社員(情報システム部門)として担当した案件です。CloudLabという会社としての受注実績ではありません。
担当範囲現状調査/システム企画/エンドユーザーとの要件策定/システム設計/環境構築支援/ベンダーコントロール/企画提案・要件整理資料の作成/構築/テスト/導入/PCI DSS監査対応。要件定義から保守・運用まで全工程に関与しています。
プロジェクト体制チーム10名(うち開発1名)、関係者を含む全体15名。基盤の実装は代表1名が担当し、VPC・EC2 等のAWS環境構築の監修は外部のインフラベンダー、PCI DSS対応はコンサルタントと分担しています。
数字が指すシステム「投資・運用コスト約1/3」は、大手SIerから出ていた提案の総額と、内製で構築した場合の投資・運用コストとを比べた数字です。処理速度やデータ件数の数字ではありません。また、このページに併記している「社内伝票の99%ペーパーレス化」「端末購入コスト約30%削減」「入れ替えコスト20%削減」は、カード会社ではなく、その前に在籍していた大手流通小売企業での、それぞれ別の案件の数字です。
守秘のため一般化した部分発注元の社名・グループ会社名・部署名・固有の業務名は伏せ、「大手流通小売グループのカード会社」と業種で書いています。製品名(AWS S3・Athena・Glue・Lambda・RDS 等)は伏せていません。
関連事例

Treasure Data から Snowflake への移行

動いている基盤を移した事例です。移行を決めた理由、製品比較、段階的な移行の進め方、つまずいた点を書いています。

この事例を読む →

サービス

データ基盤の現状診断・移行計画・第三者レビュー

いまの基盤の費用と使われ方を分解する、移行計画を作る、ベンダー提案を利用する側の立場で見る。この3つをお引き受けしています。

サービスの内容を見る →

同じことが、御社でもできるかどうか

状況を伺えば、内製で行ける範囲か、外に出したほうがよい範囲かの当たりはつきます。まずは現状の整理からご相談ください。

相談する 実績・事例の一覧へ