最近話題のSnowflakeデータクラウドって何が凄いの？ 【電通デジタルコラム】

一般的に、企業のビッグデータ活用に必要なシステム領域は、「データレイク」「データウェアハウス」「データマート」の3点で構成されます。Snowflakeデータクラウドは、この3つすべてをカバーすることが可能です。

• データレイク……各データソースのRAWデータを、ネイティブ形式で格納するリポジトリ（貯蔵庫）
• データウェアハウス……複数の社内システムからデータを収集し、格納するシステム
• データマート……目的に応じて必要なデータを抽出・集計し、利用しやすい形に格納したデータベース

Snowflakeを導入することで、それぞれの領域で異なる製品を導入して運用するケースと比較すると、手間やコスト、データ連携に発生するタイムラグを、最小限にとどめて運用できます。

機能面の特徴を、「処理性能」「運用負荷の軽減」「セキュリティ」「データ連携」「コスト」というポイントで紹介していきます。

処理性能

Snowflakeは、データを保持するストレージと、クエリを実行する仮想ウェアハウス（以降ウェアハウス）が、完全に分離された設計になっています。これにより、特定のデータベースのデータに対して、並列にいくつでもウェアハウスと呼ばれるコンピュートリソースを立ち上げることが可能となります。例えば、社内の複数の部門で並行して実行している処理があっても、互いのリソースはいっさい影響を受けません。

運用負荷の軽減

Snowflakeには、運用負荷を軽減する機能がいくつかあり、代表的なものを2点ご紹介します。

1つ目は「タイムトラベル」。これはデータベースのテーブル、スキーマ、データを簡単に復元できる機能です。最大90日前（Enterpriseエディション以上の場合）までであれば、簡単に過去時点のデータにアクセスしたり、その時点のデータを用いたデータの復元が可能です。

2つ目は「ゼロコピークローン」。データウェアハウス、テーブルなど、現在の環境のコピーを数秒で作成できる機能です。Snowflake独自の仕組みにより、実際は物理的なデータコピーを行わず、メタデータのコピーのみで対応します。そのため、データ量が大きい場合でも極めて短時間でクローンを生成できます。

セキュリティ

接続する際の認証について、Snowflakeは基本認証（ユーザー名、パスワード）の他に、キーペア認証、シングルサインオン（SSO）、多要素認証（MFA）にも対応しています。

格納されたデータに対するセキュリティ機能では、データの暗号化、マスキング、トークン化、匿名化などが設定でき、行アクセスポリシーを使用することで、クエリ結果で返す行を指定することも可能です。

データをエクスポートしたり共有したりする際のセキュリティ機能については、ダイレクトセキュアシェアリングという機能があります。これは、アカウント内のデータベース内で選択したオブジェクトを、他のSnowflakeアカウントと共有できる機能です。アカウント間で共有されるすべてのデータベースオブジェクトは、読み取り専用なので安全に運用できます。

データ連携

Snowflakeは要件に応じたデータ取り込み方法を複数提供しており、自社の基幹システムや、採用しているクラウド製品から容易にデータを取り込めます。もちろん、外部のツールとも連携することが可能です。

特徴的な機能として「Snowpipe」があります。これは継続的なデータロードの仕組みです。COPYコマンドを利用した一括ロードとは異なり、ステージ上でファイルが利用できるようになったことを検知して、ファイルを継続的にロードすることができます。

コスト

Snowflakeのライセンスコストは従量課金で、データのストレージ量、ウェアハウスのサイズや稼働時間等によって請求額が変わります。ウェアハウスは処理に応じて、瞬時にスケールアップさせたり、負荷に応じて自動でスケールアウトさせることが可能です。処理に応じた最適なウェアハウスサイズの適用、またウェアハウスの自動停止・自動再開の機能と組み合わせることによって、不要なコストの発生を抑えることが可能です。 

Snowflakeはマルチクラウドである

他社製品と比較した際、Snowflakeの差別化ポイントの一つとなるのがマルチクラウド対応であるという点です。

社内に異なるベンダーから提供される複数のクラウド環境が存在する場合、Snowflakeデータクラウドはそれらのハブとなり、データの一元管理が可能です。

Snowflakeはウェアハウスが柔軟である

Snowflakeはウェアハウスのサイズを柔軟に変更したり、処理を行わない間は停止させるといったことが瞬時に可能です。1日に発生するさまざまなデータ処理のニーズに対し、適切なコンピュートリソースをそれぞれ適用することで、結果、コストとパフォーマンスを最適化することができます。 

Snowflakeはデータを売買できる

最後にSnowflakeマーケットプレイスを紹介します。Snowflakeを導入している企業は、Snowflakeマーケットプレイスと呼ばれるプラットフォーム上で、匿名化した自社のデータを販売したり、必要なデータを購入したりすることが可能です。現在グローバルで250社以上のデータプロバイダが、1,700点以上のデータセットを公開しています。日本企業のデータプロバイダも今後、さらに増えていくと予想されます。 

活用方法の1つ目は、分析基盤の新規構築、リプレイスです。

• 企業が一から分析基盤を構築するケース
• 単一部門のデータ基盤を、部門横断した分析基盤としてリプレイスするケース
• オンプレミスのデータウェアハウスからリプレイスするケース

などが考えられます。

2つ目は、マーケティング基盤の新規構築、リプレイスです。データレイク、データウェアハウス、分析用データマートはSnowflake側で構築し、顧客データ基盤、施策用のデータマートはCDP（Customer Data Platform）製品などで構築します。 

3つ目は「既存製品との並行運用」で、これは最近相談が増えています。マーケティング基盤などのパフォーマンスが低下している場合に、Snowflakeを追加で導入する活用方法です。顧客データ基盤、施策用データマートはCDPに残し、分析に必要となるデータウェアハウスとデータマートだけSnowflake側で構築します。 

4つ目は、「自社データのマネタイズ」。自社のデータを統計化・匿名化して、Snowflakeマーケットプレイスで販売し、マネタイズする活用方法です。完全に匿名化された情報は、個人情報には当たらないと改正個人情報保護法で定められました。これからはマーケットプレイスを活用して、さまざまなデータビジネスが加速していくでしょう。 

電通デジタルでは、Snowflake関連ソリューションを豊富に用意しています。

SnowflakeのPoC支援サービス

Snowflakeのライセンスは、30日間400ドル分の無料クレジットを利用可能です。これを使って、本格導入に向けた機能検証やパフォーマンス検証、また年間のライセンスコスト試算などを実施します。PoC支援サービスの詳細はこちらのページからご確認いただけます。

Snowflakeの本格導入、環境構築支援サービス

続いて、「Snowflakeの本格導入、環境構築支援サービス」です。企業の基幹システムや各種クラウド環境からデータを集約、一元化し、分析基盤やマーケティング基盤を構築して、各種マーケティングツールと連携します。

データ活用コンサルティングサービス

Snowflakeで蓄積したデータを活用するには、データ活用戦略を策定しなくてはなりません。市場や競合、自社のあり方からビジネスゴールを定め、それを実現するためのソリューションをご提案します。

Snowflakeに蓄積したデータの分析代行サービス

RFM分析（Recency〔直近の購入日〕、Frequency〔頻度〕、Monetary〔購入総額〕の3つの指標で顧客を分類する分析手法）による優良顧客の特徴可視化、予測モデル開発（離反予測モデル、LTV予測モデル）などの分析を代行可能です。

ダッシュボード開発支援サービス

要件や要望に応じて、連携するBIツールの選定からダッシュボードの構築、コンサルティングから運用支援までを提供可能です。

AI・機械学習ツールとの連携・活用支援サービス

Snowflakeは自社のAI機械学習機能だけにとどまらず、マーケットで広く普及しているツールとの連携も推奨しています。電通デジタルではDataiku、DataRobot、Databricksなどの製品の取り扱いも可能です。

Snowflakeの導入、活用、運用に興味のあるお客様は、こちらのページからご連絡ください。