データエンジニアリングとは？Google Cloudを学ぶ前に知りたい「データの整え方」｜Google Cloud入門 第00回

「Google Cloudでデータを扱えるようになりたい。でも、データエンジニアリングって何から学べばいいの？」

BigQuery、SQL、データ基盤。初めて見る言葉が続くと、入り口で止まってしまいますよね。

まずは、身近な記録を整理するところから考えてみましょう。今回は、難しい数式やプログラムは使いません。Google Cloudへの登録も不要です。

この連載では、データを集めて、整理して、使えるようにする流れを、一つずつ学んでいきます。

この記事でわかること

• データエンジニアリングは、何のための仕事なのか
• データ分析とは、何が違うのか
• Google CloudとBigQueryは、どんな役割なのか
• パソコンの設定をせずに試せる、データ整理の練習

最初に4コマ：記録があれば、すぐ集計できる？

①→②→③→④の順に読んでね。スマホでは上から順に並びます。

1. 1記録を集めたけれど

   SAIちゃん売上の紙がいっぱい。これを足せばいいのかな？

2. 2同じ商品なのかな？

   SAIちゃん「オレンジ」と「オレンジジュース」は、同じ商品？

3. 3意味を確認してみる

   かずま僕なら、まず売った人に聞いてから、名前をそろえるよ。

4. 4使える形が見えてきた

   SAIちゃんなるほど。計算の前に、記録を確かめるんだね！

漫画は架空の記録を使った学習の会話例です。SAIちゃんは読者と一緒に試し、かずまは少し先を歩く先輩として隣で考えます。

まず結論：データを「安心して使える状態」にする仕組みづくりです

データエンジニアリングとは、データを集め、整理し、必要な人が使えるようにする仕組みづくりです。

たとえば、お店の売上を調べたいとします。

売上の記録があっても、商品名がバラバラだったり、同じ注文が二重に入っていたりすると、正しい合計を出せません。

そこで、記録を集めて、書き方や間違いを確認し、調べやすい形に整えます。毎日新しい記録が増えるなら、同じ作業を繰り返せる仕組みも作ります。

ここでいう「使える状態」には、見やすさだけでなく、内容の正しさ、必要な時刻までに届くこと、見てよい人だけが見られることも含まれます。

まずは「データを使うための下準備と、その仕組みを作ること」と考えてみてください。

SAIちゃん：園内の売店から記録を集めても、名前がバラバラだと、人気の商品がわからないんだね。

パークの各売店から記録を受け取り、同じルールで整理して、集計する人へ届ける。その裏側の流れを作るイメージです。

文化祭の売上で考えると、役割が見えてきます

あなたのクラスで、文化祭にジュースとクッキーを売ったとします。

販売係が残した記録は、次のとおりです。これは説明用の架空のデータです。

「いちばん売れた商品は何？」と聞かれたら、どう答えますか？

表だけを見ると、12個売れたクッキーに見えます。

でも、Bさんの「オレンジ」がオレンジジュースのことなら、ジュースは合計18個です。答えが変わりますね。

ここで必要なのは、すぐに足し算することより、Bさんに「どの商品を指している？」と確認することです。

確認して同じ商品だとわかったら、商品名をそろえます。元の記録も残しておくと、後で変更した理由を確かめられます。

計算を始める前に、計算してよい状態かを確認する。これも、データを扱う大切な仕事です。

データ分析との違いは「どの作業を担当するか」です

文化祭の例で比べてみましょう。

実際には、一人が両方を担当することもあります。

たとえばブログでも、「記事ごとの閲覧数を集める」「記事の一覧と結び付ける」「毎週同じ条件で集計する」といった準備があります。そのデータを使って、よく読まれているテーマを考えるのが分析です。

ただし、閲覧数だけで読者の満足度まではわかりません。数字が何を表していて、何まではわからないのかも、一緒に考える必要があります。

Google CloudとBigQueryは、どんな役割？

Google Cloudは、インターネットを通じて使う、Googleのクラウドサービス群です。

この連載では、その中のBigQuery（ビッグクエリ）を中心に、データを扱う練習を進めます。

BigQueryは、データを管理し、集計や分析ができるサービスです。SQL（エスキューエル）という言語で、「商品ごとの販売数を合計して」といった処理を書けます。分析用のサーバーを利用者が自分で用意・管理する負担を抑えて使えることも特徴です。Google Cloud公式：BigQueryの概要

最初に出てくる言葉は、次の3つだけ押さえておきましょう。

この先は、おおむね「記録を集める → 保存する → 整える → 集計する → 結果を使う」という流れを学びます。実際の仕組みによっては、保存と加工の順番が変わることもあります。

BigQueryを使うだけで、元の記録の意味まで自動で正しくなるわけではありません。「オレンジ」が何の商品かは、記録を管理している人への確認が必要です。

初心者がつまずきやすい3つの思い込み

1．最初から全部のサービスを覚えようとする

サービス名を一度に覚えなくても大丈夫です。

まずは「何を調べたいか」「そのために何の記録が必要か」を言葉にしてみましょう。使う道具は、目的に合わせて学べます。

2．見た目がそろっていれば、正しいデータだと思う

きれいな表でも、同じ注文が二重に記録されているかもしれません。

商品名だけでなく、数の抜け、重複、集計した期間なども確認します。空欄は「0個」とは限りません。「まだ確認できていない」という意味かもしれないからです。

3．すぐにプログラミングが必要だと思う

仕事として取り組むと、SQLやプログラミングが必要になる場面はあります。

ただ、今回の目的は、データを整える意味をつかむことです。まずは紙や表計算ソフトで十分に練習できます。

5分で試す：ブログの記事一覧を整えてみよう

ここからは、架空のブログ記事を使います。紙、メモ帳、表計算ソフトのどれかを用意してください。

手順1：調べたいことを一つ決める

今回は「どのテーマの記事が多いか？」を調べます。

調べる対象は、次の3記事だけです。

記事IDは、一つの記事を見分けるための番号です。

手順2：言葉の意味を確認して、分類のルールを決める

「日常」と「くらし」は、同じテーマとして数えてよいでしょうか？

この練習では、どちらも「日常生活」としてまとめるルールにします。「仕事」は、そのままにします。

実際のデータでは、元の分類を作った人や分類表を確認しましょう。元データとは別の列に整理後の分類を残すと、変更内容を確認しやすくなります。

手順3：テーマごとに数える

これで、「この3記事の中では、日常生活の記事が多い」と答えられます。

今回したことは、目的を決め、分類を確認し、表記をそろえてから数える作業です。大きなデータを扱うときも、この考え方が土台になります。

練習で避けたいこと

• 意味を確認せず、似た名前を同じものとしてまとめる
• 空欄を、理由を確認せずに0へ変える
• 元の記録を上書きし、何を直したかわからなくする
• 練習のために、本物の顧客情報や会社の未公開データを持ち出す

学習には、今回のような架空のデータを使いましょう。

AIに整理を手伝ってもらう場合も、個人情報、会社の秘密、未公開資料は入力しません。AIの提案や計算結果は元の記録と照らし合わせて、人が確認します。外部の資料やデータを使うときは、利用条件や著作権も確認してください。

今回は医療・法律・投資などの判断に使う練習ではありません。そうした用途では、データの集計だけで判断せず、公式情報や専門家に確認しましょう。

かずまの実践メモ：僕なら「何を知りたいか」から書きます

僕なら、サービスの使い方を調べる前に、ノートに次の3つを書きます。

1. 何を知りたいか
2. そのために、どんな記録が必要か
3. どこを確認すると、間違いに気づけそうか

たとえば「ブログでどのテーマを書いているかを整理したい」なら、まず必要なのは記事一覧と分類のルールです。最初から複雑な仕組みを作る必要はありません。

まずは3件ほどの小さな表で、整える前と後を比べてみましょう。ツールを覚える前にも、練習できることはあります。

今日の一歩：「何を調べたいか」を一行で書いてみよう

今日の一歩は、「〇〇を知るために、△△の記録を整理したい」と一行で書くことです。

たとえば「家でよく作る料理を知るために、1週間の献立を整理したい」でもかまいません。

その目的に必要な項目を3つ考えてみましょう。日付、料理名、朝昼晩の区分などです。自分で項目を選べたら、最初の練習はできています。

次回は、文化祭の売上と在庫を例に「データを集めると、何が変わるのか」を考えます。記録を次の行動に役立てる意味を、一緒に見ていきましょう。

最後に4コマ：今日の一歩は、小さな表から

①→②→③→④の順に読んでね。スマホでは上から順に並びます。

1. 1知りたいことを一つ

   SAIちゃんブログで、どのテーマの記事が多いか知りたいな。

2. 2練習は3記事から

   かずま僕なら、まず架空の記事3本で、分類のルールを決めるよ。

3. 3ルールに沿って数える

   SAIちゃん今回は「日常」と「くらし」をまとめるから、2本だね。

4. 4次の入口へ

   SAIちゃんデータを整える意味がわかった！ 次は記録の使い道を考えよう。

漫画は架空の記録を使った学習の会話例です。SAIちゃんは読者と一緒に試し、かずまは少し先を歩く先輩として隣で考えます。