現在私は米国でデータサイエンティストとして働いています。
日本でも、データサイエンティスト・データサイエンス職に転職したいと考えている人が増えてきています。
転職したいと考える理由に、データサイエンティストの仕事の面白さ、給料の良さ、将来の仕事の展望の良さなどが上げられると思います。
ではデータ「エンジニア」という言葉をご存知でしょうか？
実は、データサイエンティスト並に将来性があります。後で述べますが、データサイエンティストが活躍する前提をデータエンジニアが用意する必要があるので、需要は共に成長するからです。
そしてキャリアーパスはより堅実です。
何故なら、データサイエンティストには根本的に数学・統計の所謂「センス」が求められるので、全く数式が苦手な人にはハードルは高いです。また、根本的に苦手な部分がある所でキャリアーパスを構築するのも大変ですよね。
一方データエンジニアは技術・知識の積み重ねがものをいいます。
学ぶことが確実に出来る技術の発展と共に強みを増していけるので、数式が苦手な人には、より堅実なキャリアーパスを描くことが出来ます。
データエンジニアの仕事は「Lego」やブロックで色々と組み立て遊ぶことに近いです。経験と共に、より新しいブロックやブロック同士の組み合わせ方を学んで、より高度な完成品を作れるようになるといった感じです。
将来有望な情報分野での高度な技術者として転職したいけど、数式が全く苦手というのであれば、キャリアーパスも考えてもデータエンジニアを狙ったほうが堅実と思います。
実は米国では、データエンジニアの求人数はデータサイエンティストより圧倒的に多いです。
日本でも、近い将来同様になると考えられます。
データエンジニアは何をしている仕事？
一言で言えばデータのマネージメントシステムを構築する仕事です。データ加工技術を駆使して、生の複雑怪奇で不揃い、隙間だらけでフォーマットも違う色んな種類の大量なデータを、整理して解析できる形にしてデータサイエンティストに届ける仕事でもあります。
つまりデータエンジニアが提供する環境とデータの上に、データサイエンティストは仕事が出来るようになります。
データサイエンティストという言葉は、グーグル、フェースブック、アマゾンと言った巨大IT企業が高給でデータサイエンティスト達を採用しているということで、日本でもニュースとして一般の人でも耳にする機会が多くなっています。確かに、機械学習、ビックデータ解析、深層学習といった人工知能を操り自動運転、AI医者・弁護士等々を実現していく華のある仕事でもあります。
でも、そんな巨大IT企業の華あるデータサイエンティスト達も、実はデータエンジニアの仕事の上に成り立っています。そして実は、デーサイエンティスト以上にデータエンジニアを募集しています。
でも、データエンジニアがデータを解析する形にしてデータサイエンティストが解析するという、大雑把ですがこの仕事のフローを考えれば必然なんですけどね。
データエンジニアの転職機会、給料は?
まず、上の図を見てください。英語ですが、人工知能での仕事階層の概念を描いています。
データサインティストが担当するのはこのピラミッドの上3層の部分で、下はデータエンジニアの領域です。
上下があるのは気になりますが、重要なのは、このピラミッド構造が示しているとおり、データエンジニアの需要のほうが数は多いということです。
日本でも、データサイエンティスト流行りが一段落して、実際の仕事にはデータエンジニアが必要なんだと多くの企業が認識しだしたら（？）、データサイエンスより仕事の数は多くなるでしょう。
米国カリフォルニアでの話になりますが「データエンジニア(data enginner)」と「デーサイエンティスト(data scientist)」の求人をIndeedで比較すると
- データエンジニア：17,865件
- データサイエンティスト：1,856件
と10倍近く求人があります（2020年7月）。
で給料はどうかというとボーナス含まない基本給をglassdoorで比較すると
- データエンジニア：$102,864/yr（1100万円）
- データサイエンティスト：$113,309/yr（1211万円）
と給料は余り変わりませんね（2020年7月、1＄≒106.91円）。
日米で絶対数は変わるでしょうが、求人数、給料共にデータサイエンティストのデータエンジニアの相対比は同じようになると思います。
実際の現場で必要なデータエンジニアの知識
なんと、「データエンジニア スクール」で検索しても「データサイエンティスト」のスクールがヒットするばかりです・・・（2020年7月）。
現場がわかっていればデータサイエンスとデータエンジニアはセットなんだと思うのですが・・・データサイエンスが今はバズワードとなっているからでしょうか。
ともあれ将来確実に求人は多くなるのに、データエンジニアの数が少ないので、知る人にはこれは大きなチャンスですね。
余りに小さな企業だと一人でデータサイエンティストとデータエンジニアの仕事をすることになるでしょうね。大学の研究室なんかも、そんな感じではないかと思います。
でも、そこそこの大きさの会社になるとデータサイエンティストとデータエンジニアの分業が出来てきてきます。
ここで、中小企業と大企業では、扱うデータの量が違うので、大企業であればその量をこなすための技術がより必要になります。
でも核心の技術は基本同じなので、まずその核心を押さえましょう。
実際米国でのデータエンジニアの求人情報から、必要とされている技術が見えてきます。
上のグラフは米国でのデータエンジニア求人広告で必須の技術として載せているキーワードの頻度を％で表したものです。
これから分かる必要な技術・知識は以下の通りです。
Structured Query Language(SQL)の知識
70％近くのデータエンジニア求人広告でSQLが技術が必須とされているます。
勿論データを扱うので、データベースをPython等の言語からSQLによりデータベース駆使することも必要となるでしょう。
またデータモデリングも含まれます。データモデリングとは、簡単に言えば複雑なデータを整理するためのテーブルを設計する技術です。
Pythonでのプログラミングスキル
これは、データラングリングとよばれるデータを自在に扱うために、Pythonが強力な言語であるので、これも確実に抑える必要があります。
ビックデータを扱う技術
Spark, HAdoop Hive, Kafkaなどが相当します。データエンジニアのデータエンジニアたるコアな技術となります。どこのIT企業であれ、今後扱う情報量は加速しながら増えていくので、ビックデータを扱う技術は引っ張りだこになるでしょう。
クラウド技術
ビックデータを効率よく安全に、再利用可能な形で情報を扱うために、クラウドは必須の環境となってきています。
スタートアップ、IT企業はAWSの利用率が高いでしょう。逆にIT以外の大きな企業では、マイクロソフト製品との連携が簡単なAzureがシェアを伸ばしています。
転職後に狙う企業がどのクラウドを使っているかを探って、その勉強をするのが効率的でしょう。でも、AWSを環境を勉強しておけば、他の環境の利用、管理にも直ぐに応用できます。
未経験者が、どうやって勉強するのか？今は独学。だからこそチャンス
今の所データエンジニアに特化したコースを持っているスクールは見当たりません（２０２０年７月）。
巷にプログラミングスクールが溢れかえっていることを考えると、日本ではデータエンジニア狙いは一歩先を行っているのでしょうね。
スクールで学ぶ利点は、以下の5点だと思っています。
- 未経験者が必ず当たる最初の取り掛かりの壁を乗り越えやすくしてくれる
- 体系だって技術・知識を学べる
- モティベーションを保って、学び続けられやすくする
- 就職先の紹介を行っている
- 実際のビジネスの場でどう技術を使っていけるのかを学べる
逆にこれらの利点を揃えてないスクールはパスですね。ここでデータエンジニア転職狙いで勉強するにも、今はどのスクールも4と5の点を満たせません。
とうことで、今は独学ですね。逆に、あまり学ぶ機会が無いことは供給が少いということで、需要があることが分かっているだけに、今はチャンスだと思います。
そして独学するなら、データサイエンティスト達の間に評価されているトップ3のオンライン学習プラットフォームのひとつ、仕事関係のスキルアップに強いコースを揃えているUdmeyのコースがおすすめです。
以下に、必要な知識・技術を得られるUdemyのコースを紹介します。未経験者でも、基礎から学べるコースだと思います。
Structured Query Language(SQL)の知識について
Pythonでのプログラミングスキル
ビックデータを扱う技術
（英語のコースですが、技術的な話でわかりにくい英語ではありません。動画を見ながらフォローできると思います。ITの世界だと、英語で情報を得ることに慣れておくことは非常に強みにもなります。）
クラウド技術
ココらへんをしっかり抑えることが出来れば、競争が少ないことも有利に働くので、データエンジニアとして美味しい転職を成功させられると思います。
最後に
世の中ではデータサイエンティストという言葉がもてはやされています。
ですが、これは期待のバブルのような気もしています。期待値が大きすぎるだけ、思っていたよりも効果が上げられないという事例が、今後多く出てくるでしょう。
実際にデータをビジネスに活用するには、実力あるデータエンジニアが必要です。ここを冷静に認識して、今そのための勉強をしておくことで、近い将来の非常に有望な転職機会をつかむことが出来るようになると思います。
次の時代の先行者となることで、転職後もキャリアーパスの大きな展開が期待できると考えています。
将来性のある仕事をしたいと転職を考えているのであれば、データエンジニアとしての勉強をしておくことを考えてみてはいかがでしょうか？
ともあれ、いやデータサイエンティストになりたいという人は、是非「未経験からデータサイエンティストとして転職を成功させる方法。華やかな道と手堅く成功させる道を教えます」も参考にしてみてください。
