AI×IoT×ビッグデータ技術 エンジニアのテックブログ

人工知能(AI)やIoT、ビッグデータ技術に関連する「技術書、Eラーニング、事例、勉強会」などでのテックブログです。

ビッグデータエンジニアの技術スキル要素

1.サーバのクラスタリング

  https://kubernetes.io/ を使う。

  場合により、kubeflowを構築。

 

2.pub/subのスケーリング

 

3.リアルタイム分散処理

  sparkなどで、mapreduce処理

 

4.リアルタイムでダッシュボードに出す

  elasticsearch

 

5.データホースの運用監視

 

6.各パブリッククラウドの特性に合わせた最適化

 

7.永続化DB/KVSの管理

 

大体のことは、勉強できる環境にありますが、

実践するには、科学的な地頭が必要だと思います。実際問題は、GAE/bigquery/data labo等を使いこなせればなんとかなる部分も多いです。