私はこの度、2023/9/14に東京、赤坂で行われた
databricks Data + AI ワールドツアー東京 2023に参加しました！
databricksのパートナー企業であるDataikuを扱っている中でdatabricksを知りましたが、一見Dataikuと同じようなことが出来るツールのように見えるため、
どこで差別化しているのか、どのように関わっているのか知るという目的で参戦しました。
そのため、databricksに関しては全くの初心者なのですが、今回参加してみて感じたことをまとめます。
databricksとは？
まず、databricksとは2013年にリリースされたクラウド型の統合データ分析基盤になります。
説明では、レイクハウスという言葉の産みの親である、という言葉が有りましたが、
画像などの非構造データを貯めるデータレイクと、構造データの貯め場所であるデータウエアハウスと統合し、
社内のすべてのデータをAWS, GCP, Azureなどのクラウドストレージで一元管理することを目的としたソフトウエアです。
今回のWorld Tourの内容
今回のワールドツアーは、主に2つの内容で構成されています。
- databricksの新機能
- パートナーによる展示、セッション
databricksの新機能
基調講演を中心に、以下の新機能の予定が発表されていました。
どれもdatabricksを使ったことのない私にとってもわくわくさせるものばかりでした。
-これらの機能は変更になる可能性があることと、知識不足による認識の相違などについてはご容赦ください。
- LLM対応
ほぼすべての講演で話題になるほどで、LLM関連の機能は今回の目玉だったように感じます。
databricksでは2023年中にLLMを導入する予定
code assistant(言語モデルを用いたコーディング支援)
MLflow prompt engineering UI(生成AIの評価を行うためのソリューション)
などが発表されていました。
- databricks Marketplace
オープンデータやプロジェクト、ダッシュボード、モデルなどをプリセットとして販売する場所としてリリースされることがアナウンスされました。
自社データとオープンデータの組み合わせや先駆者が作成したアセットにより、データ活用の幅を広げたり、加速することが可能になりそうです。
- Lakehouse Federation
SQLデータベースやSnowflakeなどへの外部接続が出来るようになることで、データ移行などを伴わずに同一のインターフェースを用いたデータ管理が可能になるとのことでした。
どうしても移行できないデータなどを外部接続機能を用いて取り込むことであたかも統合されたかのように扱えるというのはかなり魅力的に感じました。
もちろん、リネージと呼ばれる機能(ビジュアライズされたデータフロー)により、データがどこから来たのかも把握できるということなので、安心です。
パートナーによる展示、セッション
会場では同時に数多くのパートナーによる展示、セッションも開催されていました。
どのブースも非常に込み合っており、名刺交換などが活発に行われておりました。
私も多くのブースにお邪魔してお話を伺いました。
個人的な興味から大分ツール側への偏りがありますが、中でも興味を持ったものをご紹介いたします。
Dataiku
もちろん色眼鏡もあると思いますが、展示の中でひときわ魅力的に映ったのがDataikuの展示でした。
一元管理、End to Endというdatabricksと似たようなアプローチでありながら、どのようなロールのユーザーであってもポップに分析に取り組めるというdatabricksにまだない特長を備えており、
製品としての魅力に加え、かなりdatabricksとのシナジーを感じました。
ThoughtSpot
不勉強で今回初めて知ったのですが、自然言語ベースでBIを構築できるBIツールです。
今年の売上は？などの質問にグラフで答えてくれる他、出てきたグラフ上で気になった変化について、原因と考えられる違いを提示してくれる機能など、新時代のBIツールという印象を受けました。
UIもシンプルで分かりやすく、使ってみたいと感じました。
おわりに
今回、world tourということもあり国内外問わずたくさんの来場者が来ており、databricksが注目されているということを肌で感じました。
Dataikuをはじめ、databricksと連携しているスポンサー企業の展示もあり、導入事例などを知ることができ大変勉強になりました。
