Skip to content
Artwork for OTF Talk
OTF Talk · Nov 26, 2024 · 24 min

#18 LINEヤフーにおけるHiveからIcebergへの移行(後編)

第18回:LINEヤフーにおけるHiveからIcebergへの移行(後編) OTF Talk 第18回は、奥田さんに「LINEヤフーにおけるHiveからIcebergへの移行(後編)」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Iceberg導入のモチベーション/HiveからIcebergへインプレースでの移行/一部移行した感触/ユーザーコミュニケーションの重要性 guest:奥田 輔さん @okdtsk LINEヤフー データグループ host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献) Cloudera Evolve 2024 https://www.cloudera.com/events/evolve/singapore.html LINEのデータプラットフォームが目指すべき未来 ※2021年の資料ですが、当時の基盤やデータサイズについて触れられています。 https://speakerdeck.com/line_developers/the-future-of-line-data-platform-we-are-aiming-for Protocol Buffers https://github.com/protocolbuffers/protobuf

0:00-24:51

transcript

No transcript — this publisher did not publish one.

show notes

第18回:LINEヤフーにおけるHiveからIcebergへの移行(後編)


OTF Talk 第18回は、奥田さんに「LINEヤフーにおけるHiveからIcebergへの移行(後編)」についてお話をうかがいました。


OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。


Iceberg導入のモチベーション/HiveからIcebergへインプレースでの移行/一部移行した感触/ユーザーコミュニケーションの重要性


guest:奥田 輔さん @okdtsk

LINEヤフー データグループ


host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。


※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。


参考文献)

Cloudera Evolve 2024

https://www.cloudera.com/events/evolve/singapore.html


LINEのデータプラットフォームが目指すべき未来

※2021年の資料ですが、当時の基盤やデータサイズについて触れられています。

https://speakerdeck.com/line_developers/the-future-of-line-data-platform-we-are-aiming-for


Protocol Buffers

https://github.com/protocolbuffers/protobuf