IBM DB2 Event Store

IBM® Db2® Event Store는 Apache SPARK와 Apache Parquet 데이터 포맷으로 빌드된 in-memory 데이터베이스로 거대한 크기의 데이터와 실시간 분석이 가능하게끔 디자인 되었습니다. 이 초고속 Event Store는 하루에 최소 2억 5천개의 이벤트를 캡쳐, 분석, 저장이 가능합니다. Db2 Event Store는 IoT 솔루션, 결제(payment), 물류, 웹커머스같은 이벤트 구동형 데이터 프로세싱과 분석에 최적화 되어있습니다. Event Store는 유연함과 뛰어난 확장성을 갖추어 변화무쌍한 비즈니스 니즈에 재빠르게 적응합니다.

Event Store은 데이터를 유연한 Shared Storage(GlusterFS, S3-compatible object storage)로 이동할 때 Apache Parquet 포맷으로 변환합니다. 이는 두가지 장점을 가지고 있습니다.

1. 스토리지와 compute resource를 분리합니다.

2. 변환된 데이터는 Parquet 데이터를 읽을 수 있는 어플리케이션을 통해 접근 가능합니다.

Event Store은 Apache Spark를 연장하여 Spark SQL queries를 작동 할 때 뛰어난 쿼리 엑셀러레이션(Query Acceleration)을 제공합니다.

위의 도표는 IoT 디바이스의 데이터가 Event Store의 외부 시스템을 통해 흘러 들어와 실시간으로 유용한 insight로 변환되는 과정을 보여줍니다. Event Store은 IBM Streams나 Spark Streaming같은 어플리케이션에서 생성되는 스트리밍 데이터를 입수할 수 있습니다.

빠른 데이터 입수(Ingest)와 분석

엄청난 양의 데이터를 입수하면서 동시에 실시간 분석이 가능한 in-Memory 데이터 베이스 디자인

거대한 데이터 입수

1초에 각 노드당 수백만 개의 이벤트를 입수하는 노드, 리니어 스케일(linear scale)적 컴퓨팅과 저장기능, 하루에 최소 2억 5천만개의 이벤트가 입수 가능한 하나의 3-node Event Store 클러스터

실시간 분석 기능(HTAP)

Streamed data를 위한 완벽한 백엔드. BLU technology를 사용해 뛰어난 streamed data 퍼포먼스를 제공하는 하이브리드 트랜잭션/애널리틱 프로세싱 데이터베이스

Spark 플랫폼

Spark Streaming, SQL, 애널리틱, 머신 러닝 사용. Spark API와 기존의 Db2 Event Store API 모두 서포트

레버리지 오픈 데이터 포맷

데이터를 Parquet columnar 데이터 포맷으로 작성하여 vendor lock-in 방지. 저장과 컴튜팅을 분리하여 각각 독립적으로 확대 가능

Integrated IBM Data Science Experience와 머신 러닝

머신 러닝을 어플라이하여 분석 시스템에 과거 이벤트를 러닝. Python, Scala, Jupyter Notebooks 등의 툴을 사용가능한 workplace 제공하는 내장 데이터 사이언스 툴