ストリームデータを収集・処理するためのフルマネージド型サービスで主に３つのサービスで構成されています。
- Amazon Kinesis Data Streams
ストリームデータを処理するアプリケーションを構築 - Amazon Kinesis Data Firehose
ストリームデータをS3やRedshiftなどへ簡単に配信 - Amazone Kinesis Data Analytics
ストリームデータを標準的なSQLクエリでリアルタイムに可視化・分析
目次
Amazon Kinesis Data Streams
- ストリームデータ処理ようの分析システムやアプリケーションを構築するサービス
- ストリーミング処理をシャードに分けて分析させて実行するために高速処理が可能
- KinesisStreamsのデータ提供側（プロデューサ）とデータ利用側（コンシューマ）に様々なサービスが利用可能
- KinesisStreamsは次の関連機能を活用してストリーミング処理アプリケーションを構築する
Amazon Kinesis Data Firehose
各種DBに配信・蓄積するためのストリーム処理を実施する。Lambdaと連携するETLとしても機能する
Amazon Kinesis Data Analytics
ストリームデータを標準的なSQLクエリでリアルタイムに分析
次は「Redshiftの概要」です。
あわせて読みたい
【AWS資格】Redshiftの概要 高速でスケーラブルな費用対効果の高いマネージド型のDWH ／データレイク分析サービスです。クラスターというグループ単位で、複数ノードによってデータ処理を実行する…
前回は、「増大するデータ量への対応」についてです。
あわせて読みたい
【AWS資格】増大するデータ量への対応 AWSは大量なデータ処理への各段階において必要なサービスが提供されています。効率的なデータ蓄積では「S3」「Glacier」「Glue」。ストリームデータ処理では「Kinesis」…
リンク
コメント