The long way through Software Craftsmanship

AWS Kinesis Zombieland

Jul 28, 2016 - 1 minute read - Comments - aws-kinesisawsciberadoworkshopworkshop-notesnotes

I attended a workshop on AWS Kinesis, called AWS Kinesis Zombieland by Javi Moreno at capside.

Notes

AWS Kinesis Zombieland

  • muy importante escoger bien la clave de particionado (id de shard)
  • KPL librería de kinesis que te permite hacer batching, timeout, …
    • la otra se llama KCL.
    • KCL permite mantener estado
  • cuando te pidan una app de big data, pregunta para qué lo quieren, lo mismo que con cualquier proyecto de software
  • latitud = Y, longitud = x
  • el canal se llama stream, la capacidad se llama shard
    • el shard sólo permite 5 lecturas por segundo, 2MB/s
  • usar el shard como buffer
  • usar la clave de particionado como algoritmo de agregación
  • cada vez que tienes una tabla en dynamodb, tienes que poner una alerta de throughput
  • nota: lo que no puedes hacer es guardarlos todos y luego procesarlo. no tienes potencia para todo eso

Preguntas:

  • ¿cómo se calcula el id del shard?

Self-Study in July 2016 Self-Study in August 2016

comments powered by Disqus