Marco Shoal: ¿Cómo reducir la latencia de Bullshark en Aptos?
Resumen
Aptos labs resolvió dos importantes problemas abiertos en DAG BFT, reduciendo significativamente la latencia y eliminando por primera vez la necesidad de pausas en los protocolos de consenso determinista. En general, mejoró la latencia de Bullshark en un 40% en condiciones sin fallos y en un 80% en condiciones de fallo.
Shoal es un marco que mejora el protocolo de consenso basado en Narwhal a través de canalizaciones y la reputación de los líderes. La canalización reduce la latencia de ordenación del DAG al introducir puntos de anclaje en cada ronda, y la reputación de los líderes mejora aún más la latencia al garantizar que los puntos de anclaje estén asociados con los nodos de validación más rápidos. Además, la reputación de los líderes permite a Shoal utilizar construcciones de DAG asíncronas para eliminar los tiempos de espera en todos los escenarios. Esto permite que Shoal ofrezca la propiedad de respuesta universal, que incluye respuestas optimistas que generalmente se requieren.
La tecnología es muy simple, implica ejecutar múltiples instancias del protocolo subyacente en orden. Al instanciar Bullshark, es como un grupo de "tiburones" que están en una carrera de relevos.
Motivación
Al buscar un alto rendimiento en redes blockchain, la gente ha estado enfocándose en reducir la complejidad de la comunicación. Sin embargo, este enfoque no ha llevado a un aumento significativo en el rendimiento. Por ejemplo, Hotstuff, implementado en las primeras versiones de Diem, solo logró 3500 TPS, muy por debajo del objetivo de 100k+ TPS.
Recientemente, el avance se debe a la comprensión de que la propagación de datos es un principal cuello de botella basado en el protocolo de líderes, y se puede beneficiar de la paralelización. El sistema Narwhal separa la propagación de datos de la lógica de consenso central, proponiendo una arquitectura donde todos los validadores propagan datos simultáneamente, y el componente de consenso solo ordena una pequeña cantidad de metadatos. El documento de Narwhal reporta un rendimiento de 160,000 TPS.
El Quorum Store presentado anteriormente separa la propagación de datos del consenso, utilizado para escalar el actual protocolo de consenso Jolteon. Jolteon es un protocolo basado en líderes que combina la ruta rápida lineal de Tendermint y el cambio de vista al estilo PBFT, lo que puede reducir la latencia de Hotstuff en un 33%. Sin embargo, los protocolos de consenso basados en líderes no pueden aprovechar plenamente el potencial de rendimiento de Narwhal.
Por lo tanto, se decidió implementar Bullshark sobre el DAG de Narwhal, un protocolo de consenso sin costo de comunicación. Sin embargo, la estructura DAG de Bullshark conlleva un costo de latencia del 50%.
Este artículo presenta cómo Shoal reduce significativamente la latencia de Bullshark.
Fondo de DAG-BFT
En el DAG de Narwhal, cada vértice está asociado con un número de ronda. Al entrar en la ronda r, los validadores deben obtener n-f vértices de la ronda r-1. Cada validador puede difundir un vértice por ronda, y cada vértice debe referirse al menos a n-f vértices de la ronda anterior. Debido a la asincronía de la red, diferentes validadores pueden observar diferentes vistas locales del DAG en cualquier momento.
Una propiedad clave de DAG es que no es ambigua: si dos nodos de verificación tienen el mismo vértice v en la vista local de DAG, entonces tienen la misma historia causal de v.
Orden total
Se puede alcanzar un consenso sobre el orden total de todos los vértices en el DAG sin un costo adicional de comunicación. Los validadores en DAG-Rider, Tusk y Bullshark interpretan la estructura del DAG como un protocolo de consenso, donde los vértices representan propuestas y las aristas representan votos.
Todos los protocolos de consenso basados en Narwhal existentes tienen la siguiente estructura:
Punto de anclaje programado: cada pocas rondas hay un líder predefinido, y el vértice del líder se llama punto de anclaje.
Puntos de anclaje ordenados: los validadores deciden de manera independiente pero determinista qué puntos de anclaje ordenar y cuáles omitir.
Historia causal ordenada: los validadores procesan uno por uno la lista de puntos de anclaje ordenados, ordenando todos los vértices desordenados anteriores en la historia causal de cada punto de anclaje.
La clave para garantizar la seguridad es asegurarse de que en el paso 2, todos los nodos de validación honestos creen una lista de puntos de anclaje ordenada, y que todas las listas compartan el mismo prefijo. En Shoal, observamos que todos los validadores acuerdan el primer punto de anclaje ordenado.
Bullshark latencia
La latencia de Bullshark depende del número de rondas entre los anclajes ordenados en el DAG. Aunque algunas versiones de sincronización tienen una mejor latencia que las versiones asíncronas, todavía están lejos de ser óptimas.
Principalmente hay dos problemas:
Latencia promedio de bloques: En situaciones comunes, los vértices de rondas impares necesitan tres rondas, mientras que los vértices no ancla de rondas pares necesitan cuatro rondas para ser ordenados.
Situación de la latencia de fallos: Si un líder de ronda no logra difundir el anclaje a tiempo, los vértices no ordenados de las rondas anteriores deben esperar a que se ordene el siguiente anclaje, lo que reduce significativamente el rendimiento de la red de replicación geográfica.
Marco Shoal
Shoal mejora Bullshark a través de una línea de producción, permitiendo un punto de anclaje por ronda, reduciendo la latencia de todos los vértices que no son puntos de anclaje a tres rondas. Shoal también introduce un mecanismo de reputación de líderes sin costo, que favorece la selección de líderes rápidos.
Desafío
En el protocolo DAG, la canalización y la reputación del líder se consideran problemas difíciles:
Los intentos anteriores de modificar la lógica central de Bullshark en la línea de producción parecen ser esencialmente imposibles.
La reputación de los líderes puede resultar en un orden completamente diferente, y los validadores necesitan alcanzar un consenso sobre la historia ordenada para seleccionar el ancla futura.
Como evidencia de la dificultad del problema, las implementaciones de Bullshark en el entorno de producción actual no admiten estas características.
Protocolo
Shoal se basa en la ejecución de cálculos locales en DAG, logrando la capacidad de almacenar y reinterpretar la información de las rondas anteriores. Aprovechando la visión de que todos los validadores acuerdan el primer ancla ordenada, Shoal combina secuencialmente múltiples instancias de Bullshark para un procesamiento en pipeline, lo que permite:
El primer punto de anclaje ordenado es el punto de cambio de instancia.
La historia causal del ancla se utiliza para calcular la reputación del líder
línea de producción
Shoal ejecuta instancias de Bullshark una tras otra, cada instancia ordena un anclaje, lo que desencadena el cambio a la siguiente instancia.
Inicialmente, Shoal lanzó la primera instancia de Bullshark en la primera ronda de DAG, funcionando hasta que se determinó el primer punto de anclaje ordenado (, por ejemplo, en la ronda r ). Todos los validadores estuvieron de acuerdo con este punto de anclaje, por lo que se puede acordar de manera confiable reinterpretar el DAG a partir de la ronda r+1. Shoal lanzó una nueva instancia de Bullshark en la ronda r+1.
En un escenario ideal, esto permite a Shoal ordenar un punto de anclaje por ronda.
reputación del líder
Cuando Bullshark salta sobre el punto de anclaje, la latencia aumenta. Shoal asigna puntuaciones a cada nodo de validación a través de un mecanismo de reputación, asegurando que en el futuro sea poco probable elegir líderes lentos.
En cada actualización de puntuación, se recalcula de manera determinista el mapeo de rondas a líderes F, favoreciendo a los líderes de alta puntuación. Para que los validadores lleguen a un consenso sobre el nuevo mapeo, deben alcanzar un consenso sobre la puntuación.
La línea de producción y la reputación del liderazgo pueden combinarse de manera natural, ya que ambas utilizan la misma tecnología central, que es reinterpretar el DAG después de alcanzar un consenso sobre el primer punto de anclaje ordenado.
no es necesario tiempo de espera
El tiempo de espera juega un papel clave en la implementación BFT sincrónica y determinística basada en líderes, pero introduce complejidad y aumenta significativamente la latencia.
Shoal observa que la construcción de DAG proporciona un "reloj" para estimar la velocidad de la red. Mientras que n-f validadores honestos continúen añadiendo vértices al DAG, la ronda seguirá avanzando. Finalmente, cuando un líder sin fallos transmita anclajes lo suficientemente rápido, toda la historia causal de los anclajes será ordenada.
Evitar el tiempo de espera está estrechamente relacionado con la reputación del líder. Repetir la espera de líderes lentos aumentará la latencia, y el mecanismo de reputación excluye a los validadores lentos de ser elegidos como líderes.
respuesta general
Shoal proporciona la propiedad de respuesta universal, que puede operar a la velocidad de la red incluso en situaciones de fallo del líder o de asincronía de la red. Esto es superior al concepto de respuesta optimista de Hotstuff.
Evaluación
Se implementaron Bullshark y Shoal, y se compararon con Jolteon. Hallazgos principales:
El Baseline Bullshark sin tiempo de espera rinde mejor cuando hay fallos.
El sistema de flujo y el mecanismo de reputación del líder de Shoal mejoraron significativamente la latencia de Bullshark.
En 50 fallos, en 16 de esos fallos, la latencia de Shoal fue un 65% inferior a la de Baseline Bullshark.
Jolteon no puede expandirse a más de 20 nodos de validación, y su capacidad de procesamiento es aproximadamente la mitad de la de Bullshark/Shoal.
En general, Shoal ha mejorado enormemente la latencia de Bullshark, y bajo alta carga debería poder igualar la latencia de extremo a extremo de Jolteon.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
12 me gusta
Recompensa
12
5
Republicar
Compartir
Comentar
0/400
governance_ghost
· 08-10 03:14
Se redujo la latencia en un 80%, ¡tss tss! Esta vez nosotros, los jugadores de apttas, hemos ganado mucho.
Ver originalesResponder0
ForkItAll
· 08-10 03:09
aptos hizo un gran trabajo, tps subió tanto de golpe.
Ver originalesResponder0
DaisyUnicorn
· 08-10 03:08
¡El pequeño tiburón finalmente nada sin problemas! La actualización tecnológica se ha convertido en un estanque de aguas primaverales.
Ver originalesResponder0
SignatureCollector
· 08-10 02:59
Ah, ahora aptos To the moon.
Ver originalesResponder0
OnChainSleuth
· 08-10 02:45
alcista ah aptos ha mejorado bastante su eficiencia
El marco de Shoal mejora significativamente el rendimiento de la cadena de bloques Aptos, con una latencia reducida del 40% al 80%.
Marco Shoal: ¿Cómo reducir la latencia de Bullshark en Aptos?
Resumen
Aptos labs resolvió dos importantes problemas abiertos en DAG BFT, reduciendo significativamente la latencia y eliminando por primera vez la necesidad de pausas en los protocolos de consenso determinista. En general, mejoró la latencia de Bullshark en un 40% en condiciones sin fallos y en un 80% en condiciones de fallo.
Shoal es un marco que mejora el protocolo de consenso basado en Narwhal a través de canalizaciones y la reputación de los líderes. La canalización reduce la latencia de ordenación del DAG al introducir puntos de anclaje en cada ronda, y la reputación de los líderes mejora aún más la latencia al garantizar que los puntos de anclaje estén asociados con los nodos de validación más rápidos. Además, la reputación de los líderes permite a Shoal utilizar construcciones de DAG asíncronas para eliminar los tiempos de espera en todos los escenarios. Esto permite que Shoal ofrezca la propiedad de respuesta universal, que incluye respuestas optimistas que generalmente se requieren.
La tecnología es muy simple, implica ejecutar múltiples instancias del protocolo subyacente en orden. Al instanciar Bullshark, es como un grupo de "tiburones" que están en una carrera de relevos.
Motivación
Al buscar un alto rendimiento en redes blockchain, la gente ha estado enfocándose en reducir la complejidad de la comunicación. Sin embargo, este enfoque no ha llevado a un aumento significativo en el rendimiento. Por ejemplo, Hotstuff, implementado en las primeras versiones de Diem, solo logró 3500 TPS, muy por debajo del objetivo de 100k+ TPS.
Recientemente, el avance se debe a la comprensión de que la propagación de datos es un principal cuello de botella basado en el protocolo de líderes, y se puede beneficiar de la paralelización. El sistema Narwhal separa la propagación de datos de la lógica de consenso central, proponiendo una arquitectura donde todos los validadores propagan datos simultáneamente, y el componente de consenso solo ordena una pequeña cantidad de metadatos. El documento de Narwhal reporta un rendimiento de 160,000 TPS.
El Quorum Store presentado anteriormente separa la propagación de datos del consenso, utilizado para escalar el actual protocolo de consenso Jolteon. Jolteon es un protocolo basado en líderes que combina la ruta rápida lineal de Tendermint y el cambio de vista al estilo PBFT, lo que puede reducir la latencia de Hotstuff en un 33%. Sin embargo, los protocolos de consenso basados en líderes no pueden aprovechar plenamente el potencial de rendimiento de Narwhal.
Por lo tanto, se decidió implementar Bullshark sobre el DAG de Narwhal, un protocolo de consenso sin costo de comunicación. Sin embargo, la estructura DAG de Bullshark conlleva un costo de latencia del 50%.
Este artículo presenta cómo Shoal reduce significativamente la latencia de Bullshark.
Fondo de DAG-BFT
En el DAG de Narwhal, cada vértice está asociado con un número de ronda. Al entrar en la ronda r, los validadores deben obtener n-f vértices de la ronda r-1. Cada validador puede difundir un vértice por ronda, y cada vértice debe referirse al menos a n-f vértices de la ronda anterior. Debido a la asincronía de la red, diferentes validadores pueden observar diferentes vistas locales del DAG en cualquier momento.
Una propiedad clave de DAG es que no es ambigua: si dos nodos de verificación tienen el mismo vértice v en la vista local de DAG, entonces tienen la misma historia causal de v.
Orden total
Se puede alcanzar un consenso sobre el orden total de todos los vértices en el DAG sin un costo adicional de comunicación. Los validadores en DAG-Rider, Tusk y Bullshark interpretan la estructura del DAG como un protocolo de consenso, donde los vértices representan propuestas y las aristas representan votos.
Todos los protocolos de consenso basados en Narwhal existentes tienen la siguiente estructura:
Punto de anclaje programado: cada pocas rondas hay un líder predefinido, y el vértice del líder se llama punto de anclaje.
Puntos de anclaje ordenados: los validadores deciden de manera independiente pero determinista qué puntos de anclaje ordenar y cuáles omitir.
Historia causal ordenada: los validadores procesan uno por uno la lista de puntos de anclaje ordenados, ordenando todos los vértices desordenados anteriores en la historia causal de cada punto de anclaje.
La clave para garantizar la seguridad es asegurarse de que en el paso 2, todos los nodos de validación honestos creen una lista de puntos de anclaje ordenada, y que todas las listas compartan el mismo prefijo. En Shoal, observamos que todos los validadores acuerdan el primer punto de anclaje ordenado.
Bullshark latencia
La latencia de Bullshark depende del número de rondas entre los anclajes ordenados en el DAG. Aunque algunas versiones de sincronización tienen una mejor latencia que las versiones asíncronas, todavía están lejos de ser óptimas.
Principalmente hay dos problemas:
Latencia promedio de bloques: En situaciones comunes, los vértices de rondas impares necesitan tres rondas, mientras que los vértices no ancla de rondas pares necesitan cuatro rondas para ser ordenados.
Situación de la latencia de fallos: Si un líder de ronda no logra difundir el anclaje a tiempo, los vértices no ordenados de las rondas anteriores deben esperar a que se ordene el siguiente anclaje, lo que reduce significativamente el rendimiento de la red de replicación geográfica.
Marco Shoal
Shoal mejora Bullshark a través de una línea de producción, permitiendo un punto de anclaje por ronda, reduciendo la latencia de todos los vértices que no son puntos de anclaje a tres rondas. Shoal también introduce un mecanismo de reputación de líderes sin costo, que favorece la selección de líderes rápidos.
Desafío
En el protocolo DAG, la canalización y la reputación del líder se consideran problemas difíciles:
Los intentos anteriores de modificar la lógica central de Bullshark en la línea de producción parecen ser esencialmente imposibles.
La reputación de los líderes puede resultar en un orden completamente diferente, y los validadores necesitan alcanzar un consenso sobre la historia ordenada para seleccionar el ancla futura.
Como evidencia de la dificultad del problema, las implementaciones de Bullshark en el entorno de producción actual no admiten estas características.
Protocolo
Shoal se basa en la ejecución de cálculos locales en DAG, logrando la capacidad de almacenar y reinterpretar la información de las rondas anteriores. Aprovechando la visión de que todos los validadores acuerdan el primer ancla ordenada, Shoal combina secuencialmente múltiples instancias de Bullshark para un procesamiento en pipeline, lo que permite:
línea de producción
Shoal ejecuta instancias de Bullshark una tras otra, cada instancia ordena un anclaje, lo que desencadena el cambio a la siguiente instancia.
Inicialmente, Shoal lanzó la primera instancia de Bullshark en la primera ronda de DAG, funcionando hasta que se determinó el primer punto de anclaje ordenado (, por ejemplo, en la ronda r ). Todos los validadores estuvieron de acuerdo con este punto de anclaje, por lo que se puede acordar de manera confiable reinterpretar el DAG a partir de la ronda r+1. Shoal lanzó una nueva instancia de Bullshark en la ronda r+1.
En un escenario ideal, esto permite a Shoal ordenar un punto de anclaje por ronda.
reputación del líder
Cuando Bullshark salta sobre el punto de anclaje, la latencia aumenta. Shoal asigna puntuaciones a cada nodo de validación a través de un mecanismo de reputación, asegurando que en el futuro sea poco probable elegir líderes lentos.
En cada actualización de puntuación, se recalcula de manera determinista el mapeo de rondas a líderes F, favoreciendo a los líderes de alta puntuación. Para que los validadores lleguen a un consenso sobre el nuevo mapeo, deben alcanzar un consenso sobre la puntuación.
La línea de producción y la reputación del liderazgo pueden combinarse de manera natural, ya que ambas utilizan la misma tecnología central, que es reinterpretar el DAG después de alcanzar un consenso sobre el primer punto de anclaje ordenado.
no es necesario tiempo de espera
El tiempo de espera juega un papel clave en la implementación BFT sincrónica y determinística basada en líderes, pero introduce complejidad y aumenta significativamente la latencia.
Shoal observa que la construcción de DAG proporciona un "reloj" para estimar la velocidad de la red. Mientras que n-f validadores honestos continúen añadiendo vértices al DAG, la ronda seguirá avanzando. Finalmente, cuando un líder sin fallos transmita anclajes lo suficientemente rápido, toda la historia causal de los anclajes será ordenada.
Evitar el tiempo de espera está estrechamente relacionado con la reputación del líder. Repetir la espera de líderes lentos aumentará la latencia, y el mecanismo de reputación excluye a los validadores lentos de ser elegidos como líderes.
respuesta general
Shoal proporciona la propiedad de respuesta universal, que puede operar a la velocidad de la red incluso en situaciones de fallo del líder o de asincronía de la red. Esto es superior al concepto de respuesta optimista de Hotstuff.
Evaluación
Se implementaron Bullshark y Shoal, y se compararon con Jolteon. Hallazgos principales:
El Baseline Bullshark sin tiempo de espera rinde mejor cuando hay fallos.
El sistema de flujo y el mecanismo de reputación del líder de Shoal mejoraron significativamente la latencia de Bullshark.
En 50 fallos, en 16 de esos fallos, la latencia de Shoal fue un 65% inferior a la de Baseline Bullshark.
Jolteon no puede expandirse a más de 20 nodos de validación, y su capacidad de procesamiento es aproximadamente la mitad de la de Bullshark/Shoal.
En general, Shoal ha mejorado enormemente la latencia de Bullshark, y bajo alta carga debería poder igualar la latencia de extremo a extremo de Jolteon.