Los equipos de ingeniería que hacen software con Neo tiene ingenieros extra

Os he hablado varias veces de Neo de Sagittal.ai, pero hoy quería dejaros unos datos para que veáis como funciona como un miembro más haciendo tareas en la creación de software. Neo no está pensado para ayudarte a tirar lineas de código como un Copiloto. No, Neo está pensado para hacer tareas que se necesitan dentro de un equipo de desarrollo y resolver PR.

Figura 1: Los equipos de ingeniería que hacen software con Neo tiene ingenieros extra

Puede ser que esa tarea sea resolver un problema de diseño en Figma, o que haya que revisar la calidad de un parche, o puede ser que haya que resolver un issue reportado, es decir, mucho más que ayudarte como un Copilot a tirar líneas de código. Para que entendáis esto un poco mejor, os he dejado el artículo publicado de "Cómo solucionar tres "Big Problems" del "Agentic AI Coding" usando Neo" y os dejo la conferencia que dio Palako sobre Neo, que puedes ver aquí mismo.

Figura 2: Por qué la IA no ha mejorado el rendimiento de tus Developers ... por ahora

Es fácil, si te quedas a primera vista, confundir a Neo con un GitHub Copilot, o con un Claude Code o Llama Code, pero nada de eso. No es eso. Es un Agente IA de Ingeniería de Software para hacer tareas integrado en un equipo de desarrollo de tecnología. Por supuesto, si tiene que tirar líneas de código para resolver una PR lo hace, pero no sólo eso. Y por supuesto, tiene los mismos problemas que todos los modelos de IA tirando código.

Figura 3: IA falla, a veces es frustrante y a veces alucina

Esto sucede con todos los modelos de IA que generan código hoy en día. Todos tienen esos problemas. De hecho, no hay magia, Neo no es un Modelo de IA entrenado para tirar código. No, ni mucho menos. Neo se basa en todos los Modelos de IA entrenados para tirar código para hacer sus tareas. ¿Cómo te quedas? Pues lo mismo que los Agentes IA que hacen pentesting, que se basan en modelos entrenados. 

Figura 4: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

No es magia, es que Neo es un Agente IA para trabajar en Ingeniería del Software haciendo tareas que hacen los ingenieros del software. Así que se asignan tareas, y algunas las hace bien, y otras las hace mal, com cualquier otro ingeniero.

Figura 5: Tareas abandonas (rechazadas) y aceptadas a Neo

Para que os hagáis una idea, en el equipo que desarrolla el core de Neo se usa.... Neo. Es decir, que se está construyendo Neo a sí mismo, pero si miramos las PR abandonadas y hechas por Neo podemos ver que más de la mitad no han sido hechas correctamente por Neo... ¿Eso significa que Neo no funciona? Eso significa que ha podido hacer casi la mitad de las tareas que se han asignado, que si lo comparas con el resto de miembros humanos es significativamente menor.

Figura 6: Pull Requests hechas por humanos

Si miramos, los humanos han resuelto más tareas, con un total de 207 y con sólo un 10% de abandonos. No está mal para el equipo. Es lo que sucede cuando tienes un grupo de buenos ingenieros currando en un proyecto de software. Pero entonces... ¿De qué vale Neo? Bueno, la magia es que si comparamos a Neo con cada uno de los desarrolladores del equipo lo que tenemos se ve de otra manera. ¿Qué te parece esta gráfica?

Figura 7: Neo es el mayor contribuidor al proyecto

Como podéis ver en esa gráfica, incluso con las tareas abandonadas, Neo hace el trabajo de PRs dos ingenieros de software en el equipo. Con sus problemas, con sus limitaciones, con su necesaria supervisión, pero gracias a tener a Neo, el equipo de ingeniería ve multiplicada su velocidad de ingeniería no solo en tirar líneas de código, sino en hacer PRs del proyecto que si no tendrán que hacer el resto de tus programadores humanos.

Figura 8: Consistencia de Neo a lo largo del tiempo

Pero no sólo eso, es que a medida que el equipo sabe cuáles son las PR que Neo puede hacer, o cada vez que se incrementan sus capacidades, su capacidad de hacer más y mejor PRs crece, de manera consistente, por lo que es un miembro más confiable del equipo.

Figura 9: Por qué Neo

Neo está específicamente diseñado para un entorno corporativo con equipos de entre 5 y 15 personas que siguen un proceso, ya sea ligero o pesado, coordinado en herramientas colaborativas y donde la especificación suele estar dispersa en varias herramientas y cambia constantemente. Y si es tu caso, deberías probarlo cuanto antes. Eso sí, sólo si eres de los que cree que meterse en líos de Deuda Cognitiva es algo a evitar.

Figura 10: Comienza a probar Neo desde hoy mismo

Puedes ver varias demos de Neo en acción para hacerte una mejor idea del concepto, y contactar con Sagittal AI para un piloto en tu empresa.

Figura 11:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Además si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que he escrito, citado o impartido sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)