Muy bien, mis amigos, estoy de vuelta con otra publicación basada en mis aprendizajes y exploración de la IA y cómo encajará en nuestro trabajo como ingenieros de red. En la publicación de hoy, quiero compartir el primero (de lo que probablemente será muchos) “perillas nerd” que creo que todos deberíamos ser conscientes y cómo afectarán nuestro uso de las herramientas de IA y AI. Ya puedo sentir la emoción en la habitación. Después de todo, no hay mucho que un ingeniero de redes le guste más que Ajustar una perilla de nerd en la red para ajustar el rendimiento. Y eso es exactamente lo que haremos aquí. Ajunte de nuestras herramientas de IA para ayudarnos a ser más efectivos.
Primero, el descargo de responsabilidad requerido o dos.
- Hay tantas perillas nerd en AI. (Shocker, lo sé). Entonces, si a todos les gusta este tipo de publicación de blog, estaría encantado de regresar en otras publicaciones donde miramos otros “perillas” y configuraciones en IA y cómo funcionan. Bueno, estaría feliz de regresar una vez que los entiendo, al menos. 🙂
- Cambio cualquiera de la configuración En su IA, las herramientas pueden tener efectos dramáticos en los resultados. Esto incluye aumentar el consumo de recursos del modelo AI, así como al aumento de las alucinaciones y disminuir la precisión de la información que regresa de sus indicaciones. Considérate advertidos. Al igual que con todas las cosas de IA, sal y explora y experimenta. Pero hazlo en un entorno seguro de laboratorio.
Para el experimento de hoy, una vez más estoy usando LMStudio ejecutándose localmente en mi computadora portátil en lugar de un modelo de IA público o alojado en la nube. Para obtener más detalles sobre por qué me gusta LMStudio, consulte mi último blog, Creación de un patio de Netai para la experimentación de AI de agente.
Basta de la configuración, ¡entremos en ella!
El impacto del tamaño de la memoria de trabajo, también conocido como “contexto”
Déjame preparar una escena para ti.
Estás en medio de la solución de problemas de un problema de red. Alguien informó o notó la inestabilidad en un punto de su red, y le han asignado la alegre tarea de llegar al fondo. Capturó algunos registros e información de depuración relevante, y ha llegado el momento de pasar por todo para descubrir qué significa. Pero también ha estado utilizando herramientas de inteligencia artificial para ser más productivas, 10 veces su trabajo, impresiona a su jefe, ya sabes Todas las cosas que están sucediendo ahora mismo.
Por lo tanto, decide ver si AI puede ayudarlo a trabajar más rápido y llegar a la raíz del problema.
Enciende a su asistente local de IA. (Sí, local, porque Quién sabe ¿Qué hay en los mensajes de depuración? Es mejor mantener todo seguro en su computadora portátil).
Le dices lo que estás haciendo y pegue los mensajes de registro.
Después de obtener aproximadamente 120 líneas de registros en el chat, golpeas Enter, pateas los pies, alcanza tu Arnold Palmer para una bebida refrescante y esperas a que ocurra la magia de IA. Pero antes de que puedas tomar un sorbo de Ese té helado y limonada de bondadves que esto ha aparecido inmediatamente en la pantalla:
Oh mi.
“La IA no tiene nada que decir”.!?! ¿Cómo podría ser eso?
¿Encontraste una pregunta tan difícil que AI no puede manejarla?
No, ese no es el problema. Mira el útil mensaje de error de que LMStudio ha retrasado:
“Tratando de mantener las primeras fichas 4994 cuando el contexto se desborda. Sin embargo, El modelo está cargado con una longitud de contexto de solo 4096 tokens, que no es suficiente. Intente cargar el modelo con una longitud de contexto mayor, o proporcione una entrada más corta “.
Y hemos llegado a la raíz de esta historia y demostración perfectamente guionadas. Cada herramienta de IA por ahí tiene un límite para la cantidad de “memoria de trabajo” que tiene. El término técnico para esta memoria de trabajo es “Longitud de contexto. ” Si intenta enviar más datos a una herramienta de IA de que puede encajar en la longitud de contexto, presionará este error o algo así.
El mensaje de error indica que el modelo se “cargó con una longitud de contexto de solo 4096 tokens”. ¿Qué es una “ficha”, te preguntas? Responder eso podría ser un tema de una publicación de blog completamente diferente, pero por ahora, solo sepa que los “tokens” son la unidad de tamaño para la duración del contexto. Y lo primero que se hace cuando envía un aviso a una herramienta AI es que el aviso se convierte en “tokens”.
Entonces, ¿qué hacemos? Bueno, el mensaje nos da dos opciones posibles: podemos aumentar la longitud del contexto del modelo, o podemos proporcionar una entrada más corta. A veces no es un gran problema proporcionar una entrada más corta. Pero otras veces, como cuando estamos tratando con archivos de registro grandes, esa opción no es práctica: todos los datos son importantes.
¡Es hora de girar la perilla!
Es esa primera opción, cargar el modelo con una longitud de contexto mayor, que es nuestra perilla nerd. Vamos a girarlo.
Desde dentro de LMStudio, diríjase a “My Models” y haga clic para abrir la interfaz de configuración de configuración para el modelo.
Tendrás la oportunidad de ver todas las perillas que tienen los modelos de IA. Y como mencioné, hay muchos de ellos.
Pero el que nos importa en este momento es la longitud del contexto. Podemos ver que la longitud predeterminada para este modelo son los tokens 4096. Pero admite hasta 8192 tokens. ¡Vamos a maximizarlo!
LMStudio proporciona una advertencia útil y una razón probable de por qué el modelo no es predeterminado al máximo. La longitud del contexto toma memoria y recursos. Y elevarlo a “un alto valor” puede afectar el rendimiento y el uso. Entonces, si este modelo tenía una longitud máxima de 40,960 fichas (el modelo QWEN3 que uso a veces tiene ese máximo), es posible que no desee simplemente maximizarlo de inmediato. En cambio, aumente poco a poco para encontrar el punto óptimo: una duración de contexto lo suficientemente grande para el trabajo, pero no de gran tamaño.
Como ingenieros de red, estamos acostumbrados a afinar las perillas para temporizadores, tamaños de marco y muchas otras cosas. ¡Esto es justo en nuestro callejón!
Una vez que haya actualizado su longitud de contexto, deberá “expulsar” y “volver a cargar” el modelo para que la configuración surta efecto. Pero una vez hecho eso, ¡es hora de aprovechar el cambio que hemos hecho!
Y mira eso, con la ventana de contexto más amplia, el asistente de IA pudo revisar los registros y darnos un buen artículo sobre lo que muestran.
Particularmente me gusta la sombra que me tiró: “… Considere buscar ayuda de … un ingeniero de red calificado”. Bien jugado, ai. Bien jugado.
Pero aparte del ego magullado, podemos continuar con la solución de problemas asistidas por la IA con algo como esto.
Y nos vamos a las carreras. Hemos podido aprovechar a nuestro asistente de IA para:
- Procesar una cantidad significativa de datos de registro y depuración para identificar posibles problemas
- Desarrolle una línea de tiempo del problema (que será muy útil en el boleto de la mesa de ayuda y los documentos de análisis de causa raíz)
- Identifique algunos de los próximos pasos que podemos hacer en nuestros esfuerzos de solución de problemas.
Todas las historias deben terminar …
Y entonces lo tienes, nuestro primer pomo de nerd Ai, longitud de contexto. Revisemos lo que aprendimos:
- Los modelos AI tienen una “memoria de trabajo” que se conoce como “longitud de contexto”.
- La longitud de contexto se mide en “tokens”.
- A menudo, un modelo de IA admitirá una mayor longitud de contexto que la configuración predeterminada.
- Aumentar la longitud de contexto requerirá más recursos, así que realice cambios lentamente, no solo lo haga por completo.
Ahora, dependiendo de la herramienta de IA que esté utilizando, es posible que no pueda ajustar la longitud de contexto. Si está utilizando una IA pública como ChatGPT, Gemini o Claude, la longitud de contexto dependerá de la suscripción y los modelos a los que tenga acceso. Sin embargo, definitivamente hay una longitud de contexto que tendrá en cuenta cuánto “memoria de trabajo” tiene la herramienta AI. Y ser consciente de ese hecho y su impacto en cómo puede usar IA es importante. Incluso si la perilla en cuestión está detrás de una cerradura y llave. 🙂
Si disfrutas este look bajo el capó de la IA y te gustaría aprender sobre más opciones, hágamelo saber en los comentarios: ¿Tiene una “perilla” favorita que le gusta darle la vuelta? Compártalo con todos nosotros. ¡Hasta la próxima!
PD … Si desea obtener más información sobre el uso de LMStudio, mi amigo Jason Belk Pon un tutorial gratuito juntos llamado Ejecute su propio LLM localmente gratis y con facilidad Eso puede hacer que comiences muy rápido. ¡Échale un vistazo!
Matricularse en Cisco U. | Unirse alRed de aprendizaje de Cisco hoy gratis.
Aprende con Cisco
incógnita|Trapos| Facebook|LinkedIn|Instagram|YouTube
Usar #Ciscou y#Ciscocertpara unirse a la conversación.
Leer a continuación:
Creación de un patio de Netai para la experimentación de AI de agente
Compartir:
