6 foundational capabilities you need for generative AI

Generative artificial intelligence (AI) is easy to use—and that’s what makes the technology so exciting. But it’s important not to confuse ease of use with effortless deployment. The value of generative AI is inextricably linked to the technology’s reliability and traceability, as described in our earlier blog post, Generative AI: Understand the challenges to realize the opportunities.

To achieve this reliability and traceability in any organization, it helps to focus on AI’s potential one use case at a time but also to plan for the bigger picture. As AI strategists for the Amazon Web Services (AWS) Generative AI Innovation Center, we wrote this post to provide a tried-and-tested AI framework you could consider.

1. Business considerations: Appoint a cross-functional team

A cross-functional team will be best able to balance AI skills with knowledge of the target business process(es) and considerations around the source data and what happens to it. This will help you to continuously spot opportunities for generative AI–based use case discovery across your organization, as well as have the ability to qualify them and prepare them for development.

2. People: Cultivate a mindset that prioritizes machine learning

You’ll also need to cultivate teams that embrace and harness generative AI effectively and efficiently. The combined focus should be to create a culture of innovation and experimentation and to understand how technology can transform the way your organization does things. Leaders need to instill an openness to AI and readiness to embrace change since this is fundamental to what comes next.

3. Platform: Assemble the right technology

The AI solution you’ll use to transform a particular process may not exist in a ready-to-use state. In other words, you’ll need to do important groundwork before you produce results.

If your use case means you need to train a bespoke machine learning (ML) model, then you’ll need data. This may already exist across internal line-of-business systems. Or you may want to draw on information held in publicly-available repositories or procured from a third party. All of this will need to be categorized and labeled so that the AI/ML algorithm knows what it is and how to process it.

Through training, the AI system will learn to recognize similar content and infer what it means. This initial organization, categorization, and system training takes time, but it’s essential to ensure the output can be trusted.

If you lack the technical skills to train the model internally with your own team, you may want to work with a specialist organization or make use of existing models that have already been trained, for instance, in translation, facial recognition, or document processing. Generative AI approaches would also allow you to use a pre-trained foundation model (FM) and look at the most efficient and effective way to customize it for your current use case.

4. Security: Controlled use of data

Any IT system, including those with ML–based capabilities, will only ever be as good as the data it’s fed. Carefully evaluate any original sources; the integrity, completeness, and currency of the data; how usable it is in its current form; and how to safeguard that data throughout its use. Also, think of where you’ll experiment with the data and how to minimize access to sensitive data, such as personally identifiable information (PII).

Consider:

Where does the desired data exist now?
How can you make that data accessible and discoverable by your team?
How will you control access so that the right people can see the right data, and for only as long as they need to?
Where will your data scientists perform their ML–based experimentation? (Preferably on a secure, cloud-hosted platform).

5. Governance: Decide how to ensure AI/ML transparency

To help determine who’ll develop your deep learning algorithms, consider how to ensure that any data being fed into the systems—along with any connections being made and analyses and resulting decisions or actions—are reliable, unbiased, and reproducible.

Suspicions and risk-based concerns about AI–based systems or processes tend to be linked to black-box capabilities, whose sources and calculations are hidden from view. Maintaining strong visibility over all data and deductions is the best way to avoid this—as long as measures don’t compromise security or data privacy requirements as part of these provisions.

6. Operations: Create feedback loops

ML models are likely to degrade over time. They’ll be as powerful as they’re ever going to be on the day when, having performed well enough in training, they launch to production. The data used for inference often drifts away from the characteristics of the data that the system was trained on. This makes it important to monitor reliability and detect when data may be drifting, which triggers the need for retraining.

It’s important, too, to be able to monitor the AI models over time to ensure they deliver the expected business value.

The AWS Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI (CAF-AI) covers these six foundational capabilities in more detail.

These themes are discussed in greater detail in a series of four AWS Institute AI Masterclasses:

Additional resources

As seis habilidades essenciais para trabalhar com a IA generativa

A inteligência artificial generativa é fácil de usar, sendo esse o motivo de essa tecnologia ser tão interessante. Mas é importante não confundir facilidade de uso com implantação fácil. O valor da IA generativa está intrinsecamente ligado à confiabilidade e à rastreabilidade da tecnologia, conforme descrito na nossa publicação anterior neste blog, intitulada IA generativa: entenda os desafios para aproveitar as oportunidades.

Para alcançar essa confiabilidade e rastreabilidade em qualquer organização, vale a pena se concentrar no potencial da IA em cada caso de uso, além de fazer um planejamento levando em conta o panorama geral. Como estrategistas de IA do Centro de Inovação para IA Generativa da Amazon Web Services (AWS), escrevemos esta publicação no intuito de lhe apresentar uma estrutura de IA testada e comprovada.

1. Considerações comerciais: forme uma equipe multifuncional

Uma equipe multifuncional estará mais apta a equilibrar as habilidades de IA com o conhecimento dos processos comerciais pretendidos e as considerações sobre os dados de origem e o que acontecerá com eles. Assim, você poderá identificar oportunidades de casos de uso da IA generativa em toda a organização, além de qualificá-las e prepará-las para o desenvolvimento.

2. Pessoas: nutra uma mentalidade que priorize o machine learning

Você também precisará organizar equipes que adotem e explorem a IA generativa de maneira eficaz e eficiente. O foco deve ser tanto criar uma cultura de inovação e experimentação quanto entender como a tecnologia pode transformar a maneira como sua organização opera. A liderança precisa incutir a receptividade à IA e a prontidão para aderir à mudança, pois isso é fundamental para o que vem a seguir.

3. Plataforma: configure a tecnologia certa

Talvez a solução de IA que você usará para transformar um processo específico não esteja pronta para uso. Em outras palavras, você precisará desempenhar um trabalho de base importante antes de produzir resultados.

Se o seu caso de uso exigir o treinamento de um modelo de machine learning (ML) personalizado, você precisará de dados. Talvez eles já existam em sistemas internos da linha de negócios ou talvez seja necessário usar informações mantidas em repositórios públicos ou adquiridas de terceiros. Todos esses dados precisarão ser categorizados e rotulados para que o algoritmo de IA/ML seja capaz de identificá-los e processá-los.

Por meio de treinamento, o sistema de IA aprenderá a reconhecer conteúdos semelhantes e inferir o significado deles. Todo esse processo inicial, que envolve organização, categorização e treinamento do sistema, leva tempo, mas é essencial para garantir que o resultado seja confiável.

Caso você não tenha as habilidades técnicas para treinar o modelo internamente com sua própria equipe, pode ser interessante trabalhar com uma organização especializada ou usar modelos previamente treinados, por exemplo, em tradução, reconhecimento facial ou processamento de documentos. As abordagens da IA generativa também permitem que você use um modelo de base (FM) pré-treinado e analise a maneira mais eficiente e eficaz de personalizá-lo para seu caso de uso atual.

4. Segurança: use os dados de modo controlado

Qualquer sistema de TI, inclusive aqueles com recursos baseados em ML, sempre será tão bom quanto os dados que o alimentam. Avalie cuidadosamente todas as fontes originais; a integridade, integralidade e atualidade dos dados; o nível de utilizabilidade deles em sua forma atual; e como protegê-los durante o uso. Além disso, pense em onde você conduzirá experimentos com os dados e como minimizar o acesso a dados confidenciais, como informações de identificação pessoal (PII).

Considere estas perguntas:

No momento, onde estão os dados desejados?
Como é possível tornar esses dados acessíveis e detectáveis pela sua equipe?
Como você controlará o acesso para que as pessoas certas possam ver os dados certos e somente pelo tempo necessário?
Onde seus cientistas de dados realizarão os experimentos baseados em ML? (Eles devem realizá-los preferencialmente em uma plataforma segura e hospedada na nuvem.)

5. Governança: decida como assegurar a transparência da IA/ML

Para ajudar a determinar quem desenvolverá os algoritmos de aprendizado profundo, você deve considerar como garantir que todos os dados inseridos nos sistemas, bem como todas as conexões feitas e as análises e decisões ou ações resultantes, sejam confiáveis, imparciais e reproduzíveis.

Suspeitas e preocupações quanto aos riscos sobre sistemas ou processos baseados em IA tendem a estar vinculadas a recursos obscuros, cujas fontes e cálculos ficam ocultos. Manter uma boa visibilidade de todos os dados e deduções é a melhor maneira de contornar esse problema, contanto que as medidas não comprometam os requisitos de segurança ou privacidade de dados como parte das disposições.

6. Operações: crie ciclos de feedback

É provável que os modelos de ML se degradem com o tempo. Eles estarão em sua melhor capacidade quando, após terem um bom desempenho no treinamento, forem colocados em produção. Os dados usados para inferência geralmente se desviam das características dos dados nos quais o sistema foi treinado. Por isso, é importante monitorar a confiabilidade e detectar quando os dados podem estar se desviando, o que gera a necessidade de um novo treinamento.

Também é importante ser capaz de monitorar os modelos de IA ao longo do tempo, a fim de garantir que eles forneçam o valor comercial esperado.

O whitepaper AWS Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI (CAF-AI) (AWS Cloud Adoption Framework para inteligência artificial, machine learning e IA generativa [CAF-AI]) se aprofunda nessas seis habilidades essenciais.

Esses temas são discutidos com mais detalhes em uma série de quatro masterclasses de IA do AWS Institute:

Recursos adicionais

Las seis capacidades básicas que necesita para usar la IA generativa

La inteligencia artificial (IA) generativa es fácil de usar, lo que hace que esta tecnología sea tan apasionante. Sin embargo, es importante no suponer que, por ser fácil de usar, la implementación no requiera esfuerzo. El valor de la IA generativa está estrechamente vinculado a la fiabilidad y la trazabilidad de la tecnología, como se describió en nuestra entrada de blog anterior, IA generativa: comprenda los desafíos para aprovechar las oportunidades.

Para lograr esta fiabilidad y trazabilidad en cualquier organización, es útil centrarse en los posibles casos de uso de la IA, uno por uno, pero también elaborar un plan para el panorama general. Como estrategas de IA para el Centro de innovación en IA generativa de Amazon Web Services (AWS), redactamos esta publicación para ofrecer un marco de IA de eficacia comprobada que podría considerar usar.

1. Consideraciones empresariales: asigne un equipo multidisciplinario

Un equipo multidisciplinario podrá equilibrar las habilidades de la IA con el conocimiento de los procesos empresariales de destino y las consideraciones relativas a los datos de origen y lo que sucede con ellos. Esto le ayudará a detectar oportunidades para descubrir casos de uso basados en la IA generativa en toda su organización y a poder calificarlos y prepararlos para su desarrollo.

2. Personas: fomente una mentalidad que priorice el machine learning

También necesitará formar equipos que adopten y aprovechen la IA generativa de manera eficaz y eficiente. El enfoque combinado debería consistir en crear una cultura de innovación y experimentación, y en comprender cómo la tecnología puede transformar la manera en la que su organización hace las cosas. Los líderes deben inculcar una actitud receptiva a la IA y una predisposición a aceptar el cambio, ya que es fundamental para el futuro.

3. Plataforma: reúna la tecnología adecuada

Es posible que la solución de IA que utilice para transformar un proceso en particular no pueda usarse de inmediato. En otras palabras, tendrá que realizar un importante trabajo preliminar antes de obtener resultados.

Si su caso requiere entrenar un modelo de machine learning (ML) personalizado, necesitará datos. Es posible que ya existan entre todos los sistemas internos de su línea de negocio. También le recomendamos consultar información disponible en repositorios abiertos al público o de un tercero. Todos estos datos deberán clasificarse y etiquetarse para que el algoritmo de IA/ML los reconozca y sepa cómo procesarlos.

A través del entrenamiento, el sistema de IA aprenderá a reconocer contenido similar y a deducir lo que significa. Esta organización, clasificación y entrenamiento del sistema iniciales llevan tiempo, pero son esenciales para garantizar que se pueda confiar en los resultados.

Si no dispone de las habilidades técnicas para entrenar el modelo internamente con su propio equipo, le recomendamos trabajar con una organización especializada o utilizar modelos existentes ya entrenados, por ejemplo, en traducción, reconocimiento facial o procesamiento de documentos. Los enfoques de IA generativa también le permitirían utilizar un modelo fundacional (FM) previamente entrenado y buscar la forma más eficiente y eficaz de personalizarlo para su caso actual.

4. Seguridad: uso controlado de los datos

Cualquier sistema de TI, incluidos aquellos con capacidades basadas en ML, solo será eficaz en función de los datos que se le suministren. Evalúe cuidadosamente cualquier fuente original; la integridad, exhaustividad y vigencia de los datos; si se pueden utilizar en su estado actual y cómo proteger esos datos durante su uso. Además, piense en dónde experimentará con los datos y cómo minimizar el acceso a los datos confidenciales, como la información de identificación personal (PII).

Considere lo siguiente:

¿Dónde se encuentran ahora mismo los datos deseados?
¿Cómo puede hacer que su equipo tenga acceso a esos datos y pueda encontrarlos?
¿Cómo controlará el acceso para que el personal adecuado pueda ver los datos apropiados y solo durante el tiempo necesario?
¿Dónde realizarán los científicos de datos los experimentos basados en ML? (Preferiblemente en una plataforma segura alojada en la nube).

5. Gobernanza: decida cómo garantizar la transparencia de IA/ML

Para ayudar a determinar quién desarrollará sus algoritmos de aprendizaje profundo, considere cómo garantizar que los datos ingresados en los sistemas (junto con cualquier conexión y análisis realizados y sus decisiones o acciones resultantes) sean confiables, imparciales y reproducibles.

Las sospechas y preocupaciones sobre el riesgo de los sistemas o procesos basados en IA suelen estar relacionadas con las capacidades de la caja negra, cuyas fuentes y cálculos están ocultos a la vista. La mejor manera de evitar este problema es procurar que todos los datos y deducciones sean altamente visibles, siempre y cuando las medidas relacionadas no transgredan los requisitos de seguridad o de privacidad de datos.

6. Operaciones: creación de bucles de retroalimentación

Es probable que los modelos de ML se degraden con el tiempo. Estarán en sus mejores condiciones y tendrán la mayor potencia el día en que, tras haber obtenido resultados lo suficientemente buenos en el entrenamiento, lleguen a la etapa de producción. Los datos utilizados para las inferencias a menudo dejan de tener las mismas características que las de los datos con los que se entrenó el sistema. Esto hace que sea importante supervisar la fiabilidad y detectar cuándo los datos empiezan a desviarse, lo que implica volver a entrenar el modelo.

También es importante poder supervisar los modelos de IA a lo largo del tiempo para garantizar que ofrecen el valor empresarial esperado.

En el documento técnico AWS Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI (CAF-AI)(Marco de adopción de la nube de AWS para la inteligencia artificial, el aprendizaje automático y la IA generativa), se describen estas seis capacidades básicas en más detalle.

Estos temas se analizan con más detalle en una serie de cuatro clases magistrales de IA del AWS Institute:

Recursos adicionales

AWS Public Sector Blog