Análise de depoimentos
usando python para solucionar problemas
Parte importante do processo de construção e atualização de conteúdo é a análise dos depoimentos das pessoas alunas que consomem o conteúdo. Mas fazer análises eficientes em grandes volumes de conteúdos é um desafio, pois é necessário limpar e segmentar os dados, e foi por isso que eu aprendi python para data science.
meu papel
Ao assumir o cargo de Product Manager no time responsável por criar e manter os conteúdos sobre a área de dados eu precisava entender o que os clientes estavam falando sobre os cursos, principalmente os cursos mais relevantes, mas o volume de depoimentos era imenso, o que tornava inviável fazer uma análise eficiente de 1 por 1.
Diante deste problema eu usei os cursos da Alura para aprender python para data sciente e criei um notebook para me ajudar a analisar os depoimentos, com este notebook eu consegui segmentar os depoimentos e analisar o volume de depoimentos específicos por curso, além de criar um arquivo em xlsx que usei em conjunto com AI para acelerar o entendimento de quais eram os pontos de atenção, pontos críticos e forças de cada curso que precisavam ser regravados ou atualizados.
A solução também serviu para entender quais são as opiniões dos clientes a respeito de subseguimentos de conteúdo.
outcome
Consegui tornar a análise de depoimentos mais eficiente, saindo de um nível inviável devido ao volume de depoimentos captados para um nível gerenciável, onde as pessoas do time de produto poderiam segmentar os depoimentos por termo e fazer análises mais específicas.
Por exemplo, a primeira iniciativa foi avaliar qual o montante de clientes se queixava de falta ou melhora de exercícios nos cursos que pertenciam a categoria de conteúdos de dados.
A média de pessoas alunas com queixas sobre exercícios era de aproximadamente 10%, em um montante bem expressivo de depoimentos, principalmente em determinados cursos focados para iniciantes.
A partir daí, definiu-se que todos os cursos das principais subcategorias focados em iniciantes deveriam ter mais conteúdo prático e um volume maior de exercícios de diversos formatos: abertos, fechados, desafios com respostas e etc.
Impacto e evolução
Após o sucesso da aplicação do notebook, eu refatorei o código e fiz anotações para que o arquivo fosse editável e usável por todos os PM’s do time, mesmo que estes não tivessem conhecimento de programação. Atualmente só é necessário fazer upload de um arquivo xlsx, alterar o caminho do arquivo, definir qual é o termo de segmentação e executar o notebook.
O código também fornece alguns dados relacionados ao NPS, por exemplo, qual é a frequência de cada uma das notas do NPS, qual é a porcentagem de promotores, neutros e detratores, quantos são dentro do montante analisado, qual é a maior e menor nota de NPS, qual é a nota mais frequente. Enfim, o código nos ajuda a entender questões relacionadas a como os clientes estão percebendo o conteúdo.
Com o arquivo final em mãos, fica mais fácil e eficiente utilizar uma AI generativa para fazer avaliações de sentimento, segmentar depoimentos por dores, encontrar pontos de atenção e pontos fortes de cada conteúdo.
Atualmente eu também aprendi SQL e com isso, consigo fazer consultas diretamente no banco de dados para enriquecer as informações captadas de depoimentos, por exemplo, selecionar pessoas alunas que deram depoimentos relevantes para uma pesquisa e entrar em contato com essas pessoas através do e-mail.
Então, quando há necessidade de realizar regravações ou atualizações de conteúdo, nós conseguimos levar em consideração várias opiniões de clientes e debater com o time técnico a respeito de como podemos melhorar a nova versão do conteúdo ou até mesmo a criação de novos conteúdos do mesmo segmento.
Métricas
- Ao observar o NPS dos depoimentos que citam exercícios em 2024 temos 51,5% de depoimentos promotores e 29,5% neutros. Comparando os dados com o ano anterior, antes da implementação do notebook, tivemos uma melhora significativa, por exemplo o volume depoimentos promotores aumentou em 3% em 24, em comparação com 23;
- A partir da análise sobre exercícios e sucesso da implementação de exercícios mais complexos ou abertos, todos os cursos criados para iniciantes tiveram que implementar o mesmo método focando em mais prática.
Key takeaways
- Aprendi a programar em python para data science e também como utilizar medidas estatísticas para gerar insights com base em dados externos. A Habilidade de programação me fez ter mais liberdade e com isso alcançar objetivos mais rápido, sem depender da disponibilidade de equipes técnicas;
- Integrei diferentes fontes de dados e ferramentas para ganhar eficiência em análise de dados. Trabalhar com grandes volumes de dados foi um desafio, mas ao usar várias ferramentas eu consegui criar um processo replicável para todas as squads de conteúdo, ajudando todos os PM`s;
- Identifiquei dores de clientes com base em depoimentos em massa. Ao combinar os dados filtrados anonimizados e exportados do python com uma ferramenta de IA generativa, consegui encontrar as principais dores dos clientes e traçar estratégias para sanar estas dores;
- Aprendi a gerar valor para times internos, mesmo quando não há uma demanda explicita para isso. Com ajuda da liderança, eu consegui adaptar o notebook para que todas pessoas do time de produto pudessem usar, mesmo que elas não tivessem habilidade com programação e, a partir daí, sempre que trabalho em uma solução que pode impactar o time, eu tento torná-la mais acessível e usável para todos independente da habilidade técnica.
