Motores cognitivos: são todos iguais?

Compartilhe:

De te​mpos em tempos, convidamos parceiros e clientes para compartilhar suas opiniões e percepções sobre as tendências atuais de tecnologia e soluções IBM no Blog de Transformação Digital. As opiniões nessas postagens são próprias e não refletem, necessariamente, as opiniões da IBM.

Neste quarto e último episódio vamos falar sobre motores cognitivos e os tão aguardados resultados da nossa análise! Espero que tenha aproveitado as dicas e que consiga iniciar o quanto antes a sua transformação digital através de chatbots.

Perdeu o último episódio? Confira uma comparação entre os motores cognitivos que preparei para te ajudar ao longo deste artigo.

Ei, psiu!

Este artigo é parte da série #Transformação Digital com Chatbots. Acompanhe a tag para ficar por dentro das próximas publicações.

Recapitulando: saímos do nada, onde não tínhamos ideia por onde seguir, passamos pelo oceano de opções, refinamos os motores cognitivos das plataformas de mercado, realizamos um experimento para compará-las e, agora, finalmente conheceremos os resultados.

Uma análise descritiva dos resultados:

Comparativo entre Motores Cognitivos

Dentre os motores cognitivos analisados, a plataforma Watson Assistant IBM obteve um percentual médio de acerto de 82%, ou seja, das 150 iterações enviadas para teste, 123 tiveram classificações da primeira intenção (com maior confiança) iguais da intenção classificada por humano, conforme percentual apresentado na tabela 1.

A Plataforma A obteve um percentual de acertos de 60%, ou seja, das 150 iterações enviadas para avaliação, 90 tiveram classificações da primeira intenção, iguais à intenção classificada por humano. 

Entre os níveis do fator Classe de Intenção, é possível perceber que, no nível “Específica”, o percentual de acerto é cerca de 30% maior do que no nível “Genérica”.

A Plataforma B obteve um percentual de acertos de 50,7%. Logo, das 150 iterações enviadas de teste, apenas 76 tiveram classificações da primeira intenção iguais à intenção classificada por humano.

Entre os níveis do fator “Tipos de Intenções”, a que teve maior percentual de acerto foi a “Renegociar”, com uma média de 85,6%. O tipo com a pior performance foi a “Agradecer”, com uma média de acerto de 41,1%.

Após ajustar o modelo de Regressão Logística, tivemos os seguintes resultados:

Como pode-se observar na Tabela 2, existem as seguintes odds entre as plataformas:

1) A Plataforma Watson da IBM tem uma odds de acertar a resposta 3 vezes maior do que a odds de acerto da Plataforma A;

2) Essa razão é ainda maior comparando com a Plataforma B. Nesse caso, a solução da IBM tem uma odds 4,43 vezes maior de acertar a resposta;

3) No entanto, quando comparada às plataformas B e A, pode-se perceber que não há significância, visto que seu intervalo de confiança (IC) passa pelo 1.

A odds entre os níveis do fator 2 foram relevantes, uma vez que teve uma Odds ratio 4,46, que significa uma odds de acerto maior (quase 4,5 vezes) nos casos das intenções específicas.,

Com esse resultado, foram ajustados modelos de regressões logística com o objetivo de verificar se havia ou não diferenças estatisticamente significantes entre as plataformas por meio do cálculo das odds de acerto da classificação (que foram comparadas via odds ratio).

Conclusão

A partir das análises dos dados do experimento, pode-se concluir que: 

1. De forma geral, há diferença estatística significativa, ao nível de significância de 5%, entre as plataformas;
   
2. A plataforma que obteve melhor resultado foi a do Watson Assistant da IBM, com uma média global de acerto 82% e uma odds ratio de acerto geral de 3,03 comparada à Plataforma A e de 4,43 comparada à Plataforma B;
   
3. Entre a Plataforma B e a A, não foi encontrada significância estatística para a diferença geral, apesar da Plataforma A ter ficado com um percentual geral de acerto de 60% contra 50,7% da Plataforma B.

A plataforma que obteve maior capacidade global de generalização em seu modelo cognitivo foi a plataforma do Watson Assistant da IBM.

Quando segregamos os percentuais de acertos por grupo de classes da intenção (Genérica ou Específica), percebemos que a diferença de acerto percentual aumenta para o grupo Genérica, sendo que o Watson Assistant possui o maior percentual de acerto (78,9%), contra 50% da Plataforma A e 26,7% da Plataforma B. 

Para a classe de intenção Genérica, a odds ratio de acerto, comparando Watson Assistant e Plataforma B, é de 10,28 (IC 95% 5,16; 20,46), e de 3,74 quando se compara Watson Assistant e Plataforma A (IC 95% 1,94; 7,18). Entre a Plataforma B e A, não houve diferença estatística entre as odds de acerto na classe Genérica.  

Na classe Específica, também há uma diferença no comportamento de acertos das três plataformas, sendo a estimativa pontual do percentual de acerto médio igual no caso das plataformas Watson Assistant e Plataforma B (86,67%). Quanto à Plataforma A, o percentual médio de acerto na classe Específica foi de 75%. No entanto, a análise inferencial não apontou diferenças estatísticas entre os percentuais de acerto das três plataformas. 

Sendo assim, a plataforma que obteve maior capacidade global de generalização em seu modelo cognitivo para esse experimento foi a plataforma do Watson Assistant da IBM, seguida da Plataforma A e, por último, a Plataforma B. 

Como limitações deste estudo, pode-se citar que somente foi avaliado o modelo cognitivo, considerando apenas alguns casos específicos e com as versões disponíveis das plataformas no momento da realização do teste (ano de 2020).

Saiba mais

Agora que você já possui as informações e dados necessários para escolher a plataforma de desenvolvimento de assistentes virtuais mais adequada para o cenário do seu negócio, que tal por mão na massa?

Confira mais artigos sobre o Watson Assistant e comece a usar gratuitamente.

Um abraço e até a próxima!

Vamos conversar?

A IBM é líder de mercado em soluções e projetos de IA.
Qual o problema do seu negócio que iremos solucionar juntos?

Entre em contato com um representante da IBM