A inteligência artificial (IA) tem avançado rapidamente nos últimos anos e tem sido aplicada em diversas áreas, como reconhecimento de fala, reconhecimento de imagem, processamento de linguagem natural, entre outras. Um dos modelos de linguagem mais avançados atualmente é o ChatGPT (Generative Pre-trained Transformer) (BROWN et al, 2022), que foi treinado em uma grande quantidade de dados e é capaz de gerar textos coerentes, mesmo em tarefas complexas, como tradução automática e redação de textos. No entanto, a qualidade desses textos ainda é questionável, especialmente do ponto de vista gramatical (RADFORD et al, 2019), (KESKAR et al, 2019). Por isso, esse trabalho propõe uma taxonomia com duas categorias principais e seis tipos distintos para identificar e classificar esses possíveis erros, desenvolvida a partir da análise de um conjunto de textos gerados pela ferramenta.

A avaliação da qualidade dos textos gerados pelo ChatGPT é importante porque a geração automática de texto tem sido cada vez mais utilizada em diversas áreas, como assistentes virtuais, chatbots de atendimento ao cliente e sistemas de recomendação de produtos (DAI et al, 2019). Além disso, a compreensão e interpretação correta desses textos é essencial para garantir a satisfação do usuário e a credibilidade das empresas que os utilizam (BOWMAN, et al, 2015). Assim, este projeto de pesquisa tem como objetivo geral avaliar a qualidade dos textos gerados pela ferramenta ChatGPT do ponto de vista de uma execução gramatical acurada. Para isso, serão realizadas análises dos textos gerados pelo bot conversacional, com o objetivo de identificar os erros gramaticais mais comuns e propor possíveis soluções para corrigi-los.

A criação de um catálogo de boas práticas (padrões) e más práticas (anomalias) servirão para subsidiar a avaliação dos textos gerados pela ferramenta do ponto de vista gramatical. Dessa forma, esta pesquisa tem a intenção de contribuir para o aprimoramento da tecnologia de geração de textos por meio de IA e, consequentemente, para a qualidade da comunicação em diferentes áreas. Portanto, este projeto contribuirá para uma melhor compreensão da qualidade dos textos gerados pela máquina de IA, bem como para o desenvolvimento de modelos de linguagem mais precisos e eficazes.