Resumo: Um texto bem escrito deve ser coerente de forma que cada novo trecho de informação possa ser interpretado de acordo com o contexto precedente, um fator fundamental para a inteligibilidade e interpretabilidade do texto. A coerência é normalmente refletida pela estrutura do discurso e suas relações, as quais podem ser analisadas por meios de teorias como a RST (Rethorical Structure Theory), Centering e o modelo LSA (Latent Semantic Analysis), sendo essas as principais fontes de estudos para o esenvolvimento de ferramentas que possam distinguir textos coerentes e incoerentes, seja na geração, sumarização ou avaliação automática de textos. Para a língua portuguesa, o SciPo (Scientific Portuguese) é um exemplo de ferramenta de auxílio à escrita que possui um módulo de análise de coerência para a detecção de potenciais problemas de coerência semântica em resumos. Baseado em LSA, esse módulo analisa os relacionamentos semânticos entre as sentenças de um resumo, de acordo com um conjunto pré-estabelecido de dimensões. Para uma das dimensões propostas para o módulo de análise de coerência,chamada Quebra de Linearidade, os resultados obtidos por meio de LSA foram pouco satisfatórios, sugerindo a utilização de outros modelos de coerência. Nesse contexto, este trabalho teve por objetivo investigar a aplicabilidade do modelo grade de entidades (do inglês Entity-Grid), um modelo estatístico baseado na teoria de Centering, na avaliação de coerência de resumos científicos escritos em português. Mais especificamente, se buscou avaliar se tal modelo poderia ser empregado na implementação de um classificador capaz de detectar problemas locais de coerência, semelhantes aos descritos na dimensão Quebra de Linearidade, visando a futura inclusão de tal classificador no módulo de análise de coerência. Os resultados obtidos nos experimentos se mostraram próximos aos resultados do modelo grade de entidades original para a língua inglesa e semelhantes aos resultados relatados por trabalhos relacionados para outras línguas. Os resultados também foram próximos ao obtido em experimento com juízes humanos, mostrando que o modelo grade de entidades tem potencial para ser usado no contexto do sistema SciPo.
Abstract: A well-written text should be coherent, it means that each new piece of information can be interpreted as the preceding context, a key factor for the readability and interpretability the text. Coherence is usually reflected by the structure of discourse and its relations, which can be analyzed by theories such as RST (Rhetorical Structure Theory), Centering, and models like LSA (Latent Semantic Analysis), which are the main sources of studies for developing tools that can distinguish coherent texts of incoherent in the generation, automatic summarization and evaluation of texts. For the Portuguese language, SciPo (Scientific Portuguese) is an example of a writing tool which has a coherence analysis module that detects potential problems of semantic coherence in abstracts. Based on LSA, this module analyzes different semantic relationships among sentences, according to a pre-established set of dimensions. For one of these dimensions, named Linearity-break, evaluation results were not satisfactory, suggesting the use of other coherence models. In this context, our purpose was to investigate the applicability of the Entity-Grid model, a statistical model based on the Centering theory, in the evaluation of coherence in scientific abstracts written in Portuguese. More specifically, we aimed at assessing whether such model could be employed in the implementation of a classifier capable of detecting local coherence problems, similar to those assessed by the dimension Linearity-break, aiming at future inclusion of such classifier as part of coherence analysis module. Our experimental results are close to those of the original entity-grid model for English language and very similar to the results reported by related works for other languages. Results are also close to those obtained by human judges in an annotation experiment, showing that the entity-grid model can be applied in the context of SciPo system. |