Controle interno na administração pública: Estudo em uma Instituição de Ensino Superior (IES) pública federal

Internal control in public administration: Study in a federal public Higher Education Institution (HEI)

Control interno en la administración pública: Estudiar en una Institución de Educación Superior (IES) pública federal

O controle interno no âmbito da gestão das universidades é uma importante ferramenta na busca da transparência e evidenciação dos resultados e dos atos públicos, bem como para assegurar o patrimônio público, com vistas a garantir a eficiência na consecução dos objetivos. Logo, a identificação das práticas de controles internos adotadas pelas universidades públicas federais brasileiras é de relevante interesse para a sociedade (Melo & Leitão, 2021).

A implementação adequada do controle interno (CI) nas organizações públicas permite monitorar as ações desenvolvidas pelos gestores públicos e fornecer informações sobre a aplicação dos recursos públicos, a eficácia e qualidade dos serviços prestados e os benefícios obtidos mediante os investimentos realizados, desempenhando imprescindível mecanismo de controle social (Beuren & Zonatto, 2014). Os recentes avanços na legislação brasileira quanto à aplicação do CI no setor público permitem o aperfeiçoamento das práticas previstas no framework integrado do Committee of Sponsoring Organizations of the Treadway Commission (COSO), a partir da introdução de novos mecanismos de controle e da revisão da estrutura de controle na administração pública (Silva et al., 2017).

O Tribunal de Contas da União (TCU), órgão de controle externo do governo federal, responsável pela fiscalização contábil, financeira, orçamentária, operacional e patrimonial dos órgãos e entidades públicas do país quanto à legalidade, legitimidade e economicidade (TCU, 2022), reconhece e utiliza o modelo COSO, tendo como base para suas avaliações de controle interno dos órgãos e entidades federais as normas emitidas pela International Organization of Supreme Audit Institutions (INTOSAI), que, em 2004, atualizou as Diretrizes para as Normas de Controle Interno do Setor Público (INTOSAI GOV 9100, 2004) adotando o modelo (TCU, 2012).

A adoção da estrutura integrada de controle interno do COSO para avaliação de controles internos evidencia um processo de evolução na avaliação e abordagem dos controles internos nas unidades sob jurisdição do TCU, evitando antigas modelagens de controle focadas em aspectos formais e de conformidade (Wanderley et al., 2015). Em decorrência dessa diretriz, o Ministério do Planejamento, Desenvolvimento e Gestão (MPDG) e a Controladoria Geral da União (CGU) adotam os componentes do referencial do COSO 2013 oficialmente para efeito de avaliação de controles internos no Poder Executivo federal, por meio da Instrução Normativa Conjunta (IN) nº 01/2016 (Brasil, 2018).

A relevância da realização de pesquisas sobre CI na administração pública tem sido destacada em estudos científicos. Beuren e Zonatto (2014) sugeriram que a utilização de um framework de pesquisa, bem como metodologias de CI e gerenciamento de riscos, também podem ser úteis para a análise das estruturas dos sistemas de controle utilizados pelas organizações públicas. Recentemente, Lopes et al. (2020) ratificaram que a temática sobre controle interno governamental necessita de aprofundamento para delinear suas principais discussões, pois constataram que a maioria dos artigos identificados dava ênfase a análises de aspectos da gestão pública, órgãos de controladoria, accountability, transparência, governança pública e procedimentos de auditoria governamental. Melo e Leitão (2021), por sua vez, observaram que apesar de estarem sendo conduzidas pesquisas sobre controle interno no âmbito público, há uma escassez de estudos no âmbito das universidades públicas, especificamente as federais.

Estudos identificados por meio de revisão de literatura nacional concluíram que, em geral, os controles internos dos órgãos e entidades da administração pública brasileira pesquisados não estão plenamente implementados e estruturados, apresentando fragilidades e baixos níveis de eficiência, eficácia e efetividade, sobretudo em relação à adequação aos componentes do COSO (Alencar & Fonseca, 2016; Araújo et al., 2016; Cannavina & Parisi, 2015; Capovilla & Gonçalves, 2018; Mota & Dantas, 2015; Silva, 2016; Silva, 2018; Sousa et al., 2017; Wanderley et al., 2015). Ademais, as pesquisas identificadas como correlacionadas a que ora se apresenta apontam que os controles internos das instituições analisadas não estão adequadamente alinhados ao COSO (Brandão, 2015; Ferreira, 2013; Gomes, 2011; Menezes et al., 2015). A Universidade Federal do Ceará (UFC), loco estudado nesta pesquisa, além do volume de recursos que administra, ocupa lugar de destaque como instituição de ensino. De acordo com o Times Higher Education (THE) 2020, a UFC é a melhor universidade pública do Norte e Nordeste do Brasil. E o QS Latin America Universities Ranking 2020 a coloca entre as 14 melhores universidades brasileiras, sendo a 10ª entre as instituições federais (UFC, 2021a).

Nessa instituição, a Pró-Reitoria de Planejamento e Administração (PROPLAD) é o órgão da administração superior que atua na operação dos macroprocessos relacionados à gestão estratégica e desenvolvimento organizacional e à gestão operacional. A atuação da PROPLAD busca observar e reforçar o estágio já alcançado de profissionalização dos processos de gestão da UFC, garantindo a segurança jurídica dos atos administrativos por meio de mecanismos de controle interno. O princípio fundamental é o suporte adequado e tempestivo às atividades-fim da instituição (UFC, 2022c).

Nesse contexto, definiu-se a seguinte questão de pesquisa: Em quais aspectos o Sistema de Controles Internos (SCI) da PROPLAD/UFC está em consonância com os componentes do modelo COSO 2013? No intuito de respondê-la, o objetivo geral do estudo é avaliar os aspectos do SCI da PROPLAD na perspectiva dos componentes do modelo COSO 2013.

As universidades públicas têm como missão principal a geração de conhecimentos científicos e tecnológicos, promoção da cultura, prestação de serviços à comunidade e formação de profissionais qualificados que atendam às demandas do mercado de trabalho e da sociedade, com visão crítica e ética, capazes de compreender e interferir nas mudanças sociais. Faz-se necessário, portanto, que estas instituições atentem para o desenvolvimento contínuo e para a modernização da sua gestão, mantendo um sistema de controle interno eficiente, eficaz e efetivo em todas as ações empreendidas (Queiroz et al., 2012). Assim, a estruturação e avaliação dos mecanismos de controle interno no âmbito dessas organizações pode ser determinante para a eficiência da gestão (Ferreira et al., 2021).

A existência de controles internos eficazes que subsidiem a execução adequada de atividades e processos permite que as universidades públicas atendam aos diversos segmentos aos quais a sua atuação está direcionada e promovam a prestação de um serviço público gratuito e de qualidade. Percebe-se, portanto, a necessidade do estudo do controle interno no âmbito da gestão das universidades, por se tratar de ferramenta essencial na busca da transparência e evidenciação dos resultados e dos atos públicos, bem como para assegurar o patrimônio público, com vistas a garantir a eficiência na consecução dos objetivos (Melo & Leitão, 2021).

Justifica-se, ainda, a seleção da instituição, uma vez que a UFC não possui sistema de controle interno formalmente institucionalizado. Ressalta-se que o relatório de gestão da UFC 2021, elaborado pela PROPLAD e disponibilizado em seu sítio eletrônico, contém tópico dedicado aos controles internos. Este, embora a Universidade esteja sujeita aos ditames da referida IN, trata apenas da auditoria interna da UFC, da comissão permanente de processo administrativo disciplinar, da comissão de ética da UFC e da superintendência de tecnologia da informação.

A presente pesquisa avança no sentido de estudar um órgão específico de uma universidade pública federal, permitindo uma análise mais aprofundada dos controles internos implementados, bem como das possíveis fragilidades e ineficiências. Além de ter sido realizada seis anos após a edição da referida IN nº 01/2016, sendo este um tempo razoável para a adequação da instituição aos seus ditames. Ademais, foi feita análise quanto à diferença de percepção sobre os controles internos entre gestores e não gestores, caracterizando avanço em relação aos estudos anteriores, que se restringiram às análises por meio dos coeficientes de similaridade e dissimilaridade.

Os resultados do estudo apontam que os controles internos da PROPLAD estão parcialmente em consonância com os componentes do COSO 2013 e que a percepção dos respondentes muda em função do exercício de cargo de direção ou função gratificada. A partir disso, apresenta-se sugestões de melhorias que visam contribuir para a atuação e o alcance dos objetivos da PROPLAD e da UFC.

Esta pesquisa pode, ainda, servir como referência para análises dos demais órgãos e unidades da Universidade, considerando as particularidades de cada um deles, em virtude das diferentes atividades que executam, bem como em instituições similares. Ademais, os resultados da pesquisa podem subsidiar a criação de um modelo de sistema de controle interno para a PROPLAD, o qual pode, posteriormente, ser expandido para os demais órgãos e unidades da UFC.

No que concerne aos aspectos metodológicos, a pesquisa se caracteriza como descritiva, realizada por meio de surveysingle entity, utilizando abordagem quantitativa na análise dos dados primários, coletados por meio da aplicação de questionário aos servidores da PROPLAD e análise qualitativa de documentos, a qual teve como objetivo subsidiar os resultados obtidos por meio do tratamento estatístico das respostas ao questionário.

Nesta seção aborda-se revisão de literatura sobre controle interno, sendo apresentados conceitos, classificações, objetivos e princípios. Trata-se, ainda, do controle interno na administração pública e da estrutura de controle interno integrada elaborada pelo COSO, bem como apresenta-se estudos anteriores sobre controle interno em instituições do setor público.

Quanto ao objetivo, caracteriza-se esta pesquisa como descritiva. Segundo Vergara (2016), esse tipo de estudo expõe características de determinada população ou fenômeno, não tendo o compromisso de explicá-las. O método de pesquisa utilizado é o survey single entity, que, de acordo com Mucci et al. (2016), tem como principal método de coleta de dados o questionário, aplicado a um grupo de indivíduos de uma única organização. Assim, ao considerar múltiplos respondentes dentro de uma mesma instituição (Van der Stede et al. 2005), permite estudar os fenômenos de modo mais profundo (Mucci et al., 2016).

No que diz respeito aos procedimentos de coleta de dados, foram obtidos dados primários, por meio da aplicação de questionário, e dados secundários, por meio de análise documental. Quanto à análise dos dados foi aplicada abordagem quantitativa no tratamento dos dados obtidos pelos questionários e análise qualitativa dos documentos coletados.

A pesquisa quantitativa se caracteriza pelo emprego de técnicas estatísticas tanto na coleta quanto no tratamento dos dados. Busca garantir a precisão dos resultados e evitar distorções de análise e interpretação, possibilitando uma margem de segurança quanto às inferências feitas (Beuren, 2013). Para Richardson (2017), é um meio para examinar a relação entre variáveis, que podem ser medidas por instrumentos, para que os dados possam ser analisados por procedimentos estatísticos.

A análise de documentos oficiais disponibilizados no sítio eletrônico da PROPLAD teve como objetivo subsidiar os resultados obtidos por meio do tratamento estatístico das respostas ao questionário. De acordo com Gil (2018) a pesquisa documental se vale de todo tipo de documentos, elaborados com finalidades diversas.

A Universidade Federal do Ceará, criada em 1954 e sediada em Fortaleza, autarquia do Poder Executivo Federal, atua em quase todas as regiões do estado, tornando-se um braço do sistema do ensino superior do Ceará (UFC, 2021b; 2022b). Em 2020, somando todos os recursos orçamentários destinados à UFC, o total ficou em torno de R$ 1,7 bilhões. Torna-se, portanto, cada vez mais necessário uma alocação e gestão eficientes dos recursos para enfrentar o desafio de conciliar custeio, modernização e reestruturação da Universidade (UFC, 2021a).

A PROPLAD, unidade de análise da pesquisa, foi instituída pelo CONSUNI em 2017 e resultou da consolidação das antigas Pró-Reitorias de Administração e de Planejamento em uma única unidade de gestão (UFC, 2022c). É o órgão administrativo de planejamento e administração da Reitoria que tem como missão prover, de forma contínua, com eficiência, eficácia e efetividade, os meios necessários à manutenção e crescimento da capacidade de gestão das atividades-fim da Universidade (UFC, 2017).

De acordo com as informações disponibilizadas no Painel Dados de Pessoal da Pró-Reitoria de Gestão de Pessoas, há 165 servidores lotados na PROPLAD. Foram considerados para o estudo apenas os servidores públicos, docentes e técnico-administrativos, de qualquer nível organizacional, que tem cargo efetivo na UFC e estão exercendo suas atividades na Pró-Reitoria. Assim, tendo em vista os filtros constantes no Painel, os 161 servidores classificados como “ativo permanente” atenderam aos critérios definidos. A consulta foi realizada em fevereiro de 2022, quando os dados estavam atualizados até novembro de 2021.

Além disso, a pesquisadora está incluída nesse quantitativo e, com o intuito de evitar viés à pesquisa, não participou do estudo. Sendo assim, 160 servidores da PROPLAD foram considerados aptos a participar da pesquisa. Dentre estes, 91 responderam ao questionário, o que representa cerca de 56,88%, conforme Tabela 2.

Foi realizada aplicação de questionário aos servidores da PROPLAD para analisar a percepção deles quanto aos controles internos existentes na Pró-Reitoria. O instrumento de coleta foi composto por 30 questões, distribuídas em 5 blocos, definidos de acordo com os componentes do COSO 2013: 1) ambiente de controle (Q1 a Q9); 2) avaliação de riscos (Q10 a Q18); 3) atividades de controle (Q19 a Q22); 4) informação e comunicação (Q23 a Q27); e, 5) atividades de monitoramento (Q28 a Q30). Além destes, o primeiro bloco do questionário destinou-se à identificação do perfil demográfico dos respondentes.

O questionário foi elaborado a partir de adaptação do instrumento utilizado por Gomes (2011), Cannavina e Parisi (2015) e Paulino et al. (2019), o qual se refere a um questionário de autoavaliação dos controles internos constante nos relatórios de gestão das unidades jurisdicionadas do TCU. As proposições foram estruturadas utilizando-se escala Likert, indicando a escolha de uma das opções: discordo totalmente, discordo, indiferente, concordo, concordo totalmente.

Como pré-teste o questionário foi enviado a 10 servidores da PROPLAD, para que estes respondessem e informassem suas impressões à pesquisadora. Foi solicitado que eles não conversassem com os outros servidores a respeito do questionário. Com base nas sugestões apresentadas foram feitos ajustes na redação de algumas questões, de forma a facilitar o entendimento dos respondentes, e estimou-se o tempo necessário para responder ao questionário. Após os ajustes, os referidos servidores responderam ao questionário novamente junto com os demais servidores.

O questionário, devidamente ajustado, foi aplicado de forma on-line, por meio da ferramenta Google Forms. Inicialmente foi encaminhado aos servidores por correio eletrônico. Em virtude, contudo, da dificuldade de obtenção de respostas, foi necessário contato telefônico com os servidores via aplicativo de mensagens. Fez-se, ainda, a distribuição impressa do texto introdutório juntamente com o endereço eletrônico do questionário, para que os servidores o acessassem por meio da leitura do código QR.

Ainda assim, o fato de muitos servidores estarem em teletrabalho, em decorrência da pandemia de Covid-19, estando enquadrados nas situações previstas na Instrução Normativa SGP/SEDGG/ME nº 90/2021, dificultou o acesso a eles. Ressalta-se que a referida IN só foi revogada a partir de 06/06/2022, por meio da Instrução Normativa SGP/SEDGG/ME nº 36/2022. Além disso, ao realizar a distribuição impressa do questionário aos servidores em trabalho presencial, a pesquisadora percebeu a resistência de alguns em respondê-lo.

Ressalta-se que a pesquisadora não tem relação próxima com a maioria dos servidores e foi informado a estes na introdução do questionário que as informações seriam utilizadas somente para fins acadêmicos e de pesquisa e que não haveria identificação dos respondentes nos dados publicados. A coleta foi iniciada em 01/12/2021 e concluída em 06/05/2022. Quanto aos documentos coletados, foram utilizados o organograma da PROPLAD, sua estrutura organizacional, o relatório de gestão UFC 2021 e manuais e guias de procedimentos diversos.

Inicialmente, com o objetivo de aferir se o instrumento utilizado nesta pesquisa era composto pelos itens realmente relevantes para análise do controle interno, aplicou-se uma série de análises fatoriais, com método de rotação ortogonal com abordagem VARIMAX, em cada um dos cinco componentes do questionário. Este método promove interpretação mais clara dos fatores e interpretação de dados mais fácil (Hair et al., 2009). Em seguida, para os itens remanescentes da análise fatorial exploratória (AFE), fez-se análise descritiva das respostas às questões.

Os coeficientes de associação de Jaccard, aplicados por Palfi e Boţa-Avram (2009), Ferreira (2013), Brandão (2015), Menezes et al. (2015), Silva (2016) e Martins (2020) foram utilizados para obter o grau de similaridade e dissimilaridade entre os controles internos da PROPLAD e os componentes do COSO 2013, conforme a seguinte sistemática:

a) Às respostas concordo (4) e concordo totalmente (5) atribuiu-se o valor 10 e às respostas discordo totalmente (1), discordo (2) e indiferente (3) o valor 0;

b) Verificou-se, para cada questão, a quantidade de respostas indicadas por 10 e por 0 e os respectivos percentuais em relação ao total de respostas;

c) Para as questões em que a maioria das respostas foi representada por 10 atribuiu-se o valor 1, indicando a existência/adequação ao COSO 2013. Em contrapartida, para as questões em que a maioria das respostas foi representada por 0, manteve-se o valor 0, indicando a inexistência/inadequação ao COSO 2013.

A partir da moda, portanto, foi identificada a resposta que caracteriza a PROPLAD. Após a conversão dos dados de acordo com os atributos definidos, os coeficientes foram calculados utilizando-se as Fórmulas 1 e 2:

Sij = a / (a + b + c) (1)

Dij = (b + c) / (a + b + c) (2)

Sendo que:

Sij: grau de similaridade entre os controles internos da PROPLAD (conjunto .) e o COSO 2013 (conjunto .);

Dij: grau de dissimilaridade entre os controles internos da PROPLAD (conjunto .) e o COSO 2013 (conjunto .);

a: número de vezes que o valor “1” aparece nos dois conjuntos;

b: número de vezes que o valor “1” aparece no conjunto . e o valor “0” no conjunto .;

c: número de vezes que o valor “0” aparece no conjunto . e o valor “1” no conjunto ..

Como o modelo COSO 2013 foi o parâmetro escolhido para esta pesquisa, admitiu-se para o conjunto . sempre o valor 1. Sendo assim, a incógnita (c) foi considerada como 0.

Para realizar o perfilamento dos respondentes a partir dos cinco componentes do modelo COSO 2013 utilizou-se a análise de cluster. Optou-se pela criação de uma medida única para cada componente, composta pelos itens remanescentes após a AFE (Hair et al., 2009). Esse procedimento é indicado quando se precisa trabalhar com dimensões e a escala possui menos de 200 respondentes (Rossel, 2020). O método de aglomeração foi o de cluster hierárquicos, para o qual foi estabelecido como parâmetro agrupamentos entre 2 e 6 clusters. Além disso, foram utilizadas duas variáveis categóricas.

Quanto ao tempo de atuação na PROPLAD, foi indicado o valor 1 para os servidores que trabalham na Pró-Reitoria até 5 anos, 2 para um período entre 6 e 10 anos e 3 para mais de 10 anos. Para os servidores que exercem algum cargo de direção (CD) ou possuem alguma função gratificada (FG) atribuiu-se o valor 1 e para os servidores que não exercem nenhum CD nem possuem FG atribuiu-se o valor 0.

O método de aglomeração escolhido foi o de cluster hierárquicos, para o qual foi estabelecido como parâmetro no software Statistical Package for Social Science (SPSS) fornecer os agrupamentos que variam entre 2 e 6 clusters. A partir da identificação dos clusters, fez-se análise descritiva de cada um dos grupos, por meio da análise de boxplot ou de diagrama de caixas. Em seguida, com o objetivo de identificar se existe diferença estatisticamente significativa entre as médias dos clusters, realizou-se teste . de Student para amostras independentes, utilizando-se o software SPSS.

Foram utilizados os softwares SPSS e Microsoft Excel. Além disso, o estudo contempla os seguintes indicadores de confiabilidade: 1) alfa de Cronbach; 2) variância média extraída (VME); e 3) confiabilidade composta (CC).

Dos 91 respondentes 82 têm acima de 30 anos, sendo que 54,95% possuem entre 31 e 40 anos. Com relação ao nível de formação, 88 possuem pelo menos o ensino superior. Além disso, 64,84% são servidores da UFC há 4-10 anos e em torno de 50% possuem até 5 anos de trabalho dedicados à PROPLAD. No que se refere a atuarem como gestores ou não, 54 informaram não ocupar nenhum cargo de direção ou exercer função gratificada, o que representa 59,34% dos respondentes.

Após a AFE, fez-se análise descritiva dos itens remanescentes para cada componente. Os valores da medida de Kaiser-Meyer-Olkin (KMO) foram aceitos para todos os componentes, conforme indicado por Hutcheson e Sofroniou (1999) e Pasquali (1999), assim como os valores dos testes de esfericidade de Bartlett, os quais possuem significância menor que 0,05 (Tabachnick & Fidell, 2007). Os indicadores de confiabilidade também foram considerados aceitáveis para todos os componentes, pois estes apresentaram alfa de Cronbach e CC superiores a 0,70 e VME maior que 0,5 (Hair et al., 2009; Kılıç, 2016).

Em relação às comunalidades e cargas fatoriais, para atividades de controle, informação e comunicação e atividades de monitoramento, os valores de todos os itens propostos foram significantes para a amostra e, portanto, aceitáveis (Hair et al., 2009). Para ambiente de controle e avaliação de riscos, contudo, alguns itens foram excluídos.

Quanto ao ambiente de controle, a percepção dos respondentes em relação à adequada segregação de funções nos processos da PROPLAD, de acordo com a Tabela 3, pode ser corroborada pela existência de estrutura organizacional documentada que contempla o organograma da Pró-Reitoria e define as atribuições de cada setor/unidade.

A partir da conversão feita para o cálculo dos coeficientes de Jaccard, conforme coluna PROPLAD (.), apenas a característica analisada na questão 2 apresenta inadequação ao COSO 2013. De forma geral, apesar dos respondentes analisarem que a gestão da Pró-Reitoria percebe a relevância dos controles internos e que esses funcionam e contribuem para alcançar os resultados, a maioria entende que os servidores e funcionários dos demais níveis organizacionais não têm a mesma percepção. Compreende-se que há falhas quanto à inclusão desses na dinâmica de formalização dos processos e de implementação dos controles internos.

Nesse sentido, é possível perceber, dentre as atribuições da divisão de controle interno (DCIN) da PROPLAD (UFC, 2017), ausência de atribuições relativas à comunicação e conscientização dos servidores e funcionários sobre o que são e quais são os controles internos, a relevância destes e a necessidade de cada um assumir as suas responsabilidades sobre eles. Ademais, foi observado no sítio eletrônico da PROPLAD uma aba destinada à gestão estratégica da UFC, contudo, não há aba destinada ao CI da Pró-Reitoria, ou da Universidade.

Na referida aba foi identificado o relatório de gestão da UFC 2021, elaborado pela PROPLAD, o qual contém tópico dedicado aos controles internos. Este, todavia, trata da auditoria interna e do relatório anual de auditoria interna 2021, da comissão permanente de processo administrativo disciplinar, da comissão de ética da UFC e da superintendência de tecnologia da informação. Tal situação aponta alinhamento ao estudo de Queiroz et al. (2012), os quais identificaram que as auditorias internas das universidades públicas federais brasileiras executam as atividades relacionadas ao CI, tendo como função prioritária atender aos órgãos superiores de controle (TCU e CGU).

Observa-se, conforme Tabela 4, que o componente avaliação de riscos não está adequadamente implementado na PROPLAD, sendo que as cinco características analisadas foram avaliadas como inadequadas ao framework do COSO 2013, sobretudo em virtude de 30 a 40% dos respondentes demonstrarem serem indiferentes a essas questões.

Nesse sentido, não foram identificadas no sítio eletrônico da PROPLAD documentações relativas ao estabelecimento dos objetivos e à definição e mensuração dos riscos relacionados a estes, bem como de estratégias e ações para mitigá-los. Ademais, constatou-se informação de que o manual de gestão de riscos da PROPLAD foi descontinuado, em virtude da criação do plano de gestão de riscos da UFC pela Secretaria de Governança da Universidade. Não tendo sido, até o momento, elaborado manual atualizado.

De acordo com a Tabela 5, percebe-se que a maioria dos respondentes entende que as atividades de controle estão adequadamente implementadas na PROPLAD. Ainda assim, a maior parte discorda ou se mostrou indiferente à relação entre os custos das atividades e os benefícios gerados por elas, bem como em relação a políticas e ações que busquem diminuir os riscos para atingir os objetivos da Pró-Reitoria.

Ressalta-se que foram identificadas, por meio da pesquisa documental, documentações relativas a orientações para a instrução dos processos de compras e contratações e seus respectivos fluxos, bem como manuais e guias de procedimentos. Identificou-se, também, mais de 150 formulários e listas de verificação (checklists) para diferentes tipos de processos.

O componente informação e comunicação também não apresentou itens inadequados de acordo com a amostra, sendo representado pelos cinco itens propostos. De acordo com a Tabela 6, observa-se que as características referentes à divulgação das informações para os diversos indivíduos, grupos e níveis organizacionais são avaliadas pelos respondentes como não conformes em relação ao COSO 2013.

Ademais, identificou-se no sítio eletrônico da PROPLAD um canal de notícias e serviços de emissão de documentos, por meio de links de acesso, além da divulgação de diversos documentos, conforme informado anteriormente. Não há, todavia, como foi relatado no início desta subseção, aba destinada a tratar especificamente sobre controle interno na Pró-Reitoria ou na UFC.

Conforme demonstrado na Tabela 7, verifica-se que as características analisadas podem ser consideradas adequadas ao COSO 2013, de acordo com a percepção dos respondentes. Cabe ressaltar, contudo, que não foram identificados no sítio eletrônico da Pró-Reitoria documentos que tratem das avaliações do SCI da PROPLAD pela gestão da Pró-Reitoria ou pela DCIN.

Constatou-se, ainda, que o manual de acompanhamento de controles internos foi descontinuado, em decorrência de mudanças no contexto da PROPLAD, não tendo sido, até o momento, elaborado manual atualizado. A percepção dos respondentes, portanto, pode estar relacionada às avaliações feitas pela auditoria interna da UFC ou pelas auditorias externas dos órgãos de controle (TCU e CGU).

De forma geral, em todos os componentes, os percentuais de respostas indiferentes são maiores que os de discordância. Isso pode decorrer do fato de não conseguirem identificá-los claramente, o que reforça a deficiência na comunicação, também em relação aos controles internos, apontada nas análises, ou mesmo a incipiência desses controles. Algumas percepções são corroboradas pela pesquisa documental, principalmente no que se refere à clara definição e atribuição de responsabilidades e segregação de funções. Depreende-se que os controles internos identificados são predominantemente relacionados a aspectos de padronização e formalização de rotinas e procedimentos, bem como análises de conformidades, além do caráter de cumprimento da legislação e atendimento às solicitações das auditorias interna e externa. Tais constatações corroboram os achados de Queiroz et al. (2012), segundo os quais, as atividades relacionadas ao controle interno nas universidades públicas federais brasileiras têm maior atuação na área de Auditoria e Fiscalização, com foco direcionado ao cumprimento da legislação, em detrimento de ações que possam colaborar para o atingimento da eficácia da instituição.

Apresenta-se na Tabela 8 os coeficientes de similaridade (Sij) e dissimilaridade (Dij) para cada um dos componentes de controle interno do modelo COSO 2013. O cálculo dos coeficientes foi realizado considerando apenas os itens remanescentes após a AFE.

Verifica-se que a avaliação de riscos apresenta o maior coeficiente de dissimilaridade dentre os cinco componentes de controle interno, sendo o único em que este coeficiente é maior que o de similaridade, atingindo um distanciamento total do framework COSO 2013. Por outro lado, o ambiente de controle é o segundo componente com maior grau de similaridade ao COSO 2013, obtendo uma semelhança de 85,71%. As análises feitas na subseção 4.2 indicam que os mecanismos relacionados à gestão são mais bem avaliados pelos respondentes.

Quando se trata, contudo, da participação dos servidores e funcionários dos demais níveis organizacionais na elaboração e implementação dos controles internos e da compreensão deles sobre a existência dessas características, as percepções são menos aguçadas. Essa situação compromete o princípio do COSO 2013 de que todos que fazem parte de uma organização devem assumir as suas responsabilidades sobre os controles internos e participar da implementação destes.

Observa-se que a situação encontrada na PROPLAD se alinha a estudos correlatos, pois Menezes et al. (2015) também identificaram a avaliação de riscos como o componente mais distante do COSO ERM para a Universidade Federal de Pernambuco (UFPE). Brandão (2015) constatou um coeficiente de dissimilaridade de 90% para a Universidade Federal de Alagoas (UFAL). Para o Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte (IFRN) esse foi o segundo pior componente (Ferreira, 2013).

As pesquisas de Ferreira (2013) e Menezes et al. (2015) também verificaram que o ambiente interno ou de controle é um dos componentes que mais se aproxima ao COSO ERM no IFRN (62,50%) e na UFPE (41,33%), respectivamente. Nesse mesmo sentido, Brandão (2015) identificou-o, para a UFAL, como o componente com maior grau de semelhança ao ideal proposto pelo modelo (31,25%). Já Gomes (2011) inferiu que o ambiente de controle é pouco eficiente para 85,7% das universidades federais da região nordeste.

No que se refere às atividades de controle, os coeficientes iguais de 0,5 indicam uma adequação parcial ao referencial. Sendo assim, os respondentes percebem a existência dessas atividades, contudo, entendem que estas não estão completamente implementadas na PROPLAD, sobretudo no que se refere a políticas e ações que contribuam para a redução dos riscos a níveis aceitáveis, de forma a alcançar os objetivos.

Para o IFRN, este foi o componente com maior grau de dissimilaridade ao COSO ERM (Ferreira, 2013). A UFAL e a UFPE também apresentaram coeficientes representativos de dessemelhança (Brandão, 2015; Menezes et al., 2015). Tais constatações diferem parcialmente do identificado para a PROPLAD, que apresenta um indicador mediano. Nesse sentido, Gomes (2011) verificou que 78,6% das universidades federais da região nordeste possuem pouca eficiência nos seus procedimentos de controle.

O componente informação e comunicação apresenta grau de semelhança de 60% ao COSO 2013. Ressalta-se que apesar da maioria dos respondentes entender que as informações relevantes são apropriadas, tempestivas, documentadas e subsidiam a tomada de decisão pelos gestores, há indícios de que elas atendem apenas parcialmente às expectativas dos demais grupos de servidores e funcionários. Por conseguinte, não contribuem de forma eficaz para a execução das responsabilidades destes. Ademais, os respondentes percebem que estas não são adequadamente comunicadas a todos os níveis organizacionais da Pró-Reitoria.

De acordo com Ferreira (2013), informação e comunicação foi o componente mais próximo, para o IFRN, considerando o que preconiza o modelo COSO ERM, apresentando coeficiente de similaridade de 80%, considerado alto em relação aos 60% encontrados para a PROPLAD. Já a UFAL e a UFPE indicaram semelhança de apenas 10% e 37,11%, respectivamente (Brandão, 2015; Menezes et al., 2015). Gomes (2011) deduziu que as informações e comunicações são pouco eficientes em 72,9% das universidades federais da região nordeste.

As atividades de monitoramento, por sua vez, com base na percepção dos servidores respondentes, indicam grau de similaridade total ao COSO 2013. Cabe destacar, contudo, que apenas pouco mais da metade dos respondentes, cerca de 52%, entendem que o SCI da PROPLAD é constantemente monitorado e tem sido considerado adequado e efetivo pelas avaliações realizadas, conforme identificado na subseção anterior. A pesquisa documental não apontou indícios de avaliações realizadas pela gestão da Pró-Reitoria ou mesmo pela DCIN.

O resultado obtido para a PROPLAD é totalmente oposto ao encontrado por Brandão (2015), que identificou grau de 100% de dissimilaridade ao COSO ERM, sendo este componente o mais crítico para a UFAL. Nesse mesmo sentido, a UFPE apresentou dessemelhança de cerca de 63% ao referencial (Menezes et al., 2015). Por outro lado, para o IFRN, esse foi o segundo componente mais próximo do modelo COSO ERM, com 66,67% de semelhança (Ferreira, 2013).

Considerando, ainda, a análise geral dos controles internos da Pró-Reitoria, englobando todos os componentes, para os respondentes da pesquisa o SCI da PROPLAD é 58,33% semelhante ao modelo COSO 2013. Sendo assim, pode-se concluir que os controles internos da PROPLAD estão parcialmente em consonância com os componentes do COSO 2013.

Segundo Ferreira (2013), de forma geral, o SCI do IFRN é 52,05% semelhante ao modelo COSO ERM. Brandão (2015) verificou que a UFAL teve grau de similaridade de 15,85% ao modelo, concluindo que os controles internos da universidade, sob a concepção do referencial, são ineficientes. Menezes et al. (2015) apuraram que, na percepção dos gestores da UFPE, o modelo de funcionamento dos controles internos da instituição apresenta coeficiente de dissimilaridade de 57,46% em relação ao modelo de referência COSO ERM.

Ante ao exposto, percebe-se que há convergência dos estudos no que se refere à avaliação de riscos como o componente que apresenta mais inadequações aos preceitos dos modelos COSO e ao ambiente de controle como um dos componentes que demonstra bons índices de similaridade. Quanto aos demais componentes, contudo, observa-se divergências entre os resultados encontrados.

Por meio da análise de cluster, o melhor agrupamento, considerando os casos e as variáveis, é o de dois clusters. A partir da análise dos dados pode-se inferir que a principal variável de distinção entre os agrupamentos é o exercício de cargo de direção ou função gratificada. Assim, o grupo 1 é formado pelos 37 respondentes que possuem algum CD ou FG. Já o grupo 2 é formado pelos 54 respondentes que não possuem.

A variável tempo de atuação na PROPLAD não foi decisiva na formação dos clusters, portanto, não se pode inferir que influencia na percepção dos respondentes em relação aos controles internos da Pró-Reitoria. Na Figura 2 apresentam-se os valores do boxplot do agrupamento 1, no qual ambiente de controle e avaliação de riscos são os componentes que possuem maiores amplitudes totais.

Observa-se que metade dos respondentes (máximo – mediana) concorda, em maior ou menor grau, que as características que compõem o ambiente de controle estão presentes na PROPLAD. Há, contudo, 25% (Q1 – mínimo) que divergem nas percepções, não tendo uma noção adequada. Apenas 25% (máximo – Q3) demonstra ter uma visão consolidada de que as práticas de avaliação de riscos estão implementadas. Infere-se que há uma zona de indiferença entre 75% dos gestores e uma parcela deles demonstra uma percepção negativa. No que se refere à informação e comunicação, metade dos gestores (máximo – mediana) entendem que os itens avaliados se encontram presentes na PROPLAD, já a outra metade (mediana – mínimo) demonstra-se dispersa entre perceber e não perceber a existência dessas características.

Os componentes atividades de controle e de monitoramento apontam uma menor dispersão. Com relação às atividades de controle, observa-se que 50% (máximo – mediana) percebem a existência dessas atividades, mas essa percepção não é tão forte quanto nos outros componentes (maior distância máximo – Q3). Quanto às atividades de monitoramento, 50% (máximo – mediana) concordam que essas atividades existem e 25% destes (máximo – Q3) concordam fortemente. Por outro lado, 50% dos gestores (mediana – mínimo) demonstram não perceber as atividades de controle e de monitoramento adequadamente, ou seja, há uma percepção homogênea de que algumas atividades existem em detrimento de outras.

A seguir, apresenta-se na Figura 3 o boxplot do cluster 2. Verifica-se que o grupo apresenta amplitudes totais maiores para todas as variáveis, possuindo valores mais distantes do limite superior, como as distâncias “Máximo – Q1” e “Máximo – Mediana”, indicando mais discrepâncias nas percepções em relação ao grupo 1. Além disso, os valores do limite inferior (mínimo) também são maiores, em virtude de existirem respondentes que discordam totalmente das características dos controles internos.

Observa-se que 50% dos respondentes (mediana – mínimo) se mostram indiferentes ou discordam que as características do ambiente de controle estejam presentes na PROPLAD, eventualmente concordando com uma ou outra característica. Avaliação de riscos é o componente que tem maior distância do máximo para a mediana, o que indica que 50% dos respondentes estão mais distantes das melhores avaliações. Assim, apenas 25% (máximo – Q3) percebem que essas práticas são desenvolvidas na PROPLAD.

Estes componentes apresentam as maiores amplitudes totais e “Q1 – Mínimo”, em que o primeiro quartil está mais distante dos demais. Sendo assim, esses 25% apontam percepções mais heterogêneas, o que pode indicar que essa parcela dos respondentes não tem uma visão consolidada sobre essas características de CI, apresentando percepções divergentes.

Metade dos respondentes (Q3 – Q1) percebem que algumas atividades de controle são desenvolvidas, mas são indiferentes a outras. No que concerne à informação e comunicação, 50% (mediana – mínimo) não concordam que estas características existem na PROPLAD ou são indiferentes a essas. Atividades de monitoramento é o componente que apresenta menor dispersão, demonstrando posições bem divididas.

Percebe-se que o grupo 2, para os cinco componentes, apresenta 25% dos respondentes (máximo – Q3) que concordam que as características de cada um existem na PROPLAD. Há, contudo, servidores que discordam totalmente que estas estejam presentes, e uma outra parcela parece estar confusa, ou não entender direito os mecanismos de CI ou não perceber se existem.

A análise de conglomerados estabelece uma medida matemática de distância, não sendo possível saber se há diferença estatística entre os clusters. Dessa forma, para entender se as variáveis (componentes) de CI são percebidas de maneira diferente pelos grupos (Fávero & Belfiore, 2017), foi realizado teste . de Student para amostras independentes, em que uma amostra é formada pelos indivíduos do grupo 1 e a outra pelos do grupo 2.

Para esta pesquisa admite-se nível de confiança de 95% e significância de 5%. Os resultados apresentados na Tabela 9 mostram que p-valor é inferior a 0,05 para todas as variáveis. Sendo assim, rejeita-se a hipótese nula (H.) e aceita-se a hipótese alternativa (H.) de que há diferença estatisticamente significante entre as médias dos clusters 1 e 2 para todos os componentes.

Os resultados apontam que os respondentes do grupo 1 possuem escores estatisticamente significativos e maiores para todos os componentes. Assim, é possível afirmar que na PROPLAD há diferença na percepção dos mecanismos de CI caso o servidor exerça/possua ou não cargo de direção/função gratificada. Constata-se que os servidores com CD ou FG percebem as características dos componentes em maior grau do que os servidores sem CD ou FG. Estes últimos demonstram baixo nível de percepção em relação aos controles internos da PROPLAD, indicando uma situação de mais indiferença quanto à existência desses ou mesmo afirmando que não existem.

Essas inferências alinham-se às análises anteriores, as quais mostram baixa percepção dos controles internos pelos servidores e funcionários dos demais níveis organizacionais, bem como ausência de comunicação adequada das informações relevantes para que possam assumir suas responsabilidades, inclusive sobre os controles internos. As características dos controles internos relacionadas à gestão são, em certo grau, mais bem percebidas e avaliadas pelos respondentes.

Esses resultados corroboram os do estudo de Ferreira (2013). A partir dos coeficientes de associação de Jaccard, a autora analisou que os docentes com mais de 10 anos de serviço que percebiam gratificação por função avaliaram um grau de semelhança de 67,12% entre o sistema de controles internos do IFRN e o modelo COSO ERM, enquanto para os docentes que não possuíam gratificação por função esse percentual correspondeu ao grau de dessemelhança.

Quanto aos servidores técnico-administrativos também se verificou que aqueles que tinham função gratificada avaliaram graus de semelhança entre o SCI do IFRN e o modelo COSO ERM maiores que os que não tinham, tanto para os servidores com até 5 anos de serviço como para aqueles com mais de 10 anos.

Essa diferença de percepção pode ser decorrente das atribuições inerentes aos cargos e funções de gestão, pois os gestores precisam entender e discutir sobre os processos estratégicos e os meios necessários para atingir os objetivos. O conhecimento sobre os controles internos, contudo, não deve existir apenas ao nível de alta administração, precisa ser disseminado por todo o corpo funcional para que efetivamente funcionem e atinjam os objetivos propostos, o que indica uma falha no SCI da PROPLAD.

Cabe considerar, ainda, que uma vez que as atribuições da DCIN são primordialmente de conformidade legal e aparentemente não há clareza quanto à distinção entre controle interno e auditoria interna, conforme constatado anteriormente, infere-se que as impressões dos respondentes com CD ou FG podem ser superestimadas.

A presente pesquisa teve como objetivo analisar os aspectos do sistema de controles internos da Pró-Reitoria de Planejamento e Administração da Universidade Federal do Ceará na perspectiva dos componentes do modelo COSO. Para tanto, foi aplicado questionário aos servidores da PROPLAD para analisar a percepção deles quanto aos controles internos existentes na Pró-Reitoria, bem como foi realizada pesquisa documental, proporcionando a triangulação dos dados.

O ambiente de controle é o segundo componente com maior grau de similaridade ao COSO 2013 (85,71%). Avaliação de riscos apresenta o maior coeficiente de dissimilaridade dentre os cinco componentes de controle interno (100%), atingindo um distanciamento total do COSO 2013. No que se refere às atividades de controle, os coeficientes iguais de 0,5 indicam uma adequabilidade parcial ao referencial. O componente informação e comunicação apresenta grau de semelhança de 60% ao framework COSO 2013. As atividades de monitoramento, por sua vez, indicam índice de similaridade total ao COSO 2013, com as características analisadas podendo ser consideradas adequadas ao modelo.

Ademais, os servidores que exercem cargo de direção ou possuem função gratificada percebem as características dos componentes de CI em maior grau do que os servidores que não têm CD ou FG. Diante disso, corrobora-se as análises que apontam baixa percepção dos controles internos pelos servidores e funcionários dos demais níveis organizacionais, bem como na comunicação adequada das informações relevantes. As características dos controles internos relacionadas à gestão são, em certo grau, mais bem percebidas e avaliadas pelos respondentes.

Em resposta à questão de pesquisa, considerando o COSO 2013, os componentes atividades de monitoramento, ambiente de controle e informação e comunicação indicam adequação parcial ao referencial. As atividades de controle demonstram estar parcialmente implementadas na PROPLAD e a avaliação de riscos apresenta inadequação quanto ao framework. A análise geral dos controles internos da Pró-Reitoria, englobando todos os componentes, aponta que o SCI da PROPLAD é 58,33% semelhante ao modelo COSO 2013, de acordo com os respondentes. Conclui-se que os controles internos da PROPLAD estão parcialmente em consonância com os componentes do COSO 2013 e que a percepção dos respondentes muda em função do exercício de cargo de direção ou função gratificada.

Sabendo que as pessoas são um fator de sucesso em qualquer sistema organizacional, em relação ao ambiente de controle sugere-se que sejam realizadas ações de capacitação para os servidores e funcionários. Torna-se pertinente também que sejam desenvolvidas práticas de inclusão dos servidores e funcionários na identificação e formalização dos processos. Para os processos de avaliação de riscos, sugere-se a realização de reuniões anuais da Pró-Reitoria, com a participação dos servidores e funcionários, de forma a estabelecer os objetivos e metas alinhados ao plano de desenvolvimento institucional e ao plano de gestão de riscos da UFC, bem como identificar os riscos relacionados a esses com o apoio da secretaria de governança.

As atividades de controle podem ser aperfeiçoadas enfocando a implementação das ações e políticas preventivas sugeridas pelos setores/unidades em seus planos anuais, com a colaboração da DCIN, buscando ultrapassar os aspectos de fiscalização e conformidade. As características de informação e comunicação podem ser melhoradas por meio da criação de canais de diálogo com os servidores e funcionários, como reuniões trimestrais com toda a PROPLAD. Em relação à comunicação externa, sugere-se a criação de aba no sítio eletrônico da Pró-Reitoria destinada aos controles internos.

Quanto às atividades de monitoramento, sugere-se a realização de reuniões trimestrais em cada setor/unidade para acompanhamento dos objetivos e metas estabelecidos e verificação da implementação dos controles internos definidos, bem como para reavaliação dos riscos e das atividades de controle estabelecidas. Essa supervisão deve contar com o apoio da DCIN, a qual pode avaliar os controles internos da Pró-Reitoria de forma consolidada e essas avaliações podem ser apresentadas e discutidas com todos os servidores e funcionários em reuniões semestrais. De forma que seja superada a visão de monitoramento e avaliação dos controles internos apenas pelas auditorias interna e externa.

Como limitações da pesquisa, destaca-se que para o cálculo dos coeficientes de associação de Jaccard, as repostas discordo totalmente, discordo e indiferente foram consideradas em conjunto, o que, em virtude da relevante quantidade de respostas indiferentes pode ter impactado os resultados da pesquisa. Considera-se, ainda, a dificuldade de obtenção de respostas e o instrumento de coleta utilizado. Além disso, os funcionários terceirizados não foram incluídos na pesquisa.

Sugere-se que sejam realizadas pesquisas similares em outros órgãos e unidades da UFC, bem como em outras universidades públicas do país. Podendo ser desenvolvido modelo de SCI para as universidades públicas brasileiras, adaptado do COSO 2013, por meio da adequação dos princípios do framework à realidade e às especificidades dessas instituições. Além disso, sugere-se realizar pesquisas qualitativas de inspiração etnográfica para analisar os aspectos que possam justificar as diferenças de percepção quanto aos controles internos, como estilo gerencial, falha na comunicação, entre outros.