Como treinar e rodar um LLM local usando Ollama para segurança absoluta de dados confidenciais

Para empresas que lidam com dados altamente confidenciais — como escritórios de advocacia, instituições financeiras, hospitais e setores de Pesquisa e Desenvolvimento (P&D) —, o uso de APIs comerciais de inteligência artificial (como as da OpenAI ou Anthropic) apresenta um risco regulatório e de segurança. O tráfego de dados sensíveis para servidores de terceiros pode violar a LGPD ou comprometer segredos industriais.

A solução definitiva para este problema é a implantação de um LLM Local na infraestrutura própria da empresa. Graças a ferramentas como o Ollama, rodar modelos de linguagem robustos diretamente em servidores internos tornou-se uma alternativa viável, ágil e extremamente segura.

Neste artigo, você aprenderá como instalar o Ollama, configurar e rodar modelos locais, criar um modelo customizado utilizando um Modelfile e expor essa inteligência de forma segura para os sistemas internos da sua empresa.

---

O que é um LLM Local e o que é o Ollama?

Um LLM Local é um modelo de inteligência artificial generativa que executa inteiramente dentro do hardware controlado pela sua organização, seja em um servidor local físico (on-premise) ou em uma máquina virtual privada na nuvem (VPC). Ele opera sem a necessidade de conexão com a internet para processar prompts.

O Ollama é um framework de código aberto projetado para empacotar, executar e gerenciar LLMs locais com extrema simplicidade. Ele atua como um wrapper leve sobre a biblioteca llama.cpp, otimizando a execução do modelo para diferentes arquiteturas de hardware (CPUs e GPUs) e fornecendo um servidor local HTTP com uma API compatível com os padrões de mercado.

---

Tabela Comparativa: LLM Local vs. API em Nuvem Comercial

Critério de Avaliação	APIs em Nuvem (OpenAI, Anthropic, etc.)	LLMs Locais via Ollama
Soberania e Privacidade	Dados trafegam e são processados em servidores externos.	Os dados nunca saem da sua rede local interna.
Custo Operacional	Cobrança por token consumido (pode escalar de forma imprevisível).	Custo fixo de hardware e eletricidade (tokens ilimitados).
Dependência de Conexão	Exige conexão estável e de alta velocidade com a internet.	Funciona 100% em ambiente offline/intranet.
Latência	Depende da internet e da carga de servidores globais.	Baixa latência interna (limitada pela capacidade do hardware).
Customização e Controle	Modificações limitadas a prompts ou fine-tuning pago.	Customização total via Modelfile, temperatura e embeddings.
Conformidade (LGPD/Compliance)	Complexo devido à transferência internacional de dados.	Conformidade nativa por não haver compartilhamento externo.

---

Dimensionamento de Hardware: O que você precisa?

Antes de iniciar a instalação, é crucial dimensionar o hardware necessário para rodar os modelos locais com boa velocidade (tokens por segundo). O fator mais crítico aqui é a VRAM (Memória de Vídeo) da sua placa gráfica (GPU).

• Modelos de 3B a 8B parâmetros (ex: Llama 3 8B, Phi-3 3.8B): Requerem pelo menos 8 GB de VRAM. Excelentes para tarefas gerais, classificação de texto e RAG simples. Placas recomendadas: NVIDIA RTX 3060, RTX 4060 ou Apple M-Series (M1/M2/M3) com memória unificada de 16GB.
• Modelos de 14B a 34B parâmetros (ex: Command R, Qwen2 14B): Requerem pelo menos 16 GB a 24 GB de VRAM. Excelentes para análise profunda de textos jurídicos e geração de código complexo. Placas recomendadas: NVIDIA RTX 4090, RTX A4000 ou Apple Mac Studio.
• Modelos de 70B parâmetros (ex: Llama 3 70B): Requerem hardware corporativo como 48 GB+ de VRAM (ex: duas GPUs NVIDIA RTX A6000 ou GPUs de servidor como A100/H100). Ideal para raciocínio complexo a nível empresarial.

---

Guia Passo a Passo de Instalação e Execução

Passo 1: Instalação do Ollama

No Windows, Linux ou macOS, a instalação é direta. No Linux, basta rodar o comando abaixo no terminal:

curl -fsSL https://ollama.com/install.sh | sh

No Windows e macOS, basta fazer o download do instalador executável diretamente no site oficial ollama.com.

Passo 2: Executando o seu primeiro modelo

Após a instalação, você pode inicializar um modelo diretamente do terminal. O Ollama irá baixar o modelo selecionado da biblioteca pública e abrir uma interface de chat interativa:

ollama run llama3:8b

Uma vez baixado, você pode digitar prompts diretamente no terminal para testar o modelo.

---

Criando um Modelo Customizado via Modelfile

Uma das maiores vantagens do Ollama é a capacidade de “personalizar” o comportamento e os parâmetros de um modelo de linguagem usando um arquivo de configuração chamado Modelfile. Isso equivale a realizar uma engenharia de prompt de sistema fixa diretamente na base do modelo.

1. Criando o Modelfile

Crie um arquivo chamado Modelfile no seu diretório com o seguinte conteúdo:

# Especifica o modelo base
FROM llama3:8b

# Define a temperatura de resposta (0.0 = mais preciso/focado, 1.0 = mais criativo)
PARAMETER temperature 0.2

# Define o tamanho da janela de contexto para 8192 tokens (para suportar textos maiores)
PARAMETER num_ctx 8192

# Define as instruções do sistema (System Message)
SYSTEM """
Você é o Assistente Jurídico da empresa. Seu trabalho é analisar contratos internos.
Regras rígidas:
1. Responda apenas com base nas leis brasileiras vigentes.
2. Nunca invente fatos ou cláusulas contratuais.
3. Se você não souber a resposta ou não encontrar no texto enviado, diga explicitamente 'Não encontrei essas informações no documento fornecido.'
4. Responda sempre em português brasileiro de forma formal e sucinta.
"""

2. Compilando o novo modelo no Ollama

Execute o comando a seguir no terminal para criar o seu modelo personalizado (que chamaremos de assistente-juridico):

ollama create assistente-juridico -f ./Modelfile

3. Rodando o modelo customizado

Agora você pode instanciar o modelo que segue rigorosamente suas diretrizes corporativas:

ollama run assistente-juridico

---

Integração via Python: Consumindo a API Local do Ollama

O Ollama expõe um servidor HTTP local na porta 11434 por padrão. Você pode interagir com o modelo programaticamente em seus sistemas internos (como intranets ou CRMs locais) usando a biblioteca oficial do Ollama para Python.

Primeiro, instale a biblioteca:

pip install ollama

Em seguida, execute o script de consulta:

import ollama

try:
    resposta = ollama.chat(
        model='assistente-juridico',
        messages=[
            {
                'role': 'user',
                'content': 'Quais são as penalidades padrões aplicadas em caso de quebra de confidencialidade comercial?',
            },
        ]
    )
    print("Resposta do LLM Local:")
    print(resposta['message']['content'])
except Exception as e:
    print(f"Erro ao conectar ao servidor local do Ollama: {e}")

---

Boas Práticas de Segurança e Conformidade na Rede

Ao disponibilizar o Ollama corporativamente, siga estas diretrizes para manter a segurança do ambiente:

1. Restrinja o acesso à rede (Firewall): Por padrão, o Ollama escuta em localhost:11434. Se você precisar disponibilizá-lo para outras máquinas da sua rede corporativa, configure a variável de ambiente OLLAMA_HOST=0.0.0.0. No entanto, garanta via firewall local que apenas IPs autorizados da sua intranet possam enviar requisições para essa porta.
2. Sem persistência externa: Garanta que os logs de chamadas da API do Ollama sejam limpos periodicamente ou armazenados em discos criptografados dentro da sua infraestrutura corporativa para evitar que auditorias de sistema exponham dados sensíveis involuntariamente.
3. Controle de Acesso (API Gateway): Coloque um proxy reverso (como Nginx) à frente da API do Ollama para gerenciar autenticação básica ou chaves de API, garantindo rastreabilidade sobre qual setor ou colaborador realizou determinada consulta.

Ao implementar LLMs locais via Ollama, sua empresa atinge a soberania digital: a capacidade de usufruir de inteligência artificial de ponta sem comprometer a confidencialidade das operações e mantendo o controle total sobre cada byte processado.