OpenAI Connector와 Ollama를 사용하여 오픈소스 LLM을 로컬로 실행하는 방법
이 블로그 게시물에서는 컴퓨터에서 로컬로 실행되는 LLM을 호출하는 방법을 알아봅니다. Mendix 앱. 이를 위해 OpenAI 커넥터를 활용하겠습니다. Mendix 마켓플레이스를 통해 사용 사례에 스마트 GenAI 기능을 도입할 수 있습니다. 많은 GenAI 공급업체가 OpenAI와 호환되는 API를 제공하므로 아래에 설명된 것과 유사한 접근 방식을 사용하여 이러한 공급업체를 통합할 수도 있습니다. Mendix.
올라마란 무엇인가요?
Ollama는 DeepSeek-R1, Llama 3.3, Phi-4, Mistral, Gemma 2 및 기타 모델과 같은 오픈 소스 대규모 언어 모델(LLM)을 로컬 머신에서 실행할 수 있는 프레임워크입니다. 로컬에서 LLM을 실행하면 사용자 환경에 데이터를 유지하고 대기 시간을 줄여 향상된 개인 정보 보호, 제어 및 성능을 제공합니다. 또한 네트워크 독립성을 제공하고 안정성과 규정 요구 사항 준수를 개선할 수 있습니다.
사전 조건
Mendix Studio Pro 9.24.2 이상.
1 – Ollama 다운로드 및 설치
Mac 사용자를 위한 참고 사항: 다음을 실행 중인 경우 Mendix Parallels가 있는 Mac에서 Studio Pro Mendix Windows에 Ollama를 설치하는 것이 좋습니다. 이렇게 하면 포트 포워딩을 설정할 필요가 없습니다.
2 – 첫 번째 모델 다운로드
확인 Ollama 모델 라이브러리 터미널을 열고 다음을 입력하여 해당 모델 중 하나를 다운로드합니다. ollama pull model-id. 모델 라이브러리에서 사용하고 싶은 모델로 모델 ID 토큰을 바꾸세요. 이 튜토리얼에서는 DeepSeek-R1을 사용하여 실행했습니다. ollama pull deepseek-r1 터미널에.
모델 크기에 따라 다운로드에 시간이 걸릴 수 있습니다. 기다리는 동안 다음 단계를 계속 진행하고 설정을 시작할 수 있습니다. Mendix 응용 프로그램.
다운로드가 완료되면 다음을 실행하여 콘솔에서 직접 모델을 테스트할 수 있습니다. ollama run deepseek-r1 (다시, 교체하다 deepseek-r1 선택한 모델 ID로) 대화를 시작하기 위한 프롬프트를 입력하세요.
3 – 설정 Mendix 앱
이제 Ollama를 성공적으로 설정하고 테스트했으므로 전환할 준비가 되었습니다. Mendix Studio Pro는 OpenAI 커넥터를 Ollama와 호환되도록 만들었습니다. 많은 AI 제공업체와 플랫폼은 OpenAI의 API 사양과 호환되는 REST API를 제공하므로 OpenAI 커넥터는 구현을 위한 이상적인 시작점을 제공합니다.
이미 Mendix Studio Pro 버전 9.24.2 이상에서 사용하고 싶은 프로젝트를 다운로드하세요. GenAI를 위한 Mendix 그리고 OpenAI 커넥터 인사말 Mendix Marketplace를 시작하고 종속성을 설정합니다. 또는 GenAI 스타터 앱 중 하나로 시작할 수 있습니다. AI 봇 스타터 앱이미 모든 필수 모듈이 포함되어 있고, ChatGPT와 유사한 맞춤형 챗봇을 만들고 싶을 때 유용한 템플릿입니다.
4 – OpenAI 커넥터 구성
- 다음 단계에 따라 암호화 키를 설정하세요. MxDocs에 언급됨.
- 그 후에 모듈 역할을 추가합니다.
OpenAIConnector.Administrator앱의 보안 설정에서 관리자 사용자 역할을 부여하세요. - 마지막으로 다음을 추가합니다.
Configuration_Overview페이지 (USE_ME > Configuration)을 탐색에 추가하거나Snippet_Configurations이미 탐색에 포함된 페이지로 이동합니다.
5 – 앱을 실행하고 Ollama 모델 구성을 추가합니다.
이제 앱을 실행하고 관리자로 로그인하여 Navigation에 추가된 OpenAI 구성 페이지를 엽니다. 새 구성을 만들려면 새 버튼을 클릭합니다.
표시 이름을 선택하고 API 유형을 OpenAI로 설정합니다. 엔드포인트를 다음으로 설정합니다. http://localhost:11434/v1 . 마지막으로 입력하세요 1 또는 토큰으로 다른 문자열을 사용하여 저장할 때 검증 오류를 방지합니다. 로컬 Ollama 서버는 인증 방법으로 보호되지 않으므로 토큰 문자열의 내용은 완전히 임의적입니다.

구성을 저장한 후 모든 기본 OpenAI 모델이 있는 새 팝업이 표시됩니다. 이러한 모델은 Ollama 구성에서 작동하지 않으므로 삭제할 수 있습니다. 그런 다음 로컬 Ollama 모델을 배포된 모델로 추가합니다. Mendix 응용 프로그램.
디스플레이 이름을 선택하고 모델 이름을 모델 라이브러리의 Ollama 모델 ID로 설정합니다. Ollama 웹사이트의 모델 개요 모델의 출력 모달리티와 추가 기능을 결정하는 데 도움이 될 수 있습니다. DeepSeek-R1의 경우 아래 스크린샷과 같아야 합니다.

저장을 클릭합니다. 그리고 배포된 모델 팝업을 닫습니다.
6 – Ollama 모델을 테스트합니다. Mendix
새 모델을 테스트하려면 Ollama 구성 행의 세 점 위에 마우스를 올려놓고 팝업 메뉴에서 테스트 옵션을 선택합니다. 배포된 모델 드롭다운 목록에서 방금 만든 모델을 선택하고 테스트 버튼을 클릭합니다. 모든 것이 올바르게 설정되면 성공 메시지가 표시됩니다.
테스트가 성공적이지 않으면 Studio Pro 콘솔의 로그를 확인하여 자세한 내용을 보고 다음 문제 해결 팁을 살펴보세요.
- 엔드포인트와 모델 이름이 올바르게 입력되었는지 확인하십시오. 둘 다 공백이 없는지 확인하십시오.
- Ollama 서버에 접속할 수 없는 경우 새 터미널을 열고 다음을 실행하여 다시 시작해 보세요.
ollama serve.
이제 모델을 사용할 준비가 되었습니다. Mendix 앱. AI Bot Starter 앱을 시작했다면 다음을 살펴보세요. 방법 설명서 설정을 완료하고 채팅을 시작하세요.
스마트 앱에 대해 자세히 알아보세요
GenAI를 처음 사용하는 경우 다음을 확인하세요. GenAI 쇼케이스 앱GenAI를 구현하기 위한 10가지 이상의 다양한 사용 사례를 보여주고 설명합니다. Mendix 앱. AI Bot Starter 앱 외에도 AI 증강 앱 개발을 시작하려면 Mendix 모든 필수 모델, 구성 논리 및 기본 구현을 포함하고 있어 스마트 앱 개발을 시작할 수 있는 다양한 시작 앱을 제공합니다. 사용 가능한 시작 앱에는 다음이 포함됩니다. 지원 도우미사용자가 지식 기반을 쿼리하고 지원 티켓을 생성하거나 RFP 보조원, 반복되는 질문이 있는 설문지에 답하는 데 사용할 수 있습니다. 다음을 참조하세요. Mendix 개요를 위한 문서 사용 가능한 모든 GenAI 구성 요소 및 앱.
모든 스타터 앱은 이 블로그 게시물에 설명된 대로 OpenAI 커넥터로 설정된 Ollama 모델과 호환되며, 실행 중인 모델이 비전이나 함수 호출과 같은 필수 기능을 지원하는 경우에 한합니다. 검토 Ollama 웹사이트의 모델 개요 특정 기능이 있는 모델을 필터링합니다. 마지막으로 추가 기능을 살펴보세요. 스마트 앱을 구축하기 위한 리소스 Mendix.
Rescale 미팅 예약
GenAI 사용 사례를 직접 작업 중이고 도움이 필요하거나 피드백을 제공하고 싶다면, 저희에게 연락해 주시기 바랍니다. 고객 성공 관리자에게 문의하세요. 우리에게 이메일을 보내 또는 우리에게 메시지를 보내주세요 #genai-connectors 채널 를 시청하여 이에 대해 더 많은 정보를 얻을 수 있습니다. Mendix 커뮤니티 슬랙. 여기에 가입!