728x90 LLM3 Ollama 원격 접속 허용하기 Ollama 를 설치하면 기본적으로 localhost 내에서만 호출이 가능하다.개발 서버에 ollama 를 설치해두고 remote 환경에서 호출을 시도 할 경우 Connection refused 를 마주할 수 있는데, 이는 별도로 설정이 필요하다. 이번에 개발환경 세팅중 마주한 트러블 슈팅을 정리해두려 한다.해당 작업은 Ubuntu Server 24.04 기준으로 작성 되었다. 1. 포트 열기sudo ufw allow 11434# 확인sudo ufw status 2. 시스템 변수 추가Ollama 공식 Github 를 통해 설치를 했다면, /etc/systemd/system/ollama.service 파일은 존재할 것이다.기본 설정은 그대로 두고, systemd 로 서비스 설정을 오버라이드 하여 HOST.. 2024. 11. 24. Ollama, RAG, Chroma, Llama 3.2 활용 - 주식 종목 목표가 리포트 하기 ollama 의 샘플 langchain-python-rag-document을 활용하여. 온라인 pdf 를 임베딩 하고 chromadb 에 넣어 PDF 기반으로 질문을 하도록 해보았다. 아주 간단한 예시로, 네이버 증권에서 제공하는 삼성SDI 종목의 종목분석 리포트를 대상으로 하였으며chromadb 는 로컬 환경에 따라 18000 포트로 변경하였다. - llama 3.2 ko bllossom 3b (https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B) 모델 사용- 프롬프트 응답시 json 포맷 제한- chroma db 에 데이터 임베딩- 임베딩 데이터 기반 질의 응답 질문 : 삼성SDI 목표 주가는?답변 : 540000 from langchain_.. 2024. 11. 13. Llama3 로컬에서 구동하기 (feat. ollama) 최근 메타에서 llama3 (https://github.com/meta-llama/llama3) 모델을 공개 하였다. GitHub - meta-llama/llama3: The official Meta Llama 3 GitHub siteThe official Meta Llama 3 GitHub site. Contribute to meta-llama/llama3 development by creating an account on GitHub.github.com ollama 로 llama2 를 local llm 으로 테스트중에 있었기에 바로 새로운 모델을 적용해보기로 했다.한국어 버전의 모델을 사용중이므로 Llama-3-Open-Ko-8B-gguf (https://huggingface.co/teddylee.. 2024. 4. 27. 이전 1 다음 728x90
