IT에반젤리스트

대부분자료에서 RAG생성시 BERT계열의 임베딩 모델을 사용하면전처리(동의어, 불용어) 처리가 필요없다는 내용이 많다. 하지만 기본 AI구축 모델의 특성상 동의어 처리가 성능개선에 도움이 된다는건 알고 있었는데 BERT같은 Transformer계열에서는 필요없다는 의견이 많아서 정리를 했습니다. 문서 벡터화(RAG 리트리버 구성)를 할 때 전처리를 어느 수준까지 해야 하는지, 특히 동의어 처리나 토큰 정제가 필요한지 여부는 성능과 정밀도에 큰 영향을 미칩니다.✅ 전제: BERT 기반 임베딩 모델의 특징BERT류(예: sentence-transformers, OpenAI Embeddings, E5, ColBERT, MiniLM)는 subword 토크나이저와 contextual embedding을 사용따..

import numpy as np import pandas as pd df1 = pd.DataFrame(     np.random.randn(4, 2),      index=[['A', 'A', 'B', 'B'], [1, 2, 1, 2]],     columns=['data1', 'data2'] ) print("DataFrame1") print(df1, "\n") df2 = pd.DataFrame(     np.random.randn(4, 4),     columns=[["A", "A", "B", "B"], ["1", "2", "1", "2"]] ) print("DataFrame2") print(df2, "\n") # 명시적 인덱싱을 활용한 df1의 인덱스 출력 print("df1.loc['A', 1]"..

핀옵스(FinOps) 핀옵스란 파이넨셜과 오퍼레이션의 합성어로 클라우드 전환에 따른 운영비용 최적화를 뜻하는 패러다임이다. 패러다임이라고 한 이유에는 여러가지복합적으로 기술, 재무, 문화가 포함되어 있다. 기술 : 요구사항을 충족하고 안정적이며 재무: 가장 저비용으로 문화: 모두가 인식하고 함께 해결하려는 문화 문화측면에서는 각 기업의 환경, 서비스, 전략, 정책에 따라 다양성을 지니고 있다. 실제적으로는 어떠한가? 우선 클라우드로의 전환이 갖는 장점은 무엇인가 살펴보자 1. 민첩성(agility) - 기존 서버 장비를 발주해서 구매하고 설치까지 시간이 1~3개월 이상소요된다. 필요시 개발, 운영장비를 준실시간으로 생성가능함으로 속도를 줄일수 있다. - 자원이 부족하면 비용만 지불하면 바로 생성 가능하다..

CI/CD환경 실습 -본래 실습을 진행하기 위하여 가상환경을 셋팅하여 linux환경에서 셋팅하는것이 일반적 -실습편의성을 위하여 윈도우에서 실습을 진행함 실습 내용 1. Jenkins설치 2. GIT연동 3. 소스 컴파일 1. jenkins설치 https://www.jenkins.io/download/ Jenkins download and deployment Jenkins download and deployment The Jenkins project produces two release lines: Stable (LTS) and regular (Weekly). Depending on your organization's needs, one may be preferred over the other. See ..

AA파트의 역할과 직무 및 기술 java개발을 10년차 이상하셨다면 AA파트로 전환이 가능할것으로 보입니다. 우선의 역할은 1. 아키텍트: 설계자 입니다. - 직접 코딩하기전에 문서로 설계함으로서 사전에 전체적인 그림을 기리고 누락되는요소와 이슈들을 파악하여 시스템 구성과 솔루션을 통해 해결하는것입니다. - 코딩시에 문제가 발견되면 시간이 많이 소요됨으로 구성도에서 이슈를 파악함으로 시간과 비용을 절감할수 있습니다. 2. 시스템설정: nginx,tomcat같은 WEB/WAS서버에 대한 설정을 합니다. - 설치는 누구나 다 할수 있지만 상세설정에서는 업무개발시에 필요한 요건을 설정을 통해서 최적화할수 있습니다(가용성측면과 성능 층면 고려) 3. F/W개발: 보통 공통개발이라는 파트로 처음 시작하기도 합니다..

최근오픈소스 DB로 Postgresql과 MariaDB를 많이 사용하고 있다. 기존 Oracle을 사용하던 시스템을 Postgresql로 이관하는경우가 많이 있는데 유의할점이 있다. ** 각테이블, 레코드의 Volume이 얼마나 큰지 확인이 필요하다. 기존 Oracle은 막강한 압축성능과 최적화로 많은데이터를 사용해도 높은 응답속도를 자랑하고 있다. 쿼리의경우 튜닝할경우 대부분 목표시간내에 응답을 받을수 있다. 하지만 Postgresql은 성능이 좋으나 상용에 비해 한계가 있기 때문인데 필자의 경우도 MySQL사용시 1천만건 이상 데이터 입력시 현저한 속도 저하를 경험했다. 몇가지 데이터상으로 1억건이상시 성능저하 자료를 10년전에 본적이 있는데 문제는 테스트 데이터는 컬럼이 많지 않으나 실제 데이터는 ..

spring boot로 개발시 mariadb연동과 mysql연동의 경우 잘못설정하면 오류가 발생하여 삽질을 할수가 있다 에러 로그는 access denied for user 이것 때문에 DB에 들어가서 mysql.user 확인하고 grant확인하다보니 이상이 없었다. 확인결과 mysql 은 spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver spring.datasource.url=jdbc:mysql://localhost:3306/example?serverTimezone=UTC&characterEncoding=UTF-8 url과 DB이름뒤에 타임존과 인코딩을 반드시 설정해야하고 Mariadb는 인코딩을 넣으면 안된다 그리고 application.yml이..

대부분의 Django설치시 sqlite 는 python에서 기본적으로 제공된다고 나와 있다. >python mange.py dbshell "CommandError: You appear not to have the 'sqlite3' program installed or on your path" 하지만 윈도우의 경우 일부 설치가 안되거나 연결이 안되는 경우가 있다. 이러한 부분을 해결하기위해서는 별도로 설치 및 처리가 필요하다. 1. 해당 사이트에서 sqltie로 이동한다. www.sqlite.org/download.html SQLite Download Page Templates (1) and (2) are used for source-code products. Template (1) is used for ..

1.redis 윈도우10 설치 위치 github.com/microsoftarchive/redis/releases Releases · microsoftarchive/redis Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes - microsoftarchive/redis github.com 2. grep설치 http://gnuwin32.sourceforge.net/packages/grep.htm

npm설치하고 node 파일명으로 실행하면 대부분되었는데 어떤 파일부터 안되는 것이 보여 확인해보니 ES6이상인경우 변경을 해줘야 한다고 한다. 결국 babel을 설치하여 필요시마다 build하고 대상을 실행했다 (물론 변경된 파일을 실행해야한다) "build": "cross-env BABEL_ENV=production babel src --out-dir lib", 이렇게 project.json에 셋팅하고 npm run build 하면 src폴더의 js파일들이 lib로 복제되면서 변경이 된다. 그렇게 하던중에 갑자기 regeneratorRuntime is not defined 을 만나게 된다. 이건 기본이 비동기인 Nodejs에서 동기실을 사용할경우 변환된 내용이 인식 안되는 문제이다. 해결하기 위해서는..