IT에반젤리스트

대부분자료에서 RAG생성시 BERT계열의 임베딩 모델을 사용하면전처리(동의어, 불용어) 처리가 필요없다는 내용이 많다. 하지만 기본 AI구축 모델의 특성상 동의어 처리가 성능개선에 도움이 된다는건 알고 있었는데 BERT같은 Transformer계열에서는 필요없다는 의견이 많아서 정리를 했습니다. 문서 벡터화(RAG 리트리버 구성)를 할 때 전처리를 어느 수준까지 해야 하는지, 특히 동의어 처리나 토큰 정제가 필요한지 여부는 성능과 정밀도에 큰 영향을 미칩니다.✅ 전제: BERT 기반 임베딩 모델의 특징BERT류(예: sentence-transformers, OpenAI Embeddings, E5, ColBERT, MiniLM)는 subword 토크나이저와 contextual embedding을 사용따..

import numpy as np import pandas as pd df1 = pd.DataFrame(     np.random.randn(4, 2),      index=[['A', 'A', 'B', 'B'], [1, 2, 1, 2]],     columns=['data1', 'data2'] ) print("DataFrame1") print(df1, "\n") df2 = pd.DataFrame(     np.random.randn(4, 4),     columns=[["A", "A", "B", "B"], ["1", "2", "1", "2"]] ) print("DataFrame2") print(df2, "\n") # 명시적 인덱싱을 활용한 df1의 인덱스 출력 print("df1.loc['A', 1]"..

핀옵스(FinOps) 핀옵스란 파이넨셜과 오퍼레이션의 합성어로 클라우드 전환에 따른 운영비용 최적화를 뜻하는 패러다임이다. 패러다임이라고 한 이유에는 여러가지복합적으로 기술, 재무, 문화가 포함되어 있다. 기술 : 요구사항을 충족하고 안정적이며 재무: 가장 저비용으로 문화: 모두가 인식하고 함께 해결하려는 문화 문화측면에서는 각 기업의 환경, 서비스, 전략, 정책에 따라 다양성을 지니고 있다. 실제적으로는 어떠한가? 우선 클라우드로의 전환이 갖는 장점은 무엇인가 살펴보자 1. 민첩성(agility) - 기존 서버 장비를 발주해서 구매하고 설치까지 시간이 1~3개월 이상소요된다. 필요시 개발, 운영장비를 준실시간으로 생성가능함으로 속도를 줄일수 있다. - 자원이 부족하면 비용만 지불하면 바로 생성 가능하다..