Faiss와 Elasticsearch 비교

Faiss(벡터 인풋):

• 주된 방식: KNN 방식 (벡터-벡터 유사성)
  • Faiss는 주로 벡터 간의 유사성을 빠르게 찾는 KNN(최근접 이웃) 검색에 최적화된 라이브러리입니다.
  • 벡터-벡터 유사성을 기반으로 작동하며, 입력된 벡터와 유사한 벡터를 매우 빠르게 찾아낼 수 있습니다.

Elasticsearch(텍스트 인풋 ):

• 주된 방식: BM25 방식 (텍스트-텍스트 유사성)
  • BM25는 텍스트-텍스트 검색 방식으로, 텍스트 데이터를 기반으로 검색을 수행합니다. Elasticsearch는 주로 이 BM25를 사용해 텍스트 간 유사성을 계산합니다.
  • BM25는 키워드 검색에 매우 적합하며, 문서와 질의(query) 사이의 관련성을 계산할 때 사용됩니다.
• 벡터 기반 방식:
  • Elasticsearch는 BM25 방식 외에도 벡터를 저장하고 검색할 수 있는 기능이 있습니다.
  • 벡터 기반 검색에서는 텍스트를 임베딩 모델을 통해 벡터화한 후 벡터 간 유사성을 계산하는 KNN 검색을 수행할 수 있습니다. 이는 Faiss와 유사한 역할을 합니다.