BM25 알고리즘이란?

bm25

 BM25 알고리즘은 정보 검색 분야에서 문서의 관련성을 평가하기 위해 사용되는 랭킹 함수입니다. 이 알고리즘은 사용자의 검색 쿼리에 가장 잘 매치되는 문서를 찾아 순위를 매기는 데 사용됩니다. BM25는 TF-IDF(Term Frequency-Inverse Document Frequency) 모델을 개선한 것으로, 문서 내 특정 단어의 빈도수와 문서집합 전체에서 그 단어가 얼마나 일반적인지를 고려하여 문서의 관련성을 계산합니다.

어디에 쓰이는가?

 BM25 알고리즘은 주로 검색 엔진, 문서 분류, 자연어 처리 등의 분야에서 널리 사용됩니다. 이 알고리즘은 사용자가 입력한 검색어와 관련된 문서를 식별하고, 가장 관련성이 높은 문서부터 낮은 순으로 정렬하여 결과를 제공하는 데 중요한 역할을 합니다.

경쟁 알고리즘과의 비교

 BM25와 비교되는 대표적인 알고리즘은 TF-IDF와 랭크넷(RankNet), 램버트(LambdaMART) 등의 머신러닝 기반 알고리즘입니다. TF-IDF는 문서 내에서 단어의 빈도와 전체 문서 집합에서 단어의 역문서 빈도를 사용하여 문서의 중요도를 평가합니다. 하지만 BM25는 단어 빈도의 포화도(saturation)와 문서 길이의 정규화를 고려하여 더 정교한 관련성 평가를 제공합니다. 머신러닝 기반 알고리즘은 대규모 데이터에서 학습을 통해 더욱 맞춤화된 검색 결과를 제공할 수 있지만, 학습과정이 복잡하고 자원을 많이 소모하는 단점이 있습니다.

앞으로의 BM25 알고리즘 방향은?

 BM25 알고리즘의 미래 방향은 인공지능과 머신러닝 기술의 발전에 크게 영향을 받을 것으로 예상됩니다. 특히, 개별 사용자의 검색 이력이나 선호도를 반영하여 개인화된 검색 결과를 제공하는 방향으로 발전할 가능성이 높습니다. 또한, 다양한 유형의 데이터(예: 이미지, 비디오, 음성 등)에 대한 검색 효율성을 높이기 위해 BM25 알고리즘을 확장하는 연구가 진행될 것입니다.

위의 이미지는 BM25 알고리즘의 추상적인 개념을 도서관 설정에서 문서, 쿼리 용어, 그리고 그들의 관련성 점수를 보여주는 방식으로 시각화한 것입니다. 이 이미지는 이해를 돕기 위해 제작되었습니다.

 

작동 원리와 계산 과정

1. 용어 빈도(Term Frequency, TF): 특정 단어가 문서 내에서 등장하는 빈도입니다. 높을수록 해당 문서가 그 단어와 관련이 깊다고 볼 수 있습니다. 하지만, 단순 빈도 수치만으로는 과대평가될 위험이 있기 때문에 BM25는 이를 조정합니다.
2. 문서 빈도(Document Frequency, DF): 특정 단어가 몇 개의 문서에서 등장하는지 나타내는 값입니다. 이를 통해 단어의 희귀성을 평가할 수 있습니다.
3. 역문서 빈도(Inverse Document Frequency, IDF): DF의 역수를 취해 계산합니다. 일반적인 단어보다 희귀한 단어가 더 높은 가중치를 받게 됩니다.

BM25의 계산식은 다음과 같습니다:

여기서:

• 𝐼𝐷𝐹(𝑞𝑖)는 쿼리의 i번째 단어에 대한 역문서 빈도입니다.
• 𝑓(𝑞𝑖,𝐷)는 문서 𝐷 내에서 쿼리의 i번째 단어의 빈도입니다.
• ∣𝐷∣는 문서 𝐷의 길이(단어 수)입니다.
• avgdl은 문서 집합의 평균 문서 길이입니다.
• 𝑘1​과 𝑏는 자유 매개변수로, 각각 용어 빈도와 문서 길이의 영향력을 조절합니다. 일반적으로 𝑘1=2.0과 𝑏=0.75가 많이 사용됩니다.

계산 동작 단계

1. 용어 빈도 조정: 문서 내의 각 단어에 대해 용어 빈도를 계산하고, 이를 앞서 설명한 식에 따라 조정합니다.
2. 역문서 빈도 계산: 쿼리를 구성하는 각 단어에 대해 역문서 빈도를 계산합니다. 희귀 단어일수록 높은 값을 가집니다.
3. 문서 길이 조정: 문서의 길이가 평균보다 길거나 짧은 경우, 이에 따른 조정을 식에 반영합니다.
4. 최종 점수 계산: 위에서 계산된 값들을 합산하여 최종 점수를 도출합니다. 이 점수를 기반으로 문서들을 정렬하게 됩니다.

 BM25의 계산 과정은 쿼리에 포함된 각 단어의 중요도와 문서의 적합도를 정밀하게 측정하여, 사용자가 찾고자 하는 정보와 가장 관련성 높은 문서를 효율적으로 검색할 수 있도록 돕습니다.