반응형
indexing
-
정적색인(Static Indexing)과 동적색인(Dynamic Indexing)이란?Search & AI/Search 2024. 5. 10. 23:44
색인(index)이란? 검색에서 색인(index)은 검색 엔진이 웹 페이지, 문서 또는 기타 데이터 소스의 내용을 빠르고 효율적으로 검색할 수 있도록 돕는 데이터 구조를 말합니다. 색인의 주된 목적은 데이터 검색 속도를 향상시키는 것입니다. 여기서 색인이라는 용어는 종종 실제 데이터와는 별개로 생성되고 관리되는 메타데이터의 컬렉션을 의미합니다. 색인에 대해 더 자세히 설명하겠습니다.색인의 생성 과정수집: 검색 엔진은 웹 크롤러를 사용하여 인터넷을 탐색하고 웹 페이지, 문서 등의 데이터를 수집합니다.처리: 수집된 데이터는 처리 과정을 거쳐, 필요하지 않은 내용(스타일, 스크립트 코드 등)을 제거하고, 텍스트와 중요 데이터만을 추출합니다.토크나이징: 추출된 텍스트는 개별 단어나 구(phrase)로 분리되어 ..