키워드 너머의 검색을 생각하며

찾고 싶은 것을 정확한 단어로 표현하기 어려울 때가 있습니다. 이미지의 분위기나 장면 속 관계처럼, 단어를 알고 있어도 충분히 설명하기 어려운 정보도 있습니다. 멀티모달 검색에 관심을 두는 출발점은 이런 질문입니다.

질문과 자료의 형식이 다를 때

사용자는 문장으로 질문하고, 찾을 자료는 이미지나 영상일 수 있습니다. 반대로 이미지 하나에서 출발해 관련 문서를 찾고 싶을 수도 있습니다. 이때는 같은 단어가 있는지 찾는 것 외에도 서로 다른 형식 사이의 연결을 다뤄야 합니다.

임베딩은 그 연결을 다루는 방법 중 하나입니다. 텍스트와 이미지를 비교할 수 있는 표현으로 바꾸면, 표현 사이의 거리를 검색에 활용할 수 있습니다. 다만 가까운 표현이 사용자가 원하는 결과와 늘 일치하는지는 별도로 확인해야 합니다.

유사하다는 것과 유용하다는 것

비슷한 이미지를 찾는 일과 질문에 답할 수 있는 이미지를 찾는 일은 평가 기준이 다를 수 있습니다. 사람, 물체, 색이 비슷한지보다 어떤 행동이나 관계가 담겨 있는지가 중요할 때도 있기 때문입니다.

검색 결과가 무엇과 비슷한지보다, 어떤 질문에 유용한지를 먼저 묻기.

앞으로 확인할 질문

• 같은 의도를 다른 문장으로 표현하면 결과는 얼마나 달라질까?
• 이미지 전체의 유사도와 특정 장면·관계의 관련성을 어떻게 구분할까?
• 검색 결과를 사람이 검토할 때 어떤 근거를 함께 보여 주면 좋을까?

우선 작은 예시와 질문 묶음을 정리하고, 어떤 결과를 관련 있다고 볼지부터 정의해 보려 합니다. 이후 실제 검색 방식과 평가 과정을 살펴보며 내용을 구체화하겠습니다.