Оптимизация систем поиска и фильтрации

Уровень 0 · материалов: 2

В кластер входят документы, посвященные программным и алгоритмическим методам ускорения поиска и фильтрации данных, но не входят документы об аппаратной совместимости оборудования.

Общие признаки: повышение производительности поиска, механизмы фильтрации данных, работа с большими наборами данных

Группа выше: Оптимизация SQL-запросов

Материалы

• #11575 — Efficient Multi-Parameter Search via Bitmask Prefiltration — Представитель этого кластера

  Ищем быстро, еще быстрее — psman

  Смысл: The main idea is to implement a high-performance pre-filtration layer using bitmasking and hashing to reduce the number of database records that require full validation during complex multi-parameter searches.

  Instead of running heavy SQL queries on millions of rows, use bitmasks and hashing to quickly pre-filter data down to a few hundred candidates for final verification.

• #13518 — Implementing Fast Search in Large Data Volumes

  Мгновенный поиск в 75 гигабайтах — HarpyWar

  Смысл: The text explains how to implement an efficient search system for massive datasets using binary search on sorted files, specifically applied to a password hash lookup table, while overcoming language-specific file size limits and optimizing storage through compression.

  A developer shares how they built a 75GB password hash lookup table using binary search in PHP, custom C# splitting tools, and client-side JS optimization.