SEARCHFORMER: семантические представления патентов с использованием сиамских трансформеров для поиска уровня техники

SEARCHFORMER: Semantic patent embeddings by siamese transformers for prior art search
Konrad Vowinckel, Volker D. Hähnke
2023-04-05

ранжирование BM25поиск уровня техники патентовспециализированный BERT для патентовсемантические патентные эмбеддингисиамские трансформеры
Выявление релевантного уровня техники для патентных заявок имеет ключевое значение в работе патентных экспертов. Последние достижения в области обработки естественного языка, представленные языковыми моделями, такими как BERT, позволяют создавать инструменты нового поколения для поиска уровня техники. Эти модели могут формировать векторные представления входного текста, что позволяет использовать векторное сходство в качестве приближения семантического сходства текстов. Мы дообучили специализированную для патентов модель BERT для поиска уровня техники на большом наборе реальных примеров, включавшем патентные пункты формулы изобретения, соответствующие фрагменты, препятствующие признанию новизны или изобретательского уровня, и случайные текстовые фрагменты, создав SEARCHFORMER. В ретроспективных экспериментах по ранжированию мы показали, что наша модель обеспечивает существенное улучшение. Для этого мы сформировали оценочную выборку, включавшую 2014 пар патентных заявок и связанных с ними потенциальных документов уровня техники. Для сравнения использовали два репрезентативных базовых метода: (i) оптимизированную комбинацию автоматически сформированных запросов и функции ранжирования BM25 и (ii) несколько современных языковых моделей, включая SentenceTransformers, оптимизированных для семантического поиска. Эффективность ранжирования оценивали по позиции первого релевантного результата. С помощью t-критериев мы показали, что улучшение ранжирования, достигнутое SEARCHFORMER по сравнению с базовыми методами, статистически значимо (α = 0.01).
1
Для ретроспективных экспериментов была создана оценочная коллекция из 2014 пар патентных заявок и потенциально релевантных документов уровня техники.
2
SEARCHFORMER дообучает специализированную для патентов модель BERT на патентных пунктах формулы, фрагментах, препятствующих новизне или изобретательскому уровню, и случайных текстовых фрагментах.
3
SEARCHFORMER улучшил позицию первого релевантного результата по сравнению с оптимизированным поиском на основе запросов и BM25, а также современными языковыми моделями семантического поиска.
4
Модель представляет патентные тексты в виде векторов и использует векторное сходство для семантического поиска уровня техники.
5
Улучшения ранжирования по сравнению со всеми базовыми методами статистически значимы согласно t-тестам при α = 0,01.

патентные заявки и потенциальные документы уровня техники

семантическая релевантность и эффективность ранжирования при поиске уровня техники

Publication Details
Publication Date
2023-04-05
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Konrad Vowinckel
Volker D. Hähnke
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%