An Advanced Recomposition-Based Displaying Technique: Maximizing Image Reconstruction for Virtual Museum Applications

Abstract

We present an advanced recomposition-based displaying technique designed to optimize intelligent scene retargeting in hybrid-reality environments, with two key contributions: Geometrypreserving and Human-inspired Active Detection (GHAD) and time-sensitive feature selection. GHAD progressively constructs Gaze Shift Paths (GSPs), aligning image processing with human gaze dynamics to maximize image reconstruction accuracy, while prioritizing key visual elements based on human attention patterns. The time-sensitive feature selection utilizes the BING objectness metric to identify and prioritize the most relevant features from multimodal data sources, ensuring efficient extraction and preserving exhibit content. These methods, combined with a multi-layer aggregation algorithm that encodes deep feature representations in a Gaussian Mixture Model (GMM), enable seamless scene reconstruction with improved precision. Empirical evaluations, including user studies, demonstrate the techniquea ̧ŕs superiority, achieving 3.9% to 5.0% higher precision on six scenery sets and reducing testing time by 50%. The approach effectively balances algorithmic precision with human-centered aesthetics, advancing AI-driven scene analysis and visual recomposition, while enhancing interactivity and immersion for a more engaging and adaptive user experience.

Запропоновано вдосконалену техніку відображення на основі рекомпозиції, розроблену для оптимізації інтелектуального переорієнтування сцени в середовищах гібридної реальності, з двома ключовими внесками: збереження геометрії та активне виявлення, натхнене людиною (GHAD), а також вибір ознак, залежний від часу. GHAD поступово конструює шляхи зсуву погляду (GSP), узгоджуючи обробку зображень з динамікою людського погляду для максимізації точності реконструкції зображення, одночасно надаючи пріоритет ключовим візуальним елементам на основі моделей людської уваги. Вибір ознак, залежний від часу, використовує метрику об'єктності BING для ідентифікації та визначення пріоритетів найбільш релевантних ознак з мультимодальних джерел даних, забезпечуючи ефективне вилучення та збереження вмісту експонатів. Ці методи, у поєднанні з багатошаровим алгоритмом агрегації, який кодує глибокі представлення ознак у гауссовій моделі суміші (GMM), забезпечують безшовну реконструкцію сцени з підвищеною точністю. Емпіричні оцінки, включаючи дослідження користувачів, демонструють перевагу цієї методики, яка досягає на 3,9%-5,0% вищої точності на шести наборах пейзажів та скорочує час тестування на 50%. Цей підхід ефективно балансує алгоритмічну точність з естетикою, орієнтованою на людину, вдосконалюючи аналіз сцени на основі штучного інтелекту та візуальну рекомпозицію, одночасно покращуючи інтерактивність та занурення для більш захопливого та адаптивного користувацького досвіду.