Détection de concepts dans une image

Résumé du document

L'annotation (semi-)automatique d'images

Semi-automatique : aide au « Tagging » d'images ? proposition d'annotations possibles pour l'utilisateur
Association de mots clés aux concepts détectés - Cas « direct » d'utilisation du moteur de détection de concepts (...)

Extraits

[...] Détection de concepts dans une image Mai 2009 Détection de concepts dans une image Introduction et principe général Les cas d'usage Fonctionnement détaillé L'annotation semi-automatique d'images Motivations et intérêts de l'annotation d'images L'apport d'un système basé sur la détection de concepts Un système existant : ALIPR Présentation Résultats des tests Conclusion Introduction et principe général Images Concepts « sémantiques » \\rd-srv-data\data\shareit\ALIPRtests\3248100857_4b8fbe49a6_o.jpg\\rd-srv-data\data\shareit\ALIPRtests\3283819802_de8a0fbd85_b.jpg Monument, historique, ville Nuit, obscurité Éclairages, lumières, reflets etc Montagne, sommets Neige, glace, glacier Campement, expédition etc \\rd-srv-data\data\shareit\ALIPRtests\459207903_d5ce64f14a_b.jpg Extraction de caractéristiques Signature de l'image Analyse par le moteur de détection de concepts Concept 1 Concept 2 Concept n Image . [...]

[...] » AnnotationMotivationsTaxonomy.png Taxonomie des motivations de l'annotation d'images Motivation traditionnelle pour une collection personnelle Retenir des détails contextuels d'une photo Rendre ses photos « trouvables » par d'autres utilisateurs Communiquer de l'information contextuelle « I tag, so I don't have to explain myself » L'annotation semi-automatique d'images Détection de concepts dans une image Introduction et principe général Les cas d'usage Fonctionnement détaillé L'annotation semi-automatique d'images Motivations et intérêts de l'annotation d'images L'apport d'un système basé sur la détection de concepts Un système existant : ALIPR Présentation Résultats des tests Conclusion Aide à l'annotation Encourager l'annotation (gain de temps, simplicité, etc.) Homogénéité : nécessité d'utiliser les mêmes annotations que d'autres utilisateurs Donner l'idée d'annotations possibles Utilisation de la détection de concepts dans une image pour proposer des annotations en rapport avec le contenu d'une image. ex : ALIPR Utilisation de la géolocalisation pour proposer des annotations en rapport avec le lieu de la prise de vue. [...]

[...] ex : ZoneTag L'annotation semi-automatique d'images Détection de concepts dans une image Introduction et principe général Les cas d'usage Fonctionnement détaillé L'annotation semi-automatique d'images Motivations et intérêts de l'annotation d'images L'apport d'un système basé sur la détection de concepts Un système existant : ALIPR Présentation Résultats des tests Conclusion Technologie d'annotation (semi)automatique d'images, basée sur la détection de concepts Site internet de démonstration Possibilité d'uploader ses photos pour les annoter Possibilité de naviguer dans la base Par annotation Par images sémantiquement proches DEMO Un système existant : Tests via une API online Base de 100 images diverses extraites de Flickr Analyse des 15 premières annotations extraites, par tranche de 5 Un système existant : Nombre moyen d'annotations correctes sur les 15 extraites : 1,95 Moyenne d'annotations correctes sur la tranche de 5 numéro : 1 : : : 0,51 Images annotées correctement au moins 1 fois dans la 1ère tranche de 5 : 52% Images annotées correctement plus de 3 fois sur les 15 annotations : 33% Images non annotées correctement sur les 15 annotations : 20% Images où les annotations correctes sont « suffisantes » : 35% Un système existant : Détection de concepts : technologie émergente Cas d'usages directs, et intéressants Premiers systèmes existants : perfectibles, mais prometteurs Conclusion Bibliographie et liens Li J., Wang J., Real-time Computerized Annotation of Pictures, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol no pp. [...]

[...] Introduction et principe général Détection de concepts dans une image Introduction et principe général Les cas d'usage Fonctionnement détaillé L'annotation semi-automatique d'images Motivations et intérêts de l'annotation d'images L'apport d'un système basé sur la détection de concepts Un système existant : ALIPR Présentation Résultats des tests Conclusion L'annotation (semi-)automatique d'images Semi-automatique : aide au « Tagging » d'images – proposition d'annotations possibles pour l'utilisateur Association de mots clés aux concepts détectés - Cas « direct » d'utilisation du moteur de détection de concepts \\rd-srv-data\data\shareit\ALIPRtests\233472093_1f1d235e7b_b.jpg Fleur Nuage Ciel Nature Papillon Coquelicot Nuit Cas d'usages Détection concepts Le ciblage publicitaire à partir d'images Cas où aucun texte n'est présent sur une page web Proposition de publicités en rapport avec les concepts extraits automatiquement des images présentes sur une page \\rd-srv-data\data\shareit\ALIPRtests\3284324456_1f6a5701ed_b.jpg Voiture, ville, ancienne, etc icones awl 04-09\BDD.pngpublicite.jpgpub_ancienne_voiture.png Image Base de publicités associées à des concepts Extraction de la publicité correspondante Cas d'usages Détection de concepts dans une image Introduction et principe général Les cas d'usage Fonctionnement détaillé L'annotation semi-automatique d'images Motivations et intérêts de l'annotation d'images L'apport d'un système basé sur la détection de concepts Un système existant : ALIPR Présentation Résultats des tests Conclusion Fonctionnement détaillé \\rd-srv-data\data\shareit\ALIPRtests\3283429641_70ea2be77e_b.jpg Création de la signature de l'image Extraction de caractéristiques couleur texture autres Combinaison des vecteurs Signature de l'image Exemple d'extraction de caractéristique de couleur \\rd-srv-data\data\shareit\ALIPRtests\7662520_1e2af1e4e5_b.jpggreen.jpgblue.jpgred.jpgcolor1.jpgcolor2.jpgbw.jpg R G B Y U V segmentation.jpg U V Moyenne pour chaque région + X Pourcentage de pixels dans la région / image entière Représentation de la couleur dans l'image Clustering via K-means Image Couches RGB Pixel Couches YUV Pixel Conversion car mauvaise représentation Fonctionnement détaillé Calcul pour chaque région Le moteur de détection des concepts : l'apprentissage Concept x gif_livre.gif Base d'apprentissage (ex possible : Flickr) Dictionnaire de concepts icones awl 04-09\BDD.png\\rd-srv-data\data\shareit\ALIPRtests\3274228480_9386a21b00_o.jpg\\rd-srv-data\data\shareit\ALIPRtests\3282681776_870b421217_o.jpg\\rd-srv-data\data\shareit\ALIPRtests\3274162716_5ff3154871_b.jpg\\rd-srv-data\data\shareit\ALIPRtests\3274199358_1a8df2668a_b.jpg Base d'images \\rd-srv-data\data\shareit\ALIPRtests\2778095123_fc1a5c5dc3_b.jpg Concept y Concept w Concept z signatureImage.png Création de signature Mesure de similarité distance? Signature X Signature Y Fonctionnement détaillé 641px-Mad_scientist_transparent_background.svg.png Le moteur de détection des concepts : l'apprentissage Algorithme d'apprentissage automatique Modèle statistique pour chaque concept : ΦMc Machine à Vecteur de Support (SVM) Autres classifieurs (Probabilité que la signature « s » appartienne au concept « c ») Fonctionnement détaillé Le moteur de détection des concepts : l'apprentissage ? [...]

[...] Espace des signatures Fonctionnement détaillé Concept n°2 Concept n°1 Concept n°3 Nouvelle image \\rd-srv-data\data\shareit\ALIPRtests\459207903_d5ce64f14a_b.jpg Extraction de caractéristiques Signature de l'image Analyse par le moteur de détection de concepts Image Vue globale Concept 1 Concept 2 Concept n . ΦMc1 ΦMc2 ΦMcn Fonctionnement détaillé Détection de concepts dans une image Introduction et principe général Les cas d'usage Fonctionnement détaillé L'annotation semi-automatique d'images Motivations et intérêts de l'annotation d'images L'apport d'un système basé sur la détection de concepts Un système existant : ALIPR Présentation Résultats des tests Conclusion Motivations et intérêts Etude : « Motivations for Annotation in Mobile and Online Media » Ex : Flickr, Picasa (Google), Pikeo (Orange) L'annotation semi-automatique d'images « La plupart des utilisateurs ne s'embêtent pas à annoter leurs images, même s'ils admettent que cela serait intéressant et aimeraient le faire plus. [...]