La recherche visuelle devient beaucoup plus utile dans iOS 17

Lorsqu'Apple a lancé iOS 15 en 2021, le logiciel mis à jour comprenait une nouvelle fonctionnalité dans Photos appelée Visual Look Up. Cet outil astucieux alimenté par l'IA peut reconnaître les animaux, les plantes et les points de repère dans vos photos, et fournir des informations à leur sujet lorsqu'on appuie dessus.

Voici comment cela fonctionne : Lorsque vous ouvrez une photo de verdure dans Photos, par exemple, vous remarquerez deux petites étoiles à côté de l'icône d'information dans la barre inférieure, ce qui signifie qu'iOS a repéré quelque chose qu'il reconnaît. Touchez l'icône et vous serez rapidement informé que l'arbre le plus proche est probablement un frêne européen. Très pratique, même si le nombre de sphères est relativement restreint.

iOS 17 et iPadOS 17, qui ont fait l'objet d'une démonstration lors de la WWDC ce mois-ci et qui seront largement disponibles à l'automne de cette année, améliorent la fonction de recherche visuelle en y ajoutant la possibilité de reconnaître divers types d'aliments et, ce qui est peut-être le plus utile, des symboles.

Ces améliorations ont été dévoilées lors de la conférence WWDC (elles sont mentionnées dans notre article sur l'iPadOS 17 rédigé le même jour), mais les bêta-testeurs commencent à peine à s'en servir. Et on peut dire qu'ils sont impressionnés.

Sur Mastodon Wednesday, Federico Viticci de MacStories a fait l'éloge des performances d'iOS 17 en matière d'interprétation des balises de blanchisserie : "L'application Photos d'iOS 17 est désormais capable d'identifier les balises de blanchisserie. et qui expliquent les symboles de blanchisserie dans les photos, et c'est incroyable", écrit-il. "Nous devons revenir sur tout ce que nous avons dit sur le fait qu'Apple ne fait pas bien l'apprentissage automatique. (Pour ce que ça vaut, non tous nous n'avons pas tous critiqué les efforts d'Apple en matière d'apprentissage automatique).

Les balises de blanchisserie sont difficiles à utiliser pour les humains, car elles sont petites, souvent effacées, et leur conception est énigmatique, voire contre-intuitive. Mais elles constituent le cas d'utilisation parfait pour l'IA, étant largement cohérentes dans le cadre de paramètres visuels étroits et dépendant essentiellement du simple fait de se souvenir de la signification de chacune d'entre elles ; il y a très peu de place pour l'interprétation subjective. En conséquence, Visual Look Up indique joyeusement à Viticci que le vêtement proposé ne doit pas être séché au sèche-linge (trop tard, apparemment) ni nettoyé à sec.

MacRumors a effectué quelques tests supplémentaires et note que vous pouvez cliquer sur les informations fournies pour savoir d'où elles proviennent. Selon le site, les instructions de lavage proviennent en fin de compte de l'Organisation internationale de normalisation.

Selon MacRumors, la fonction est déjà fiable à ce stade des tests bêta, puisqu'elle semble avoir identifié avec succès tous les symboles de blanchisserie testés par le site, même si ce dernier note que les images doivent être zoomées de manière assez importante pour que la fonction Visual Look Up fonctionne. MacRumors a découvert que la fonction peut également reconnaître les symboles sur les tableaux de bord des voitures. Il s'agit d'une amélioration qui n'a pas été mentionnée lors de la keynote.

Même si les étiquettes de blanchisserie ne sont qu'une petite amélioration, elle témoigne du travail qu'Apple consacre à Visual Look Up pour en faire une fonctionnalité que nous utiliserons tous plus souvent. Et bien sûr, c'est une fonction qui pourrait être un élément clé du casque Vision Pro lorsqu'il deviendra un appareil destiné à être porté à l'extérieur.

Pour en savoir plus sur les nouvelles fonctionnalités qui arriveront sur un iPhone près de chez vous, consultez notre guide complet d'iOS 17.