Ciao Domenico,
benvenuto tra noi! :)
Cosa intendi esattamente con il termine multilingue? ..e in che modo vorresti verificarlo?
In ogni caso ti rispondo in base a quello che ho intuito:
Penso che tu voglia realizzare una specie di crawler o robot che, datogli in pasto una url, determini se il sito puntato è presente in più di una lingua.
Premesso questo, vediamo quali sono le casistiche per un sito multilingua:
1. autodetedct da parte del sito (GeoIP, Lingua del browser, ...)
2. selezione manuale dell'utente (Pagina con i link alle varie lingue, select paese, differente estensione del dominio, ...)

Per il secondo caso penso che ci si possa fare poco, a meno che tu non assuma regole del tipo "cerco nell'html, se trovo una select con nome lang, country, language o altro, allora il sito è multilingua" ...ma come puoi immaginare è un metodo troppo "empirico".

Per il primo caso, invece, qualche giochino lo si può fare. Dividiamo altre 2 casistiche:
1.a. Autodetect in base alla lingua del browser
1.b. Autodetect tramite GeoIP

Per 1.a. potresti fare uno script che chiama ciclicamente la url passando differenti linguaggi dell'useragent e verificare se il sito si risponde sempre nello stesso modo oppure se cambia.
Per 1.b. le cose sono un po' più complesse: dovresti usare dei proxy internazionali tramite i quali fare le chiamate al sito da vari paesi del mondo e, anche in questo caso, verificare la risposta del sito.


Come ti dicevo ci possono essere anche casi in cui il webmaster ha sviluppato più siti uguali ma per nazioni diverse, non necessariamente linkati tra loro. Per esempio potresti avere dei casi del tipo www.miosito.it per l'italia e www.miosito.es per la spagna.
Il problema è che non è detto che a parità di nome dominio ogni estensione corrisponda allo stesso paese. Per esempio esistono siti che hanno la stessa base ma con estensione differente e sono siti completamente differenti.


spero di esserti stato d'aiuto

ciao
Fra