Remove LanguageDetect from library folder
This commit is contained in:
Hypolite Petovan
parent
cff1de034f
commit
3987052794
|
|
@ -1,157 +0,0 @@
|
||||||
*******************
|
|
||||||
Text_LanguageDetect
|
|
||||||
*******************
|
|
||||||
PHP library to identify human languages from text samples.
|
|
||||||
Returns confidence scores for each.
|
|
||||||
|
|
||||||
|
|
||||||
Installation
|
|
||||||
============
|
|
||||||
|
|
||||||
PEAR
|
|
||||||
----
|
|
||||||
::
|
|
||||||
|
|
||||||
$ pear install Text_LanguageDetect
|
|
||||||
|
|
||||||
Composer
|
|
||||||
--------
|
|
||||||
::
|
|
||||||
|
|
||||||
$ composer require pear/text_languagedetect
|
|
||||||
|
|
||||||
|
|
||||||
Usage
|
|
||||||
=====
|
|
||||||
Also see the examples in the ``docs/`` directory and
|
|
||||||
the `official documentation`__.
|
|
||||||
|
|
||||||
__ http://pear.php.net/package/Text_LanguageDetect/docs
|
|
||||||
|
|
||||||
Language detection
|
|
||||||
------------------
|
|
||||||
Simple language detection::
|
|
||||||
|
|
||||||
<?php
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
|
|
||||||
$text = 'Was wäre, wenn ich Ihnen das jetzt sagen würde?';
|
|
||||||
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
$language = $ld->detectSimple($text);
|
|
||||||
|
|
||||||
echo $language;
|
|
||||||
//output: german
|
|
||||||
|
|
||||||
Show the three most probable languages with their confidence score::
|
|
||||||
|
|
||||||
<?php
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
|
|
||||||
$text = 'Was wäre, wenn ich Ihnen das jetzt sagen würde?';
|
|
||||||
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
//3 most probable languages
|
|
||||||
$results = $ld->detect($text, 3);
|
|
||||||
|
|
||||||
foreach ($results as $language => $confidence) {
|
|
||||||
echo $language . ': ' . number_format($confidence, 2) . "\n";
|
|
||||||
}
|
|
||||||
|
|
||||||
//output:
|
|
||||||
//german: 0.35
|
|
||||||
//dutch: 0.25
|
|
||||||
//swedish: 0.20
|
|
||||||
?>
|
|
||||||
|
|
||||||
|
|
||||||
Language code
|
|
||||||
-------------
|
|
||||||
Instead of returning the full language name, ISO 639-2 two and three
|
|
||||||
letter codes can be returned::
|
|
||||||
|
|
||||||
<?php
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
|
|
||||||
//will output the ISO 639-1 two-letter language code
|
|
||||||
// "de"
|
|
||||||
$ld->setNameMode(2);
|
|
||||||
echo $ld->detectSimple('Das ist ein kleiner Text') . "\n";
|
|
||||||
|
|
||||||
//will output the ISO 639-2 three-letter language code
|
|
||||||
// "deu"
|
|
||||||
$ld->setNameMode(3);
|
|
||||||
echo $ld->detectSimple('Das ist ein kleiner Text') . "\n";
|
|
||||||
?>
|
|
||||||
|
|
||||||
|
|
||||||
Supported languages
|
|
||||||
===================
|
|
||||||
- albanian
|
|
||||||
- arabic
|
|
||||||
- azeri
|
|
||||||
- bengali
|
|
||||||
- bulgarian
|
|
||||||
- cebuano
|
|
||||||
- croatian
|
|
||||||
- czech
|
|
||||||
- danish
|
|
||||||
- dutch
|
|
||||||
- english
|
|
||||||
- estonian
|
|
||||||
- farsi
|
|
||||||
- finnish
|
|
||||||
- french
|
|
||||||
- german
|
|
||||||
- hausa
|
|
||||||
- hawaiian
|
|
||||||
- hindi
|
|
||||||
- hungarian
|
|
||||||
- icelandic
|
|
||||||
- indonesian
|
|
||||||
- italian
|
|
||||||
- kazakh
|
|
||||||
- kyrgyz
|
|
||||||
- latin
|
|
||||||
- latvian
|
|
||||||
- lithuanian
|
|
||||||
- macedonian
|
|
||||||
- mongolian
|
|
||||||
- nepali
|
|
||||||
- norwegian
|
|
||||||
- pashto
|
|
||||||
- pidgin
|
|
||||||
- polish
|
|
||||||
- portuguese
|
|
||||||
- romanian
|
|
||||||
- russian
|
|
||||||
- serbian
|
|
||||||
- slovak
|
|
||||||
- slovene
|
|
||||||
- somali
|
|
||||||
- spanish
|
|
||||||
- swahili
|
|
||||||
- swedish
|
|
||||||
- tagalog
|
|
||||||
- turkish
|
|
||||||
- ukrainian
|
|
||||||
- urdu
|
|
||||||
- uzbek
|
|
||||||
- vietnamese
|
|
||||||
- welsh
|
|
||||||
|
|
||||||
|
|
||||||
Links
|
|
||||||
=====
|
|
||||||
Homepage
|
|
||||||
http://pear.php.net/package/Text_LanguageDetect
|
|
||||||
Bug tracker
|
|
||||||
http://pear.php.net/bugs/search.php?cmd=display&package_name[]=Text_LanguageDetect
|
|
||||||
Documentation
|
|
||||||
http://pear.php.net/package/Text_LanguageDetect/docs
|
|
||||||
Unit test status
|
|
||||||
https://travis-ci.org/pear/Text_LanguageDetect
|
|
||||||
|
|
||||||
.. image:: https://travis-ci.org/pear/Text_LanguageDetect.svg?branch=master
|
|
||||||
:target: https://travis-ci.org/pear/Text_LanguageDetect
|
|
||||||
File diff suppressed because it is too large
Load diff
|
|
@ -1,81 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* Part of Text_LanguageDetect
|
|
||||||
*
|
|
||||||
* PHP version 5
|
|
||||||
*
|
|
||||||
* @category Text
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @author Nicholas Pisarro <infinityminusnine+pear@gmail.com>
|
|
||||||
* @license BSD http://www.opensource.org/licenses/bsd-license.php
|
|
||||||
* @link http://pear.php.net/package/Text_LanguageDetect/
|
|
||||||
*/
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Part of the PEAR language detection package
|
|
||||||
*
|
|
||||||
* PHP version 5
|
|
||||||
*
|
|
||||||
* @category Text
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @author Nicholas Pisarro <infinityminusnine+pear@gmail.com>
|
|
||||||
* @license BSD http://www.opensource.org/licenses/bsd-license.php
|
|
||||||
* @link http://pear.php.net/package/Text_LanguageDetect/
|
|
||||||
* @link http://langdetect.blogspot.com/
|
|
||||||
*/
|
|
||||||
class Text_LanguageDetect_Exception extends Exception
|
|
||||||
{
|
|
||||||
/**
|
|
||||||
* Database file could not be found
|
|
||||||
*/
|
|
||||||
const DB_NOT_FOUND = 10;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Database file found, but not readable
|
|
||||||
*/
|
|
||||||
const DB_NOT_READABLE = 11;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Database file is empty
|
|
||||||
*/
|
|
||||||
const DB_EMPTY = 12;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Database contents is not a PHP array
|
|
||||||
*/
|
|
||||||
const DB_NOT_ARRAY = 13;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Magic quotes are activated
|
|
||||||
*/
|
|
||||||
const MAGIC_QUOTES = 14;
|
|
||||||
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Parameter of invalid type passed to method
|
|
||||||
*/
|
|
||||||
const PARAM_TYPE = 20;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Character in parameter is invalid
|
|
||||||
*/
|
|
||||||
const INVALID_CHAR = 21;
|
|
||||||
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Language is not in the database
|
|
||||||
*/
|
|
||||||
const UNKNOWN_LANGUAGE = 30;
|
|
||||||
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Error during block detection
|
|
||||||
*/
|
|
||||||
const BLOCK_DETECTION = 40;
|
|
||||||
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Error while clustering languages
|
|
||||||
*/
|
|
||||||
const NO_HIGHEST_KEY = 50;
|
|
||||||
}
|
|
||||||
|
|
@ -1,340 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* Part of Text_LanguageDetect
|
|
||||||
*
|
|
||||||
* PHP version 5
|
|
||||||
*
|
|
||||||
* @category Text
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @author Christian Weiske <cweiske@php.net>
|
|
||||||
* @copyright 2011 Christian Weiske <cweiske@php.net>
|
|
||||||
* @license http://www.debian.org/misc/bsd.license BSD
|
|
||||||
* @link http://pear.php.net/package/Text_LanguageDetect/
|
|
||||||
*/
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Provides a mapping between the languages from lang.dat and the
|
|
||||||
* ISO 639-1 and ISO-639-2 codes.
|
|
||||||
*
|
|
||||||
* Note that this class contains only languages that exist in lang.dat.
|
|
||||||
*
|
|
||||||
* @category Text
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @author Christian Weiske <cweiske@php.net>
|
|
||||||
* @copyright 2011 Christian Weiske <cweiske@php.net>
|
|
||||||
* @license BSD http://www.opensource.org/licenses/bsd-license.php
|
|
||||||
* @link http://www.loc.gov/standards/iso639-2/php/code_list.php
|
|
||||||
*/
|
|
||||||
class Text_LanguageDetect_ISO639
|
|
||||||
{
|
|
||||||
/**
|
|
||||||
* Maps all language names from the language database to the
|
|
||||||
* ISO 639-1 2-letter language code.
|
|
||||||
*
|
|
||||||
* NULL indicates that there is no 2-letter code.
|
|
||||||
*
|
|
||||||
* @var array
|
|
||||||
*/
|
|
||||||
public static $nameToCode2 = array(
|
|
||||||
'albanian' => 'sq',
|
|
||||||
'arabic' => 'ar',
|
|
||||||
'azeri' => 'az',
|
|
||||||
'bengali' => 'bn',
|
|
||||||
'bulgarian' => 'bg',
|
|
||||||
'cebuano' => null,
|
|
||||||
'croatian' => 'hr',
|
|
||||||
'czech' => 'cs',
|
|
||||||
'danish' => 'da',
|
|
||||||
'dutch' => 'nl',
|
|
||||||
'english' => 'en',
|
|
||||||
'estonian' => 'et',
|
|
||||||
'farsi' => 'fa',
|
|
||||||
'finnish' => 'fi',
|
|
||||||
'french' => 'fr',
|
|
||||||
'german' => 'de',
|
|
||||||
'hausa' => 'ha',
|
|
||||||
'hawaiian' => null,
|
|
||||||
'hindi' => 'hi',
|
|
||||||
'hungarian' => 'hu',
|
|
||||||
'icelandic' => 'is',
|
|
||||||
'indonesian' => 'id',
|
|
||||||
'italian' => 'it',
|
|
||||||
'kazakh' => 'kk',
|
|
||||||
'kyrgyz' => 'ky',
|
|
||||||
'latin' => 'la',
|
|
||||||
'latvian' => 'lv',
|
|
||||||
'lithuanian' => 'lt',
|
|
||||||
'macedonian' => 'mk',
|
|
||||||
'mongolian' => 'mn',
|
|
||||||
'nepali' => 'ne',
|
|
||||||
'norwegian' => 'no',
|
|
||||||
'pashto' => 'ps',
|
|
||||||
'pidgin' => null,
|
|
||||||
'polish' => 'pl',
|
|
||||||
'portuguese' => 'pt',
|
|
||||||
'romanian' => 'ro',
|
|
||||||
'russian' => 'ru',
|
|
||||||
'serbian' => 'sr',
|
|
||||||
'slovak' => 'sk',
|
|
||||||
'slovene' => 'sl',
|
|
||||||
'somali' => 'so',
|
|
||||||
'spanish' => 'es',
|
|
||||||
'swahili' => 'sw',
|
|
||||||
'swedish' => 'sv',
|
|
||||||
'tagalog' => 'tl',
|
|
||||||
'turkish' => 'tr',
|
|
||||||
'ukrainian' => 'uk',
|
|
||||||
'urdu' => 'ur',
|
|
||||||
'uzbek' => 'uz',
|
|
||||||
'vietnamese' => 'vi',
|
|
||||||
'welsh' => 'cy',
|
|
||||||
);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Maps all language names from the language database to the
|
|
||||||
* ISO 639-2 3-letter language code.
|
|
||||||
*
|
|
||||||
* @var array
|
|
||||||
*/
|
|
||||||
public static $nameToCode3 = array(
|
|
||||||
'albanian' => 'sqi',
|
|
||||||
'arabic' => 'ara',
|
|
||||||
'azeri' => 'aze',
|
|
||||||
'bengali' => 'ben',
|
|
||||||
'bulgarian' => 'bul',
|
|
||||||
'cebuano' => 'ceb',
|
|
||||||
'croatian' => 'hrv',
|
|
||||||
'czech' => 'ces',
|
|
||||||
'danish' => 'dan',
|
|
||||||
'dutch' => 'nld',
|
|
||||||
'english' => 'eng',
|
|
||||||
'estonian' => 'est',
|
|
||||||
'farsi' => 'fas',
|
|
||||||
'finnish' => 'fin',
|
|
||||||
'french' => 'fra',
|
|
||||||
'german' => 'deu',
|
|
||||||
'hausa' => 'hau',
|
|
||||||
'hawaiian' => 'haw',
|
|
||||||
'hindi' => 'hin',
|
|
||||||
'hungarian' => 'hun',
|
|
||||||
'icelandic' => 'isl',
|
|
||||||
'indonesian' => 'ind',
|
|
||||||
'italian' => 'ita',
|
|
||||||
'kazakh' => 'kaz',
|
|
||||||
'kyrgyz' => 'kir',
|
|
||||||
'latin' => 'lat',
|
|
||||||
'latvian' => 'lav',
|
|
||||||
'lithuanian' => 'lit',
|
|
||||||
'macedonian' => 'mkd',
|
|
||||||
'mongolian' => 'mon',
|
|
||||||
'nepali' => 'nep',
|
|
||||||
'norwegian' => 'nor',
|
|
||||||
'pashto' => 'pus',
|
|
||||||
'pidgin' => 'crp',
|
|
||||||
'polish' => 'pol',
|
|
||||||
'portuguese' => 'por',
|
|
||||||
'romanian' => 'ron',
|
|
||||||
'russian' => 'rus',
|
|
||||||
'serbian' => 'srp',
|
|
||||||
'slovak' => 'slk',
|
|
||||||
'slovene' => 'slv',
|
|
||||||
'somali' => 'som',
|
|
||||||
'spanish' => 'spa',
|
|
||||||
'swahili' => 'swa',
|
|
||||||
'swedish' => 'swe',
|
|
||||||
'tagalog' => 'tgl',
|
|
||||||
'turkish' => 'tur',
|
|
||||||
'ukrainian' => 'ukr',
|
|
||||||
'urdu' => 'urd',
|
|
||||||
'uzbek' => 'uzb',
|
|
||||||
'vietnamese' => 'vie',
|
|
||||||
'welsh' => 'cym',
|
|
||||||
);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Maps ISO 639-1 2-letter language codes to the language names
|
|
||||||
* in the language database
|
|
||||||
*
|
|
||||||
* Not all languages have a 2 letter code, so some are missing
|
|
||||||
*
|
|
||||||
* @var array
|
|
||||||
*/
|
|
||||||
public static $code2ToName = array(
|
|
||||||
'ar' => 'arabic',
|
|
||||||
'az' => 'azeri',
|
|
||||||
'bg' => 'bulgarian',
|
|
||||||
'bn' => 'bengali',
|
|
||||||
'cs' => 'czech',
|
|
||||||
'cy' => 'welsh',
|
|
||||||
'da' => 'danish',
|
|
||||||
'de' => 'german',
|
|
||||||
'en' => 'english',
|
|
||||||
'es' => 'spanish',
|
|
||||||
'et' => 'estonian',
|
|
||||||
'fa' => 'farsi',
|
|
||||||
'fi' => 'finnish',
|
|
||||||
'fr' => 'french',
|
|
||||||
'ha' => 'hausa',
|
|
||||||
'hi' => 'hindi',
|
|
||||||
'hr' => 'croatian',
|
|
||||||
'hu' => 'hungarian',
|
|
||||||
'id' => 'indonesian',
|
|
||||||
'is' => 'icelandic',
|
|
||||||
'it' => 'italian',
|
|
||||||
'kk' => 'kazakh',
|
|
||||||
'ky' => 'kyrgyz',
|
|
||||||
'la' => 'latin',
|
|
||||||
'lt' => 'lithuanian',
|
|
||||||
'lv' => 'latvian',
|
|
||||||
'mk' => 'macedonian',
|
|
||||||
'mn' => 'mongolian',
|
|
||||||
'ne' => 'nepali',
|
|
||||||
'nl' => 'dutch',
|
|
||||||
'no' => 'norwegian',
|
|
||||||
'pl' => 'polish',
|
|
||||||
'ps' => 'pashto',
|
|
||||||
'pt' => 'portuguese',
|
|
||||||
'ro' => 'romanian',
|
|
||||||
'ru' => 'russian',
|
|
||||||
'sk' => 'slovak',
|
|
||||||
'sl' => 'slovene',
|
|
||||||
'so' => 'somali',
|
|
||||||
'sq' => 'albanian',
|
|
||||||
'sr' => 'serbian',
|
|
||||||
'sv' => 'swedish',
|
|
||||||
'sw' => 'swahili',
|
|
||||||
'tl' => 'tagalog',
|
|
||||||
'tr' => 'turkish',
|
|
||||||
'uk' => 'ukrainian',
|
|
||||||
'ur' => 'urdu',
|
|
||||||
'uz' => 'uzbek',
|
|
||||||
'vi' => 'vietnamese',
|
|
||||||
);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Maps ISO 639-2 3-letter language codes to the language names
|
|
||||||
* in the language database.
|
|
||||||
*
|
|
||||||
* @var array
|
|
||||||
*/
|
|
||||||
public static $code3ToName = array(
|
|
||||||
'ara' => 'arabic',
|
|
||||||
'aze' => 'azeri',
|
|
||||||
'ben' => 'bengali',
|
|
||||||
'bul' => 'bulgarian',
|
|
||||||
'ceb' => 'cebuano',
|
|
||||||
'ces' => 'czech',
|
|
||||||
'crp' => 'pidgin',
|
|
||||||
'cym' => 'welsh',
|
|
||||||
'dan' => 'danish',
|
|
||||||
'deu' => 'german',
|
|
||||||
'eng' => 'english',
|
|
||||||
'est' => 'estonian',
|
|
||||||
'fas' => 'farsi',
|
|
||||||
'fin' => 'finnish',
|
|
||||||
'fra' => 'french',
|
|
||||||
'hau' => 'hausa',
|
|
||||||
'haw' => 'hawaiian',
|
|
||||||
'hin' => 'hindi',
|
|
||||||
'hrv' => 'croatian',
|
|
||||||
'hun' => 'hungarian',
|
|
||||||
'ind' => 'indonesian',
|
|
||||||
'isl' => 'icelandic',
|
|
||||||
'ita' => 'italian',
|
|
||||||
'kaz' => 'kazakh',
|
|
||||||
'kir' => 'kyrgyz',
|
|
||||||
'lat' => 'latin',
|
|
||||||
'lav' => 'latvian',
|
|
||||||
'lit' => 'lithuanian',
|
|
||||||
'mkd' => 'macedonian',
|
|
||||||
'mon' => 'mongolian',
|
|
||||||
'nep' => 'nepali',
|
|
||||||
'nld' => 'dutch',
|
|
||||||
'nor' => 'norwegian',
|
|
||||||
'pol' => 'polish',
|
|
||||||
'por' => 'portuguese',
|
|
||||||
'pus' => 'pashto',
|
|
||||||
'rom' => 'romanian',
|
|
||||||
'rus' => 'russian',
|
|
||||||
'slk' => 'slovak',
|
|
||||||
'slv' => 'slovene',
|
|
||||||
'som' => 'somali',
|
|
||||||
'spa' => 'spanish',
|
|
||||||
'sqi' => 'albanian',
|
|
||||||
'srp' => 'serbian',
|
|
||||||
'swa' => 'swahili',
|
|
||||||
'swe' => 'swedish',
|
|
||||||
'tgl' => 'tagalog',
|
|
||||||
'tur' => 'turkish',
|
|
||||||
'ukr' => 'ukrainian',
|
|
||||||
'urd' => 'urdu',
|
|
||||||
'uzb' => 'uzbek',
|
|
||||||
'vie' => 'vietnamese',
|
|
||||||
);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the 2-letter ISO 639-1 code for the given language name.
|
|
||||||
*
|
|
||||||
* @param string $lang English language name like "swedish"
|
|
||||||
*
|
|
||||||
* @return string Two-letter language code (e.g. "sv") or NULL if not found
|
|
||||||
*/
|
|
||||||
public static function nameToCode2($lang)
|
|
||||||
{
|
|
||||||
$lang = strtolower($lang);
|
|
||||||
if (!isset(self::$nameToCode2[$lang])) {
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
return self::$nameToCode2[$lang];
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the 3-letter ISO 639-2 code for the given language name.
|
|
||||||
*
|
|
||||||
* @param string $lang English language name like "swedish"
|
|
||||||
*
|
|
||||||
* @return string Three-letter language code (e.g. "swe") or NULL if not found
|
|
||||||
*/
|
|
||||||
public static function nameToCode3($lang)
|
|
||||||
{
|
|
||||||
$lang = strtolower($lang);
|
|
||||||
if (!isset(self::$nameToCode3[$lang])) {
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
return self::$nameToCode3[$lang];
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the language name for the given 2-letter ISO 639-1 code.
|
|
||||||
*
|
|
||||||
* @param string $code Two-letter language code (e.g. "sv")
|
|
||||||
*
|
|
||||||
* @return string English language name like "swedish"
|
|
||||||
*/
|
|
||||||
public static function code2ToName($code)
|
|
||||||
{
|
|
||||||
$lang = strtolower($code);
|
|
||||||
if (!isset(self::$code2ToName[$code])) {
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
return self::$code2ToName[$code];
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the language name for the given 3-letter ISO 639-2 code.
|
|
||||||
*
|
|
||||||
* @param string $code Three-letter language code (e.g. "swe")
|
|
||||||
*
|
|
||||||
* @return string English language name like "swedish"
|
|
||||||
*/
|
|
||||||
public static function code3ToName($code)
|
|
||||||
{
|
|
||||||
$lang = strtolower($code);
|
|
||||||
if (!isset(self::$code3ToName[$code])) {
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
return self::$code3ToName[$code];
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
?>
|
|
||||||
|
|
@ -1,358 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* Part of Text_LanguageDetect
|
|
||||||
*
|
|
||||||
* PHP version 5
|
|
||||||
*
|
|
||||||
* @category Text
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @author Nicholas Pisarro <infinityminusnine+pear@gmail.com>
|
|
||||||
* @copyright 2006 Nicholas Pisarro
|
|
||||||
* @license BSD http://www.opensource.org/licenses/bsd-license.php
|
|
||||||
* @link http://pear.php.net/package/Text_LanguageDetect/
|
|
||||||
*/
|
|
||||||
|
|
||||||
/**
|
|
||||||
* This class represents a text sample to be parsed.
|
|
||||||
*
|
|
||||||
* This separates the analysis of a text sample from the primary LanguageDetect
|
|
||||||
* class. After a new profile has been built, the data can be retrieved using
|
|
||||||
* the accessor functions.
|
|
||||||
*
|
|
||||||
* This class is intended to be used by the Text_LanguageDetect class, not
|
|
||||||
* end-users.
|
|
||||||
*
|
|
||||||
* @category Text
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @author Nicholas Pisarro <infinityminusnine+pear@gmail.com>
|
|
||||||
* @copyright 2006 Nicholas Pisarro
|
|
||||||
* @license BSD http://www.opensource.org/licenses/bsd-license.php
|
|
||||||
* @version Release: @package_version@
|
|
||||||
* @link http://pear.php.net/package/Text_LanguageDetect/
|
|
||||||
*/
|
|
||||||
class Text_LanguageDetect_Parser extends Text_LanguageDetect
|
|
||||||
{
|
|
||||||
/**
|
|
||||||
* The piece of text being parsed
|
|
||||||
*
|
|
||||||
* @var string
|
|
||||||
*/
|
|
||||||
protected $_string;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Stores the trigram frequencies of the sample
|
|
||||||
*
|
|
||||||
* @var string
|
|
||||||
*/
|
|
||||||
protected $_trigrams = array();
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Stores the trigram ranks of the sample
|
|
||||||
*
|
|
||||||
* @var array
|
|
||||||
*/
|
|
||||||
protected $_trigram_ranks = array();
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Stores the unicode blocks of the sample
|
|
||||||
*
|
|
||||||
* @var array
|
|
||||||
*/
|
|
||||||
protected $_unicode_blocks = array();
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Whether the parser should compile the unicode ranges
|
|
||||||
*
|
|
||||||
* @var bool
|
|
||||||
*/
|
|
||||||
protected $_compile_unicode = false;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Whether the parser should compile trigrams
|
|
||||||
*
|
|
||||||
* @var bool
|
|
||||||
*/
|
|
||||||
protected $_compile_trigram = false;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Whether the trigram parser should pad the beginning of the string
|
|
||||||
*
|
|
||||||
* @var bool
|
|
||||||
*/
|
|
||||||
protected $_trigram_pad_start = false;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Whether the unicode parser should skip non-alphabetical ascii chars
|
|
||||||
*
|
|
||||||
* @var bool
|
|
||||||
*/
|
|
||||||
protected $_unicode_skip_symbols = true;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Constructor
|
|
||||||
*
|
|
||||||
* @param string $string string to be parsed
|
|
||||||
*/
|
|
||||||
public function __construct($string)
|
|
||||||
{
|
|
||||||
$this->_string = $string;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* PHP 4 constructor for backwards compatibility.
|
|
||||||
*
|
|
||||||
* @param string $string string to be parsed
|
|
||||||
*
|
|
||||||
* @return void
|
|
||||||
*/
|
|
||||||
public function Text_LanguageDetect_Parser($string)
|
|
||||||
{
|
|
||||||
self::__construct($string);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns true if a string is suitable for parsing
|
|
||||||
*
|
|
||||||
* @param string $str input string to test
|
|
||||||
*
|
|
||||||
* @return bool true if acceptable, false if not
|
|
||||||
*/
|
|
||||||
public static function validateString($str)
|
|
||||||
{
|
|
||||||
if (!empty($str) && strlen($str) > 3 && preg_match('/\S/', $str)) {
|
|
||||||
return true;
|
|
||||||
} else {
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Turn on/off trigram counting
|
|
||||||
*
|
|
||||||
* @param bool $bool true for on, false for off
|
|
||||||
*
|
|
||||||
* @return void
|
|
||||||
*/
|
|
||||||
public function prepareTrigram($bool = true)
|
|
||||||
{
|
|
||||||
$this->_compile_trigram = $bool;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Turn on/off unicode block counting
|
|
||||||
*
|
|
||||||
* @param bool $bool true for on, false for off
|
|
||||||
*
|
|
||||||
* @return void
|
|
||||||
*/
|
|
||||||
public function prepareUnicode($bool = true)
|
|
||||||
{
|
|
||||||
$this->_compile_unicode = $bool;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Turn on/off padding the beginning of the sample string
|
|
||||||
*
|
|
||||||
* @param bool $bool true for on, false for off
|
|
||||||
*
|
|
||||||
* @return void
|
|
||||||
*/
|
|
||||||
public function setPadStart($bool = true)
|
|
||||||
{
|
|
||||||
$this->_trigram_pad_start = $bool;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Should the unicode block counter skip non-alphabetical ascii chars?
|
|
||||||
*
|
|
||||||
* @param bool $bool true for on, false for off
|
|
||||||
*
|
|
||||||
* @return void
|
|
||||||
*/
|
|
||||||
public function setUnicodeSkipSymbols($bool = true)
|
|
||||||
{
|
|
||||||
$this->_unicode_skip_symbols = $bool;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the trigram ranks for the text sample
|
|
||||||
*
|
|
||||||
* @return array Trigram ranks in the text sample
|
|
||||||
*/
|
|
||||||
public function getTrigramRanks()
|
|
||||||
{
|
|
||||||
return $this->_trigram_ranks;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Return the trigram freqency table
|
|
||||||
*
|
|
||||||
* Only used in testing to make sure the parser is working
|
|
||||||
*
|
|
||||||
* @return array Trigram freqencies in the text sample
|
|
||||||
*/
|
|
||||||
public function getTrigramFreqs()
|
|
||||||
{
|
|
||||||
return $this->_trigram;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the array of unicode blocks
|
|
||||||
*
|
|
||||||
* @return array Unicode blocks in the text sample
|
|
||||||
*/
|
|
||||||
public function getUnicodeBlocks()
|
|
||||||
{
|
|
||||||
return $this->_unicode_blocks;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Executes the parsing operation
|
|
||||||
*
|
|
||||||
* Be sure to call the set*() functions to set options and the
|
|
||||||
* prepare*() functions first to tell it what kind of data to compute
|
|
||||||
*
|
|
||||||
* Afterwards the get*() functions can be used to access the compiled
|
|
||||||
* information.
|
|
||||||
*
|
|
||||||
* @return void
|
|
||||||
*/
|
|
||||||
public function analyze()
|
|
||||||
{
|
|
||||||
$len = strlen($this->_string);
|
|
||||||
$byte_counter = 0;
|
|
||||||
|
|
||||||
|
|
||||||
// unicode startup
|
|
||||||
if ($this->_compile_unicode) {
|
|
||||||
$blocks = $this->_read_unicode_block_db();
|
|
||||||
$block_count = count($blocks);
|
|
||||||
|
|
||||||
$skipped_count = 0;
|
|
||||||
$unicode_chars = array();
|
|
||||||
}
|
|
||||||
|
|
||||||
// trigram startup
|
|
||||||
if ($this->_compile_trigram) {
|
|
||||||
// initialize them as blank so the parser will skip the first two
|
|
||||||
// (since it skips trigrams with more than 2 contiguous spaces)
|
|
||||||
$a = ' ';
|
|
||||||
$b = ' ';
|
|
||||||
|
|
||||||
// kludge
|
|
||||||
// if it finds a valid trigram to start and the start pad option is
|
|
||||||
// off, then set a variable that will be used to reduce this
|
|
||||||
// trigram after parsing has finished
|
|
||||||
if (!$this->_trigram_pad_start) {
|
|
||||||
$a = $this->_next_char($this->_string, $byte_counter, true);
|
|
||||||
|
|
||||||
if ($a != ' ') {
|
|
||||||
$b = $this->_next_char($this->_string, $byte_counter, true);
|
|
||||||
$dropone = " $a$b";
|
|
||||||
}
|
|
||||||
|
|
||||||
$byte_counter = 0;
|
|
||||||
$a = ' ';
|
|
||||||
$b = ' ';
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
while ($byte_counter < $len) {
|
|
||||||
$char = $this->_next_char($this->_string, $byte_counter, true);
|
|
||||||
|
|
||||||
|
|
||||||
// language trigram detection
|
|
||||||
if ($this->_compile_trigram) {
|
|
||||||
if (!($b == ' ' && ($a == ' ' || $char == ' '))) {
|
|
||||||
if (!isset($this->_trigram[$a . $b . $char])) {
|
|
||||||
$this->_trigram[$a . $b . $char] = 1;
|
|
||||||
} else {
|
|
||||||
$this->_trigram[$a . $b . $char]++;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
$a = $b;
|
|
||||||
$b = $char;
|
|
||||||
}
|
|
||||||
|
|
||||||
// unicode block detection
|
|
||||||
if ($this->_compile_unicode) {
|
|
||||||
if ($this->_unicode_skip_symbols
|
|
||||||
&& strlen($char) == 1
|
|
||||||
&& ($char < 'A' || $char > 'z'
|
|
||||||
|| ($char > 'Z' && $char < 'a'))
|
|
||||||
&& $char != "'"
|
|
||||||
) { // does not skip the apostrophe
|
|
||||||
// since it's included in the language
|
|
||||||
// models
|
|
||||||
|
|
||||||
$skipped_count++;
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
// build an array of all the characters
|
|
||||||
if (isset($unicode_chars[$char])) {
|
|
||||||
$unicode_chars[$char]++;
|
|
||||||
} else {
|
|
||||||
$unicode_chars[$char] = 1;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// todo: add byte detection here
|
|
||||||
}
|
|
||||||
|
|
||||||
// unicode cleanup
|
|
||||||
if ($this->_compile_unicode) {
|
|
||||||
foreach ($unicode_chars as $utf8_char => $count) {
|
|
||||||
$search_result = $this->_unicode_block_name(
|
|
||||||
$this->_utf8char2unicode($utf8_char), $blocks, $block_count
|
|
||||||
);
|
|
||||||
|
|
||||||
if ($search_result != -1) {
|
|
||||||
$block_name = $search_result[2];
|
|
||||||
} else {
|
|
||||||
$block_name = '[Malformatted]';
|
|
||||||
}
|
|
||||||
|
|
||||||
if (isset($this->_unicode_blocks[$block_name])) {
|
|
||||||
$this->_unicode_blocks[$block_name] += $count;
|
|
||||||
} else {
|
|
||||||
$this->_unicode_blocks[$block_name] = $count;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
|
|
||||||
// trigram cleanup
|
|
||||||
if ($this->_compile_trigram) {
|
|
||||||
// pad the end
|
|
||||||
if ($b != ' ') {
|
|
||||||
if (!isset($this->_trigram["$a$b "])) {
|
|
||||||
$this->_trigram["$a$b "] = 1;
|
|
||||||
} else {
|
|
||||||
$this->_trigram["$a$b "]++;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// perl compatibility; Language::Guess does not pad the beginning
|
|
||||||
// kludge
|
|
||||||
if (isset($dropone)) {
|
|
||||||
if ($this->_trigram[$dropone] == 1) {
|
|
||||||
unset($this->_trigram[$dropone]);
|
|
||||||
} else {
|
|
||||||
$this->_trigram[$dropone]--;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if (!empty($this->_trigram)) {
|
|
||||||
$this->_trigram_ranks = $this->_arr_rank($this->_trigram);
|
|
||||||
} else {
|
|
||||||
$this->_trigram_ranks = array();
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/* vim: set expandtab tabstop=4 shiftwidth=4 softtabstop=4: */
|
|
||||||
|
|
||||||
?>
|
|
||||||
|
|
@ -1,7 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* Generate the serialized unicode_blocks.dat file shipped with the package
|
|
||||||
*/
|
|
||||||
$unicode_blocks = include __DIR__ . '/unicode_blocks.php';
|
|
||||||
file_put_contents(__DIR__ . '/unicode_blocks.dat', serialize($unicode_blocks));
|
|
||||||
?>
|
|
||||||
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
|
|
@ -1,874 +0,0 @@
|
||||||
<?php
|
|
||||||
return array (
|
|
||||||
0 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0000,
|
|
||||||
1 => 0x007F,
|
|
||||||
2 => 'Basic Latin',
|
|
||||||
),
|
|
||||||
1 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0080,
|
|
||||||
1 => 0x00FF,
|
|
||||||
2 => 'Latin-1 Supplement',
|
|
||||||
),
|
|
||||||
2 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0100,
|
|
||||||
1 => 0x017F,
|
|
||||||
2 => 'Latin Extended-A',
|
|
||||||
),
|
|
||||||
3 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0180,
|
|
||||||
1 => 0x024F,
|
|
||||||
2 => 'Latin Extended-B',
|
|
||||||
),
|
|
||||||
4 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0250,
|
|
||||||
1 => 0x02AF,
|
|
||||||
2 => 'IPA Extensions',
|
|
||||||
),
|
|
||||||
5 =>
|
|
||||||
array (
|
|
||||||
0 => 0x02B0,
|
|
||||||
1 => 0x02FF,
|
|
||||||
2 => 'Spacing Modifier Letters',
|
|
||||||
),
|
|
||||||
6 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0300,
|
|
||||||
1 => 0x036F,
|
|
||||||
2 => 'Combining Diacritical Marks',
|
|
||||||
),
|
|
||||||
7 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0370,
|
|
||||||
1 => 0x03FF,
|
|
||||||
2 => 'Greek and Coptic',
|
|
||||||
),
|
|
||||||
8 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0400,
|
|
||||||
1 => 0x04FF,
|
|
||||||
2 => 'Cyrillic',
|
|
||||||
),
|
|
||||||
9 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0500,
|
|
||||||
1 => 0x052F,
|
|
||||||
2 => 'Cyrillic Supplement',
|
|
||||||
),
|
|
||||||
10 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0530,
|
|
||||||
1 => 0x058F,
|
|
||||||
2 => 'Armenian',
|
|
||||||
),
|
|
||||||
11 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0590,
|
|
||||||
1 => 0x05FF,
|
|
||||||
2 => 'Hebrew',
|
|
||||||
),
|
|
||||||
12 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0600,
|
|
||||||
1 => 0x06FF,
|
|
||||||
2 => 'Arabic',
|
|
||||||
),
|
|
||||||
13 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0700,
|
|
||||||
1 => 0x074F,
|
|
||||||
2 => 'Syriac',
|
|
||||||
),
|
|
||||||
14 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0750,
|
|
||||||
1 => 0x077F,
|
|
||||||
2 => 'Arabic Supplement',
|
|
||||||
),
|
|
||||||
15 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0780,
|
|
||||||
1 => 0x07BF,
|
|
||||||
2 => 'Thaana',
|
|
||||||
),
|
|
||||||
16 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0900,
|
|
||||||
1 => 0x097F,
|
|
||||||
2 => 'Devanagari',
|
|
||||||
),
|
|
||||||
17 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0980,
|
|
||||||
1 => 0x09FF,
|
|
||||||
2 => 'Bengali',
|
|
||||||
),
|
|
||||||
18 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0A00,
|
|
||||||
1 => 0x0A7F,
|
|
||||||
2 => 'Gurmukhi',
|
|
||||||
),
|
|
||||||
19 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0A80,
|
|
||||||
1 => 0x0AFF,
|
|
||||||
2 => 'Gujarati',
|
|
||||||
),
|
|
||||||
20 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0B00,
|
|
||||||
1 => 0x0B7F,
|
|
||||||
2 => 'Oriya',
|
|
||||||
),
|
|
||||||
21 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0B80,
|
|
||||||
1 => 0x0BFF,
|
|
||||||
2 => 'Tamil',
|
|
||||||
),
|
|
||||||
22 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0C00,
|
|
||||||
1 => 0x0C7F,
|
|
||||||
2 => 'Telugu',
|
|
||||||
),
|
|
||||||
23 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0C80,
|
|
||||||
1 => 0x0CFF,
|
|
||||||
2 => 'Kannada',
|
|
||||||
),
|
|
||||||
24 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0D00,
|
|
||||||
1 => 0x0D7F,
|
|
||||||
2 => 'Malayalam',
|
|
||||||
),
|
|
||||||
25 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0D80,
|
|
||||||
1 => 0x0DFF,
|
|
||||||
2 => 'Sinhala',
|
|
||||||
),
|
|
||||||
26 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0E00,
|
|
||||||
1 => 0x0E7F,
|
|
||||||
2 => 'Thai',
|
|
||||||
),
|
|
||||||
27 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0E80,
|
|
||||||
1 => 0x0EFF,
|
|
||||||
2 => 'Lao',
|
|
||||||
),
|
|
||||||
28 =>
|
|
||||||
array (
|
|
||||||
0 => 0x0F00,
|
|
||||||
1 => 0x0FFF,
|
|
||||||
2 => 'Tibetan',
|
|
||||||
),
|
|
||||||
29 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1000,
|
|
||||||
1 => 0x109F,
|
|
||||||
2 => 'Myanmar',
|
|
||||||
),
|
|
||||||
30 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10A0,
|
|
||||||
1 => 0x10FF,
|
|
||||||
2 => 'Georgian',
|
|
||||||
),
|
|
||||||
31 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1100,
|
|
||||||
1 => 0x11FF,
|
|
||||||
2 => 'Hangul Jamo',
|
|
||||||
),
|
|
||||||
32 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1200,
|
|
||||||
1 => 0x137F,
|
|
||||||
2 => 'Ethiopic',
|
|
||||||
),
|
|
||||||
33 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1380,
|
|
||||||
1 => 0x139F,
|
|
||||||
2 => 'Ethiopic Supplement',
|
|
||||||
),
|
|
||||||
34 =>
|
|
||||||
array (
|
|
||||||
0 => 0x13A0,
|
|
||||||
1 => 0x13FF,
|
|
||||||
2 => 'Cherokee',
|
|
||||||
),
|
|
||||||
35 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1400,
|
|
||||||
1 => 0x167F,
|
|
||||||
2 => 'Unified Canadian Aboriginal Syllabics',
|
|
||||||
),
|
|
||||||
36 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1680,
|
|
||||||
1 => 0x169F,
|
|
||||||
2 => 'Ogham',
|
|
||||||
),
|
|
||||||
37 =>
|
|
||||||
array (
|
|
||||||
0 => 0x16A0,
|
|
||||||
1 => 0x16FF,
|
|
||||||
2 => 'Runic',
|
|
||||||
),
|
|
||||||
38 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1700,
|
|
||||||
1 => 0x171F,
|
|
||||||
2 => 'Tagalog',
|
|
||||||
),
|
|
||||||
39 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1720,
|
|
||||||
1 => 0x173F,
|
|
||||||
2 => 'Hanunoo',
|
|
||||||
),
|
|
||||||
40 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1740,
|
|
||||||
1 => 0x175F,
|
|
||||||
2 => 'Buhid',
|
|
||||||
),
|
|
||||||
41 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1760,
|
|
||||||
1 => 0x177F,
|
|
||||||
2 => 'Tagbanwa',
|
|
||||||
),
|
|
||||||
42 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1780,
|
|
||||||
1 => 0x17FF,
|
|
||||||
2 => 'Khmer',
|
|
||||||
),
|
|
||||||
43 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1800,
|
|
||||||
1 => 0x18AF,
|
|
||||||
2 => 'Mongolian',
|
|
||||||
),
|
|
||||||
44 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1900,
|
|
||||||
1 => 0x194F,
|
|
||||||
2 => 'Limbu',
|
|
||||||
),
|
|
||||||
45 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1950,
|
|
||||||
1 => 0x197F,
|
|
||||||
2 => 'Tai Le',
|
|
||||||
),
|
|
||||||
46 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1980,
|
|
||||||
1 => 0x19DF,
|
|
||||||
2 => 'New Tai Lue',
|
|
||||||
),
|
|
||||||
47 =>
|
|
||||||
array (
|
|
||||||
0 => 0x19E0,
|
|
||||||
1 => 0x19FF,
|
|
||||||
2 => 'Khmer Symbols',
|
|
||||||
),
|
|
||||||
48 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1A00,
|
|
||||||
1 => 0x1A1F,
|
|
||||||
2 => 'Buginese',
|
|
||||||
),
|
|
||||||
49 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D00,
|
|
||||||
1 => 0x1D7F,
|
|
||||||
2 => 'Phonetic Extensions',
|
|
||||||
),
|
|
||||||
50 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D80,
|
|
||||||
1 => 0x1DBF,
|
|
||||||
2 => 'Phonetic Extensions Supplement',
|
|
||||||
),
|
|
||||||
51 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1DC0,
|
|
||||||
1 => 0x1DFF,
|
|
||||||
2 => 'Combining Diacritical Marks Supplement',
|
|
||||||
),
|
|
||||||
52 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1E00,
|
|
||||||
1 => 0x1EFF,
|
|
||||||
2 => 'Latin Extended Additional',
|
|
||||||
),
|
|
||||||
53 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1F00,
|
|
||||||
1 => 0x1FFF,
|
|
||||||
2 => 'Greek Extended',
|
|
||||||
),
|
|
||||||
54 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2000,
|
|
||||||
1 => 0x206F,
|
|
||||||
2 => 'General Punctuation',
|
|
||||||
),
|
|
||||||
55 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2070,
|
|
||||||
1 => 0x209F,
|
|
||||||
2 => 'Superscripts and Subscripts',
|
|
||||||
),
|
|
||||||
56 =>
|
|
||||||
array (
|
|
||||||
0 => 0x20A0,
|
|
||||||
1 => 0x20CF,
|
|
||||||
2 => 'Currency Symbols',
|
|
||||||
),
|
|
||||||
57 =>
|
|
||||||
array (
|
|
||||||
0 => 0x20D0,
|
|
||||||
1 => 0x20FF,
|
|
||||||
2 => 'Combining Diacritical Marks for Symbols',
|
|
||||||
),
|
|
||||||
58 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2100,
|
|
||||||
1 => 0x214F,
|
|
||||||
2 => 'Letterlike Symbols',
|
|
||||||
),
|
|
||||||
59 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2150,
|
|
||||||
1 => 0x218F,
|
|
||||||
2 => 'Number Forms',
|
|
||||||
),
|
|
||||||
60 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2190,
|
|
||||||
1 => 0x21FF,
|
|
||||||
2 => 'Arrows',
|
|
||||||
),
|
|
||||||
61 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2200,
|
|
||||||
1 => 0x22FF,
|
|
||||||
2 => 'Mathematical Operators',
|
|
||||||
),
|
|
||||||
62 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2300,
|
|
||||||
1 => 0x23FF,
|
|
||||||
2 => 'Miscellaneous Technical',
|
|
||||||
),
|
|
||||||
63 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2400,
|
|
||||||
1 => 0x243F,
|
|
||||||
2 => 'Control Pictures',
|
|
||||||
),
|
|
||||||
64 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2440,
|
|
||||||
1 => 0x245F,
|
|
||||||
2 => 'Optical Character Recognition',
|
|
||||||
),
|
|
||||||
65 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2460,
|
|
||||||
1 => 0x24FF,
|
|
||||||
2 => 'Enclosed Alphanumerics',
|
|
||||||
),
|
|
||||||
66 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2500,
|
|
||||||
1 => 0x257F,
|
|
||||||
2 => 'Box Drawing',
|
|
||||||
),
|
|
||||||
67 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2580,
|
|
||||||
1 => 0x259F,
|
|
||||||
2 => 'Block Elements',
|
|
||||||
),
|
|
||||||
68 =>
|
|
||||||
array (
|
|
||||||
0 => 0x25A0,
|
|
||||||
1 => 0x25FF,
|
|
||||||
2 => 'Geometric Shapes',
|
|
||||||
),
|
|
||||||
69 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2600,
|
|
||||||
1 => 0x26FF,
|
|
||||||
2 => 'Miscellaneous Symbols',
|
|
||||||
),
|
|
||||||
70 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2700,
|
|
||||||
1 => 0x27BF,
|
|
||||||
2 => 'Dingbats',
|
|
||||||
),
|
|
||||||
71 =>
|
|
||||||
array (
|
|
||||||
0 => 0x27C0,
|
|
||||||
1 => 0x27EF,
|
|
||||||
2 => 'Miscellaneous Mathematical Symbols-A',
|
|
||||||
),
|
|
||||||
72 =>
|
|
||||||
array (
|
|
||||||
0 => 0x27F0,
|
|
||||||
1 => 0x27FF,
|
|
||||||
2 => 'Supplemental Arrows-A',
|
|
||||||
),
|
|
||||||
73 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2800,
|
|
||||||
1 => 0x28FF,
|
|
||||||
2 => 'Braille Patterns',
|
|
||||||
),
|
|
||||||
74 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2900,
|
|
||||||
1 => 0x297F,
|
|
||||||
2 => 'Supplemental Arrows-B',
|
|
||||||
),
|
|
||||||
75 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2980,
|
|
||||||
1 => 0x29FF,
|
|
||||||
2 => 'Miscellaneous Mathematical Symbols-B',
|
|
||||||
),
|
|
||||||
76 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2A00,
|
|
||||||
1 => 0x2AFF,
|
|
||||||
2 => 'Supplemental Mathematical Operators',
|
|
||||||
),
|
|
||||||
77 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2B00,
|
|
||||||
1 => 0x2BFF,
|
|
||||||
2 => 'Miscellaneous Symbols and Arrows',
|
|
||||||
),
|
|
||||||
78 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2C00,
|
|
||||||
1 => 0x2C5F,
|
|
||||||
2 => 'Glagolitic',
|
|
||||||
),
|
|
||||||
79 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2C80,
|
|
||||||
1 => 0x2CFF,
|
|
||||||
2 => 'Coptic',
|
|
||||||
),
|
|
||||||
80 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2D00,
|
|
||||||
1 => 0x2D2F,
|
|
||||||
2 => 'Georgian Supplement',
|
|
||||||
),
|
|
||||||
81 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2D30,
|
|
||||||
1 => 0x2D7F,
|
|
||||||
2 => 'Tifinagh',
|
|
||||||
),
|
|
||||||
82 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2D80,
|
|
||||||
1 => 0x2DDF,
|
|
||||||
2 => 'Ethiopic Extended',
|
|
||||||
),
|
|
||||||
83 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2E00,
|
|
||||||
1 => 0x2E7F,
|
|
||||||
2 => 'Supplemental Punctuation',
|
|
||||||
),
|
|
||||||
84 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2E80,
|
|
||||||
1 => 0x2EFF,
|
|
||||||
2 => 'CJK Radicals Supplement',
|
|
||||||
),
|
|
||||||
85 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2F00,
|
|
||||||
1 => 0x2FDF,
|
|
||||||
2 => 'Kangxi Radicals',
|
|
||||||
),
|
|
||||||
86 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2FF0,
|
|
||||||
1 => 0x2FFF,
|
|
||||||
2 => 'Ideographic Description Characters',
|
|
||||||
),
|
|
||||||
87 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3000,
|
|
||||||
1 => 0x303F,
|
|
||||||
2 => 'CJK Symbols and Punctuation',
|
|
||||||
),
|
|
||||||
88 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3040,
|
|
||||||
1 => 0x309F,
|
|
||||||
2 => 'Hiragana',
|
|
||||||
),
|
|
||||||
89 =>
|
|
||||||
array (
|
|
||||||
0 => 0x30A0,
|
|
||||||
1 => 0x30FF,
|
|
||||||
2 => 'Katakana',
|
|
||||||
),
|
|
||||||
90 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3100,
|
|
||||||
1 => 0x312F,
|
|
||||||
2 => 'Bopomofo',
|
|
||||||
),
|
|
||||||
91 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3130,
|
|
||||||
1 => 0x318F,
|
|
||||||
2 => 'Hangul Compatibility Jamo',
|
|
||||||
),
|
|
||||||
92 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3190,
|
|
||||||
1 => 0x319F,
|
|
||||||
2 => 'Kanbun',
|
|
||||||
),
|
|
||||||
93 =>
|
|
||||||
array (
|
|
||||||
0 => 0x31A0,
|
|
||||||
1 => 0x31BF,
|
|
||||||
2 => 'Bopomofo Extended',
|
|
||||||
),
|
|
||||||
94 =>
|
|
||||||
array (
|
|
||||||
0 => 0x31C0,
|
|
||||||
1 => 0x31EF,
|
|
||||||
2 => 'CJK Strokes',
|
|
||||||
),
|
|
||||||
95 =>
|
|
||||||
array (
|
|
||||||
0 => 0x31F0,
|
|
||||||
1 => 0x31FF,
|
|
||||||
2 => 'Katakana Phonetic Extensions',
|
|
||||||
),
|
|
||||||
96 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3200,
|
|
||||||
1 => 0x32FF,
|
|
||||||
2 => 'Enclosed CJK Letters and Months',
|
|
||||||
),
|
|
||||||
97 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3300,
|
|
||||||
1 => 0x33FF,
|
|
||||||
2 => 'CJK Compatibility',
|
|
||||||
),
|
|
||||||
98 =>
|
|
||||||
array (
|
|
||||||
0 => 0x3400,
|
|
||||||
1 => 0x4DBF,
|
|
||||||
2 => 'CJK Unified Ideographs Extension A',
|
|
||||||
),
|
|
||||||
99 =>
|
|
||||||
array (
|
|
||||||
0 => 0x4DC0,
|
|
||||||
1 => 0x4DFF,
|
|
||||||
2 => 'Yijing Hexagram Symbols',
|
|
||||||
),
|
|
||||||
100 =>
|
|
||||||
array (
|
|
||||||
0 => 0x4E00,
|
|
||||||
1 => 0x9FFF,
|
|
||||||
2 => 'CJK Unified Ideographs',
|
|
||||||
),
|
|
||||||
101 =>
|
|
||||||
array (
|
|
||||||
0 => 0xA000,
|
|
||||||
1 => 0xA48F,
|
|
||||||
2 => 'Yi Syllables',
|
|
||||||
),
|
|
||||||
102 =>
|
|
||||||
array (
|
|
||||||
0 => 0xA490,
|
|
||||||
1 => 0xA4CF,
|
|
||||||
2 => 'Yi Radicals',
|
|
||||||
),
|
|
||||||
103 =>
|
|
||||||
array (
|
|
||||||
0 => 0xA700,
|
|
||||||
1 => 0xA71F,
|
|
||||||
2 => 'Modifier Tone Letters',
|
|
||||||
),
|
|
||||||
104 =>
|
|
||||||
array (
|
|
||||||
0 => 0xA800,
|
|
||||||
1 => 0xA82F,
|
|
||||||
2 => 'Syloti Nagri',
|
|
||||||
),
|
|
||||||
105 =>
|
|
||||||
array (
|
|
||||||
0 => 0xAC00,
|
|
||||||
1 => 0xD7AF,
|
|
||||||
2 => 'Hangul Syllables',
|
|
||||||
),
|
|
||||||
106 =>
|
|
||||||
array (
|
|
||||||
0 => 0xD800,
|
|
||||||
1 => 0xDB7F,
|
|
||||||
2 => 'High Surrogates',
|
|
||||||
),
|
|
||||||
107 =>
|
|
||||||
array (
|
|
||||||
0 => 0xDB80,
|
|
||||||
1 => 0xDBFF,
|
|
||||||
2 => 'High Private Use Surrogates',
|
|
||||||
),
|
|
||||||
108 =>
|
|
||||||
array (
|
|
||||||
0 => 0xDC00,
|
|
||||||
1 => 0xDFFF,
|
|
||||||
2 => 'Low Surrogates',
|
|
||||||
),
|
|
||||||
109 =>
|
|
||||||
array (
|
|
||||||
0 => 0xE000,
|
|
||||||
1 => 0xF8FF,
|
|
||||||
2 => 'Private Use Area',
|
|
||||||
),
|
|
||||||
110 =>
|
|
||||||
array (
|
|
||||||
0 => 0xF900,
|
|
||||||
1 => 0xFAFF,
|
|
||||||
2 => 'CJK Compatibility Ideographs',
|
|
||||||
),
|
|
||||||
111 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFB00,
|
|
||||||
1 => 0xFB4F,
|
|
||||||
2 => 'Alphabetic Presentation Forms',
|
|
||||||
),
|
|
||||||
112 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFB50,
|
|
||||||
1 => 0xFDFF,
|
|
||||||
2 => 'Arabic Presentation Forms-A',
|
|
||||||
),
|
|
||||||
113 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFE00,
|
|
||||||
1 => 0xFE0F,
|
|
||||||
2 => 'Variation Selectors',
|
|
||||||
),
|
|
||||||
114 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFE10,
|
|
||||||
1 => 0xFE1F,
|
|
||||||
2 => 'Vertical Forms',
|
|
||||||
),
|
|
||||||
115 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFE20,
|
|
||||||
1 => 0xFE2F,
|
|
||||||
2 => 'Combining Half Marks',
|
|
||||||
),
|
|
||||||
116 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFE30,
|
|
||||||
1 => 0xFE4F,
|
|
||||||
2 => 'CJK Compatibility Forms',
|
|
||||||
),
|
|
||||||
117 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFE50,
|
|
||||||
1 => 0xFE6F,
|
|
||||||
2 => 'Small Form Variants',
|
|
||||||
),
|
|
||||||
118 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFE70,
|
|
||||||
1 => 0xFEFF,
|
|
||||||
2 => 'Arabic Presentation Forms-B',
|
|
||||||
),
|
|
||||||
119 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFF00,
|
|
||||||
1 => 0xFFEF,
|
|
||||||
2 => 'Halfwidth and Fullwidth Forms',
|
|
||||||
),
|
|
||||||
120 =>
|
|
||||||
array (
|
|
||||||
0 => 0xFFF0,
|
|
||||||
1 => 0xFFFF,
|
|
||||||
2 => 'Specials',
|
|
||||||
),
|
|
||||||
121 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10000,
|
|
||||||
1 => 0x1007F,
|
|
||||||
2 => 'Linear B Syllabary',
|
|
||||||
),
|
|
||||||
122 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10080,
|
|
||||||
1 => 0x100FF,
|
|
||||||
2 => 'Linear B Ideograms',
|
|
||||||
),
|
|
||||||
123 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10100,
|
|
||||||
1 => 0x1013F,
|
|
||||||
2 => 'Aegean Numbers',
|
|
||||||
),
|
|
||||||
124 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10140,
|
|
||||||
1 => 0x1018F,
|
|
||||||
2 => 'Ancient Greek Numbers',
|
|
||||||
),
|
|
||||||
125 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10300,
|
|
||||||
1 => 0x1032F,
|
|
||||||
2 => 'Old Italic',
|
|
||||||
),
|
|
||||||
126 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10330,
|
|
||||||
1 => 0x1034F,
|
|
||||||
2 => 'Gothic',
|
|
||||||
),
|
|
||||||
127 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10380,
|
|
||||||
1 => 0x1039F,
|
|
||||||
2 => 'Ugaritic',
|
|
||||||
),
|
|
||||||
128 =>
|
|
||||||
array (
|
|
||||||
0 => 0x103A0,
|
|
||||||
1 => 0x103DF,
|
|
||||||
2 => 'Old Persian',
|
|
||||||
),
|
|
||||||
129 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10400,
|
|
||||||
1 => 0x1044F,
|
|
||||||
2 => 'Deseret',
|
|
||||||
),
|
|
||||||
130 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10450,
|
|
||||||
1 => 0x1047F,
|
|
||||||
2 => 'Shavian',
|
|
||||||
),
|
|
||||||
131 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10480,
|
|
||||||
1 => 0x104AF,
|
|
||||||
2 => 'Osmanya',
|
|
||||||
),
|
|
||||||
132 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10800,
|
|
||||||
1 => 0x1083F,
|
|
||||||
2 => 'Cypriot Syllabary',
|
|
||||||
),
|
|
||||||
133 =>
|
|
||||||
array (
|
|
||||||
0 => 0x10A00,
|
|
||||||
1 => 0x10A5F,
|
|
||||||
2 => 'Kharoshthi',
|
|
||||||
),
|
|
||||||
134 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D000,
|
|
||||||
1 => 0x1D0FF,
|
|
||||||
2 => 'Byzantine Musical Symbols',
|
|
||||||
),
|
|
||||||
135 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D100,
|
|
||||||
1 => 0x1D1FF,
|
|
||||||
2 => 'Musical Symbols',
|
|
||||||
),
|
|
||||||
136 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D200,
|
|
||||||
1 => 0x1D24F,
|
|
||||||
2 => 'Ancient Greek Musical Notation',
|
|
||||||
),
|
|
||||||
137 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D300,
|
|
||||||
1 => 0x1D35F,
|
|
||||||
2 => 'Tai Xuan Jing Symbols',
|
|
||||||
),
|
|
||||||
138 =>
|
|
||||||
array (
|
|
||||||
0 => 0x1D400,
|
|
||||||
1 => 0x1D7FF,
|
|
||||||
2 => 'Mathematical Alphanumeric Symbols',
|
|
||||||
),
|
|
||||||
139 =>
|
|
||||||
array (
|
|
||||||
0 => 0x20000,
|
|
||||||
1 => 0x2A6DF,
|
|
||||||
2 => 'CJK Unified Ideographs Extension B',
|
|
||||||
),
|
|
||||||
140 =>
|
|
||||||
array (
|
|
||||||
0 => 0x2F800,
|
|
||||||
1 => 0x2FA1F,
|
|
||||||
2 => 'CJK Compatibility Ideographs Supplement',
|
|
||||||
),
|
|
||||||
141 =>
|
|
||||||
array (
|
|
||||||
0 => 0xE0000,
|
|
||||||
1 => 0xE007F,
|
|
||||||
2 => 'Tags',
|
|
||||||
),
|
|
||||||
142 =>
|
|
||||||
array (
|
|
||||||
0 => 0xE0100,
|
|
||||||
1 => 0xE01EF,
|
|
||||||
2 => 'Variation Selectors Supplement',
|
|
||||||
),
|
|
||||||
143 =>
|
|
||||||
array (
|
|
||||||
0 => 0xF0000,
|
|
||||||
1 => 0xFFFFF,
|
|
||||||
2 => 'Supplementary Private Use Area-A',
|
|
||||||
),
|
|
||||||
144 =>
|
|
||||||
array (
|
|
||||||
0 => 0x100000,
|
|
||||||
1 => 0x10FFFF,
|
|
||||||
2 => 'Supplementary Private Use Area-B',
|
|
||||||
),
|
|
||||||
);
|
|
||||||
?>
|
|
||||||
|
|
@ -1,18 +0,0 @@
|
||||||
<?php
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
|
|
||||||
$text = 'Was wäre, wenn ich Ihnen das jetzt sagen würde?';
|
|
||||||
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
//3 most probable languages
|
|
||||||
$results = $ld->detect($text, 3);
|
|
||||||
|
|
||||||
foreach ($results as $language => $confidence) {
|
|
||||||
echo $language . ': ' . number_format($confidence, 2) . "\n";
|
|
||||||
}
|
|
||||||
|
|
||||||
//output:
|
|
||||||
//german: 0.35
|
|
||||||
//dutch: 0.25
|
|
||||||
//swedish: 0.20
|
|
||||||
?>
|
|
||||||
|
|
@ -1,15 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* How to handle errors
|
|
||||||
*/
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
require_once 'Text/LanguageDetect/Exception.php';
|
|
||||||
|
|
||||||
try {
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
$lang = $ld->detectSimple('Das ist ein kleiner Text');
|
|
||||||
echo "Language is: $lang\n";
|
|
||||||
} catch (Text_LanguageDetect_Exception $e) {
|
|
||||||
echo 'An error occured! Message: ' . $e . "\n";
|
|
||||||
}
|
|
||||||
?>
|
|
||||||
|
|
@ -1,35 +0,0 @@
|
||||||
<?php
|
|
||||||
|
|
||||||
/**
|
|
||||||
* example usage (CLI)
|
|
||||||
*
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @version CVS: $Id$
|
|
||||||
*/
|
|
||||||
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
|
|
||||||
$l = new Text_LanguageDetect;
|
|
||||||
|
|
||||||
$stdin = fopen('php://stdin', 'r');
|
|
||||||
|
|
||||||
echo "Supported languages:\n";
|
|
||||||
$langs = $l->getLanguages();
|
|
||||||
sort($langs);
|
|
||||||
echo join(', ', $langs);
|
|
||||||
|
|
||||||
echo "\ntotal ", count($langs), "\n\n";
|
|
||||||
|
|
||||||
while ($line = fgets($stdin)) {
|
|
||||||
$result = $l->detect($line, 4);
|
|
||||||
print_r($result);
|
|
||||||
$blocks = $l->detectUnicodeBlocks($line, true);
|
|
||||||
print_r($blocks);
|
|
||||||
}
|
|
||||||
|
|
||||||
fclose($stdin);
|
|
||||||
unset($l);
|
|
||||||
|
|
||||||
/* vim: set expandtab tabstop=4 shiftwidth=4 softtabstop=4: */
|
|
||||||
|
|
||||||
?>
|
|
||||||
|
|
@ -1,72 +0,0 @@
|
||||||
<?php
|
|
||||||
|
|
||||||
/**
|
|
||||||
* example usage (web)
|
|
||||||
*
|
|
||||||
* @package Text_LanguageDetect
|
|
||||||
* @version CVS: $Id$
|
|
||||||
*/
|
|
||||||
|
|
||||||
// browsers will encode multi-byte characters wrong unless they think the page is utf8-encoded
|
|
||||||
header('Content-type: text/html; charset=utf-8', true);
|
|
||||||
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
|
|
||||||
$l = new Text_LanguageDetect;
|
|
||||||
if (isset($_REQUEST['q'])) {
|
|
||||||
$q = stripslashes($_REQUEST['q']);
|
|
||||||
}
|
|
||||||
|
|
||||||
?>
|
|
||||||
<html>
|
|
||||||
<head>
|
|
||||||
<title>Text_LanguageDetect demonstration</title>
|
|
||||||
</head>
|
|
||||||
<body>
|
|
||||||
<h2>Text_LanguageDetect</h2>
|
|
||||||
<?
|
|
||||||
echo "<small>Supported languages:\n";
|
|
||||||
$langs = $l->getLanguages();
|
|
||||||
sort($langs);
|
|
||||||
foreach ($langs as $lang) {
|
|
||||||
echo ucfirst($lang), ', ';
|
|
||||||
$i++;
|
|
||||||
}
|
|
||||||
|
|
||||||
echo "<br />total $i</small><br /><br />";
|
|
||||||
|
|
||||||
?>
|
|
||||||
<form method="post">
|
|
||||||
Enter text to identify language (at least a couple of sentences):<br />
|
|
||||||
<textarea name="q" wrap="virtual" cols="80" rows="8"><?= $q ?></textarea>
|
|
||||||
<br />
|
|
||||||
<input type="submit" value="Submit" />
|
|
||||||
</form>
|
|
||||||
<?
|
|
||||||
if (isset($q) && strlen($q)) {
|
|
||||||
$len = $l->utf8strlen($q);
|
|
||||||
if ($len < 20) { // this value picked somewhat arbitrarily
|
|
||||||
echo "Warning: string not very long ($len chars)<br />\n";
|
|
||||||
}
|
|
||||||
|
|
||||||
$result = $l->detectConfidence($q);
|
|
||||||
|
|
||||||
if ($result == null) {
|
|
||||||
echo "Text_LanguageDetect cannot identify this piece of text. <br /><br />\n";
|
|
||||||
} else {
|
|
||||||
echo "Text_LanguageDetect thinks this text is written in <b>{$result['language']}</b> ({$result['similarity']}, {$result['confidence']})<br /><br />\n";
|
|
||||||
}
|
|
||||||
|
|
||||||
$result = $l->detectUnicodeBlocks($q, false);
|
|
||||||
if (!empty($result)) {
|
|
||||||
arsort($result);
|
|
||||||
echo "Unicode blocks present: ", join(', ', array_keys($result)), "\n<br /><br />";
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
unset($l);
|
|
||||||
|
|
||||||
/* vim: set expandtab tabstop=4 shiftwidth=4 softtabstop=4: */
|
|
||||||
|
|
||||||
?>
|
|
||||||
</body></html>
|
|
||||||
|
|
@ -1,19 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* Demonstrates how to use ISO language codes.
|
|
||||||
*
|
|
||||||
* The "name mode" changes the way languages are accepted and returned.
|
|
||||||
*/
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
|
|
||||||
//will output the ISO 639-1 two-letter language code
|
|
||||||
// "de"
|
|
||||||
$ld->setNameMode(2);
|
|
||||||
echo $ld->detectSimple('Das ist ein kleiner Text') . "\n";
|
|
||||||
|
|
||||||
//will output the ISO 639-2 three-letter language code
|
|
||||||
// "deu"
|
|
||||||
$ld->setNameMode(3);
|
|
||||||
echo $ld->detectSimple('Das ist ein kleiner Text') . "\n";
|
|
||||||
?>
|
|
||||||
|
|
@ -1,11 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* List all supported languages
|
|
||||||
*/
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
|
|
||||||
foreach ($ld->getLanguages() as $lang) {
|
|
||||||
echo $lang . "\n";
|
|
||||||
}
|
|
||||||
?>
|
|
||||||
|
|
@ -1,10 +0,0 @@
|
||||||
<?php
|
|
||||||
require_once 'Text/LanguageDetect.php';
|
|
||||||
|
|
||||||
$text = 'Was wäre, wenn ich Ihnen das jetzt sagen würde?';
|
|
||||||
|
|
||||||
$ld = new Text_LanguageDetect();
|
|
||||||
$result = $ld->detectSimple($text);
|
|
||||||
var_dump($result);
|
|
||||||
//output: german
|
|
||||||
?>
|
|
||||||
|
|
@ -1,42 +0,0 @@
|
||||||
<?php
|
|
||||||
/**
|
|
||||||
* Helper that enables access to private and protected methods and properties.
|
|
||||||
*/
|
|
||||||
class PrivProxy
|
|
||||||
{
|
|
||||||
private $obj;
|
|
||||||
|
|
||||||
public function __construct($obj)
|
|
||||||
{
|
|
||||||
$this->obj = $obj;
|
|
||||||
}
|
|
||||||
|
|
||||||
public function __call($method, $arguments)
|
|
||||||
{
|
|
||||||
$rm = new ReflectionMethod($this->obj, $method);
|
|
||||||
$rm->setAccessible(true);
|
|
||||||
return $rm->invokeArgs($this->obj, $arguments);
|
|
||||||
}
|
|
||||||
|
|
||||||
public static function __callStatic($method, $arguments)
|
|
||||||
{
|
|
||||||
$rm = new ReflectionMethod($this->obj, $method);
|
|
||||||
$rm->setAccessible(true);
|
|
||||||
return $rm->invokeArgs($this->obj, $arguments);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function __set($var, $value)
|
|
||||||
{
|
|
||||||
$rp = new ReflectionProperty($this->obj, $var);
|
|
||||||
$rp->setAccessible(true);
|
|
||||||
$rp->setValue($this->obj, $value);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function __get($var)
|
|
||||||
{
|
|
||||||
$rp = new ReflectionProperty($this->obj, $var);
|
|
||||||
$rp->setAccessible(true);
|
|
||||||
return $rp->getValue($this->obj);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
?>
|
|
||||||
File diff suppressed because it is too large
Load diff
|
|
@ -1,72 +0,0 @@
|
||||||
<?php
|
|
||||||
set_include_path(
|
|
||||||
__DIR__ . '/../' . PATH_SEPARATOR . get_include_path()
|
|
||||||
);
|
|
||||||
|
|
||||||
require_once 'Text/LanguageDetect/ISO639.php';
|
|
||||||
|
|
||||||
class Text_LanguageDetect_ISO639Test extends PHPUnit_Framework_TestCase
|
|
||||||
{
|
|
||||||
public function testNameToCode2()
|
|
||||||
{
|
|
||||||
$this->assertEquals(
|
|
||||||
'de',
|
|
||||||
Text_LanguageDetect_ISO639::nameToCode2('german')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testNameToCode2Fail()
|
|
||||||
{
|
|
||||||
$this->assertNull(
|
|
||||||
Text_LanguageDetect_ISO639::nameToCode2('doesnotexist')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testNameToCode3()
|
|
||||||
{
|
|
||||||
$this->assertEquals(
|
|
||||||
'fra',
|
|
||||||
Text_LanguageDetect_ISO639::nameToCode3('french')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testNameToCode3Fail()
|
|
||||||
{
|
|
||||||
$this->assertNull(
|
|
||||||
Text_LanguageDetect_ISO639::nameToCode3('doesnotexist')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testCode2ToName()
|
|
||||||
{
|
|
||||||
$this->assertEquals(
|
|
||||||
'english',
|
|
||||||
Text_LanguageDetect_ISO639::code2ToName('en')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testCode2ToNameFail()
|
|
||||||
{
|
|
||||||
$this->assertNull(
|
|
||||||
Text_LanguageDetect_ISO639::code2ToName('nx')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testCode3ToName()
|
|
||||||
{
|
|
||||||
$this->assertEquals(
|
|
||||||
'romanian',
|
|
||||||
Text_LanguageDetect_ISO639::code3ToName('rom')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
public function testCode3ToNameFail()
|
|
||||||
{
|
|
||||||
$this->assertNull(
|
|
||||||
Text_LanguageDetect_ISO639::code3ToName('nxx')
|
|
||||||
);
|
|
||||||
}
|
|
||||||
|
|
||||||
}
|
|
||||||
|
|
||||||
?>
|
|
||||||
Loading…
Reference in a new issue