Tip:
Highlight text to annotate it
X
>> LUCAS FREITAS: Hey.
Merħba kulħadd.
Jisimni Lucas Freitas.
I'ma junior fi [inaudible] jistudjaw xjenza tal-kompjuter b'attenzjoni fil-
lingwistika kompjutazzjonali.
Allura sekondarja tiegħi huwa fil-lingwa u t-teorija lingwistika.
Ninsab verament eċċitati biex jgħallmu inti guys ftit dwar il-qasam.
Huwa żona eċċitanti ħafna għall-istudju.
Wkoll bil-lott tal-potenzjal għall-futur.
Allura, jien verament eċċitati li inti guys qed jikkunsidraw proġetti
lingwistika kompjutazzjonali.
U jien ser ikunu aktar minn kuntenti li jagħti parir kwalunkwe inti jekk inti tiddeċiedi li
isegwu wieħed minn dawn.
>> Allura l-ewwel nett liema huma komputazzjoni linguistics?
Linguistics hekk komputazzjoni hija l- intersezzjoni bejn il-lingwistika u
xjenza tal-kompjuter.
Allura, x'inhu linguistics?
X'inhu x-xjenza tal-kompjuter?
Well mill-lingwistika, liema nieħdu huma l-lingwi.
Allura lingwistika effettivament hija l-istudju ta 'lingwa naturali b'mod ġenerali.
Lingwa Allura naturali - nitkellmu dwar lingwa li għandna attwalment jużaw biex
jikkomunikaw ma 'xulxin.
Allura aħna mhux eżattament jitkellem dwar C jew Java.
Aħna qed jitkellem aktar dwar Ingliż u Lingwi Ċiniżi u oħrajn li aħna
jużaw biex jikkomunikaw ma 'xulxin.
>> Il-ħaġa sfida dwar dan hija li dritt issa għandna kważi 7,000
lingwi fid-dinja.
Allura hemm pjuttost varjetà għolja ta 'lingwi li nistgħu jistudjaw.
U allura inti taħseb li huwa probabbilment diffiċli ħafna biex tagħmel, per eżempju,
traduzzjoni minn lingwa għall- oħra, meta jitqies li inti għandek
kważi 7,000 minnhom.
Għalhekk, jekk inti taħseb li jagħmlu traduzzjoni minn lingwa għall-oħra inti
kważi aktar minn miljun kombinazzjonijiet differenti li inti tista '
jkollhom minn lingwa għal lingwa.
Allura huwa verament diffiċli li jagħmlu xi tip ta 'sistema eżempju t-traduzzjoni għal
kull lingwa waħda.
>> Allura, lingwistika tittratta ma 'sintassi, semantika, pragmatics.
Inti guys ma eżattament ma bżonn li tkun taf liema huma huma.
Imma l-ħaġa interessanti ħafna hija li bħala kelliem nattiv, meta inti titgħallem
lingwa bħal tat-tifel/tifla, inti fil-fatt jitgħallmu kollha ta 'dawk l-affarijiet - semantika sintassi
u pragmatics -
mill yourself.
U ħadd ma jgħallmu sintassi għal inti tifhem kif sentenzi huma
strutturat.
Għalhekk, huwa verament interessanti minħabba huwa xi ħaġa li jidħol ħafna
intuwittivament.
>> U liema huma inti tieħu minn l-xjenza tal-kompjuter?
Ukoll, l-iktar ħaġa importanti li aħna jkollhom fil-xjenza tal-kompjuter hija l-ewwel ta '
kollha, intelliġenza artifiċjali u t-tagħlim magna.
Allura, dak li aħna qed tipprova tagħmel lingwistika kompjutazzjonali huwa teach
kompjuter tiegħek kif għandek tagħmel xi ħaġa bil-lingwa.
>> Għalhekk, per eżempju, fil-magna traduzzjoni.
Jien jippruvaw jgħallmu tiegħi kif il-kompjuter tkun taf kif it-transizzjoni minn wieħed
lingwa għall-oħra.
Allura, bażikament simili tagħlim A kompjuter żewġ lingwi.
Jekk I do ipproċessar lingwa naturali, li huwa l-każ pereżempju ta '
Grafika Search Facebook, inti jgħallmu kompjuter tiegħek kif jifhmu
mistoqsijiet sew.
>> Għalhekk, jekk inti tgħidli "-ritratti ta tiegħi ħbieb. "Facebook ma tittratta dik
bħala string kollu li għandu biss mazz ta 'kliem.
Hija fil-fatt jifhem ir-relazzjoni bejn "ritratti" u "ħbieb tiegħi" u
jifhem li "ritratti" huma proprjetà ta '"ħbieb tiegħi."
>> Allura, li l-parti ta ', per eżempju, ipproċessar lingwa naturali.
Huwa jippruvaw jifhmu dak hija r-relazzjoni bejn
il-kliem fil-sentenza.
U l-kwistjoni hija kbira, tista 'inti jgħallmu kompjuter kif jitkellmu
lingwa b'mod ġenerali?
Liema hija kwistjoni interessanti ħafna li jaħsbu, bħallikieku forsi fil-futur,
int ser tkun tista ' kellem lit-cell phone tiegħek.
Tip simili dak li nagħmlu ma 'Siri iżda xi ħaġa aktar simili, inti tista 'attwalment
jgħidu xi trid u l-telefon se tifhem kollox.
U jista 'jkollu segwitu mistoqsijiet u jżomm jitkellem.
Dik xi ħaġa verament eċċitanti, fl-opinjoni tiegħi.
>> Allura, xi ħaġa dwar il-lingwi naturali.
Xi ħaġa verament interessanti dwar lingwi naturali hija li, u dan huwa
kreditu għall-professur lingwistika tiegħi, Maria Polinsky.
Hija tagħti eżempju u naħseb huwa verament interessanti.
Għaliex aħna jitgħallmu l-lingwa minn meta aħna qed mwielda u mbagħad native tagħna
lingwa tip ta 'tikber fuq us.
>> U bażikament inti jitgħallmu l-lingwa minn input minimu, id-dritt?
Int biss jkollna input mill tiegħek ġenituri ta 'dak il-lingwa tiegħek ħsejjes
tixtieq u inti biss jitgħallmu.
Għalhekk, huwa interessanti għaliex jekk inti tħares fuq dawk il-pieni, per eżempju.
Inti tfittex, "Mary tpoġġi fuq kowt kull darba li hi tħalli l-dar. "
>> F'dan il-każ, huwa possibbli li l- kelma "hi" jirreferu għal Marija, right?
Tista 'tgħid "Mary tpoġġi fuq kowt kull darba Mary tħalli l-
house. "tant li l-multa.
Iżda mbagħad jekk inti tħares lejn is-sentenza "Hija tpoġġi fuq kowt kull darba Mary
tħalli l-dar. "inti taf huwa impossibbli li wieħed jgħid li "hi" hija
jirreferu għall Mary.
>> M'hemm l-ebda mod ta 'tgħid li "Mary tpoġġi fuq kowt kull darba Mary weraq
il-house. "Allura huwa interessanti minħabba dan hu t-tip ta 'intuwizzjoni
li kull kelliem nattiv għandha.
U ħadd ma kien mgħallma li din hija il-mod li l-sintassi xogħlijiet.
U li inti tista 'biss jkollhom dan "hi" jirreferu għal Marija fl-ewwel każ,
u fil-fatt f'dan oħra wisq, iżda mhux f'dan il-wieħed.
Imma kulħadd tip ta gets l-istess risposta.
Kulħadd jaqbel dwar dan.
Allura huwa verament interessanti kif għalkemm ma tafx ir-regoli kollha
fil-lingwa tiegħek inti tip ta tifhem kif il-lingwa taħdem.
>> Allura l-ħaġa interessanti dwar naturali lingwa hija li inti ma għandekx
taf xi sintassi tkun taf jekk sentenza huwa grammatikali jew ungrammatical għal
F'ħafna każijiet.
Li jagħmel taħseb li forsi dak jiġri hu li matul il-ħajja tiegħek, inti
biss iżommu jkollna aktar u aktar sentenzi told lilek.
U mbagħad inti żżomm memorizing kollha tas-sentenzi.
U mbagħad meta xi ħadd jgħidlek xi ħaġa, inti tisma li sentenza u
inti tħares lejn vokabularju tiegħek ta 'sentenzi u ara jekk
din is-sentenza hemm.
U jekk huwa hemm inti jgħidu huwa grammatikali.
Jekk mhuwiex you say huwa ungrammatical.
>> Għalhekk, f'dak il-każ, inti ngħid, oh, hekk ikollok lista enormi ta 'kulħadd
sentenzi possibbli.
U allura meta inti tisma 'sentenza, inti taf jekk huwa grammatikali jew
mhuwiex ibbażat fuq dan.
Il-ħaġa hija li jekk inti tħares lejn sentenza, per eżempju, "Il-
ħames intitolat CS50 TFS imsajjar-għomja qarnit jużaw mug DAPA. "Huwa
definittivament mhix sentenza li smajtu qabel.
Iżda fl-istess ħin li inti taf huwa pretty ħafna grammatikali, right?
M'hemm l-ebda żbalji grammatikali u inti tista 'tgħid li
huwa possibbli sentenza.
>> Għalhekk jagħmel minna jaħsbu li attwalment l- mod li nitgħallmu lingwa ma tkunx biss
billi jkun hemm database enormi ta 'possibbli kliem jew sentenzi, iżda aktar ta '
fehim-relazzjoni bejn termini li jinstabu f'dawn is-sentenzi.
Does li jagħmel sens?
Allura, allura l-kwistjoni hija, tista ' kompjuters jitgħallmu l-lingwi?
Nistgħu jgħallmu lingwa għall-kompjuters?
>> Allura, ejja jaħsbu tad-differenza bejn kelliem nattiv ta 'lingwa
u kompjuter.
Allura, dak li jiġri għall-kelliem?
Ukoll, il-kelliem nattiv jitgħallem lingwa l-espożizzjoni għalih.
Normalment snin tat-tfulija bikrija tiegħu.
Allura, bażikament, inti biss għandek tarbija, u inti żżomm jitkellem miegħu, u
biss jitgħallem kif jitkellmu il-lingwa, id-dritt?
Allura, int bażikament tagħti kontribut għall-tarbija.
Allura, allura inti tista jargumentaw li l-kompjuter tista 'tagħmel l-istess ħaġa, id-dritt?
Tista 'biss jagħtu lingwa bħala input għall-kompjuter.
>> Bħal per eżempju mazz ta 'fajls li jkollhom kotba bl-Ingliż.
Forsi li mod wieħed li inti jista 'possibbilment jgħallmu
kompjuter Ingliż, id-dritt?
U fil-fatt, jekk inti taħseb dwarha, din tieħdok forsi koppja
ġranet biex jaqraw ktieb.
Għal kompjuter li tieħu t-tieni biex tħares lejn l-kliem fil-ktieb.
Allura inti tista 'taħseb li jista' jkun biss dan argument ta 'input minn madwar inti,
dan mhux biżżejjed li wieħed jgħid li dan huwa xi ħaġa li bnedmin biss tista 'tagħmel.
Inti tista 'taħseb kompjuters wkoll tista 'tikseb input.
>> It-tieni ħaġa hija li kelliema nattivi wkoll ikollhom moħħ li għandu
kapaċità tagħlim tal-lingwi.
Imma jekk inti taħseb dwarha, moħħ hija ħaġa solidu.
Meta inti twieldu, huwa diġà stabbilit -
dan huwa moħħ.
U kif inti jikbru, inti biss tikseb aktar input tal-lingwa u forsi nutrijenti
u għalf ieħor.
Iżda pretty ħafna moħħ hija ħaġa solidu.
>> Allura inti tista 'tgħid, ukoll, forsi inti tista' jibnu kompjuter li għandha mazz ta '
funzjonijiet u l-metodi li biss jimitaw kapaċità tagħlim tal-lingwi.
Allura f'dan is-sens, inti tista 'tgħid, ukoll, I jista 'jkollhom kompjuter li għandu l-
affarijiet I bżonn biex jitgħallmu l-lingwa.
U l-aħħar ħaġa hija li nattiv kelliem jitgħallem mill-prova u żball.
Allura bażikament ħaġa importanti ieħor tagħlim tal-lingwi huwa li inti tip
tal jitgħallmu affarijiet billi ġeneralizzazzjonijiet ta 'dak li tisma.
>> Allura kif inti jikbru inti taf li xi kliem huma aktar simili nomi,
xi wħud oħra huma aġġettivi.
U inti ma għandhomx għalfejn ikollhom xi għarfien tal-lingwistika
jifhmu li.
Imma inti biss taf li hemm xi kliem huma pożizzjonati f'xi parti tal-
sentenza u xi oħrajn fi oħra partijiet tas-sentenza.
>> U li meta inti tagħmel xi ħaġa li hija bħal sentenza li ma tkunx korretta -
forsi minħabba ġeneralizzazzjoni fuq per eżempju.
Forsi meta inti qed jikbru, tinnota li l-plural huwa normalment
iffurmata minn tqegħid ta 'S fil- l-aħħar tal-kelma.
U mbagħad inti tipprova tagħmel l-plural ta ' "ċriev" bħala "deers" jew "sinna" bħala
"tooths." Mela allura ġenituri tiegħek jew xi ħadd tikkoreġi inti u jgħid, no, l-
plural ta '"ċriev" hija "ċriev," u l- plural ta '"snien" huwa "snien." U mbagħad
titgħallem dawk l-affarijiet.
Allura inti jitgħallmu mill-prova u żball.
>> Iżda int tista 'wkoll tagħmel dan ma 'kompjuter.
Inti jista 'jkollhom xi ħaġa imsejħa tagħlim tisħiħ.
Liema hija bażikament simili tagħti kompjuter premju kull meta ma
xi ħaġa korrett.
U tagħtiha l-oppost ta 'premju u meta ma xi ħaġa ħażina.
Inti tista 'attwalment tara li jekk inti tmur Google Translate u inti tipprova
tittraduċi sentenza, hija jistaqsikom feedback.
Mela jekk inti tgħidli, oh, hemm aħjar traduzzjoni għal din is-sentenza.
Tista 'tip it up u mbagħad jekk lott ta' nies iżommu tgħid li hija aħjar
traduzzjoni, hija biss jitgħallem li għandhom jużaw dak it-traduzzjoni minflok
dik li hija kienet tagħti.
>> Għalhekk, din hija kwistjoni filosofiku ħafna biex tara jekk kompjuters ser ikunu
kapaċi jitkellmu jew le fil-futur.
Imma għandi tama kbira li jistgħu biss ibbażat fuq dawn l-argumenti.
Imma huwa biss aktar ta 'filosofiku kwistjoni.
>> Għalhekk, filwaqt li kompjuters għadhom ma jistgħux jitkellmu, liema huma l-affarijiet li nistgħu nagħmlu?
Xi affarijiet verament jibred huma klassifikazzjoni data.
Għalhekk, per eżempju, inti guys taf li s-servizzi email tagħmel, għall-
eżempju, spam filtrazzjoni.
Allura meta inti tirċievi spam, huwa tipprova li filtru għall-ieħor kaxxa.
Allura kif ma tagħmel dan?
Huwa ma bħall-kompjuter biss jaf indirizzi liema email tibgħat spam.
Għalhekk huwa aktar ibbażat fuq il-kontenut ta ' l-messaġġ, jew forsi it-titolu, jew
forsi xi mudell li għandek.
>> Allura, bażikament, x'tista 'tagħmel hu li tikseb ħafna ta 'data ta emails li spam,
emails li mhumiex spam, u jitgħallmu dak tip ta 'mudelli li għandek fil-
dawk li huma spam.
U dan huwa parti mill-komputazzjoni linguistics.
Huwa sejjaħ klassifikazzjoni data.
U aħna qed attwalment għaddejjin biex tara Eżempju ta 'dak fil-pjastri jmiss.
>> It-tieni ħaġa hija lingwa naturali ipproċessar li huwa l-ħaġa li l-
Grafika Fittex qed tagħmel ta 'kiri tikteb sentenza.
U trusts inti tifhem dak t-tifsira u jagħti
inti riżultat aħjar.
Fil-fatt, jekk inti tmur Google jew Bing u inti tfittex xi ħaġa bħal Lady
Għoli Gaga, int attwalment għaddejjin tikseb 5 "1" minflok ta 'informazzjoni
mill tagħha minħabba li jifhem effettivament dak li qed jitkellem dwar.
Hekk li l-parti ta 'riżorsi naturali lingwa ipproċessar.
>> Jew ukoll meta inti qed tuża Siri, l-ewwel għandek algoritmu li tipprova
tittraduċi dak li qed tgħid fil-kliem, fit-test.
U allura tipprova biex tittraduċi dan in tifsira.
Allura dak kollu parti mill naturali lingwa ipproċessar.
>> Imbagħad għandek traduzzjoni bil-magni -
li huwa attwalment wieħed Favourites tiegħi -
li huwa biss traduzzjoni minn lingwa għal oħra.
Allura inti tista 'taħseb li meta int tagħmel traduzzjoni bil-magni, għandek
possibbiltajiet infinita ta 'sentenzi.
Hekk hemm ebda mod ta 'ftit ħażna kull traduzzjoni waħda.
Allura inti għandek toħroġ bi interessanti algoritmi biex ikunu jistgħu
tittraduċi kull wieħed sentenza b'xi mod.
>> Inti guys xi mistoqsijiet s'issa?
Nru?
OK.
>> Allura dak li aħna ser tara llum?
L-ewwelnett, jien ser jitkellmu dwar il-problema ta 'klassifikazzjoni.
Allura dak li kien I jgħidu dwar spam.
Dak li jien ser tagħmel hu li, lirika mogħtija kanzunetta, inti tista 'tipprova biex insemmu
bi probabbiltà għolja li hija l-kantanta?
Ejja ngħidu li jien kanzunetti mill Lady Gaga u Katy Perry, jekk I jagħtuk
kanzunetta l-ġdida, inti tista figura out jekk huwa Katy Perry jew Lady Gaga?
>> It-tieni wieħed, jien biss ser jitkellmu dwar il-problema segmentazzjoni.
So I do not know jekk inti guys taf, imma Ċiniż, Ġappuniż, barra East Asian
lingwi, u lingwi oħra b'mod ġenerali, ma jkollhomx
spazji bejn kliem.
U mbagħad jekk inti taħseb dwar il-mod li tagħkom kompjuter ta 'tipprova
jifhmu lingwa ipproċessar naturali, iħares lejn l-kliem u
tipprova tifhem ir-relazzjonijiet bejniethom, id-dritt?
Iżda mbagħad jekk għandek Ċiniż, u inti jkollhom żero spazji, huwa verament diffiċli li
nsib dak li hija r-relazzjoni bejn kliem, minħabba li ma jkollhom l-ebda
kliem fl-ewwel.
Allura inti għandek tagħmel xi ħaġa imsejħa segmentazzjoni li sempliċiment ifisser it-tqegħid
ispazji bejn dak li aħna'd sejħa termini li jinstabu f'dawn il-lingwi.
Jagħmel sens?
>> U allura aħna qed tmur biex jitkellmu dwar sintassi.
Hekk biss ftit ftit dwar naturali lingwa ipproċessar.
Huwa ser jkun biss ħarsa ġenerali.
Allura llum, bażikament dak I trid tagħmel huwa jagħtuk guys ftit ta '
ġewwa tal x'inhuma l-possibilitajiet li inti tista 'tagħmel ma' komputazzjoni
linguistics.
U allura inti tista tara dak li taħseb huwa jibred fost dawk l-affarijiet.
U forsi inti tista 'taħseb ta' proġett u jiġu tkellem lili.
U I jistgħu jagħtuk parir dwar kif timplimentaha.
>> Allura sintassi se jkun ftit dwar Grafika Tiftix u magna
traduzzjoni.
Jien biss ser jagħti eżempju ta 'kif inti tista ', per eżempju, tittraduċi
xi ħaġa mill-Portugiż għall-Ingliż.
Ħsejjes tajba?
>> Allura l-ewwel, il-problema ta 'klassifikazzjoni.
I ser ngħid li din il-parti tas-seminar se tkun l-aktar sfida
wieħed biss għaliex hemm għaddej li jkun hemm xi kodifikazzjoni.
Iżda li għaddej biex tkun Python.
Naf li inti guys ma jafux Python, sabiex Jien biss ser jispjegaw fuq l-għolja
livell dak li qed nagħmel.
U inti ma għandekx verament kura wisq ħafna dwar il-sintassi minħabba li l-
xi ħaġa inti guys jistgħu jitgħallmu.
OK?
Ħsejjes tajba.
>> Allura x'inhi l-problema klassifikazzjoni?
Allura int tingħata xi lirika kanzunetta, u inti tixtieq li raden
li huwa kant dan.
U dan jista 'jkun għal kull tip ta 'problemi oħra.
Sabiex ikun jista ', per eżempju, inti għandek kampanja presidenzjali u inti għandek
diskors, u tixtieq issib jekk kenitx, per eżempju,
Obama jew Mitt Romney.
Jew inti jista 'jkollhom mazz ta' emails u inti tixtieq li insemmu jekk huma
spam jew le.
Allura huwa biss klassifikati xi data bbażata fuq il-kliem
li inti għandek hemmhekk.
>> Allura biex tagħmel dan, inti għandek tagħmel xi suppożizzjonijiet.
Allura ħafna dwar lingwistika kompjutazzjonali qed tagħmel suppożizzjonijiet,
suppożizzjonijiet normalment intelliġenti, sabiex inti tista 'tikseb riżultati tajbin.
Tipprova toħloq mudell għal dan.
U mbagħad jippruvaw it out u ara jekk din taħdem, jekk inti tagħti preċiżjoni tajba.
U jekk dan huwa minnu, allura inti jippruvaw biex tittejjeb.
Jekk ma, int simili, OK, forsi I għandha tagħmel suppożizzjoni differenti.
>> Allura l-assunzjoni li aħna qed tmur biex jagħmlu huwa li artist normalment sings
madwar darba multipli suġġett, u forsi tuża l-kliem multipli darbiet biss
għaliex qed użati biex dan.
Tista 'biss jaħsbu ħabib tiegħek.
Jien ċert li inti guys kollha ħbieb li jgħidu frażi firma tagħhom,
litteralment għal kull sentenza waħda -
bħal xi kelma speċifika jew xi metodi frażi li jgħidu għall-
kull sentenza waħda.
>> U dak li inti tista 'ngħid huwa li jekk tara sentenza li għandha firma
frażi, inti tista raden li probabbilment ħabib tiegħek huwa l-
wieħed qal li, right?
Allura inti tagħmel din il-preżunzjoni u mbagħad li kif inti toħloq mudell.
>> L-eżempju li jien ser jagħti huwa fuq kif Lady Gaga, per eżempju, nies
jgħidu li hi tuża "baby" għal numru wieħed tagħha kanzunetti kollha.
U fil-fatt dan huwa video li turi tagħha tgħid il-kelma "baby" għal
kanzunetti differenti.
>> [VIDEO Daqq]
>> - (KANT) Baby.
Baby.
Baby.
Baby.
Baby.
Babe.
Baby.
Baby.
Baby.
Baby.
>> [VIDEO END Playback-
>> LUCAS FREITAS: Allura hemm, I think, 40 kanzunetti hawn fejn tgħid l-
kelma "baby." Allura inti tista 'bażikament raden li jekk tara kanzunetta li għandha
il-kelma "baby," hemm xi għoli probabbiltà li huwa Lady Gaga.
Imma ejja tipprova tiżviluppa dan aktar aktar formali.
>> Allura dawn huma lirika kanzunetti minn Lady Gaga u Katy Perry.
Allura inti tħares lejn Lady Gaga, tara li għandhom ħafna ta 'okkorrenzi ta' "baby," a
lott ta 'okkorrenzi ta' "mod." U mbagħad Katy Perry għandha ħafna ta 'okkorrenzi ta'
"Il-," lott ta 'okkorrenzi ta' "ħruq."
>> Allura bażikament dak li rridu tagħmel huwa, ikollok Lyric.
Ejja ngħidu li inti tikseb Lyric għal kanzunetta li huwa "baby," biss "baby." Jekk
inti biss tikseb l-kelma "baby" u dan hija l-informazzjoni kollha li għandek minn
Lady Gaga u Katy Perry, li kieku inti raden huwa l-persuna
li sings il-kanzunetta?
Lady Gaga jew Katy Perry?
Lady Gaga, right?
Għaliex hi l-unika waħda li jgħid "Baby." Dan ħsejjes stupid, right?
OK, dan huwa verament faċli.
Jien biss tħares lejn iż-żewġ kanzunetti u ta ' course, hi l-unika waħda li għandha
"Baby."
>> Imma x'jiġri jekk għandek mazz ta 'kliem?
Jekk għandek Lyric attwali, xi ħaġa simili, "baby, I biss
marru biex tara [? CFT?]
lecture, "jew xi ħaġa bħal dik, u imbagħad inti fil-fatt għandek biex insemmu -
bbażata fuq dawk kollha kliem -
li huwa l-artist li probabbilment kanta dan il-kanzunetta?
Mela ejja tipprova tiżviluppa dan ftit aktar.
>> OK, so bbażata biss fuq id-data li aħna ltqajna, jidher li Gaga huwa probabbilment
il-kantant.
Iżda kif nistgħu jiktbu dan aktar formali?
U hemm għaddej biex tkun ftit daqsxejn ta 'statistika.
Mela jekk ikollok mitlufa, biss jippruvaw biex jifhem il-kunċett.
Ma jimpurtax jekk inti tifhem l-ekwazzjonijiet perfettament ukoll.
Din hija kollha ser ikunu online.
>> Allura bażikament dak li jien kalkolu huwa l- probabbiltà li dan il-kanzunetta huwa billi
Lady Gaga peress li -
għalhekk dan bar ifisser peress li -
Rajt il-kelma "baby." Does li jagħmel sens?
Hekk jien jipprova jikkalkula Dik il-probabilità.
>> Allura hemm dan teorema imsejjaħ il- Teorema Bayes li jgħid li l-
probabbiltà ta 'A B partikolari, hija l- probabbiltà ta 'B mogħtija A, ħinijiet l-
probabbiltà ta 'A, fuq il-probabbiltà ta 'B. Din hija ekwazzjoni twil.
Imma dak li għandek nifhmu minn li hija li dan huwa dak li nixtieq
jikkalkulaw, right?
Allura l-probabbiltà li dan kanzunetta huwa billi Lady Gaga peress li rajt il-kelma
"Baby."
>> U issa dak li jien jkollna huwa l- probabbiltà tal-kelma "baby" mogħtija
li għandi Lady Gaga.
U dak hu li bażikament?
Dak huwa li jfisser, dak li huwa l- probabbiltà li jaraw il-kelma "baby"
fil lirika Gaga?
Jekk irrid li jikkalkolaw li ħafna mod sempliċi, huwa biss l-għadd ta '
drabi nara "baby" fuq in-numru totali tal-kliem fil-lirika Gaga, right?
X'inhi l-frekwenza li nara din il-kelma fil-ħidma Gaga?
Jagħmel sens?
>> It-tieni terminu hija l- probabbiltà ta 'Gaga.
X'ifisser dan?
Dan bażikament ifisser, liema huwa l- probabbiltà tal-klassifikazzjoni
xi lirika bħala Gaga?
U dan huwa tip ta 'stramb, imma ejja jaħsbu eżempju.
Mela ejja ngħidu li l-probabbiltà ta ' li għandhom "baby" fil-kanzunetta huwa l-istess
għall Gaga u Britney Spears.
Iżda Britney Spears għandha darbtejn kanzunetti aktar minn Lady Gaga.
Mela jekk xi ħadd biss saltwarjament jagħtik lirika ta '"baby," l-ewwel ħaġa li għandek
tħares lejn huwa, liema huwa l-probabbiltà ta ' li għandhom "baby" fil kanzunetta Gaga, "baby"
fil-kanzunetta Britney?
U huwa l-istess ħaġa.
>> Allura l-tieni ħaġa li għandek tara hija, ukoll, dak li hija l-probabilità ta '
din Lyric minnha nfisha tkun Lyric Gaga, u dak li huwa l-probabbiltà ta '
tkun Lyric Britney?
Allura peress Britney għandha lirika tant aktar milli Gaga, inti probabilment
jiġifieri, ukoll, dan huwa probabbilment Lyric Britney.
Allura hu għalhekk li aħna għandna dan jsejħu dritt hawn.
Probabbiltà ta 'Gaga.
Jagħmel sens?
Ma?
OK.
>> U l-aħħar wieħed huwa biss il-probabbiltà ta '"baby" li ma
verament kwistjoni li ħafna.
Imma hija l-probabbiltà ta ' jaraw "baby" bl-Ingliż.
Aħna normalment ma kura li ħafna dwar dak it-terminu.
Does li jagħmel sens?
Allura l-probabbiltà ta 'Gaga huwa imsejjaħ il-probabbiltà qabel
tal-Gaga klassi.
Għaliex dan ifisser biss li, dak li huwa l- probabbiltà ta 'wara dik il-klassi -
li hija Gaga -
biss b'mod ġenerali, biss bl-ebda kundizzjonijiet.
>> U mbagħad meta I jkollhom probabilità ta ' Gaga partikolari "baby," aħna sejħa hija plus
teary probabbiltà għaliex dan huwa il-probabbiltà ta 'wara
Gaga mogħtija xi evidenza.
Hekk jien giving you l-evidenza li rajt l-tarbija kelma u
il-kanzunetta jagħmel sens?
OK.
>> So I Jekk kkalkulat li għal kull mill-kanzunetti għall Lady Gaga,
dak li jkun -
apparentement, I ma tistax tiċċaqlaq dan.
Il-probabbiltà ta 'Gaga se jkun xi ħaġa simili, 2 aktar minn 24, il-ħinijiet 1/2,
aktar minn 2 fuq 53.
Ma jimpurtax jekk inti taf liema dawn in-numri huma ġejjin minn.
Imma huwa biss numru li qed issir li jkun aktar minn 0, right?
>> U mbagħad meta I do Katy Perry, il- probabbiltà ta '"baby" mogħtija Katy hija
diġà 0, right?
Minħabba li m'hemm l-ebda "baby" fil Katy Perry.
Mela allura dan isir 0, u Gaga jirbaħ, li jfisser li Gaga huwa
probabbilment l-kantanta.
Does li jagħmel sens?
OK.
>> Mela jekk jien tixtieq li tagħmel dan aktar uffiċjali, I jistgħu attwalment jagħmlu mudell
għall-kliem multipli.
Mela ejja ngħidu li għandi xi ħaġa simili, "baby, I am
fuq nar, "jew xi ħaġa.
Għalhekk għandha kliem multipli.
U f'dan il-każ, tista 'tara li "baby" huwa Gaga,
iżda mhux fil Katy.
U "nar" huwa Katy, iżda mhuwiex fil Gaga, right?
Allura huwa jkollna delikati, right?
Minħabba li din tidher li inti kważi ikollhom konnessjonijiet bejn it-tnejn.
>> Allura dak li għandek tagħmel hu li tassumi indipendenza fost il-kliem.
Allura bażikament dak li tfisser hija li Jien biss kalkolu dak li huwa l-
probabbiltà li jaraw "baby," dak li hu il-probabbiltà li jaraw "I," u
"Am", u "fuq," u "n-nar," kollha separatament.
Imbagħad jien multiplikazzjoni kull wieħed minnhom.
U jien jaraw dak hija l-probabilità jaraw is-sentenza kollu.
Jagħmel sens?
>> Allura bażikament, jekk ikolli biss kelma waħda, dak li nixtieq li ssib huwa l-mass arg,
li jfisser, liema hija l-klassi li tagħti me l-ogħla probabbiltà?
Allura x'inhi l-klassi li qed tagħti me l-ogħla probabbiltà biex
probabbiltà ta 'klassi partikolari kelma.
Allura f'dan il-każ, Gaga mogħtija "baby." Jew Katy mogħtija "baby." Jagħmel sens?
>> U biss mill Bayes, li ekwazzjoni li I wera,
noħolqu din il-frazzjoni.
L-unika ħaġa hija li inti tara li il-probabbiltà tal-kelma minħabba l-
bidliet klassi skond fuq il-klassi, id-dritt?
In-numru ta '"baby" i li għandi fil Gaga hija differenti mill Katy.
Il-probabbiltà tal-klassi wkoll bidliet għaliex huwa biss in-numru
ta 'kanzunetti kull wieħed minnhom għandu.
>> Iżda l-probabbiltà tal-kelma nnifisha se tkun l-istess għal kulħadd l-
artisti, id-dritt?
Allura l-probabbiltà tal-kelma hija biss, liema hija l-probabilità ta '
jaraw din il-kelma fil- Lingwa Ingliża?
Allura huwa l-istess għal kull wieħed minnhom.
Allura peress li dan huwa kostanti, nistgħu biss qatra dan u ma jimpurtahom dwar dan.
Allura dan se jkun effettivament il- ekwazzjoni aħna qed tfittex.
>> U jekk ikolli kliem multipli, jien xorta se jkollhom l-qabel
probabbiltà hawn.
L-unika ħaġa hija li jien multiplikazzjoni il-probabbiltà ta '
il-kliem kollha l-oħra.
Hekk jien multiplikazzjoni kull wieħed minnhom.
Jagħmel sens?
Huwa jistenna stramb imma bażikament ifisser, tikkalkula l-qabel tal-klassi, u
imbagħad timmultiplika bil-probabilità ta 'kull tal-kliem li jkunu f'dik il-klassi.
>> U inti taf li l-probabilità ta ' kelma mogħtija klassi se tkun l-
numru ta 'drabi tara din il-kelma fil- dik il-klassi, diviż bin-numru ta '
kliem għandek f'dik klassi ġenerali.
Jagħmel sens?
Huwa biss kif "baby" kien 2 fuq in-numru ta 'kliem li
I kellhom fil-lirika.
Hekk biss il-frekwenza.
>> Imma hemm ħaġa waħda.
Ftakar kif I kien juri li l- probabbiltà li jkunu lirika "baby"
minn Katy Perry kien 0 sempliċiment għaliex Katy Perry ma kellhomx "baby" xejn affattu?
Iżda ħsejjes ftit ħorox għal ftit sempliċement jgħidu li lirika ma jista 'jkun minn
artist biss minħabba li ma jkollhom din il-kelma b'mod partikolari fi kwalunkwe ħin.
>> Allura inti tista 'biss jgħidu, ukoll, jekk inti ma jkollhomx din il-kelma, jien ser
jagħtuk probabbiltà aktar baxx, imma jien biss mhux ser
jagħtuk 0 dritt bogħod.
Għaliex forsi kien xi ħaġa simili, "Nar, nar, nar, nar," li huwa
totalment Katy Perry.
U mbagħad "baby," u hija biss tmur biex 0 dritt bogħod għaliex kien hemm waħda
"Baby."
>> Allura bażikament dak li nagħmlu xi ħaġa imsejħa Laplace smoothing.
U dan ifisser biss li jien tagħti b'xi probabbilità anke sal-kliem
li ma jeżistux.
Allura dak li nagħmel huwa li meta jien kalkolu ta 'dan, I dejjem żid 1 sa
in-numeratur.
Għalhekk anki jekk il-kelma ma teżistix, fil- F'dan il-każ, jekk dan huwa 0, jien xorta
kalkolu ta 'dan bħala 1 fuq il- numru totali ta 'kliem.
Inkella, I nikseb kif ħafna kliem Għandi u I żid 1.
Hekk jien li jgħoddu għall-żewġ każijiet.
Jagħmel sens?
>> Allura issa ejja jagħmlu xi kodifikazzjoni.
Jien ser ikollhom jagħmlu dan pretty fast, imma huwa biss importanti li inti
guys jifhmu l-kunċetti.
Allura dak li aħna qed tipprova tagħmel huwa eżattament jimplimentaw din
ħaġa li I biss qal -
Irrid li inti tpoġġi lirika minn Lady Gaga u Katy Perry.
U l-programm se tkun kapaċi jgħidu jekk dawn lirika ġodda huma minn Gaga
jew Katy Perry.
Jagħmel sens?
OK.
>> So I jkollhom dan il-programm jien ser għal sejħa classify.py.
Allura dan huwa Python.
Huwa lingwa ġdida ta 'programmar.
Din hija simili ħafna f'xi modi biex C u PHP.
Dan huwa simili għaliex jekk inti tixtieq li jitgħallmu Python wara li jkunu jafu C, huwa
verament mhux li ħafna ta 'sfida sempliċement minħabba Python hija ħafna aktar faċli
minn C, qabel kollox.
U ħafna affarijiet huma diġà implimentati għalik.
Allura kemm bħal PHP għandu funzjonijiet li sort lista, jew tehmeż xi ħaġa
għal firxa, jew blah, blah, blah.
Python tkun kollha ta 'dawk ukoll.
>> Hekk jien biss ser jispjegaw malajr kif nistgħu nagħmlu l-klassifikazzjoni
problema għall here.
Mela ejja ngħidu li f'dan il-każ, għandi lirika minn Gaga u Katy Perry.
Il-mod li I jkollhom dawk lirika hi li l-ewwel kelma tat-lirika hi
l-isem tal-artist, u il-bqija hija l-lirika.
Mela ejja ngħidu li għandi din il-lista li l-ewwel waħda hija lirika Gaga.
So here I am fuq il-binarju dritt.
U l-wieħed li jmiss huwa Katy, u hija għandha wkoll l-lirika.
>> Allura dan huwa kif inti tiddikjara varjabbli fil Python.
Inti ma għandekx tagħti l-tip ta 'data.
Inti biss jiktbu "lirika," tip ta 'bħal fil-PHP.
Jagħmel sens?
>> Allura x'inhuma l-affarijiet li I għandhom jikkalkula li jkun kapaċi jikkalkola l-
probabbiltajiet?
I għandhom jikkalkolaw l-"priors" ta 'kull differenti
klassijiet li għandi.
I għandhom jikkalkolaw l-"posteriors," jew pjuttost l-probabbiltajiet ta '
kull wieħed mill-kliem differenti li I jista 'jkollhom għal kull artist.
Hekk fi żmien Gaga, per eżempju, jien ser li jkollhom lista ta 'kif ħafna drabi nara
kull wieħed mill-kliem.
Jagħmel sens?
>> U fl-aħħarnett, jien biss se jkollhom lista imsejħa "kliem" li huwa biss se
li jkollhom kliem kemm I jkollu għal kull artist.
Allura għal Gaga, per eżempju, meta nħares għall-lirika, kelli, I think, 24
kliem b'kollox.
Allura din il-lista huwa biss se jkollhom Gaga 24, u Katy numru ieħor.
Jagħmel sens?
OK.
>> Allura issa, fil-fatt, ejja jmorru għall-kodifikazzjoni.
Għalhekk fl-Python, inti tista 'attwalment ritorn mazz ta 'differenti
affarijiet minn funzjoni.
Hekk jien se toħloq din il-funzjoni imsejħa "kundizzjonali," li se
li jirritornaw kollha ta 'dawk l-affarijiet, il- "priors," il-"probabbiltajiet," u l-
"kliem." Allura "kundizzjonali," u huwa ser jiġu jinxteħtu dubji dwar "lirika."
>> Allura issa nixtieq li fil-fatt tikteb din il-funzjoni.
Allura l-mod li nista 'tikteb din funzjoni I biss definit f'dan
jiffunzjonaw bil-"def." So I ma "def kondizzjonali, "u huwa jieħu
"Lirika." U dak li dan huwa se jagħmel huwa, qabel kollox, għandi priors tiegħi
li nixtieq li jikkalkolaw.
>> Allura l-mod li nista 'nagħmlu dan hu li toħloq dizzjunarju fil Python, li
hija pjuttost l-istess ħaġa bħala hash mejda, jew huwa simili iterattiv
firxa fil-PHP.
Dan huwa kif Niddikjara dizzjunarju.
U bażikament dak li dan ifisser huwa li priors ta Gaga huwa 0.5, per eżempju, jekk
50% tal-lirika huma minn Gaga, 50% huma minn Katy.
Jagħmel sens?
So I jkollhom biex insemmu kif li tikkalkula l-priors.
>> Dawk li jmiss li nagħmel, ukoll, huma l-probabbiltajiet u l-kliem.
Allura l-probabbiltajiet ta 'Gaga hija l-lista ta 'l-probabbiltajiet li I
jkollhom għal kull kliem għall Gaga.
Mela jekk jien tmur għall-probabbiltajiet ta 'Gaga "Baby," per eżempju, dan ser jagħti me
xi ħaġa simili 2 fuq 24 f'dak il-każ.
Jagħmel sens?
So I mur "probabbiltajiet," mur l- "Gaga" barmil li għandu lista ta 'kollha
il-kliem Gaga, imbagħad I mur "baby," u nara l-probabbiltà.
>> U finalment I jkollhom din "Kliem" dizzjunarju.
So here, "probabbiltajiet." U mbagħad "kliem." Hekk jekk I do "kliem," "Gaga,"
dak li jiġri huwa li l- ser jagħti me 24, li tgħid li I
għandhom 24 kliem fil lirika minn Gaga.
Jagħmel sens?
Allura hawn, "kliem" hija Dah-Dah-Dah.
OK
>> Allura dak li jien ser tagħmel hu li jien ser jtenni fuq kull wieħed mill-lirika, hekk
kull wieħed mill-kordi li I jkollhom fil-lista.
U jien ser tikkalkula dawk l-affarijiet għal kull wieħed mill-kandidati.
Jagħmel sens?
So I għandek tagħmel għal loop.
>> Għalhekk fl-Python dak I tista 'tagħmel huwa "għal-linja fil lirika. "L-istess ħaġa bħala
"Għal kull" dikjarazzjoni fil-PHP.
Ftakar kif jekk kien PHP stajt jgħidu "għal kull lirika bħala
line. "Jagħmel sens?
Hekk jien tieħu kull waħda mill-linji, f'dan każ, din is-sekwenza u l-li jmiss
string hekk għal kull waħda mill-linji dak li jien ser tagħmel hu li l-ewwel, jien ser
maqsuma din il-linja fil-lista ta ' kliem separati minn spazji.
>> Allura l-ħaġa jibred dwar Python hija li inti tista 'biss Google bħal "Kif nista'
jaqsam string fil-kliem? "U huwa ser jgħidulek kif għandek tagħmel dan.
U l-mod kif tagħmel dan, huwa biss "linja = Line.split () "u huwa bażikament
ser jagħtuk lista ma kull wieħed mill-kliem hawn.
Jagħmel sens?
Allura issa li għamilt li nixtieq li tkun taf li huwa l-kantant ta 'dak kanzunetta.
U li tagħmel dan I biss għandhom jiksbu l- ewwel element tal-firxa, id-dritt?
So I jistgħu biss jgħidu li I "kantant = Line (0) "Jagħmel sens?
>> U allura dak I bżonn tagħmel hija qabel kollha, jien ser taġġorna kemm
kliem Għandi taħt "Gaga." hekk jien biss ser jikkalkula kemm kliem I
ikollhom f'din il-lista, id-dritt?
Minħabba li dan huwa kif ħafna kliem I jkollhom fil-lirika u jien biss ser
iżżidhiex mal-"Gaga" matriċi.
Does li jagħmel sens?
M'għandekx tiffoka wisq fuq il-sintassi.
Aħseb aktar dwar il-kunċetti.
Dik hija l-aktar parti importanti.
OK.
>> Allura dak I tista 'tagħmel dan hija jekk "Gaga" hija diġà f'dik il-lista, hekk "jekk kantanta fil
kliem "li jfisser li jien diġà jkollhom kliem mill Gaga.
I biss trid iżżid l-addizzjonali kliem għal dan.
Allura dak li nagħmel huwa "kliem (kantanta) + = Len (linja) - 1 ".
U mbagħad I tista 'biss tagħmel l- tul tal-linja.
Allura kif ħafna elementi I jkollhom fil-firxa.
U nagħmel minus 1 sempliċiment għaliex l-ewwel element ta 'l-array huwa biss
kantant u dawn mhumiex lirika.
Jagħmel sens?
OK.
>> "Else," dan ifisser li nixtieq li attwalment daħħal Gaga fil-lista.
So I biss ma "kliem (kantanta) = Len (linja) - 1, "sorry.
Allura l-unika differenza bejn it-tnejn linji hija li dan wieħed, ma
jeżistux, hekk jien biss initializing dan.
Dan wieħed jien attwalment żżid.
OK.
Allura dan kien li jżid mal-kliem.
>> Issa nixtieq li żżid mal-priors.
Allura kif nista 'jikkalkula l-priors?
Il priors tista 'tiġi kkalkulata minn kif ħafna drabi.
Allura kif ħafna drabi tara li kantant fost kollha tal-kantanti li inti
jkollhom, right?
Allura għal Gaga u Katy Perry, f'dan il-każ, nara Gaga
darba, Katy Perry darba.
>> Allura bażikament l-priors għall Gaga u għal Katy Perry kieku
jkun biss wieħed, id-dritt?
Inti biss kif ħafna drabi I tara l-artist.
Allura dan huwa faċli ħafna biex jiġi kkalkulat.
I tista 'biss xi ħaġa simili bħal "jekk kantanta fil priors, "jien biss se
żid 1 sa kaxxa priors tagħhom.
Allura, "priors (nijet)" + = 1 "u mbagħad" inkella " Jien ser tagħmel "priors (kantanta)
= 1. "Jagħmel sens?
>> Hekk jekk dan ma jeżistix I biss jitqiegħed bħala 1, inkella I biss żid 1.
OK, hekk issa kulħadd li jien ***ħalla tagħmel huwa wkoll żżid kull wieħed mill-kliem tal-
probabbiltajiet.
So I għandhom jgħoddu kif ħafna drabi I jaraw lil tal-kliem.
So I biss għandek tagħmel ieħor għall loop fil-linja.
>> Allura l-ewwel ħaġa li jien ser tagħmel hu li jiċċekkjaw jekk il-kantanta diġà għandha
probabbiltajiet array.
Hekk jien iċċekkjar jekk l-kantanta ma jkollhom firxa probabbiltajiet, jien biss
se initialize wieħed għalihom.
Huwa lanqas firxa, sorry, huwa dizzjunarju.
Allura l-probabbiltajiet ta 'kantanta huwa għaddej li jkun dizzjunarju miftuħa, hekk jien
biss initializing dizzjunarju għal dan.
OK?
>> U issa I jistgħu attwalment jagħmlu għal loop tikkalkula kull wieħed mill-kliem "
probabbiltajiet.
OK.
Allura dak I tista 'tagħmel huwa għal loop.
Hekk jien biss se jtenni fuq il-firxa.
Allura l-mod li I tista 'tagħmel dan fil Python hija "għall-i fil-firxa." Mill-1
għaliex nixtieq li jibdew fit-tieni element minħabba li l-ewwel waħda hija l-
isem kantanta.
Allura minn wieħed sa l- tul tal-linja.
U meta I do jvarjaw fil-fatt imorru minn bħal hawn minn 1 sa len tal-
line minus 1.
Għalhekk diġà ma dan ħaġa li jagħmlu n minus 1 għall-arrays li huwa ferm
konvenjenti.
Jagħmel sens?
>> Allura għal kull waħda minn dawn, dak li jien ser tagħmel huwa, bħal fil-ieħor,
Jien ser jiċċekkja jekk il-kelma f'dan pożizzjoni fil-linja hija diġà fis-
probabbiltajiet.
U mbagħad kif għidt hawn, probabbiltajiet kliem, bħal fil nressaq
"probabbiltajiet (kantanta)".
Allura l-isem tal-kantanta.
Mela jekk huwa diġà "Probabilit (kantanta)", dan ifisser li jien
tixtieq li żid 1 miegħu, hekk jien ser do "probabbiltajiet (kantanta)", u l-
kelma tissejjaħ "linja (i)".
Jien ser żid 1 u "inkella" jien biss se initialize li 1.
"Linja (i)".
Jagħmel sens?
>> So, I kkalkulata kollha tal-arrays.
Allura, issa dak kollu li nagħmel għal dan huwa wieħed biss "priors ritorn,
probabbiltajiet u kliem. "Ejja ara jekk hemm xi, OK.
Jidher kollox qed taħdem s'issa.
Allura, li jagħmel sens?
B'xi mod?
OK.
Allura issa għandi l-probabbiltajiet.
Allura issa l-unika ħaġa I ħallew huwa biss li jkollhom dik ħaġa li
tikkalkula l-prodott ta 'l- probabbiltajiet meta nasal l-lirika.
>> Mela ejja ngħidu li nixtieq li issa sejħa din il-funzjoni "jikklassifikaw ()" u l-
ħaġa li l-funzjoni jieħu huwa biss argument.
Ejja ngħidu "Baby, I am fuq nar" u huwa ser insemmu dak li huwa l-
probabbiltà li dan huwa Gaga?
Liema hija l-probabilità li dan huwa Katie?
Ħsejjes tajba?
Hekk jien biss se jkollhom biex joħolqu funzjoni ġdida msejħa "jikklassifikaw ()" u
li għaddej biex jieħdu xi lirika ukoll.
U minbarra l-lirika I wkoll għandek tibgħat l-priors, il-
probabbiltajiet u l-kliem.
Hekk jien ser tibgħat lirika, priors, probabbiltajiet, kliem.
>> Allura dan qed lirika, priors, probabbiltajiet, kliem.
Allura, dak ma tagħmel?
Bażikament huwa se jmorru kollha permezz il-kandidati possibbli li inti
jkollhom bħala kantant.
U fejn huma dawk il-kandidati?
Huma qed Fl-priors, right?
So I jkollhom dawk kollha hemmhekk.
Hekk jien ser ikollhom dizzjunarju tal-kandidati kollha possibbli.
U allura għal kull kandidat fil- priors, għalhekk ifisser li għaddej biex
jkun Gaga, Katie kieku kelli aktar ikun aktar.
Jien ser tibda kalkolu din il-probabbiltà.
Il-probabilità kif rajna fil- PowerPoint hija l-ħinijiet ta 'qabel l-
prodott ta 'kull probabbiltajiet oħra.
>> So I tista 'tagħmel l-istess hawn.
I tista 'biss tagħmel probabbiltà hija inizjalment biss il-preċedenti.
Allura priors tal-kandidat.
Dritt?
U issa I għandhom jtenni fuq l- kliem li għandi fil-lirika li jkun
kapaċi li jżidu l-probabbiltà għal kull wieħed minnhom, OK?
Allura, "għall-kelma fil lirika" dak li jien ser tagħmel hu li, jekk il-kelma hija fil-
"probabbiltajiet (kandidati)", li ifisser li din hija kelma li l-
kandidat għandu fil lirika tagħhom -
per eżempju, "baby" għal Gaga -
dak li jien ser tagħmel hu li l- probabbiltà huwa ser jiġi multiplikat
mill-1 plus il-probabbiltajiet ta ' il-kandidat għal din il-kelma.
U huwa msejjaħ "kelma".
Dan diviż bin-numru ta 'kliem li għandi għal dak il-kandidat.
In-numru totali ta 'kliem li għandi għall-kantanta li jien tħares lejn.
>> "Else." dan ifisser li huwa kelma ġdida għalhekk d jkun simili per eżempju
"Nar" għall Lady Gaga.
So I biss trid tagħmel 1 fuq "Kelma (kandidat)".
So I ma jridux jitqiegħdu dan it-terminu hawn.
>> Allura li għaddej biex tkun bażikament ikkupjar u pasta dan.
Imma jien ser tħassar din il-parti.
Allura huwa biss se tkun l-1 fuq dak.
Ħsejjes tajba?
U issa fl-aħħar, jien biss ser jistampa l-isem tal-kandidat u
il-probabbiltà li inti għandek ta jkollhom il-S fuq lirika tagħhom.
Jagħmel sens?
And I attwalment ma anki bżonn din dizzjunarju.
Jagħmel sens?
>> Allura, ejja ara jekk dan attwalment xogħlijiet.
Hekk jekk I run dan, ma ħadmux.
Stenna tieni waħda.
"Kliem (kandidati)", "kliem (kandidati)", li l-
l-isem ta 'l-array.
OK Għalhekk, huwa jgħid hemm xi bug għall-kandidatura fl-priors.
Let me biss chill ftit.
OK.
Ejja nippruvaw.
OK.
>> Għalhekk hija tagħti Katy Perry għandha dan probabbiltà ta 'din drabi 10 għall-
minus 7, u Gaga għandha dan drabi 10 tal-minus 6.
Allura inti tara dan juri li Gaga għandha probabbiltà akbar.
Allura "Baby, jien fuq Fire" hija probabbilment kanzunetta Gaga.
Jagħmel sens?
Allura dan huwa dak li għamilna.
>> Dan il-kodiċi se jiġu stazzjonati online, Allura inti guys tista 'check out.
Forsi jużaw xi minnha għall jekk inti tixtieq li jagħmlu proġett jew xi ħaġa simili.
OK.
Dan kien biss biex juru liema komputazzjoni
kodiċi linguistics Dehra.
Imma issa ejja mur aktar Jittieħed livell għoli.
OK.
>> Allura l-problemi oħra I kien jitkellem dwar -
il-problema segmentazzjoni hija l-ewwel minnhom.
Hekk ikollok hawn Ġappuniż.
U allura inti tara li m'hemm l-ebda spazji.
Allura dan huwa bażikament ifisser li huwa -quċċata tal-president, id-dritt?
Inti titkellem Ġappuniż?
Hu l-quċċata tal-president, id-dritt?
>> STUDENT: I do not know dak fuq il-Kanji hemm.
>> LUCAS FREITAS: Huwa [TITKELLEM Ġappuniż]
OK.
Għalhekk bażikament ifisser president ta 'top.
Mela jekk inti kellhom jitqiegħdu spazju ikun hawn.
U allura inti għandek [? Ueda-san. ?]
Li bażikament ifisser Mr Ueda.
U tara li "Ueda" u inti għandek ispazju u mbagħad "san." Allura inti tara li
hawn int "UE" huwa simili minnu stess.
U hawn hija għandha karattru li jmiss lilu.
>> Għalhekk mhuwiex simili f'dawk il-lingwi karattri sens kelma sabiex inti
biss tpoġġi ħafna ta 'spazji.
Karattri jirrelataw ma 'xulxin.
U jistgħu jkunu flimkien bħal tnejn, tlieta, li waħda.
Allura inti fil-fatt għandek toħloq xi tip ta 'mod ta' tqegħid dawk l-ispazji.
>> U din hija ħaġa li kull meta ikollok data minn dawk il-lingwi Asjatiċi,
Kollox ġej unsegmented.
Minħabba li ebda wieħed li jikteb Ġappuniż jew Ċiniż jikteb bi spazji.
Kull meta int bil-miktub Ċiniż, Ġappuniż inti biss jiktbu dak kollu
bl-ebda spazji.
Hija lanqas ma jagħmlu sens jitqiegħdu spazji.
Mela allura meta inti tikseb data minn, xi Lingwa Asja lvant, jekk inti tixtieq li
fil-fatt jagħmlu xi ħaġa ma 'dak għandek segment ewwel.
>> Jaħsbu li jagħmlu l-eżempju ta ' l-lirika mingħajr spazji.
Allura l-uniċi lirika li għandek se jkun sentenzi, right?
Separati minn perjodi.
Imma mbagħad wara biss is-sentenza ser ma verament tgħin fuq l-għoti ta 'informazzjoni
ta 'min dawk lirika huma minn.
Dritt?
Allura għandek tpoġġi spazji ewwel.
Allura kif tista 'tagħmel dan?
>> Allura imbagħad jiġi l-idea ta 'lingwa mudell li hija xi ħaġa verament
importanti għall-komputazzjoni linguistics.
Allura mudell lingwa hija bażikament tabella ta 'probabbiltajiet li turi
ewwel nett liema hija l-probabbiltà ta 'wara l-kelma f'lingwa?
Allura turi kif frekwenti kelma hu.
U mbagħad juru wkoll ir-relazzjoni bejn il-kliem fil-sentenza.
>> Allura l-idea prinċipali huwa, jekk barrani daħal lilek u qal sentenza li
int, liema hija l-probabilità li, għal eżempju, "dan huwa tiegħi sister [? GTF"?]
kienet is-sentenza li l-imsemmija persuna?
Allura ovvjament xi sentenzi huma aktar komuni minn oħrajn.
Per eżempju, "filgħodu tajba," jew "tajba lejl, "jew" ħej hemm, "huwa ħafna aktar
komuni minn aktar sentenzi li għandna Ingliż.
Allura għaliex huma dawk il-pieni aktar frekwenti?
>> L-ewwelnett, huwa għaliex għandek kliem li huma aktar frekwenti.
Għalhekk, per eżempju, jekk inti tgħidli, il-kelb kbar, u l-kelb huwa ġiganteski, inti
normalment probabbilment tisma 'l-kelb huwa kbir aktar spiss għaliex "big" huwa aktar
frekwenti bl-Ingliż minn "ġiganteski." Għalhekk, waħda mill-
affarijiet hija l-frekwenza kelma.
>> It-tieni ħaġa li hija verament importanti huwa biss il-
ordni tal-kliem.
Għalhekk, huwa komuni li jgħidu "il-qattus huwa ġewwa l-kaxxa. "imma inti normalment ma
tara "Il-kaxxa minn ġewwa l-qattus." hekk tara li hemm xi importanza
fl-ordni tal-kliem.
Inti ma tistax biss jgħidu li dawn iż-żewġ sentenzi għandhom l-istess probabbiltà
sempliċiment għaliex għandhom l-istess kliem.
Inti attwalment ikollhom kura dwar ordni kif ukoll.
Jagħmel sens?
>> Allura dak li nagħmlu?
Allura dak I tista 'tipprova li inti tikseb?
Jien tipprova tikseb dak li aħna sejħa tal-mudelli n gramma.
Allura mudelli n gram bażikament jassumi li għal kull kelma li
għandek fil-sentenza.
Hu l-probabbiltà ta 'wara dak kelma jiddependi hemm mhux biss fuq il-
frekwenza ta 'din il-kelma fil-lingwa, iżda wkoll fuq il-kliem li
huma madwar tagħha.
>> Hekk per eżempju, normalment meta tara xi ħaġa simili fuq jew fil int
probabbilment se tara nom wara dan, id-dritt?
Għaliex meta jkollok prepożizzjoni normalment hija tieħu nom wara.
Jew jekk għandek verb li huwa transittivi inti normalment ser
jkollhom frażi nom.
Allura li għaddej biex ikollhom nom x'imkien madwaru.
>> Allura, bażikament, x'tagħmel huwa li tikkunsidra l-probabbiltà ta 'wara
kliem ħdejn xulxin, meta int kalkolu tal-
probabbiltà ta 'sentenza.
U dan huwa dak lingwa mudell huwa bażikament.
Just qal x'inhu l-probabbiltà li jkun speċifiku
sentenza b'lingwa?
Allura għaliex huwa li utli, bażikament?
U l-ewwel nett dak li huwa mudell n-gramma, allura?
>> Allura mudell n-gramma ifisser li kull kelma jiddependi fuq il-
N jmiss minus 1 kliem.
Allura, bażikament, dan ifisser li jekk I ħarsa, per eżempju, fil-TF CS50 meta
Jien kalkolu tal-probabbiltà ta ' is-sentenza, inti ser tkun bħal "l-
probabbiltà ta 'wara l-kelma "il-" darbiet il-probabbiltà ta 'wara "l-
CS50 "żminijiet il-probabbiltà ta 'wara "Il-TF CS50." Allura, bażikament, I joqgħod
modi kollha possibbli ta 'tiġbid.
>> U mbagħad normalment meta int tagħmel dan, kif fi proġett, inti tpoġġi N li jkun
valur baxx.
Allura, normalment ikollhom bigrams jew trigrams.
Allura li inti biss joqgħod żewġ kelmiet, a grupp ta 'żewġ kelmiet, jew tliet kelmiet,
biss għall-kwistjonijiet ta 'prestazzjoni.
U wkoll minħabba forsi jekk ikollok xi ħaġa bħal "Il-TF CS50." Meta inti
jkollhom "TF", huwa importanti ħafna li "CS50" li jmiss huwa li, right?
Dawn iż-żewġ affarijiet huma normalment ħdejn xulxin.
>> Jekk taħseb ta '"TF," huwa probabbilment ser ikollhom dak
klassi huwa TF'ing għall.
Ukoll "il-" huwa verament importanti għall CS50 TF.
Imma jekk għandek xi ħaġa bħal "Il-CS50 TF marru għall-klassi u taw tagħhom
studenti xi kandju. "" Candy "u" l " jkollhom l-ebda relazzjoni verament, right?
Huma qed hekk bogħod minn xulxin li ma verament jimpurtax f'liema
kliem għandek.
>> Hekk billi tagħmel bigram jew trigram, hija ifisser biss li inti qed jillimitaw
lilek innifsek biex xi kliem li huma madwar.
Jagħmel sens?
Allura meta inti tixtieq li tagħmel segmentazzjoni, bażikament, dak li trid tagħmel hu li tara
liema huma l-modi kollha possibbli li inti tista 'segment is-sentenza.
>> Tali li inti tara dak li huwa l- probabbiltà ta 'kull wieħed minn dawk is-sentenzi
eżistenti fil-lingwa?
Allura dak li għandek tagħmel huwa simili, ukoll, ejja me tipprova tpoġġi spazju hawnhekk.
Allura inti tpoġġi spazju hemmhekk u tara dak li huwa l-
probabbiltà ta 'din is-sentenza?
Imbagħad inti simili, OK, forsi li ma kienx li tajba.
So I tpoġġi spazju hemmhekk u spazju hemmhekk, u inti tikkalkula l-
probabbiltà issa, u tara li huwa probabbiltà ogħla.
>> Allura dan huwa algoritmu imsejjaħ il-Tango algoritmu segmentazzjoni, li hija
attwalment xi ħaġa li tkun verament jiksaħ għal proġett, li
bażikament jieħu test unsegmented li jista 'jkun Ġappuniż jew Ċiniża jew forsi
Ingliż mingħajr spazji u tipprova tpoġġi ispazji bejn il-kliem u dan ma
li bl-użu ta 'mudell tal-lingwa u tipprova tara dak li huwa l-ogħla
probabbiltà tista 'tikseb.
OK.
Allura dan huwa segmentazzjoni.
>> Issa sintassi.
Għalhekk, sintassi ikun qed jintuża għall- tant affarijiet dritt issa.
Allura għal Grafika Search, għal Siri għall- pretty ħafna xi tip ta 'naturali
lingwa ipproċessar għandek.
Allura x'inhuma l-importanti affarijiet dwar sintassi?
Allura, sentenzi ġeneralment għandhom nsejħu kostitwenti.
Liema huma tip simili gruppi ta 'kliem li għandhom funzjoni fil-sentenza.
U ma jistgħux verament tkun bogħod minn xulxin.
>> Allura, jekk ngħid, per eżempju, "Lauren iħobb Milo. "Naf li" Lauren "huwa
kostitwenti u mbagħad "iħobb Milo "huwa wkoll wieħed ieħor.
Għaliex inti ma tistax tgħid bħal "Lauren Milo tant iħobb "li jkollhom l-istess tifsira.
Huwa mhux ser ikollhom l-istess tifsira.
Jew Ma nistax ngħid simili "Milo Lauren tant iħobb. "Mhux kollox għandu l-istess
jfisser tagħmel dan.
>> Allura l-żewġ affarijiet aktar importanti dwar sintassi huma t-tipi lessikali li huwa
bażikament l-funzjoni li inti jkollhom għall-kliem stess.
Allura inti għandek tkun taf li "Lauren" u "Milo" huma nomi.
"Love" huwa verb.
U t-tieni ħaġa importanti hija li dawn qed tipi phrasal.
Allura inti taf li "tant iħobb Milo" huwa attwalment frażi verbali.
Allura meta I say "Lauren," Naf li Lauren qed tagħmel xi ħaġa.
X'inhu hi tagħmel?
Hi loving Milo.
Allura hija ħaġa sħiħa.
Iżda l-komponenti tagħha jkunu nom u verb.
Imma flimkien, dawn jagħmlu frażi verb.
>> Allura, dak li nistgħu attwalment tagħmel ma lingwistika kompjutazzjonali?
Għalhekk, jekk I ikollhom xi ħaġa per eżempju "ħbieb ta 'Allison." I ara jekk I biss
ma 'siġra sintattika I taf li "Ħbieb" hija frażi nom huwa
nom u mbagħad "ta 'Allison" huwa prepożizzjoni li fihom "ta '" hija
proposition u "Allison" huwa nom.
What I tista 'tagħmel huwa jgħallmu kompjuter tiegħi li meta I jkollhom frażi nom waħda u
imbagħad prepożizzjoni.
Allura f'dan il-każ, "ħbieb" u mbagħad "ta ' Milo "Naf li dan ifisser li
NP2, it-tieni waħda, tippossjedi NP1.
>> So I tista 'toħloq xi tip ta' relazzjoni, xi tip ta 'funzjoni għaliha.
Allura meta nara din l-istruttura, li logħbiet eżattament bl-"ħbieb tal-
Allison, "Naf li Allison tippossjedi l-ħbieb.
Allura l-ħbieb huma xi ħaġa li Allison għandha.
Jagħmel sens?
Allura dan huwa bażikament dak Grafika Fittex ma.
Hija biss toħloq regoli għal ħafna affarijiet.
Hekk "ħbieb ta 'Allison," "ħbieb tiegħi li jgħixu fl-Cambridge, "" ħbieb tiegħi
li mur Harvard. "Hija toħloq regoli għall kollha ta 'dawk l-affarijiet.
>> Issa traduzzjoni mekkanika.
Allura, traduzzjoni magna hija wkoll xi ħaġa statistika.
U fil-fatt jekk ikollok involuti lingwistika kompjutazzjonali, lott ta '
Jittieħed tiegħek se jkun l-istatistika.
I hekk kien isir l-eżempju ma ' ħafna ta 'probabbiltajiet li kien I
kalkolu, u mbagħad ikollok biex dan Numru żgħir ħafna li l-aħħar
probabbiltà, u dak hu li jagħtik it-tweġiba.
Magna tat-traduzzjoni tuża wkoll mudell statistiku.
U jekk inti tixtieq li jaħsbu ta 'magna traduzzjoni fl-sempliċi possibbli
mod, dak inti tista 'taħseb huwa biss tittraduċi kelma b'kelma, right?
>> Meta inti qed jitgħallmu lingwa għall- ewwel darba, dan huwa normalment dak
inti tagħmel, right?
Jekk trid tittraduċi sentenza fil-lingwa tiegħek għall-lingwa
int tagħlim, normalment l-ewwel, inti tittraduċi kull wieħed mill-kliem
individwalment, u mbagħad inti tipprova li jpoġġi l-kliem fil-post.
>> Mela jekk jien ridt li tittraduċi dan, [PORTUGIŻA TITKELLEM]
li tfisser "l-qattus abjad dam bogħod." Jekk jien ridt li jittraduċu minn
Portugiż għall-Ingliż, dak I tista 'tagħmel huwa, minn naħa, I biss
tittraduċi kelma b'kelma.
Allura "o" huwa "l-," "gato," "qattus," "Branco," "abjad," u mbagħad "fugio" hija
"Dam bogħod."
>> Mela allura I jkollhom il-kliem kollha hawn, iżda dawn mhux qed fl-ordni.
Huwa simili "il-white cat dam bogħod" li huwa ungrammatical.
Iva, allura I jista 'jkollhom it-tieni pass, li se tkun tinstab l-ideal
pożizzjoni għal kull wieħed mill-kliem.
So I jafu li I attwalment tixtieq li jkollok "Qattus abjad" minflok "abjad qattus." So
dak I tista 'tagħmel huwa, l-aktar metodu naive jkun li toħloq l-
permutazzjonijiet possibbli ta ' kliem, ta 'pożizzjonijiet.
U mbagħad tara liema waħda tkun l- ogħla probabbiltà skond
mudell lingwa tiegħi.
U mbagħad meta nsib dak li jkun l-ogħla probabbiltà li, li hija
probabbilment "l-qattus abjad dam bogħod," li l-traduzzjoni tiegħi.
>> U dan huwa mod sempliċi ta tispjega kif ħafna magna tat-traduzzjoni
algoritmi xogħol.
Does li jagħmel sens?
Dan huwa wkoll xi ħaġa verament eċċitanti li inti guys tista 'forsi jesploraw għal
proġett finali, yeah?
>> STUDENT: Well, inti qal li kien il-mod naive, hekk x'hemm
il-mod mhux naive?
>> LUCAS FREITAS: Il-mod mhux naive?
OK.
Allura l-ewwel ħaġa li hija ħażina dwar dan il-metodu huwa li jien biss tradotti
kliem, kelma b'kelma.
Imma kultant ikollok kliem li jista 'jkollhom traduzzjonijiet multipli.
Jien ser jippruvaw jaħsbu ta 'xi ħaġa.
Per eżempju, "manga" bil-Portugiż jista jkun jew "mangle" jew "komma." So
meta inti qed tipprova biex tittraduċi kelma billi kelma, jista 'jkun li inti
xi ħaġa li jagħmel ebda sens.
>> Allura inti fil-fatt tixtieq li inti tħares lejn kollha -traduzzjonijiet possibbli tal-
kliem u tara, l-ewwel nett, dak li huwa l-ordni.
Konna nitkellmu dwar permutating l-affarijiet?
Biex tara l-ordnijiet possibbli u jagħżlu l-waħda bl-ogħla
probabbiltà?
Tista 'wkoll tagħżel l-possibbli traduzzjonijiet għal kull
kelma u mbagħad tara -
flimkien mal-permutazzjonijiet -
liema waħda tkun l-ogħla probabbiltà.
>> Plus, inti tista 'ukoll tħares lejn mhux kliem biss iżda frażijiet.
sabiex inti tista 'tanalizza r-relazzjonijiet bejn l-kliem u mbagħad jiksbu
traduzzjoni aħjar.
Ukoll xi ħaġa oħra, hekk dan is-semestru Jien fil-fatt tagħmel riċerka
Ċiniż-Ingliż traduzzjoni bil-magni, hekk traduzzjoni minn
Ċiniż-Ingliż.
>> U xi ħaġa li nagħmlu huwa, minbarra użu mudell statistiku, li huwa biss
jaraw il-probabbiltajiet li jaraw xi pożizzjoni fil-sentenza, jien
attwalment żżid ukoll xi sintassi biex tiegħi mudell, qal, oh, jekk nara dan it-tip
tal-kostruzzjoni, dan huwa dak li nixtieq li bidla li meta I tittraduċi.
Allura inti tista 'wkoll żżid xi tip ta' element ta 'sintassi li jagħmlu l-
traduzzjoni aktar effiċjenti u aktar preċiż.
OK.
>> Allura kif tista 'tibda, jekk inti tixtieq tagħmel xi ħaġa fil komputazzjonali
linguistics?
>> Ewwel, inti tagħżel proġett li tikkonċerna l-lingwi.
Għalhekk, hemm tant hemmhekk.
Hemm ħafna affarijiet li tista 'tagħmel.
U allura tista 'taħseb ta' mudell li tista 'tuża.
Normalment dan ifisser ħsieb ta ' suppożizzjonijiet, bħala simili, oh, meta I kien
bħall-ħsieb tal-lirika.
I kien simili, ukoll, jekk irrid biex insemmu out a li kiteb dan, I probabilment jridu
li tħares lejn il-kliem il-persuna użata u tara li juża din il-kelma ħafna drabi.
Sabiex jippruvaw jagħmlu suppożizzjonijiet u jippruvaw jaħsbu ta 'mudelli.
U allura inti tista 'wkoll tfittex online għal it-tip ta 'problema li għandek,
u li għaddej biex jissuġġerixxu lilek mudelli li forsi
immudellata li ħaġa sew.
>> U wkoll inti tista 'dejjem email me.
me@lfreitas.com.
U nista 'biss jwieġbu l-mistoqsijiet tiegħek.
Nistgħu anke jista jiltaqgħu so I tista ' jagħtu suġġerimenti dwar modi ta '
implimentazzjoni tal-proġett tiegħek.
U I tfisser jekk ikollok involuti ma ' lingwistika kompjutazzjonali, li għaddej
li jkunu kbar.
Int ser tara hemm huwa tant potenzjali.
U l-industrija trid kiri inti daqshekk ħżiena minħabba li.
So I hope inti guys jgawdu dan.
Jekk inti guys xi mistoqsijiet, inti tista 'tistaqsi lili wara dan.
Imma nirringrazzjak.