librelist archives

« back to archive

Generativo vs. Discriminativo

Generativo vs. Discriminativo

From:
Alberto Andreotti
Date:
2014-10-09 @ 12:38
Hola,

estoy tratando de armarme una intuición acerca de la clasificación de los
modelos en generativos vs discriminativos.
Los modelos generativos aprenden un modelo de la probabilidad p(x,y),
cuando x es un dato e y es un label. Hacen la predicción utilizando la
regla de Bayes para calcular p(y|x) y devolver el y que hace eso máximo.
Los modelos discriminativos por su parte, modelan directamente p(y|x),
digamos que aprenden un mapeo directo entre x e y.
Ahora, por qué se llaman generativos lo modelos generativos? Que generan?
jaja. Algún ejemplo ilustrativo?. Acuerdense que quiero algo intuitivo para
acordarme la matemática más facilmente.

Saluti.

-- 
José Pablo Alberto Andreotti.
Tel: 54 351 4730292
Móvil: +54 351 155937792.
MSN: albertoandreotti@gmail.com
Skype: andreottialberto

Re: [aprendizajengrande] Generativo vs. Discriminativo

From:
Ale
Date:
2014-10-09 @ 15:30
2014-10-09 9:38 GMT-03:00 Alberto Andreotti <albertoandreotti@gmail.com>:

> Hola,
>
> estoy tratando de armarme una intuición acerca de la clasificación de los
> modelos en generativos vs discriminativos.
> Los modelos generativos aprenden un modelo de la probabilidad p(x,y),
> cuando x es un dato e y es un label. Hacen la predicción utilizando la
> regla de Bayes para calcular p(y|x) y devolver el y que hace eso máximo.
> Los modelos discriminativos por su parte, modelan directamente p(y|x),
> digamos que aprenden un mapeo directo entre x e y.
> Ahora, por qué se llaman generativos lo modelos generativos? Que generan?
> jaja. Algún ejemplo ilustrativo?. Acuerdense que quiero algo intuitivo para
> acordarme la matemática más facilmente.
>


Generativo hace referencia a que podes usar el modelo para simular y
generar valores de lo que estas modelando. Y entiendo que esto se puede
hacer porque porque de alguna forma tenes la probabilidad conjunta. "Si yo
tengo estás etiquetas, está clasificación cual es el texto que genero esto"
(que me corrija Pablo si no...)

No lo vi con Naive Bayes, pero con markov models podes usarlo para generar
texto por ejemplo.

http://agiliq.com/blog/2009/06/generating-pseudo-random-text-with-markov-chains-u/




> Saluti.
>
> --
> José Pablo Alberto Andreotti.
> Tel: 54 351 4730292
> Móvil: +54 351 155937792.
> MSN: albertoandreotti@gmail.com
> Sky pe: andreottialberto
>



-- 
Alejandro Peralta
Developer
http://www.machinalis.com/

Re: [aprendizajengrande] Generativo vs. Discriminativo

From:
Alberto Andreotti
Date:
2014-10-09 @ 19:04
Ajá y como sería esto mismo con un Hidden Markov Model?
Digamos se podrían generar saltos aleatorios entre los estados ocultos y
ver que aparece a la salida?

2014-10-09 12:30 GMT-03:00 Ale <aperalta@machinalis.com>:

>
>
> 2014-10-09 9:38 GMT-03:00 Alberto Andreotti <albertoandreotti@gmail.com>:
>
>> Hola,
>>
>> estoy tratando de armarme una intuición acerca de la clasificación de los
>> modelos en generativos vs discriminativos.
>> Los modelos generativos aprenden un modelo de la probabilidad p(x,y),
>> cuando x es un dato e y es un label. Hacen la predicción utilizando la
>> regla de Bayes para calcular p(y|x) y devolver el y que hace eso máximo.
>> Los modelos discriminativos por su parte, modelan directamente p(y|x),
>> digamos que aprenden un mapeo directo entre x e y.
>> Ahora, por qué se llaman generativos lo modelos generativos? Q ue
>> generan? jaja. Algún ejemplo ilustrativo?. Acuerdense que quiero algo
>> intuitivo para acordarme la matemática más facilmente.
>>
>
>
> Generativo hace referencia a que podes usar el modelo para simular y
> generar valores de lo que estas modelando. Y entiendo que esto se puede
> hacer porque porque de alguna forma tenes la probabilidad conjunta. "Si yo
> tengo estás etiquetas, está clasificación cual es el texto que genero esto"
> (que me corrija Pablo si no...)
>
> No lo vi con Naive Bayes, pero con markov models podes usarlo para generar
> texto por ejemplo.
>
>
> 
http://agiliq.com/blog/2009/06/generating-pseudo-random-text-with-markov-chains-u/
>
>
>
>
>> Saluti.
>>
>> --
>> José Pablo Alberto Andreotti.
>> Tel: 54 351 4730292
>> Móvil: +54 351 155937792.
>> MSN: albertoandreotti@gmail.com
>> Sky pe: andreottialberto
>>
>
>
>
> --
> Alejandro Peralta
> Developer
> http://www.machinalis.com/
>



-- 
José Pablo Alberto Andreotti.
Tel: 54 351 4730292
Móvil: +54 351 155937792.
MSN: albertoandreotti@gmail.com
Skype: andreottialberto

Re: [aprendizajengrande] Generativo vs. Discriminativo

From:
Ale
Date:
2014-10-09 @ 19:35
2014-10-09 16:04 GMT-03:00 Alberto Andreotti <albertoandreotti@gmail.com>:

> Ajá y como sería esto mismo con un Hidden Markov Model?
> Digamos se podrían generar saltos aleatorios entre los estados ocultos y
> ver que aparece a la salida?
>

El tema con los HMM es que necesitas los estados para poder generar la
salida. Si haces un clasificador generativo, lo que entiendo yo es que
podes usar el clasificador para hacer una función que le das una clase y te
devuelve una salida probable de esa clase. O sea que para generar una
salida probablemente necesitas una secuencia de HMM.






>
> 2014-10-09 12:30 GMT-03:00 Ale <aperalta@machinalis.com>:
>
>>
>>
>> 2014-10-09 9:38 GMT-03:00 Alberto Andreotti <albertoandreotti@gmail.com>:
>>
>>> Hola,
>>>
>>> estoy tratando de armarme una intui ción acerca de la clasificación de
>>> los modelos en generativos vs discriminativos.
>>> Los modelos generativos aprenden un modelo de la probabilidad p(x,y),
>>> cuando x es un dato e y es un label. Hacen la predicción utilizando la
>>> regla de Bayes para calcular p(y|x) y devolver el y que hace eso máximo.
>>> Los modelos discriminativos por su parte, modelan directamente p(y|x),
>>> digamos que aprenden un mapeo directo entre x e y.
>>> Ahora, por qué se llaman generativos lo modelos generativos? Q ue
>>> generan? jaja. Algún ejemplo ilustrativo?. Acuerdense que quiero algo
>>> intuitivo para acordarme la matemática más facilmente.
>>>
>>
>>
>> Generativo hace referencia a que podes usar el modelo para simular y
>> generar valores de lo que estas modelando. Y entiendo que esto se puede
>> hacer porque porque de alguna forma tenes la probabilidad conjunta. "Si yo
>> tengo estás etiquetas, está clasificación cual es el texto que genero esto"
>> (que me corrija Pablo si no...)
>>
>> No lo vi con Naive Bayes, pero con markov models podes usarlo para
>> generar texto por ejemplo.
>>
>>
>> 
http://agiliq.com/blog/2009/06/generating-pseudo-random-text-with-markov-chains-u/
>>
>>
>>
>>
>>> < div>Saluti.
>>>
>>> --
>>> José Pablo Alberto Andreotti.
>>> Tel: 54 351 4730292
>>> Móvil: +54 351 155937792.
>>> MSN: albertoandreotti@gmail.com
>>> Sky pe: andreottialberto
>>>
>>
>
>
> --
> Alejandro Peralta
> Developer
> http://www.machinalis.com/
>
>
>
> --
> José Pablo Alberto Andreotti.
> Tel: 54 351 4730292
> Móvil: +54 351 155937792.
> MSN: albertoandreotti@gmail.com
> Skype: andreottialberto
>



-- 
Alejandro Peralta
Developer
http://www.machinalis.com/

Re: [aprendizajengrande] Generativo vs. Discriminativo

From:
Alberto Andreotti
Date:
2014-10-09 @ 19:48
Gracias por la respuesta.

2014-10-09 16:35 GMT-03:00 Ale <aperalta@machinalis.com>:

>
>
> 2014-10-09 16:04 GMT-03:00 Alberto Andreotti <albertoandreotti@gmail.com>:
>
>> Ajá y como sería esto mismo con un Hidden Markov Model?
>> Digamos se podrían generar saltos aleatorios entre los estados ocultos y
>> ver que aparece a la salida?
>>
>
> El tema con los HMM es que necesitas los estados para poder generar la
> salida. Si haces un clasificador generativo, lo que entiendo yo es que
> podes usar el clasificador para hacer una función que le das una clase y te
> devuelve una salida probable de esa clase. O sea que para generar una
> salida probablemente necesitas una secuencia de HMM.
>
>
>
>
>
>
> 2014-10-09 12:30 GMT-03:00 Ale <aperalta@machinalis.com>:
>
>>
>>
>> 2014-10-09 9:38 GMT-03:00 Alberto Andreotti <albertoandreotti@gmail.com>:
>>
>>> Hola,
>>>
>>> estoy tratando de armarme una intui ción acerca de la clasificación de
>>> los modelos en generativos vs discriminativos.
>>> Los modelos generativos aprenden un modelo de la probabilidad p(x,y),
>>> cuando x es un dato e y es un label. Hacen la predicción utilizando la
>>> regla de Bayes para calcular p(y|x) y devolver el y que hace eso máximo.
>>> Los modelos discriminativos por su parte, modelan directamente p(y|x),
>>> digamos que aprenden un mapeo directo entre x e y.
>>> Ahora, por qué se llaman generativos lo modelos generativos? Q ue
>>> generan? jaja. Algún ejemplo ilustrativo?. Acuerdense que quiero algo
>>> intuitivo para acordarme la matemática más facilmente.
>>>
>>
>>
>> Generativo hace referencia a que podes usar el modelo para simular y
>> generar valores de lo que estas modelando. Y entiendo que esto se puede
>> hacer porque porque de alguna forma tenes la probabilidad conjunta. "Si yo
>> tengo estás etiquetas, está clasificación cual es el texto que genero esto"
>> (que me corrija Pablo si no...)
>>
>> No lo vi con Naive Bayes, pero con markov models podes usarlo para
>> generar texto por ejemplo.
>>
>>
>> 
http://agiliq.com/blog/2009/06/generating-pseudo-random-text-with-markov-chains-u/
>>
>>
>>
>>
>>> < div>Saluti.
>>>
>>> --
>>> José Pablo Alberto Andreotti.
>>> Tel: 54 351 4730292
>>> Móvil: +54 351 155937792.
>>> MSN: albertoandreotti@gmail.com
>>> Sky pe: andreottialberto
>>>
>>
>
>
> --
> Alejandro Peralta
> Developer
> http://www.machinalis.com/
>
>
>
> --
> José Pablo Alberto Andreotti.
> Tel: 54 351 4730292
> Móvil: +54 351 155937792.
> MSN: albertoandreotti@gmail.com
> Skype: andreottialberto
>
>
>
> --
> Alejandro Peralta
> Developer
> http://www.machinalis.com/
>



-- 
José Pablo Alberto Andreotti.
Tel: 54 351 4730292
Móvil: +54 351 155937792.
MSN: albertoandreotti@gmail.com
Skype: andreottialberto