You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
15 lines
1020 B
Markdown
15 lines
1020 B
Markdown
# Prompt CoT Multimodal
|
|
|
|
import { Callout, FileTree } de 'nextra-theme-docs'
|
|
import {Screenshot} from 'components/screenshot'
|
|
import MCOT from '../../img/multimodal-cot.png'
|
|
|
|
[Zhang et ai. (2023)](https://arxiv.org/abs/2302.00923) propôs recentemente uma abordagem de solicitação de cadeia de pensamento multimodal. O CoT tradicional foca na modalidade de linguagem. Em contraste, o Multimodal CoT incorpora texto e visão em uma estrutura de dois estágios. A primeira etapa envolve a geração de raciocínio com base em informações multimodais. Isso é seguido pela segunda fase, inferência de respostas, que aproveita os fundamentos informativos gerados.
|
|
|
|
O modelo CoT multimodal (1B) supera o GPT-3.5 no benchmark ScienceQA.
|
|
|
|
<Screenshot src={MCOT} alt="MCOT" />
|
|
Fonte da imagem: [Zhang et al. (2023)](https://arxiv.org/abs/2302.00923)
|
|
|
|
Leitura adicional:
|
|
- [A linguagem não é tudo que você precisa: alinhando a percepção com os modelos de linguagem](https://arxiv.org/abs/2302.14045) (fevereiro de 2023) |