A fotografia em smartphones mudou a maneira como as pessoas veem a imagem e a óptica. Hoje, você não precisa carregar uma câmera volumosa com diferentes tipos de lentes sempre que viajar. Se você tiver uma boa câmera de smartphone, ela cuidará muito bem das coisas. Agora, para melhorar ainda mais as câmeras dos smartphones, os OEMs estão fazendo muito a portas fechadas. Isso não inclui apenas parcerias com marcas de câmeras antigas e a instalação de sensores de câmeras maiores em smartphones. Requer pesquisa e desenvolvimento complexos, muitos desafios técnicos e muitas tentativas e erros.
Para entender o que acontece no desenvolvimento de câmeras, tivemos uma pequena conversa com o gerente de produto de desenvolvimento de câmeras da Vivo, Keshav Chugh, à margem do briefing de pré-lançamento da série Vivo X90 sobre o desenvolvimento de câmeras da Vivo. Com formação em fotografia, Chugh cuida do desenvolvimento das câmeras da Vivo, que inclui a criação de novos recursos, qual hardware usar, como ajustar o software de acordo com os diferentes mercados e muito mais. Veja como foi a conversa:
1. Para começar, dê-nos uma boa compreensão do que está por trás do desenvolvimento das câmeras nos smartphones Vivo?
Portanto, sempre que iniciamos um novo dispositivo, existe um sistema de três etapas que normalmente é seguido para ajustar as câmeras. O primeiro passo é apresentar uma declaração do problema. A definição do problema é o que queremos alcançar com uma câmera, qual será o nosso foco, para qualquer produto.
Depois vem a parte óptica, onde selecionamos qual hardware usar para qual dispositivo. O estágio de óptica também é onde a Zeiss intervém. Eles são especialistas em óptica e imagem e nos ajudam a ajustar o hardware de acordo com os diferentes mercados.
A terceira etapa é a computação, onde o aprendizado de máquina e a IA desempenham um papel importante. É aqui que, depois de ter tudo pronto, analisamos o software e como podemos usar nossos algoritmos para aprimorar a experiência da câmera. Isso inclui não apenas o aplicativo ou os controles da câmera, mas também como a IA aprimora as imagens capturadas pela câmera. Quanta luz deixar entrar, como ajustar as cores, detecção de bordas no retrato, todo o pós-processamento é decidido e ajustado nesta etapa.
2. Você pode nos contar mais sobre o chip Vivo V2 e qual é o objetivo da empresa com o chip ISP?
Sim, além de lidar com todo o processamento da câmera que ocorre nos carros-chefe da Vivo (e iQOO), o chip V2 também atua como um Deep Learning Accelerator (DLA) que facilita e lida com todos os algoritmos de IA. O V2 é um chip de agendamento que organiza, controla e otimiza cargas de trabalho em um processo de produção. Basicamente, ele atua como um gerente para ajudar a resolver problemas e implementar novos recursos de câmera.
Chegando ao desenvolvimento, temos que primeiro descobrir qual problema estamos tentando resolver. Em seguida, veremos como desenvolver o chip ISP. Aí entram em ação as nossas equipes que estão desenvolvendo, os terceiros que nos ajudam também entram nessa fase. Em última análise, nosso objetivo não é comercializar o V2 ou qualquer coisa que a Vivo faça, o objetivo final é que a definição do problema seja resolvida. Por exemplo, se estou lhe dizendo que o Vivo X90 Pro tem a melhor câmera noturna do mercado, devo ter os resultados para comprovar.
Além disso, com a quantidade de IA envolvida na criação de recursos como Zeiss Cine Flare ou nossos modos retrato, além de outras coisas, precisamos de suporte de hardware para executar tantos algoritmos.
3. Conte-nos mais sobre a parceria da Vivo com a Zeiss
Com a Zeiss, temos dois tipos de colaboração – uma é coengenharia e a outra é colaboração. A parte de coengenharia é onde eles trabalham conosco produto por produto. Por exemplo, como eles nos ajudaram no desenvolvimento de câmeras na série Vivo X90 e em outros carros-chefe anteriores da série X. Isso é engenharia de produto, onde eles estão conosco em cada etapa do desenvolvimento da câmera.
Em seguida vem a colaboração, que é algo de mais longo prazo. Aqui, estamos atualmente fazendo pesquisa e desenvolvimento sobre o que traremos no futuro. Isso envolve muita experimentação e testes. Existe um laboratório específico na Zeiss na Alemanha, apenas para desenvolvimento de produtos Vivo. Portanto, aqui também trabalhamos com base na declaração do problema. Por exemplo, como trazemos o Zeiss Cine Flare para smartphones é uma declaração de problema. Agora, para o usuário basta apontar e disparar para trazer reflexo de cinema em suas imagens. Mas implementá-lo é muito difícil, pois temos que replicar aquele reflexo natural do cinema usando IA.
Isso inclui detectar qual é a cena, de onde vem a luz, qual é o assunto, qual é a fonte de luz, qual é o equilíbrio de branco na cena, quão intensa é a luz e coisas assim. Com base nisso, a câmera tem que fazer cálculos ao redor da cena, simulação de cenas, aí tem diferentes tipos de cine flares. Também temos que fazer cálculos sobre o tamanho do reflexo que preciso, em que local preciso com base na luz, na cor do reflexo com base no cenário de iluminação e no equilíbrio de branco. Portanto, para tudo isso, há muitas aplicações de IA envolvidas. Não se trata apenas de colocar um filtro com um adesivo png, apenas por fazer.
Esta é outra razão pela qual a nossa parceria com a Zeiss tem sido bem sucedida. Porque se apenas aplicássemos filtros, uma grande marca legada como a Zeiss não iria querer se associar a nós. É porque eles estão satisfeitos com o produto final que podemos usar seu nome com segurança.
4. Quem está fazendo o processo para o V2? A Vivo tem planos de licenciar esses chips ISP?
Portanto, a fabricação de silício é feita por fabricantes de silício, mas o design e a arquitetura são de nossa propriedade.
Quanto ao licenciamento, não há planos para licenciar isso. Essa não é a ideia por trás dos chips da série V da Vivo. Isto é algo em que investimos muito dinheiro e recursos, e é a nossa propriedade intelectual.
5. Como a Zeiss respondeu à resposta positiva que os novos smartphones Vivo estão obtendo em relação às câmeras?
Portanto, a Zeiss está conosco em cada etapa, mesmo quando estamos ajustando o sensor. É por isso que a chamamos de câmera principal Zeiss, embora ela use o sensor da Sony, em termos de hardware. Mas na otimização e ajuste do sensor, a Zeiss desempenha um papel importante. Até em termos de cores, a Zeiss está connosco. Somos um dos poucos OEMs que praticam múltiplas ciências de cores. Temos Vivo Vivid Color e Zeiss Natural Color. Com a série Vivo X90, a Zeiss também nos ajuda a calibrar profissionalmente a tela. Porque se nossa tela não estiver calibrada, tirar imagens no Zeiss Natural Color não fará sentido.
Portanto, a parceria evoluiu para além das câmeras e em direção ao desenvolvimento de telefones de forma holística. Além disso, a configuração do monitor Zeiss Natural Color não é apenas um software que a Zeiss está promovendo, estamos calibrando os monitores individualmente.
6. Qual foi o maior desafio no desenvolvimento das câmeras da série Vivo X90?
A coisa mais difícil que eu diria seria o ajuste do sensor do tipo 1 polegada. Agora, podemos fazer ajustes muito simples ou muito complexos. A afinação muito simples é feita por algumas marcas e a afinação muito complexa é quando você localiza os telefones. Cada país tem uma demanda diferente. Sendo a Índia o mercado mais importante para nós, afinar as nossas câmaras de acordo com o cliente indiano, seja em termos de tons de pele, retratos, ou em termos de câmaras frontais ou traseiras, ou em termos de compreensão das suas necessidades, como são diferentes de outros usuários, é muito importante para nós.
Agora, acertar tudo isso e convertê-lo em um produto real que não apenas funcione, mas seja o melhor no que faz, é a parte mais difícil. Também leva muito tempo. Por exemplo, tenho que executar centenas e milhares de simulações para encontrar os parâmetros perfeitos. Depois, colocamos em uma versão de teste, onde fazemos um teste real. Em seguida, repetimos esse processo até estarmos satisfeitos com o resultado final. É quando pensamos que um produto está pronto para ir aos mercados.
7. Qual é o seu recurso de câmera favorito na série Vivo X90?
Em termos de câmera, diria que gosto muito dos modos retrato. Claro, Cine Flare é novo, mas no geral todos os retratos Zeiss são meus favoritos. Antes disso, eu era fotógrafo comercial e adoro fotografia de rua. Na fotografia de rua, 50 mm é a distância focal perfeita. Combine isso com a abertura f/1.6 e isso se tornará algo incrível para fotografia de rua. Esse tipo de abertura (f/1.6) é muito grande. Ele deixa entrar muita luz e desta vez temos um sensor 30% maior, então os retratos melhoraram drasticamente em relação à geração anterior.
8. Qual recurso de câmera você deseja no próximo carro-chefe da Vivo?
Agora não há um único recurso que eu possa imaginar. Como gerentes de produto, queremos colocar o máximo possível de recursos em nossos produtos. Porém, pensando apenas em uma coisa, adoraria ter uma lente 35mm no meu smartphone, mas isso não é viável. Embora eu seja gerente de produto, também sou fotógrafo, então minhas demandas são assim.
Isso não é viável porque, embora atendamos também a profissionais, ainda há um equilíbrio a ser mantido. Esse equilíbrio é que você precisa fazer uma ótima câmera e, ao mesmo tempo, mantê-la como um ótimo smartphone. Não pode ser um bom smartphone com uma câmera ruim ou uma boa configuração de câmera em um smartphone ruim.
9. Então você deve ter visto o telefone conceito da Xiaomi com lente substituível. Existe algo semelhante vindo da Vivo ou a Vivo está trabalhando em lentes substituíveis em smartphones?
Não. Veja, todas as marcas têm conceitos e nunca chegam ao mercado. A ideia por trás disso é que os OEMs estão constantemente tentando descobrir qual será o futuro da indústria de smartphones.
Agora, isso é uma coisa muito boa para a indústria, pois abre novas ideias. E no futuro, se quisermos descobrir como os smartphones podem substituir totalmente as câmeras convencionais, então esse tipo de conceito será importante. Até nós temos muitos telefones conceituais – alguns que lançamos, outros não. No entanto, estes tipos de conceitos são bons, não apenas para as marcas, mas para toda a indústria como um todo.
10. Você acha que lentes substituíveis em smartphones são uma boa ideia?
Como fotógrafo, sim. Mas como usuário de smartphone, não. Porque neste momento a tecnologia não existe. Embora a ideia seja boa, a tecnologia ainda não está à altura. Minha opinião pessoal é que se você tiver uma lente de 5 polegadas de espessura em seu smartphone, é melhor carregar apenas uma câmera e ter um sensor maior. Em segundo lugar, se meu telefone sempre precisa de uma lente acoplada à câmera, isso significa que sem a lente minha câmera é inútil. Como eu disse, tem que ser um bom smartphone. Então, se eu conseguir uma câmera de smartphone que me permita colocar lentes diferentes, terei que carregar várias lentes pelo menos em algum momento. Agora, se estou carregando tanto volume, por que não comprar uma câmera adequada?
Siga-nos
source – www.digit.in
