那张照片与真相有多接近？在人工智能时代你需要知道的事情
人工智能可以让你用照片说谎。但你也不希望看到一张完全未经数字处理的照片。
这是我面对自己的数千张照片时一直思考的一个棘手问题，现在它变得更加棘手：一张照片在多大程度上被编辑后就不再真实？
Lightroom有一个方便的AI工具来选择天空，让我可以把它变暗，以获得更多的色彩和戏剧性。Topaz Labs的Photo AI使用了另一种形式的人工智能来消除我在黑暗的阿拉斯加小屋里拍摄的跳舞孩子照片上的噪点。只需轻轻一扫鼠标，Photoshop就可以生成一片美丽的蓝天，取代我拍摄的充满黄色秋叶的照片中烦人的枯树枝。现在，当你按下快门按钮时，智能手机也在自己做出类似的决定。
由于我对历史的欣赏和兼职摄影记者的工作，我个人更倾向于坚持接近现实。但即使是这样，也涉及到大量的处理。
很容易认为摄影是一种捕捉真相的练习，将转瞬即逝的光线变成我们可以存储在相册中或在线分享的记录。在现实中，摄影一直是更复杂的。
几十年前，摄影师通过胶片化学、镜头选择、镜头取景和暗房修改来指导拍摄过程。现在，Photoshop、智能手机图像处理和生成式人工智能让这些模拟时代的修改看起来很原始。
如今，你有理由质疑一张照片中有多少真相。9月，苹果在推出iPhone 15时详细介绍了其用于构建每张照片的多阶段处理技术。三星手机能识别出何时在拍摄月球，并对图像进行大量修改，试图更好地展示它。谷歌是计算摄影领域的先驱，现在它吹嘘其Pixel 8 Pro Magic Editor软件如何让你消除照片背景中不需要的人物，或者其Best Take功能如何让你从一系列照片中挑选出最讨人喜欢的面孔，以创建一张没有人看起来像傻瓜的合影。除了智能手机，生成式人工智能可以快速制作出教皇穿着羽绒服等令人信服的图像。
但在你对造假行为感到绝望，认为它已经吸走了摄影的乐趣和实用性之前，请后退一步，因为当你在评判照片时，背景很重要。
的确，如今你需要更加谨慎，特别是对于那些来自挑衅性的网红和令人震惊的战争场景的情感化社交媒体照片。同时，你个人更可能关心的照片——那些来自你的朋友、家人和同事的照片——更有可能扎根于现实。对于许多重要的照片，比如保险索赔中的照片或新闻媒体发布的照片，技术正在到来，可以为照片本身建立一些信任。
纽约的专业摄影师Jeremy Garretson在新闻摄影、活动摄影、肖像摄影和风景摄影之间转换时，敏锐地意识到这些背景差异。对他来说，摄影中的真相是一个滑动尺度。
“说摄影作为一个整体应该被信任是对摄影和艺术的伤害，”Garretson说。“如果你在看一个人的肖像，你应该期望其中有一些真实性，但它可能已经被润色过——也许瑕疵已经被去除了。在新闻摄影方面，有更多的信任。当我戴上摄影记者的帽子时，在道德上我有一个必须遵守的标准。而在艺术方面，没有信任。艺术是为了被解读，而不是被信任。”
照片是我们数字生活中非常重要的一部分，在与数十位专家交谈后，我相信尽管存在信任问题，它们仍将如此。你可能不希望完全拒绝人工智能照片处理，就像你不希望造假淹没你的社交媒体信息流一样。因此，在这个摄影技术快速变化的时代，请花点时间思考一些微妙之处。
数字摄影101：从光线到JPEG
首先，让我们把一件重要的事情说清楚。没有未经处理的照片，无论是数字的还是胶片的。你的相机从未捕捉到某个场景的客观真相。每一张照片都是工程师们为了尝试生成最佳照片而做出的决定的产物。
为了理解这一点，让我们更深入地了解数字照片是如何拍摄的。
第一个捕获时刻发生在光子到达数字图像传感器时，这是一个专门的芯片，负责将光转换为像素数据。每个像素可以捕捉红色、绿色或蓝色，但当你看到一张照片时，每个像素必须具有所有三种颜色的成分。这意味着相机通过“去马赛克”算法来构建其余的部分，这些算法会对缺失的色彩数据做出最佳猜测——例如，仅捕捉到绿光的像素中的红色和蓝色信息。
“三分之二的像素完全是由你的设备生成的，而不是记录下来的，”加州大学伯克利分校教授Hany Farid说，他研究照片真实性几十年，并曾帮助创办一家图像真实性初创公司。
“去马赛克”技术已经存在了几十年，并逐步改进以应对头发缠结或织物图案等困难的主题。
随着像素合并技术的发展，“去马赛克”变得更加复杂，它可以将2x2、3x3甚至4x4像素块组合成更大的虚拟像素。谷歌Pixel手机对这些更大的像素块进行“重马赛克”以生成更精细的细节，然后对它们进行去马赛克以生成高分辨率照片。如果你在iPhone 14或15 Pro上拍摄5000万像素的照片，它也在做同样的事情。
三星Galaxy S23 Ultra在从传感器生成2亿像素的照片时，走得更远。它使用人工智能算法将4x4像素块的均匀颜色变成16个单独的像素，每个像素都有红色、绿色和蓝色颜色信息。
图像传感器上的像素尺寸越小，区分细节和噪点的能力就越差，处理阴影和明亮区域的场景的能力也越差。这就是为什么今天的智能手机将多帧——在谷歌Pixel 8 Pro的HDR技术中最多15帧——合成到一张照片中。叠加多帧可以让相机更好地处理阴影细节，减少噪点，并将蓝天显示为蓝色，而不是褪色的白色。但这也意味着一张照片已经是多个时刻的合成。
最重要的是，相机还会对锐化边缘、提高对比度、增加色彩饱和度、减少噪点以及压缩文件以减少存储空间等方面做出假设。生动、明亮的色彩可以使照片更具吸引力，但很多手机几乎产生了超现实的蓝天和绿草。查看苹果的log格式视频，这是iPhone 15 Pro备受称赞的功能，看看将相机看到的内容转换为看起来不错的内容需要多少编辑。
“没有一个答案。这取决于你喜欢什么，”卡内基梅隆大学工程学教授Aswin Sankaranarayanan说，他专门研究成像技术。“显然，每家公司都认为他们做得比其他公司好。”
智能手机处理器制造商高通在照片处理上花费了大量时间，例如使用AI加速器来识别场景的不同元素，然后将这些信息传递给信号处理器，相应地调整像素，每秒几十次。
“我们能够确定哪里是皮肤，哪里是头发，哪里是织物，哪里是草，哪里是天空，”高通成像工作负责人Judd Heape说。最新的Snapdragon 8 Gen 3处理器可以识别12种不同的主题类别，包括宠物、眼睛、牙齿、头发和天空。“我们可以突出织物中的纹理。我们可以抚平皮肤。我们可以突出头发的更多细节，让草更绿，让天空更蓝，所有这些都是实时为照片或视频进行的。”
相机为照片增添的人为解读
颜色对于相机的自动照片处理来说是一个特别棘手的主题。阴影中的物体可能呈现蓝色，因为它主要被蓝天照亮，而不是被阳光直射。相机应该对此进行补偿吗？著名的关于一条裙子是白金还是蓝黑的网络辩论表明，解读场景颜色有多么困难。
那些来自詹姆斯·韦伯太空望远镜的壮观照片呢？它们是人类对不同层次光数据的解读，包括被转换成我们肉眼可见颜色的红外光。
有些人比大多数人更敏锐地意识到颜色可以是多么随意。凯文·吉尔是美国宇航局喷气推进实验室的一名开发人员，也是处理来自火星、木星、土星和太阳系其他地方的照片的专家。他别无选择，只能调整照片，因为其中一些照片是基于人类看不见的光线，比如揭示土星风暴和条纹的红外光。
“我让数据显示它想显示的东西，”吉尔说，他编辑来自航天器的原始成像数据，“是为了讲述那里有什么的故事，而不是你看到的东西。”
你自己的智能手机相机可以自动完成同样的讲故事工作，尽管它从更普通的光线开始。
当你和朋友自拍或拍摄美丽的风景时，如果脸部是图像传感器的噪点，或者明亮的天空使前景变成一片模糊的阴影，那就没意思了。现在，每个智能手机都内置了HDR（高动态范围）技术，将多帧合成到一张照片中，合成出一个可接受的场景版本。
“手机摄像头曾经很糟糕。噪点太大了，”Sankaranarayanan说。
但HDR引入了新的问题。
“在整个行业向HDR技术发展的过程中，所有这些对阴影的提升对浅色皮肤来说都很好。你希望它发光，”领导谷歌Pixel相机工作的Isaac Reynolds说。“但由于制造智能手机的行业不是最多样化的，我们内部没有足够的人告诉我们，等等，也许深色皮肤应该保留一些黑暗、颜色和丰富度。”
谷歌多年来一直试图调整其颜色和曝光，以改善这种表现，直接与深色皮肤的人合作，听取他们对谷歌相机技术的抱怨。“今年的改变是我们真的把工程师派到了摄影师那里，”Reynolds说。
因此，纯粹主义者谴责智能手机内置的重度处理应该谨慎。事实证明，很多这样的处理往往能产生你想要的效果。
多少处理太过分了？那张月球照片是真的吗？
Photoshop、生成式AI和其他图像编辑技术可以将照片带到远远超出相机起点的程度。到底应该走多远是一个有争议的问题。
谷歌可以说是走得最远的，它推出了新的Magic Editor等AI编辑工具，让你可以点击人物来擦除、放大或移动他们在场景中的位置。生成式AI可以填补空白，添加新的天空，或者用全新的色调和氛围来设计照片。当你拍摄一系列合影时，另一个名为Best Take的功能会向你展示每个人的所有面孔，让你选择最喜欢的面孔来创建一个新的合成图像。
谷歌明确表示，这些重度的AI修改仅限于你在拍摄后必须自己启动的Google Photos编辑操作。“我们希望确保人们能够控制这样的人工智能，”Reynolds说。
这种修改长期以来一直可以通过Photoshop和其他图像编辑器实现，但AI使它们变得更容易，谷歌将它们内置到Google Photos应用程序中，使它们触手可及。
这引起了一些人的不满。例如，我的同事Sareena Dayaram担心谷歌的AI“模糊了现实和幻想之间的界限”。
这与三星Galaxy S23 Ultra的反应类似，这款相机通过AI图像处理增强了其10倍相机的原生能力，当你拍摄月球时，这种处理就会启动。
调查人员发现了一个可疑的图像增强水平，例如在拍摄故意模糊的月球照片时添加了月球纹理。（我在自己的测试中重现了这种现象。）三星的做法甚至意味着当月球的一个补丁被一个无特征的空白取代时，纹理会出现。
三星否认它只是简单地复制了一张更高分辨率的月球照片。相反，纹理源于相机试图发现细节。
“整个物体已被识别为月球，然后根据每个像素的信息是噪点还是月球纹理成分进行处理。在这个过程中，AI有可能将补丁识别为噪点像素，”该公司在一份关于带有空白补丁的照片的声明中表示。三星正在努力改进Scene Optimizer，即识别月球的手机功能，以减少“在拍摄真实月球的照片和月球图像之间可能发生的混淆”。
对处理和伪造的担忧表明，我们中的许多人对我们愿意接受多少处理有限度。
拍摄超越原始像素的照片
但是零处理并不是正确的答案。这将禁止全景拼接、HDR照片（混合多次曝光）以及具有艺术表现力的照片。
Shaun Davey是一位业余但认真的摄影师，他喜欢英国Exmoor国家公园的风景，他愿意为了他认为更好的照片而消除分散注意力的垃圾或树枝。他编辑他的照片的颜色和色调，并观察到颜色选择在某种程度上是任意的，因为人类在黑暗中只能看到黑白。
“我喜欢我的照片能提醒我对一个地方或事物的感知。我希望它们能灌输一个地方的情绪，以及我当时站在那里的感受，”他说。照片通常需要编辑才能匹配一个场景，这是基于我们眼睛的卓越动态范围和我们大脑自己的处理。
如果你想使用AI来操纵你的图像，我们正在进入一个黄金时代，因为AI可以像人类一样识别图像的部分，精确定位头发、面孔、天空和其他主题。Google Photos只是众多工具之一。
Adobe的Lightroom和Photoshop提供了广泛的AI工具，帮助你进行降噪，选择特定的人，甚至只是他们的部分，如面部或牙齿，并擦除场景中的元素。Skylum的Luminar Neo图像编辑软件使用AI让摄影师替换天空，添加雾，增强湖泊和河流的外观，以及以其他方式大幅改变照片。Retouch4me销售一键式AI插件，以平滑皮肤，美白牙齿，并消除受试者眼睛中的血管。而使用Dall-E、Midjourney和Adobe Firefly等生成式AI工具合成全新主题和背景的能力，则增加了全新的维度。
Topaz Labs因其AI工具而声名鹊起，这些工具可以减少可能降低高速拍摄的鸟类照片质量的图像噪点。该公司的Photo AI软件还可以锐化照片，扩大其分辨率，并消除一些模糊。Photo AI旨在忠于原始照片，但它也会根据对照片及其AI训练数据的分析来生成图像数据。
“我们必须生成一些细节，让它看起来自然，”首席执行官Eric Yang说。
没有人希望看到一只鸟的侧面有一个空白的补丁，那里应该有一些羽毛纹理，所以Photo AI会添加它，即使相机最初无法辨别它。但在Yang看来，照片的本质——摄影师看到的场景——仍然完好无损。
“我们的任何产品都不会以任何方式有意义地改变你的照片，”Yang说。“我认为我们的软件，以及最终的AI，能够消除干扰，增强照片的现实和记忆的核心目的。”
相信来自朋友和家人的照片
有些人认为，谷歌Pixel上的AI照片编辑正在“毁灭人类”，因为“我们现在正在进行一场战争，以捍卫真理的概念，反对那些想要消灭它的人”。
但这种恐惧忽略了一个主要的实际问题：谁在拍这些照片，谁在看它们？
当你与你在现实生活中认识的人分享照片时，你们之间仍然有很强的社会契约。与你的朋友分享一张假照片可以是一种谎言。同样的道德规则也适用，如果你被抓到，你将面临同样的后果。火烧裤子等等。摄影师Garretson非常不喜欢那些声称是真实的假照片，他称拍摄这种照片的人是“反社会者”。
你对照片的修改程度取决于这种背景。如果你从照片的背景中删除一些分散注意力的人，道德警察可能不会来找你。用AI模糊背景以获得更集中的肖像，与使用具有浅景深的高端相机镜头模糊背景传达的意图相同。照片是一种交流形式，许多照片只是传达你和你的朋友和家人在某个场合在一起，至少对你来说是值得注意的。摆出讨人喜欢的姿势并不是什么新鲜事，从合影中挑选你看起来最好的照片也不是什么新鲜事。没有人期望每一张照片都能捕捉到你所有的缺点。
但对于一些更实质性的改变——比如把你看到的黄石公园的灰熊移到你妹妹身边，或者当你不在法国时把自己放入埃菲尔铁塔的照片中——想想你将如何解释自己。如果你要传达一些令人震惊、戏剧性或八卦的东西，请注意照片的真实性更重要。
这对你的朋友和家人给你发送照片也适用。如果有人在摄影方面不诚实，你可以完全有理由做出判断。也许你应该在使用生成式AI给家庭照片添加新风景之前三思，就像Adobe建议的那样。
对于你自己的照片，你总是可以诚实地说出你做了什么。
“我不反对那些使用AI或其他更极端方式增强照片的人，但如果我们可以简单地声明一下就好了，”Tropical Birding野生动物导游和摄影师Keith Barnes说。
Upvoted! Thank you for supporting witness @jswit.