图缘博客

Suggested reading:
Tuyuan help in English. Part 1: From Sign Up to Upload
Tuyuan help in English. part 2: Facial recognition

We do facial recognition, but we REALLY don’t want you to focus on facial recognition. We want you to focus on what you can do with these face information, and on learning Chinese

We are designing a highly interactive website for you, so that you may forget about the “old” approach of photo viewing. Remember the last time your friend send you a link of her wedding? You open the link and there is an album with hundreds of photos. I bet most of you never finished that album.

In Tuyuan, you are not bounded by album anymore, because you can choose to view photos of someone (within photos you have access to), photos of someone and yourself, comments on someone, activities of someone, etc.. Once you have a sizable collection of photos, we believe Tuyuan will bring something special to you, your family and friends.

Ok, no more help, and let’s get started. Please be aware that:

1. You are visiting a website in Beijing, so the speed may not be great, as reported by our friends in the US.
2. You don’t need to upload 1000 photos to experience what Tuyuan can bring to you, but you do need to start with some. We suggest you to upload dozens of photos - real life photos, better downsize them first due to the internet speed limitation.

Where to get help?
1. Read the series of “Tuyuan help in English” on this blog.
2. On Tuyuan website, send message to the customer service account, UserID is 20412.
3. Send email to: tuyuan.com # gmail.com (change # to @).
We appreciate any feedback you send to us!

Tuyuan does facial recognition, but initially we need some help from you. As shown in the demo below, once you label “Jack Bauer” in the photo, we will immediately find another 7 faces of him for you to confirm. Yes, we are not so sure, but it’s also very interactive and therefore more fun, isn’t it?

Step 1: click on Jack Bauer’s faces on the list to tag this face in the photo. Click on the first face icon to label yourself. Enter name directly for new people.

Step 2: Tuyuan recommends 7 other faces of Jack Bauer. Click on faces to remove mistaken ones.

NOTE: If you label faces on photos uploaded by others, your work needs their approval to take effect.

For your own albums, we also provide a better interface where you could label more people at once.

On top of the photo thumbnails, click on the link “face recognition” (3rd one from the left), then follow the steps below.

Step 1: click on one or more faces from this list - which is people found in this album.

Step 2: click on the button, similarly, enter name for new people, click on the first face to tag yourself. In this case, click on the second face.

If you are lucky :-), Tuyuan will find lots of faces for the same person for you to confirm. This one is really not that bad, right?

Dear friends who still don’t know Chinese, I am writing this simple help on Tuyuan in English. Hope it may help you to navigate through Tuyuan, which is still purely in Chinese. As the 2008 Olympics is approaching, I think this is a wonderful opportunity for you to start learning Chinese. Let’s start with this help, hopefully you may be able to read news in Chinese this August …

Tuyuan is the first step of our dream - helping you to organize your daily life photos by people, which is the most natural. Tuyuan is far from perfect because it is still very difficult to recognize faces in photos even in the best labs in the world, but we are improving day by day.

Here are some of the things we do and we don’t:

1. We find faces in your photos, but some will be hard to find by all means except your eyes.
2. We recognize faces in your photos, but we do need your input.
3. We allow you to tag faces easily that we couldn’t find.
4. We work nicely with life photos, NOT photos you collected off the internet.
5. We respect your privacy, you can set privacy to a single person for each album.
6. We respect your privacy, you can delete any of your faces.
7. We don’t recognize you on photos off the internet.

Our servers are currently in Beijing, due to the network speed, friends overseas may not be able to enjoy the great speed here. I also suggest you to downsize your photos before uploading to prevent the long waiting time.

What you will get?
1. 1G free space to store thousands of photos.
2. A nice toy to play with, and it’s getting smarter and smarter.
3. One of the few to enjoy the next generation people-based photo exploring.

Step-by-step help from sign up to photo upload:

Click the link in the invitation email, you will get to this page, enter password twice to sign up.

Enter some detailed information to finish the sign up process. Username and real name are required.

Sign up successfully. Continue to the website.

Your homepage, showing albums from friends, minifeed of friends, system information, etc. Demo to “Friends” - enjoy viewing photos by people.

Upload photos - create a new album.

Advanced photo upload - choosing multiple photos at a time.

Advance photo upload in progress.

在照片上圈人的功能最早应该是在 facebook 上吧，后来国内的很多网站也提供了类似功能，包括 Chinaren，QQ 相册，校内，海内，CityIn 等很多照片共享网站或者 SNS 网站。说起图缘，有人会说，不就是那个可以圈人的网站吗？非也非也，图缘在这个过程中引入了人脸识别，虽说是小小的一个功能改进，却使得圈人和以前完全不同了。

本文主要从用户易用性的角度来讨论圈人和自动识别的异同，其它话题以后慢慢讨论。

所有易用性的问题都是成本和回报的平衡问题。上述网站都希望用户来圈人，可用户是不愿意这么做的，因为这个操作是有成本的。用户来网站是来消遣娱乐的，不是来圈人的，除非圈人的结果可以大大增加网站的娱乐性，这就需要降低用户圈人的成本，同时提高圈人的回报。圈人大致分两种，一种是以 Facebook 和 海内为代表的，人脸框大小是固定的，一种是以 Chinaren 为代表的，用户还可以调整人脸框的大小。

两个点击完成一次圈人，虽说所有的人脸都一样大，但比较简单，不错！

看着就累！

啊？还要知道用户 ID，额滴神啊！

用户的操作成本主要是理解成本，鼠标点击（可能还有拖拽操作），如果是标新用户还有输入人名和电子邮件的操作。所以降低用户的操作成本也主要从这三个方面入手。

固定人脸框大小：假设平均一个用户在一张照片上标两个人脸，那需要的点击数就是：
1次 – 点击“开始圈人”
4次 – （点击人脸，点击用户选择）X 2 个人脸
5 次点击标了 2 张人脸，平均每标一个人 2.5 次点击，这还是在不需要输入人名的情况下。（简化起见，本文不讨论理解成本和输入人名的成本，待我有了心得以后再写吧）。

非固定人脸框大小：相同假设，需要的点击数是：
1次 – 点击开始圈人
8次 - （点击人脸，点击加拖拽调整人脸框大小，点击加拖拽移动人脸框位置，点击用户选择）X 2 个人脸
9 次点击（包括四次拖拽操作）标了 2 张人脸，平均每标一个人 4.5 次点击。

当然这样标出来的人脸框是和人脸大小匹配的，比上一种方式有些优势，但如果你认为用户会花费4.5 个点击来标一个人脸，那就未免太天真了。上面显示的第三种做法也非常的令我感到匪夷所思，这种流程真是有创意。

基于上面的分析，Facebook的做法非常英明，海内也做出了正确的选择，而选择非固定人脸框大小的产品在做之前就注定了是一个失败的产品。

那带有人脸识别的图缘呢？我们分析已有的数据发现，在图缘，这个数字已经降到了小于 0.5 次点击标一张人脸。如果没有人脸识别的辅助，这是一个不可能完成的任务。在图缘，一个常见的操作流程是点击人脸（已经自动检测出，大小是对的），点击用户选择，这时，人脸识别系统启动，图缘可能会推荐给你几张甚至几十张同一个人的人脸，你只需要点击去掉错误的，然后继续，就可以一次标注很多张人脸了。

图缘的人脸标注过程：

第一步：点击人脸标注照片上的人。

第二步：图缘会推荐其他这个人的人脸。

这意味着，在图缘，标人脸这个操作的成本已经降到了其它网站最好水平的 20% 以下，所以在图缘上被标的人脸数也比同类网站高一个数量级。这使得我们的用户真的可以以人为主要线索来欣赏照片，这也是到现在为止还没有任何一个网站可以真正做好的。

这里提供一个简单的自动认出谁是谁的演示，希望了解怎样更好地在图缘玩儿，请参看 “如何更好的体验图缘？“

第一步：上传一组生活照，几十张以上最好。在照片列表的上面会有一个链接 - 认人。

第二步：进入认人，选中头像，点击 “选中的人是 …” ，然后点击头像或者输入人名完成标人。

第三步：如果你运气好的话 :-)，系统就会推荐这个人的其它头像给你，单击去掉认错的。下面这个例子表现不错哦。

相关链接：

• 人脸识别入门

人脸检测和人脸识别

人脸检测就是在照片里面把人脸找到，人脸识别就是要判断找到的人脸是谁的脸。从技术角度来说，人脸识别的难度要大的多，还是实验室里面一个没有很好解决的问题，更不要说拿出来识别海量的真实数据了。

标准照和生活照

实验室里面做研究用的是标准照，也就是所谓的“身份证”照，标准姿态，标准表情，标准光照下的正面大头照。即便是这样苛刻的条件，在人脸数超过了几千到几万的数量级以后，识别的准确度也会严重下降。而图缘面对的是海量的生活照，任意姿态，任意表情，任意光照，任意清晰度的各种各样来源的照片，这使得我们面临着一个几乎无法完成的任务。

人脸检测

在照片里面把人脸找到相对简单一些，其具体作用原理有点像老式电视机里面的电子枪，一行一行地扫过屏幕。因为人脸都长的差不多（猪八戒，牛魔王等非主流帅哥除外），人脸检测就是拿一个人脸的模子一行一行的扫过照片，看哪个区域匹配上了就认为那里是一张人脸。这个模子的大小有个范围，显然下限越小，扫描的时间越长。旋转的人脸和侧脸也是可以发现的，但是效率较差，如果对性能要求比较高的话，有时候会略去不算。

人脸识别

人脸识别分两步，第一步是人脸库的建立，第二步是新的人脸和库里的人脸比对。比如说一个办公楼的门禁系统，第一步是把这个楼里面所有上班的人的人脸输入到系统里面去，然后每个人早上来上班的时候，摄像头拍到他的人脸和系统里这些比对一下，系统来判断是不是这个库里面的人。

所以要想体验图缘的人脸识别功能，先要帮助我们把你和你亲友的人脸加入到我们的“人脸库”里面。

人脸识别的难点

随着人脸库里面人数的增多，一个人的不同照片上人脸之间的差异很可能大于不同人的人脸之间的差异，这个原因使得人脸识别变得异常困难。实验室里面限制条件（标准表情，正面照，等等）就是要减少这种差异，而图缘面对的是生活照，完全没有这些条件。也正是因为这个原因，在人数达到一定数目之后，判断是不是同一个人变得很容易出错，因为这张要分辨的人脸和另一个人的差别可能已经比他和他自己的差别还要小了。

那图缘是怎么做到的呢？

答案是，我们已经首次在世界上实现了一个真正的图灵机！

我当然是在开玩笑，图灵和图缘其实并没有什么血缘关系。图缘的人脸识别系统是我们团队长期艰苦努力搞出来的一个精妙的玩意。它当然没有神奇到可以从上百万的人群里面把你认出来，但它很好的实现了在一个相对小的范围内的人脸识别。它是智能的，个性化的，分布式的，并可以无限扩展的人脸识别系统。

未来要做的事

在人脸识别领域可以做的事情太多太多，我们实现的应该还远远不到十分之一。我们未来要做的事情就是努力提高识别的准确度，努力简化用户的操作，并努力提供一个可以给你带来丰富体验的照片共享社区。

哦，你问我做好了这些之后？那我们就要开始研究物体的识别，这样机器就可以识别鲜花，大海，跑车，美食… … 我们就可以真正实现机器视觉，电脑就可以“看到”它周围的世界，并进而可以实现更复杂的任务，开始步入人工智能时代！

呵呵呵，我退休后就去写一本科幻小说。

图缘看家的本事是人脸识别。在互联网上做海量的人脸识别，到现在为止还没有真正成功的先例。Google 自 2006 年夏天收购了做人脸识别的 Neven Vision，外界就猜测他们在紧锣密鼓的把人脸识别加到 Picasa 里面去，可到现在也没有看到结果。以 Google 的人力和财力，这么多时间金钱放进去，应该会搞出一个比图缘好的多的东东吧。

不过我们也没有妄自菲薄，图缘第一次把人脸识别，小圈子私密照片共享，和照片互动社区有机地结合了起来。我们希望带给你的不仅仅是通过人脸来搜索照片，而是一种全新的照片欣赏和互动方式。如果你成为图缘的重度用户，我保证，你会有一种全新的照片浏览体验。

你来图缘，可能最想测试的就是人脸识别功能。其实人脸识别分两部分，人脸检测和人脸识别。现在很多数码相机上带的所谓人脸识别功能其实只是人脸检 测，也就是认出来照片上哪个区域是人脸。人脸识别需要认出来每张脸都是谁，这个要比人脸检测难得多，特别是针对海量的数据。在我们整个人脸识别的实现过程 中，检测所占的工作不超过 10%，大量的工作都在人脸识别上面，具体原因我会慢慢讲。而在人脸识别应该达到的能力方面，我们现在实现的这个系统还没有做到 10%，还有很长的路要走。

我们现在实现的这个系统在相对 “比较友好” 的环境下，其实表现相当不错。我们的系统表现最好的是针对一群朋友一块玩拍的照片（生日聚会啦，出去郊游啦，毕业留念啦，等等），如果你上传的相册里面， 东一个周迅，刘亦菲，西一个李亚鹏，刘烨，再加上一堆网络美女帅哥，我们的系统就没那么牛了。想想也是嘛，计算机比人脑还差的远，像我也就周围这些亲友叫 得上名来，别人，甭管她是多大的明星，我可能也就是个脸熟，不一定知道叫啥。

要想真正体验人脸识别，上传一两张照片是没用的。你想，我们的系统开始是不知道谁是谁的，你总得告诉它吧，要是你就上传一张照片，告诉系统这是张 三，然后呢？所以，你得多传一些照片才行。当我标了一个张三，系统马上问我 ”这 20 张脸是不是也是 Ta？” 时，我感觉很爽的，你得自己试试才行。

建议使用方式：
1. 找一些活动照片，聚会，郊游，婚礼，宝宝照，都可以，上传到图缘。
2. 可以在照片里面标人，系统会自动推荐其它是这个人的人脸，不一定 100% 对，不过也相当不错，你自己试试。
3. 也可以用我们的批量操作界面（链接在相册的左边照片列表上面），可以一次选多张人脸，系统也会自动推荐其它这个人的人脸，这个界面的效率当然更高一些。